删掉了,但没完全删掉
微光集的 Repo 模块可以在线翻看我以前写过的项目,包括源码、提交记录和 Diff。原本只是想把这些旧项目整理出来,结果在翻自己的代码时,发现有些东西不太适合直接展示。。
这次处理的是以前的 Java 项目 CwlWeb,其中有一份违禁词过滤用的 SQL:bad_words.sql
文件原来有 4039 行,包含政治敏感词、涉黄词汇等过滤数据。放在项目里是为了做内容审核,但通过源码浏览页面,这份词库也跟着公开了,访客可以直接查看和下载。
考虑到本站公开访问,以及搜索引擎收录、云服务商管理这些问题,我决定只留一点示例数据。第一次处理非常直接,把整个文件缩减成两行:
insert into bad_words (id, word, type)
values (1, '违禁词', 'OTHER');然后提交,提交说明叫“移除违禁词SQL风险规避”。
本来以为这样就行了,结果打开微光集的提交详情,删除的四千多行全在 Diff 里展开了(;
当前文件确实干净了,但这次“清理”又提供了一个能完整查看原词库的入口。就算把文件整个删掉,旧提交和文件历史里也还是能找到。
.gitignore 同样解决不了已经提交的数据,它只影响后续未跟踪文件是否被添加。要处理这件事,还得往 Git 历史里找。
想留下什么
这份旧项目的源码我还想保留,SQL 文件本身也没必要删除,留着表对应的示例反而方便阅读。所以这次的目标是:把这个文件所有历史版本的内容,统一换成当前干净的两行 SQL。
其他文件照常保留,作者、日期和提交说明也尽量沿用原来的记录。
Git 的提交指向文件树,文件内容由 Blob 对象保存。修改当前文件,只会让新提交引用新的内容,旧提交引用的 Blob 不会因此消失。这也是为什么这次要重写历史,而不是再补一个删除提交。
工具用的是 git-filter-repo。它既能通过命令行过滤历史,也提供 Python API,这次最后用上的是后者。
重写之后,受影响提交及其后续提交的 SHA 会变化。其他文件的内容可以保留,但不能指望它们所在提交的 SHA 也保持原样。
先准备一个单独的克隆
当时的环境是 Windows、PowerShell、Git 和 Python 3.11。先安装工具:
python -m pip install --upgrade git-filter-repo
git filter-repo --version没有直接在平时开发的目录里操作,而是重新克隆了一份:
git clone https://github.com/GoblinCwl/CwlWeb.git CwlWeb-clean
cd CwlWeb-clean
git status
git branch -a
git remote -v确认工作区干净,当前分支是 master,然后检查目标文件的真实路径:
git ls-files "*bad_words.sql"输出是:
.WorkSpace/MySqlScript/data/bad_words.sql这里目录前面有一个点,大小写也是 .WorkSpace。回调里按仓库相对路径匹配,写错了就处理不到文件。
接着看这个文件经过哪些提交:
git log --all --oneline -- ".WorkSpace/MySqlScript/data/bad_words.sql"5c1811e 移除违禁词SQL风险规避
d46c7e2 fix: sql
c2fa9da feat: sql再确认有没有同名文件曾经放在其他路径:
git log --all --name-only --format= -- "*bad_words.sql" | Sort-Object -Unique这次只找到上面这一个路径,所以只针对它处理。如果文件曾经改名或挪过目录,就需要把旧路径也纳入清理范围。
用 Python 替换历史文件内容
当前 master 上的 SQL 已经是干净版本,先把它复制到仓库外:
Copy-Item ".WorkSpace/MySqlScript/data/bad_words.sql" "..\bad_words_clean.sql"直接复制可以保留原文件字节,省得重新写入时又碰上编码和换行符差异。
接下来通过 git-filter-repo 的 Python API 重写历史。在仓库外创建 rewrite_history.py,与刚才复制的 bad_words_clean.sql 放在一起:
父目录/
├─ bad_words_clean.sql
├─ rewrite_history.py
└─ CwlWeb-clean/脚本内容如下:
import git_filter_repo
target = b".WorkSpace/MySqlScript/data/bad_words.sql"
with open("../bad_words_clean.sql", "rb") as f:
clean_data = f.read()
def clean_file(filename, mode, blob_id, value):
if filename == target:
blob_id = value.insert_file_with_contents(clean_data)
return (filename, mode, blob_id)
args = git_filter_repo.FilteringOptions.parse_args(["--force"])
repo_filter = git_filter_repo.RepoFilter(
args,
file_info_callback=clean_file,
)
repo_filter.run()逻辑比较简单:遇到目标路径,就用干净 SQL 的内容生成 Blob,并返回替换后的 Blob ID,其他路径照原样返回。文件原来还不存在的那些提交,不会凭空多出这个文件。
这里的 --force 是跳过工具的新克隆检查,本次操作对象是专门准备的副本。它和后面的强制推送是两件事,不能把它当作每次执行都必须加的固定配置。
执行位置仍然是 CwlWeb-clean 仓库目录:
python ..\rewrite_history.py脚本里的 ../bad_words_clean.sql 是相对于当前工作目录解析的,不能因为脚本放在外面,就切到外面执行。
当时的输出:
Parsed 205 commits
New history written in 0.62 seconds; now repacking/cleaning...
Repacking your repo and cleaning out old unneeded objects
HEAD is now at 84e6ba4 fix: 博客,应用头像显示
Completely finished after 1.52 seconds.205 个提交处理完,一共也就一秒多。
检查清理后的历史
先确认工作区状态:
git statusOn branch master
nothing to commit, working tree clean再看目标文件的历史:
git log --all --oneline -- ".WorkSpace/MySqlScript/data/bad_words.sql"
git log --all -p -- ".WorkSpace/MySqlScript/data/bad_words.sql"原来的三个提交,现在只剩一个:
e7a2428 feat: sql对应的 Diff 也只剩下两行示例:
diff --git a/.WorkSpace/MySqlScript/data/bad_words.sql b/.WorkSpace/MySqlScript/data/bad_words.sql
new file mode 100644
+insert into bad_words (id, word, type)
+values (1, '违禁词', 'OTHER');最初添加文件的提交还在,只是 SHA 变成了 e7a2428f2a813a18bba3cf7f875e259be0edc109。后面两个提交原本只是在修改这个文件,现在所有版本的内容都一样,它们也就没有实际差异,被工具自动移除了。
这次检查能确认的是:本地现有引用可达的目标文件历史里,已经看不到原来的四千多行词库。 这个结论还不能直接等同于 GitHub、镜像和缓存里的副本都消失了。
提交日期为什么还是三年前
Git 提交里有 Author Date 和 Committer Date,分别是作者日期与提交者日期。此次使用的默认处理保留了原有日期、作者和提交说明;内容及父提交发生变化,SHA 则需要重新计算。
文件最初添加的日期仍然是 2023/02/01。较新的“移除违禁词SQL风险规避”提交变成空提交后被移除了,所以后来 GitHub 显示最后一次提交发生在三年前。
刚看到的时候还以为哪里没同步,实际上是最新那条清理记录本身已经不需要存在了。
把新历史推回 GitHub
重写过程中,工具提示:
NOTICE: Removing 'origin' remoteorigin 被自动移除了,需要检查完成后重新添加:
git remote add origin https://github.com/GoblinCwl/CwlWeb.git
git push --force-with-lease origin master第一次推送没有成功:
! [rejected] master -> master (stale info)重新添加远程后,本地没有对应的远程跟踪信息,--force-with-lease 无法按预期确认远端状态。先获取远程分支:
git fetch origin
git rev-parse --short origin/master这一步会重新取得旧的远端历史,因此前面的本地清理检查应在 fetch 之前完成。它是为了确认准备覆盖哪个远程版本,也不代表远端已经清理。
确认远端仍然是清理前的版本,没有其他人新增的提交,再执行:
git push --force-with-lease origin master这次推送成功,远程 master 被替换为新的历史。普通 push 无法完成这一步,因为新旧提交已经不是快进关系。
--force-with-lease 能帮忙拦住远端在预期之外发生的变化,但 fetch 之后仍然要检查远端内容,不能把“拉取一下再强推”当作无条件覆盖的流程。这里推送的也只有 master,如果其他分支或标签还引用旧历史,需要分别检查处理。
旧 Commit 居然还能打开
推送之后,GitHub 的正常提交列表已经更新,但直接使用旧 SHA 访问提交页面,原来的删除 Diff 居然还在。
页面提示这条提交不属于当前仓库的任何分支,也可能属于仓库外的 Fork。
这说明分支历史替换成功了,但旧提交仍然可以被 GitHub 提供出来。重写历史让当前分支不再引用旧数据,并不意味着服务器会立刻删除所有旧对象和缓存。
GitHub 的敏感数据清理文档也说明,强制推送之后,旧内容仍可能通过提交 SHA 的缓存页面、PR 引用、Fork 或其他克隆访问。进一步处理需要按文档联系 Support,其清理支持也有范围限制,普通非敏感数据不在该支持范围内。
这次主要是让微光集正常浏览时不再把词库展示出来,所以没有继续删除、重建 GitHub 仓库。这里也就不把“彻底删除”写进标题了,实际能确认到哪一步,就记到哪一步。
微光集最后看到的结果
重新打开微光集 Repo 页面,原来修改 SQL 的两条提交已经消失,留下的是最初的 feat: sql:
| 项目 | 结果 |
|---|---|
| Commit | e7a2428f |
| 作者 | chenweilong |
| 日期 | 2023/02/01 |
| 文件差异 | 只有两行示例 SQL |
正常提交浏览页面已经能读到重写后的历史,这次想解决的直接展示问题到这里算是处理了。
不过本站还有镜像这一层,数据来源见 Gitea代码仓库对接。页面更新只能说明当前正常浏览路径已经更新,不能顺带证明 Gitea、本地裸仓库以及旧缓存里的对象都被清掉了。
如果代码浏览器允许直接传入任意 SHA 查询提交,就还需要检查这个 SHA 是否属于允许公开访问的分支历史。上游接口能返回内容,本身不足以说明这条提交应该继续展示。Raw 文件、下载入口和缓存也需要按同样的访问范围检查。
这些是后续需要核对的地方,不是这次已经完成验证的功能。
留个记录
以前知道 Git 会保留历史,但这次自己删完文件、又在 Diff 里看到整份词库,感受还是不太一样。
这次用 git-filter-repo 把指定文件的历史内容统一换成示例,源码和 SQL 文件都留下了,正常历史里也不再有那份词库的新增、删除记录。真正执行清理很快,反而是路径、远程跟踪信息和旧链接这些细节花了时间。
以后这类不适合公开的数据,还是放在私有数据源里,公开项目只保留表结构和必要示例,省得几年后再回来整理历史。
如果提交进去的是密码、Token 或密钥,那要先撤销或轮换凭据,历史清理不能让已经泄露的凭据重新安全。这一点也在 GitHub 官方文档中明确说明了。