跳到正文
meng shao· @shao__meng · X·· 3 天前精选AI 评分78
AI 导读

Google 开源了 Android ABFS(Another Build File Service),把 AOSP 源码检出从 36 分 19 秒降到本地缓存为空时 7.4 秒、缓存已热时 3.6 秒。

推荐理由

原文给出了 ABFS 在检出与构建上的具体耗时对比,以及内容寻址和两阶段校验的实现思路。

正文 · 原文

Google 开源 ABFS:Android 源码检出从约 36 分钟降到 8 秒内

Android 17 开源版本有 1084 个 Git 仓库、约 162 万个文件,代码 161 GB,构建产物 155 GB,完整工作区大约 300 GB。再加上硬件厂商代码和自有应用,规模还要再放大两到三倍。传统流程里,拉一份 AOSP 往往超过 30 分钟,完整构建也常常超过一小时。新工作区、切分支,或 Agent 的临时会话,几乎每次都要从头开始。

Google 的 Android ABFS 团队为此做了 Another Build File Service,并已在 GitHub 开源。它用内容寻址的方式,按需加载并缓存源码、工作区、中间文件和构建结果。
https://developers.googleblog.com/accelerating-development-for-massive-git-repositories/

先挂上目录元数据,真正读到再拉文件

ABFS 包含 Linux 内核里的内容寻址文件系统 CASFS、用户态的缓存和管理进程,以及服务端存储。服务端持续接收来自 Gerrit 或其他 Git 主机的对象;开发机上先只下载带有 Git 哈希的目录元数据,文件内容要到第一次读取时,才通过本地缓存拉取。标准的 git 和 repo 命令仍可照常使用。

以 Cuttlefish 模拟器目标为例,一次构建有 192249 个 Ninja 步骤。开发者通常只改 1 到 10 个仓库,即便改的是比较核心的 system/libbase,构建图里仍有 97% 与持续集成已经做过的工作相同。可是按时间戳做增量时,隐藏依赖可能留下过期产物,最后只好清空输出目录重来。

两阶段校验,让本地构建敢复用已有结果

Ninja-go 不再只看文件时间。它先按命令、环境和已声明输入的哈希,去已有构建里查找候选结果;再用这份结果当初实际读过的文件,核对当前文件系统是否一致。如果连未声明的依赖都变了,就拒绝缓存并重新执行。这样即使构建规则不完整,也能保持接近干净构建的正确性。

在同一云网络的 64 核虚拟机上,三次运行的平均值是:按官方文档做部分克隆,检出要 36 分 19 秒;ABFS 在本地缓存为空时是 7.4 秒,缓存已热时是 3.6 秒。完整构建方面,现有流程要 1 小时 20 分 35 秒;本地缓存为空但远端缓存完整时是 2 分 11 秒,本地也有完整缓存时是 1 分 19 秒。同一台机器上可以并排挂载五个发布分支,每个不到 8 秒。Agent 能在 10 秒内检出完整源码树,并在 10 分钟内完成一次完整构建,再把同一修复并行移植到多个版本上验证。Android 17 之前的版本,使用 ABFS 还需要一些补丁。

引用Richard Seroter@rseroter
Android's source code is huge. 1k git repos, 1.62 million files, and it takes 300GB for a built workspace. How did we reduce checkout time from 36 minutes to 8 seconds? Full builds from 80 minutes to 2 minutes? We just open sourced the solution. https://developers.googleblog.com/accelerating-development-for-massive-git-repositories/
在 X 查看被引用的帖子

来源:meng shao · x.com