从 push 到评审结论:六秒里发生了什么
rs 的评审常在 6–9 秒内落到 PR 上。拆开看,这段里有四步流水线、一次并行的团队评审,和最近为了看清“慢在哪”新埋的每一毫秒。
四步流水线
评审是事件驱动的,没有轮询。PR 打开或有新提交,webhook 把事件推给 rs;它先检出这次 PR 的代码、算出改动面,然后交给 AI 逐文件评审;团队模式下,质量、安全、性能等 6 个视角并行开工会,最后由一个总评审员把意见综合成一句明确的结论,写回 PR——可以合并就明说可以合并,有问题就指出在哪一行。
时间真正花在哪
排除检出和写回这两头,大头是模型的首字延迟(TTFT,time to first token)。评审员每次都要读完整个 PR 的改动和相关代码,长上下文的 prefill 占了等待的主要部分;团队模式下 6 场会话并行,墙钟取决于最慢的一支,综合评审还要再吃一次首字。
所以压延迟的第一步不是猜测,是测量。
让每一毫秒可见
我们刚合入了一个埋点:每一次模型调用,从请求发出到第一个有效流式分块的时间、到最终响应的完整时延,逐调用记录、按入口和模型分组落库。整场还取“最早发起那一次”的首字延迟作为延迟下界——那才是用户真正在等的时间。
顺手做了处基础切换:引擎从非流式改成流式。partial 分块不改变评审结果,但它让“第一秒发生了什么”从体感变成数字——首字慢是慢在网络、慢在排队,还是慢在 prefill,数据会说话。
评审员先评审了我们自己
这个埋点改动的第一轮评审就被打回(CANNOT MERGE):生产写入路径漏映射了三个时延字段——所有测试全绿,但唯一落库的那条路会把整半边遥测写成 0。回归测试从自建的数据出发,恰好绕过了生产胶水;第二轮确认修复后,评审才给出 CAN MERGE。
一个评 PR 的工具,仓库自己就是它的第一个用户——这大概是对它最诚实的测试。
延迟的另一半手段是少做:第二次 push 起,评审员记得上一轮说过什么,只重点看新改动。更快,也更便宜。