Tag: 测量

    1 note

    ← All tags

    模型没变慢,它不说话了

    > 「差距不在模型之间」系列第二篇:模型没换,换的是它干活的方式;这一篇讲怎么发现换掉了什么。 「这模型最近两周很慢。」有人说这话时,我手上按调用计的每调用延迟(per-call latency)p50 曲线,过去几周基本是平的。人的体感在恶化,机器的读数却纹丝不动。两条曲线同时摆在桌上,排查就从这个分叉点开始。 怀疑最先落在本地代理上,毕竟怀疑自己的代码总是比怀疑上游容易。这台机器用 bun 跑…

    Read note →