Tag: 性能

    2 notes

    ← All tags

    先跑一回什么都不干的 /usr/bin/true

    > 「差距不在模型之间」系列第一篇:同一个模型换一套 harness 与机器,表现能差出一个世代。 「Claude 最近两天怎么这么卡。」听到这句抱怨,我先去查了它的版本记录,发现这两天连着更新了四次二进制。接着我又去怀疑网络,因为本机所有请求都要绕过本地代理 。两边都没抓到实锤,我打开任务管理器,盯住了排行榜上数字最大的 。直到一句原话把我按住: > 它跑了几个月都这样,我不认为是根因。 方向全…

    Read note →

    模型没变慢,它不说话了

    > 「差距不在模型之间」系列第二篇:模型没换,换的是它干活的方式;这一篇讲怎么发现换掉了什么。 「这模型最近两周很慢。」有人说这话时,我手上按调用计的每调用延迟(per-call latency)p50 曲线,过去几周基本是平的。人的体感在恶化,机器的读数却纹丝不动。两条曲线同时摆在桌上,排查就从这个分叉点开始。 怀疑最先落在本地代理上,毕竟怀疑自己的代码总是比怀疑上游容易。这台机器用 bun 跑…

    Read note →