2026 年 9 月 20 日晚上，一个做决策的新模型刚出来。接上 OpenRouter，很快。真正费神的是下一句：它对我的业务有没有帮助。
别人的榜看不懂这件事。我自己有一套题：20 条真实钉钉消息，配上这名员工当时能看见的上下文。第二天拿新旧两个模型各跑三遍。要判的只有一件事：这句话进来，下一步去哪。
我认为，技术一直在变。要快速验证它对业务有没有帮助，靠一套带充分上下文的私有评测集。
技术变得很快，业务题还是那些
企业要的还是经营、问数、项目管理。落到我这边，数字员工每天接钉钉里那句话：开工、接着做、追问、报进度、回一句、说我会什么、或者拒绝。
新模型、新 Harness（把模型、工具、入口装配起来的那一层）会不停来。用 Coding Agent 把它们接进链路，很快。接得快，你仍然不知道它帮上忙了没有。
别人的分数，看不懂你的业务
这个模型叫 Jev。它吃进一段状态，吐出带概率的选择题，不写长文。官网上的倍数，量的是他们自己的工作流。SWE-bench 量的是另一类编程题。
我要验的是：钉钉单聊来了一句「给我一个纯净的可以转发给客户的版本」，这名员工该新建，还是接着改刚那张卡。只看当前这句，像新需求。叠上已经在做的事项、刚才那串对话，该走接着做。这层上下文只有我这边有。公开榜里没有。
所以这套题必须是私有的，而且上下文要够。当前这句话、这人是谁、单聊还是群、这件事是不是已经在做、刚才聊到哪、你会不会这手活、有没有说过必须遵守的规矩。每一层只回答一类问题。少一层，题就变了。
上一篇《协作流程不写下来，组织看不见判断》把流程写下来的两样说成：怎么走，怎么算走完。这篇说的是后一样：算走完，靠你自己的私有评测集。
有了这套题，Jev 半天就能验完
对照是原来在用的 qwen3.8-max。同一句话、同一份上下文，各跑三次。去向一共七个，本批没有「报记忆」和「忽略」。
正确率：对照 53/60（88%），Jev 48/60（80%）。同一条跑三次会不会改口：Jev 20/20 条一致，对照 19/20。账单：对照按刊例大约 0.26 美元，Jev 按 OpenRouter 实账单 0.011 美元，大约二十三分之一。
耗时中位数：对照 0.93 秒，Jev 1.25 秒。一边公网一边内网，这格我不当成结论。
还偏的也写在卷子上。有人说「我再催一下两个同事」，该回一句，两边都当成去干活。有人让它打印机器内存，Jev 拒了，对照却去开工。
半天之内，我对这格业务心里有数了：更便宜、更稳、对的条数少一点。换不换是下一步。先有的是「它帮没帮上忙」的读数。没有这 20 条，这些话都只是感觉。
有了尺子，新模型先过一轮
别急着换。先拿你自己的私有评测集，过一轮。
没有的话，就从聊天记录里抄二十句真的进来过的话，别自己编。每一句旁边写上：换作成年人坐在工位上，下一步该干什么。我这边就七个选项：开工、接着做、追问、报进度、回一句、说我会什么、拒绝。上下文也要跟着固定：这一秒说了什么、这人是谁、单聊还是群、这件事是不是已经在做、刚才聊到哪、你会不会这手活、有没有说过必须遵守的规矩。少一层，题就变了。
跑之前想好你要看什么分。我看对了几条、会不会改口、账单多贵。这三样对应业务上的准、稳、便宜。官网上那些倍数，量的是他们自己的工作流。
新旧两个模型，同一套私有评测集，各跑三遍。错的摊开看。看完再谈换。
边界
这套私有评测只有 20 条，只覆盖入站去向这一格，一个岗位。换一个业务要另出一套。
耗时两边网络不一样。成本一边刊例、一边实账单。
TypeSafe 官网上那些倍数，是他们的工作流评测，不是这 20 条。换不换模型，这篇不下决定。
Case 怎么写、字段怎么留、失败怎么归因，是另一篇文章。
要握住的是私有评测集
技术还会变，接上新东西很快。要快速知道它对你的业务有没有帮助，靠一套带充分上下文的私有评测集。新模型来了，先用它过一轮。
参考
- Introducing System One Models & Jev（查阅 2026-09-21）— Jev 吃进状态、吐出结构化决策。
- TypeSafe SDK on OpenRouter（查阅 2026-09-21）— 这次对照经 OpenRouter 调用。
- SWE-bench（查阅 2026-09-21）— 公开榜量的是模型在那类任务上通不通。
- 协作流程不写下来，组织看不见判断（查阅 2026-09-21）— 写下来的两样里，有一样是怎么算走完。
