评测集
带充分上下文的私有评测集。技术会变,靠它快速验证新技术对业务有没有帮助。
当前判断(截至 2026-09-21)
- 技术一直在变。要快速验证它对业务有没有帮助,靠一套带充分上下文的私有评测集。见 [[eval-set-outlasts-the-model]]。
- 公开榜和厂商工作流评测量的是别人的题。自己的业务上下文只有自己有。
- 现场:20 条钉钉入站消息 × 3,半天之内对入站去向这一格给出准、稳、便宜的读数。见 [[eval-set-outlasts-the-model]]。
- 与 [[ai-driven-workflow]] 的分工:那篇说写下来的是怎么走加怎么算走完;本页握住「算走完」用的那套私有题。
来自哪些文章
- [[eval-set-outlasts-the-model]]