eval 是试用期

一个 agent 要被考两场，分属两个阶段。把这两场混成一场，是 eval 上最常见的糊涂。

第一场在受雇之前：通用评分榜，对应候选人在校的测验和统考。它考通用水平，决定的是这个候选人值不值得一纸学历，和任何具体岗位无关。这一场重要，但它考完了，人就毕业了——拿着成绩单去求职，成绩单不等于上岗证。

第二场在入职之后，是这一篇要说的：试用期。人类公司招人都设试用期，正因为学历和排名说明不了岗位胜任。试用期不看在校名次，看的是把人放到真实岗位上、做真实的活，合不合格。eval 该是 agent 的这一场，而不是把第一场的成绩单拿来重念一遍。

试用期考的是岗位，不是名次

把第二场考好，关键是按岗位来设计：用这个岗位的真实任务、真实数据、真实的合格标准去考它，而不是搬一套与岗位无关的通用榜单。一个发票抽取岗的 eval，该考它在真实发票上的抽取准确率和该上报时上不上报，不该考它的通用推理得分。

脱离岗位的 eval 测不出胜任

由此有一条判断：脱离岗位的 eval，测不出一个 agent 好不好，只测得出它的通用段位。

通用段位是选型时的一个输入，但它不是岗位胜任的结论。把通用 eval 的高分当成“这个 agent 能胜任我的岗位”，是在用试用期之前的简历，代替试用期本身。你要建立的，是一套贴着岗位长出来的考核——它考这份活干得怎么样，不考这个候选人在通用题上排第几。