预训练是通识教育

候选人的教育分两段。第一段是预训练。

预训练让模型读过海量文本，从中长出语言能力、世界知识和基本推理能力。这一段不针对任何岗位，给的是底层素质。它对应从识字到大学通识教育那一整段——教的不是某个职业怎么做，是一个受过教育的人该有的通用能力。

通识决定上限，不决定胜任

通识教育的产物，是能力的潜力，不是岗位的胜任。

一个读完通识课程的人，有学任何专业的底子，但他此刻还不会做你公司的任何一件具体的活。预训练给模型的也是这种东西：知识面足够广，语言和推理能力足够强，能力的上限和广度因此被撑起来。但“它会不会做你的活”，预训练答不了。那要靠后面的职业教育和上岗培训。

这里有个常见的误用：把通识当专才。指望预训练的知识覆盖你的专有领域、你公司的内部规范、你客户的具体情况，然后发现模型一本正经地说错。这不是模型变笨了，是你拿通识教育的产物去要求专业岗位的产出。通识广，但浅；它知道世界大概是怎么回事，不知道你这一摊具体是怎么回事。

模型作为概率组件，输出为什么天然带不确定性，是模型层的问题（见第一本）。这里只取一个角度：预训练交付的是一个“有潜力的大脑”，还不是“一个可雇佣的人”。

把大脑变成可雇佣的人，是第二段教育的事。