Skip to content

第一章 认识论:大模型的本质与边界

在将大模型作为软件组件使用之前,必须先理解它到底是什么。本章借助计算理论和语言哲学来理解它,不涉及机器学习的参数、损失函数、训练数据。

这一章是全书的哲学地基。后续每一个工程决策——prompt 怎么设计、类型系统怎么用、架构怎么选、测试怎么做——都从本章确立的认识论出发。如果对大模型的本质认知是错的,后续再精巧的工程方法也立不住。

文章

  • 一次一个 token -- 自回归生成的机制及其工程影响。序列性、局部性、采样策略、编造、prompt 敏感性、生成与评估的不可兼得。自然语言接口重新引入了歧义,解法是外层模糊、内层精确。
  • 没有确定性的软件工程 -- 六十年的确定性假设被打破之后,哪些工程原则失效了,哪些变得更重要了。概率性的四个层级,级联可靠性衰减,能力边界,混合架构的分工原则。