第23天：预训练——通用知识从哪里来
你有没有想过，当AI回答「地球为什么绕太阳转」时，它是怎么知道这些知识的？今天我们聊一个关键词：预训练。简单说，预训练就是让AI在上岗之前，先读大量的书，把通用知识塞进脑子里。就像一个学生读完了整个图书馆，才能去参加考试。这一节会讲两件事：通用知识到底从哪来，以及训练数据的好坏会怎样影响AI的回答。
一、什么是预训练
预训练是制造大模型的第一步，也是最重要的一步。研究人员会收集海量的文本，比如网页、新闻、百科、书籍、帖子等等，然后用这些文本去「训练」一个神经网络模型。训练的过程可以理解成让模型做无数的填空题：给它半句话，让它猜下一个词是什么。猜对了就加强这个判断，猜错了就修正。重复几万亿次之后，模型就从这些文字里学到了语法、事实、推理方式，甚至人类的常识。这些学到的能力是「通用」的，所以叫通用知识。注意，预训练阶段模型并不知道你将来要问它什么，它只是在拼命读书、积累知识。
二、通用知识藏在训练数据里
训练数据就是AI的「教材」。教材丰富，AI就见多识广；教材单一，AI就会偏执。打个比方，如果一个人只读过武侠小说，你问他历史，他很可能把江湖门派说成历史事件。AI也是这样。如果训练数据里大量都是英文，那么它对中文的理解就会弱一些；如果训练数据里缺少某段时间的新闻，那它对那段时间发生的事就容易胡说。所以，AI的「知识面」几乎完全由训练数据决定。这也是为什么大公司都在拼命清洗和扩充数据——数据质量直接决定模型智商的下限。
三、训练数据如何影响AI的回答
数据影响回答，主要体现在三个层面。第一是「事实层面」：如果教材里写错了，AI也会跟着错，而且会编得特别自信。第二是「风格层面」：教材如果是新闻体，AI回答就会偏正式；如果是论坛口语体，AI回答就会更随意。第三是「价值观层面」：教材里如果某种观点被反复强调，AI就会倾向于认同这种观点，这叫做数据偏见。所以我们和AI对话时，要意识到它的回答带有「教材的影子」。遇到重要信息，最好自己去权威渠道核实，不要完全相信AI的「一家之言」。
四、为什么要理解预训练
理解预训练，可以帮你更好地使用AI。第一，你会更懂得提问：知道AI擅长什么、不擅长什么。第二，你会更懂得判断：不会盲目相信AI的回答，能识别可能的错误。第三，你会更懂得选工具：不同模型背后的训练数据不同，适合的场景也不同。从今天起，当你看到AI给出一个答案时，可以多问一句：它的教材里有没有这部分？它的教材可靠吗？这就是「AI素养」的起点。
停一下，确认你真的懂了
每题只能选择一次，不计分，也不会保存结果。
第 1 题
预训练阶段，模型主要在学习什么？
第 2 题
如果训练数据中某种观点被大量重复，模型会怎样？
第 3 题