第19天:参数与权重——AI模型到底『记住』了什么
今天我们用一个简单的生活比喻来理解AI模型的『参数』和『权重』。想象你养了一只鹦鹉,它能模仿你说话。但它到底是怎么『学会』说『你好』的?答案就藏在参数和权重里。模型之所以能回答问题、翻译语言、识别图片,本质上是因为它把世界上很多规律压缩成了几百万、几十亿个数字。这节课会讲这些数字保存了什么,以及为什么『数字多』不等于『什么都懂』。
1. 参数像一本『使用说明书』
你可以把AI模型想象成一台非常复杂的机器。当你问它问题时,它会根据输入的文字,在内部查找某些数值,然后组合起来给出回答。这些数值就叫『参数』(Parameter)。参数保存在哪里?保存在文件里。这个文件就像是模型的使用说明书,里面记录了所有它『学到』的东西。比如,你教一个小朋友认『猫』和『狗』,他脑子里会形成一个判断规则:尖耳朵、短鼻子的是『猫』;耷耳朵、长嘴的是『狗』。模型也是一样的道理,只不过它把这种判断规则变成了几百万个具体的数字。比如模型中可能有这样一个数字:0.82,这个数字就代表『图片中出现尖耳朵时,是猫的可能性是82%』。所有的参数加在一起,就构成了模型的能力基础。注意:权重(Weight)和参数(Param)在日常里经常混着叫,特指『型号』里那些数字。一般参数有几个、几十个、几百个、几百万、几十亿个,差距巨大。一个模型的『参数量』就像是大脑中的『神经连接数』,通常连接越多,能处理的事情就越复杂。
2. 权重决定谁更重要
为什么模型能分清『苹果』和『橘子』?靠的是不同的『权重』(Weight)。『权重』就是这些参数具体为某个特征『打分』的重要性高低。举个例子:如果你问模型:『这种水果是苹果还是橘子?』。模型不会只看一个特征,它会同时考虑很多:颜色(红/黄/橙)、形状(圆/椭圆)、口感提示(脆/软)等。在模型内部,『颜色』这个特征可能有一个权重:0.4,表示颜色有40%的话语权;‘形状’的权重可能是0.5,更重要一点;‘口感’的权重是0.1,不是决定性的。当模型看到一个红色圆形的输入,它会把颜色得分乘以0.4,形状得分乘以0.5,口感得分乘以0.1,然后把三个分数加起来,得到一个总分。总分高的是『苹果』,总分低的是『橘子』。这就是权重的工作方式。注意:『权重』和『参数』经常混着用,但在严格的技术语境里:『权重』特指模型中『乘以输入的数字』;『偏置』(Bias)是另一种参数,是额外加上去的偏移量。两者合起来才叫『参数』。
3. 规模大不一定什么都懂
很多同学以为:模型参数越多,就越聪明。这话只对了一半。参数多确实能记住更多模式,比如一个700亿参数的模型,比一个70亿参数的模型能处理更复杂的语言。但参数多不等于『知识多』。打个比方:你背了一本字典,不代表你能写出好作文。模型也一样,它的参数里存的是『语言规律』,比如『太阳』后面常跟『升起』,但它并不真的『知道』太阳是什么。它存的是统计规律,不是真正的知识。注意一个重要区别:参数多 vs 训练数据多。如果一个模型参数很多,但训练时只看过医疗类的文章,那它医疗问题答得好,但问你『怎么做番茄炒蛋』它就懵了。反过来,如果参数不多,但训练数据又广又好,它也可能很实用。所以衡量一个模型的能力,至少要看两个东西:参数量(它有多『大』)和训练数据(它看过什么、看过多少)。现在最前沿的模型有几万亿个参数,但它们的聪明程度依然有边界——比如不能做精确的数学计算、不知道最近发生的事、会一本正经地胡说八道(业内叫『幻觉』)。这些都是参数的局限性带来的。
4. 一句话总结
记住三件事:第一,参数就是模型文件里那些数字,它们是模型能力的来源;第二,权重是参数中的一种,表示某个特征的重要性;第三,参数多不代表什么都懂,还要看训练数据和任务匹配。下节课我们会讲『什么是上下文窗口』,理解模型一次能『看』多少文字。
停一下,确认你真的懂了
每题只能选择一次,不计分,也不会保存结果。
第 1 题
模型中的『参数』最本质上是用来做什么的?
第 2 题
下面关于『权重』的说法,哪一个是对的?
第 3 题