第 25 天：对齐与人类反馈
今天我们要聊一个听起来很酷的话题：如何让 AI 学会「说人话」。想象你点了一杯奶茶，店员却给你端来一杯咖啡——虽然都是饮料，但不是你要的。AI 也常常这样：它很努力地回答，却不是我们想要的风格或内容。这一天，我们就来解决这个问题。
什么是对齐
对齐（Alignment）的英文是「对齐、校准」的意思，在这里指让 AI 的回答和人类的需求、价值观保持一致。就像你请朋友帮忙买水果，理想情况是他买你爱吃的、熟的、甜的；最怕他买回来一堆生的、酸的——这就是没对齐。 AI 训练时看过海量数据，里面什么风格都有：有学术论文风的、有网络段子风的、也有回答错误但语气自信的。如果没有「对齐」这一步，AI 就会把这些风格混在一起输出，让你哭笑不得。 对齐的目标不是限制 AI，而是帮它理解「在某个场景下，人类最希望听到什么样的回答」。比如问医疗问题，AI 应该谨慎、引用可靠来源；问生活琐事，则可以轻松幽默。 一句话总结：对齐就是给 AI 装一个「读心术」，让它猜对人类想要什么。
什么是人类反馈
人类反馈（Human Feedback）就是让人来当「评委」，给 AI 的不同回答打分。比如同一个问题，AI 生成两个答案 A 和 B，评委觉得 A 更好，就标记 A 胜出。这些判断会收集成数据，用来训练模型。 为什么要人来做？因为「好不好」很难用规则写死。你没办法写一条规则说「回答必须有三个感叹号、不能出现『可能』这个词」，但人可以一眼看出哪个回答更贴心、更准确、更有用。 举个生活例子：你让两个朋友帮你写请假条。朋友甲写「因事请假一天」，朋友乙写「因昨晚熬夜看球导致身体不适需休养一天，特此请假」。你可能更喜欢甲的简洁正式——这就是你的「人类反馈」。 反馈的形式也多样：打分（1 到 5 分）、排序（A 比 B 好）、直接改写，甚至只是「点赞」或「踩一下」。这些数据汇聚起来，就成了教 AI 理解人类偏好的宝贵教材。
偏好数据是怎么炼成的
偏好数据（Preference Data）就是上面那些人类判断的集合。它是「对齐」训练的核心燃料。可以把它想象成一本厚厚的「参考答案」，但不是标准答案，而是「人类更偏好什么」的记录。 收集过程通常有三步： 1. 让 AI 针对同一问题生成多个不同回答。 2. 请人类标注员（或真实用户）对比这些回答，选出更好的。 3. 把这些「对比结果」整理成数据对，比如「回答 A 比回答 B 更好」。 这一步很像美食比赛：厨师（AI）做几道菜，评委（人类）品尝后投票。这些投票结果会告诉厨师下次怎么改进。 有了偏好数据，就可以训练一个「奖励模型」（Reward Model）。奖励模型就像一个自动化的评委，它学会模拟人类的喜好，快速给 AI 回答打分。这样 AI 就能在生成时实时知道「这句话人类会不会喜欢」，并据此调整。 值得注意的是，偏好数据里藏着的价值观：标注员的背景、文化、立场都会影响判断。因此在构建数据集时，往往需要多样化的标注员、严格的质检、以及对边缘案例的反复讨论。
为什么对齐如此重要
AI 能力越强，越要谨慎。就像汽车马力越大，刹车和方向盘就越重要。没有对齐的强 AI，可能输出有害、偏见、误导性的内容，即便它「技术上」答对了问题。 对齐让 AI 做到三件事： 一是「有用」，真正解决用户问题； 二是「诚实」，不知道就说不知道，不编造信息； 三是「无害」，避免冒犯、歧视、危险建议。 这也叫「HHH 原则」——Helpful（有用）、Honest（诚实）、Harmless（无害）。 但对齐不是万能解药。它更像持续的过程：今天对齐了明天的标准可能又变；不同文化对「无害」的定义也不同。因此 AI 公司通常会不断收集新反馈、更新模型，让对齐成为一场永不停歇的「校准仪式」。 作为用户，你的每一次点赞、点踩、重新提问，其实都在参与 AI 的对齐过程。你不只是使用者，也是「民间评委」。
停一下，确认你真的懂了
每题只能选择一次，不计分，也不会保存结果。
第 1 题
对齐（Alignment）在 AI 中的主要目的是什么？
第 2 题
为什么需要「人类反馈」来训练 AI？
第 3 题