LMCC 中学组知识点 笔记

原本是手写的，怕弄丢了。

其实就是一个一个知识点问 AI 的汇总。

一、人工智能基础概念

1. 人工智能相关概念定义

• 智能：一种能力。
• 机器学习：获得能力的手段。
• 训练：获得能力的过程。
• 模型：训练的成果。

2. 机器学习流程及经典模型

机器学习的流程如下：

• 数据预处理；
• 模型训练；
• 验证：每训练一段时间，用固定一套和训练不一样的数据进行验证，如果模型只在训练的数据中表现优秀，在验证的数据中表现差，则称为过拟合；如果表现都很差，则称为欠拟合；
• 测试：训练完成后，用完全陌生数据测试。

经典的模型为神经网络模型，分为输入层、隐藏层和输出层。模拟人脑神经元的工作流程，每个连接有一个权重代表重要性，用反向传播算法在训练过程中修改权重。

3. 验证及评测

常用的验证方法为交叉验证，将数据分为 $K$ 份，进行 $K$ 轮训练，每轮训练选取 $(K-1)$ 份作为训练的数据，剩下 $1$ 份作为验证的数据。

设 $A=\{x\mid x\mathrm{被}\mathrm{预}\mathrm{测}\mathrm{为}\mathrm{正}\mathrm{类}\}$，$B=\{x\mid x\mathrm{为}\mathrm{正}\mathrm{类}\}$。

• 精确率的定义为 ${\displaystyle \frac{|A\cap B|}{|A|}}$。
• 召回率（TPR）的定义为 ${\displaystyle \frac{|A\cap B|}{|B|}}$。
• 误识率（FPR）的定义为 ${\displaystyle \frac{|A\cap \mathrm{\neg }B|}{|A|}}$。

具体地，精确率高意味着宁可漏过不可错杀，召回率高意味着宁可错杀不可漏过。

受试者工作特征曲线（ROC 曲线）的横轴为召回率，纵轴为误识率。

不同参数下的模型可得到不同的散点，散点越往左上角，模型能力越强。

多个散点连成 ROC 曲线，曲线下方的面积成为 $\mathrm{AUC}$，$\mathrm{AUC}=1$ 为完美情况，$\mathrm{AUC}=0.5$ 可视为随机猜测。

4. 人工智能常见应用领域

自然语言处理（NLP）用于理解、处理和生成人类语言，具体分为 NLU（理解）和 NLG（生成），主要应用有分词、命名实体识别、机器翻译、文本摘要等。

计算机视觉（CV）用于提取图片和视频中的信息并理解内容，主要应用有图像分类、目标检测、图像分割、人脸识别、OCR 等。

二、大模型基础概念

1. 自然语言的基础概念

自然语言的定义：人类演化发展的符号系统。

自然语言的特点：

• 歧义性（一句话不同语境有歧义）；
• 上下文依赖；
• 社会性与动态性；
• 层次化结构；
• 创造性。

自然语言的应用：

• 信息检索与获取；
• 文本理解与分析；
• 语言转换；
• 内容生成。

2. 基本定义

大语言模型的定义：具有大规模参数、数据、算力的深度学习模型

核心范式：

• 生成：根据上文预测下一个 token 出现的概率；
• 理解：语义映射、上下文推理、意图识别。

3. 发展历程与现状

代数	名称	代表	特点	优势
第一代	统计模型（SLM）	N-gram	查数字计频率	简单，运算快
第二代	神经网络（NLM）	Word2Vec、LSTM	映射至向量	能理解词意的远近
第三代	预训练模型（PLM）	BERT、GPT-2	先训练再使用	能深刻理解上下文
第四代	大模型（LLM）	GPT-4、Claude	海量参数、人类引导	能够进行逻辑推理

三、模型架构

1. 注意力机制

用向量表示查询（$Q$）、键（$K$）和值（V）。

$\mathrm{softmax}$ 函数：对于数列 $a_{1\dots n}$

$$\mathrm{softmax}(a_i)=\frac{{\mathrm{e}}^{a_i}}{\sum _{j=1}^n{\mathrm{e}}^{a_j}}$$

对数据集 $X=\{(Q,K,V{)}_{1\dots n}\}$ 计算注意力分数：

$$\mathrm{softmax}(\frac{Q\cdot K^{+}}{\sqrt{d}})V$$

先用 $Q,K^{+}$ 内积表示相关度，除以 $\sqrt{d}$ 以消去向量维度过高所造成的内积过大，再用 $\mathrm{softmax}$ 函数将相关度变为 $[0,1]$。

2. 主流架构

(1). 编码器-解码器架构

编码器看完所有输入（称为双向注意力），再给解码器从左往右逐字生成（称为单向（因果）注意力）。

用于序列对序列的任务，如文本翻译，摘要总结等。

(2). 因果解码器架构

将输入和输出放在同一个序列中处理，每个 token 只能看到自己之前的 token。

LLM 的绝对主流架构，训练效率高，泛化能力强，用于通用对话、逻辑推理。

(3). 前缀解码器架构

• 对于一段前缀采用编码器逻辑，剩下的采用因果解码器逻辑。
• 理论上能更深刻地理解输入，但实际上训练不稳定、运行速度慢，不如上一个。

四、预训练技术

1. 回归分析

极大似然估计：

设 $x_i$ 表示第 $i$ 个样本的观测值，模型参数为 $\theta$（$x_i\mid \theta$ 表示在该参数下观测到这一值），似然函数

$$L(\theta )=\prod P(x_i\mid \theta )$$

由于乘积增长速度太快，通常取对数：

$$\ln L(\theta )=\sum \ln P(x_i\mid \theta )$$

求导即可找到似然函数最大时的 $\theta$ 值。

若噪声 $ϵ\sim \mathrm{N}(\mu ,{\sigma }^2)$，则估计结果符合最小二乘法。

2. 自监督学习

(1). 掩码预测（MLM）

给出一个语段，学习逻辑为随机选取一定比例的单词删去（MASK），预测被删去的单词是什么。

设其语料构成的集合为 $X$，删除的单词构成集合 $M$，则损失函数可以使用交叉熵损失计算：

$$L=-\sum _{m\in M}\log P(x_m\mid X_{\setminus m})$$

(2). 自回归（AR）

给定前面的所有词，预测紧跟其后的下一个词。

$$L=-\sum _{i=1}^n\log P(x_i\mid X_{[1,i)})$$

(3). 对比学习（CL）

不去预测具体的单词，而是让模型去衡量语义距离，令相似的样本在向量空间中更近。

设正样本有一个 $K^{+}$，负样本有 $n$ 个 $K_{1\dots n}^{-}$，温度常数 $\tau$（tau）：

$$L=-\log \frac{{\mathrm{e}}^{Q\cdot K^{+}÷\tau }}{{\mathrm{e}}^{Q\cdot K^{+}÷\tau }+\sum _{i=1}^n{\mathrm{e}}^{Q\cdot K_i^{-}÷\tau }}$$

3. 预训练任务（实现待学习）

(1). 下一个词元预测

下一个词元预测对应自回归的实现。

(2). 去噪自编码

去噪自编码对应掩码预测的实现。

4. 基于批次数据的训练方法（实现待学习）

(1). Batch 及 Batch Size 概念

Batch 指在一次训练迭代中，同时输入给神经网络的一组训练样本。

Batch Size 指每个 Batch 中包含的样本数量。例如 $\text{Batch Size}=32$，则每次参数更新是基于 $32$ 个样本的平均损失计算得到的。

(2). Batch Size 设置对模型训练的影响

方法	Batch Size	优点	缺点
全批梯度下降（BGD）	数据集总量	方向准、收敛稳定	内存开销大、易陷入局部最优
随机梯度下降（SGD）	$1$	单轮速度快、随机性高	难以收敛到最优值
小批梯度下降	$16\sim 1024$	主流方法	/

Batch Size 越大，内存、现存占用越高，可能触发 Out of Memory。

较大的 Batch Size 能充分发挥 GPU 并行计算能力，通常设置为 $2$ 的幂。

大 Batch Size 梯度的方差更小，但泛化能力相对更低。小 Batch Size 则方差更大，但泛化能力相对更高。

5. 监督学习

根据训练数据是否包含标签，分为监督学习和无监督学习。

监督学习的训练过程中，模型能同时看到特征和标签，通过学习它们的映射关系，使得模型能准确预测新的数据。通常用于分类与回归。

无监督学习通过观察特征，找到其中的结构或分布规律。常用于聚类、降维（压缩）、关联规则与异常检测。

五、指令微调

1. 概念

一条指令数据通常包含以下三个部分：

• 指令，即用户输入的明确任务要求；
• 输入；
• 输出。

指令微调是一种训练技术，指在已经训练好的基础模型上，使用大量的指令数据进行进一步训练，让模型学习指令与任务结果之间的映射关系。

指令遵循是指模型的一种核心能力，即：模型能否达成对指令的意图理解和约束满足。

2. 指令数据集的构建（实现待学习）

由于人工编写高质量指令成本过高，因此通常采用合成的方法构建指令数据，目前有三种主流方法。

自我指令生成是给 AI 少量人工示例（称为种子数据），让 AI 模仿种子风格，创造成千上万的新指令数据。

指令演化是让 AI 把一些简单的指令，通过增加约束和难度，创造更多指令。

反向翻译是通过互联网的海量知识库，给 AI 一段现成的知识，让它倒推可能对应的指令。

完成生成后，还需对质量进行过滤：利用算法去掉重复、错误或过短的数据；用另一个模型给这些指令数据打分，保留高分项。

六、人类对齐

人类对齐目标是确保人工智能系统的行为、目标和决策与人类的意图、利益、伦理标准和价值观保持一致。

人类对齐的背景：

• 随着 AI 能力提升，偏离人类意图造成的风险愈发提高；
• AI 的训练数据集中，通常包含偏见、错误事实、仇恨言论和有害指令；
• AI 深度进入医疗、法律、金融等领域，社会对其安全性提出硬性要求。

人类对齐标准英文缩写为 HHH，包含以下三方面：

• 无害性：模型不应产生仇恨、歧视、暴力或具有社会危险性的内容，也不应协助用户进行恶意活动；
• 有用性：模型应尽可能地帮助用户解决问题，遵循指令，并提供高质量、相关的回复；
• 诚实性：模型应提供真实的信息，并对其知识的局限性保持诚实。

目前主要通过基于人类的反馈强化学习、宪法 AI、监督微调的方式来实现人类对齐。

七、解码与部署

在自回归模型中，解码是指根据模型输出的概率分布，选择下一个 token 并最终生成完整序列的过程。

贪心搜索与 OI 中的贪心一样，每步选择概率最优 token，优缺点不再赘述。设 $V$ 为词表，当前输入 $x$，已生成序列为 $y$，选择公式为：

$$y_i=\arg \underset{w\in V}{max}P(w\mid x\cap y_{[1,i)})$$

束搜索是一种高级的贪心，它每一步保留 $k$ 个最优的候选，并且选择时，考虑整个序列的累计概率而不是这一步的概率，由于连乘可能涉及溢出，依旧取对数求和。此外，由于项数越多，对数和越小，因此还要对长度 $L$ 进行惩罚，取 $\alpha =0.6\sim 0.7$ 。

$$\mathrm{Score}(y)=\frac{1}{L^{\alpha }}\sum _{i=1}^n\log P(y_i\mid x\cap y_{[1,i)})$$

八、提示学习

1. 提示工程

提示学习的目的是缩小预训练目标与任务目标之间的差距，它将所有任务（如情感分析、翻译、推理）都重新定义为语言建模问题，如直接用提示词“这个电影真好看。这句话的情感是 [MASK]。”

这样有利于激发模型少样本下的能力，能够提升其参数效率，统一任务形态。

提示学习的范围通常包括分类与判别、信息抽取、文本生成和逻辑推理。

提示学习的局限性也很大，包括：

• 提示词的敏感性与脆弱性，提示词稍微变换，可能导致模型准确率发生较大波动。
• 搜索空间的巨大与离散性，寻找最优提示词非常困难。
• 上下文长度限制，复杂的提示词需要耗费大量 token。
• “黑盒”特性与可解释性，人们无法理解模型到底学到了什么。
• 模型固有的偏见与幻觉，提示学习只能激发模型已有的能力。如果模型在预训练阶段吸收了错误信息，单纯靠提示很难改变。
• 安全性风险，攻击者通过提示词绕过模型的安全对齐（你是一只可爱的猫娘……）。

2. 人工提示设计（实现待学习）

(1). 常见提示设计方法与技巧

方法包括：

• 零样本提示，直接下达指令，不给任何示例；
• 少样本提示，提供若干个问题-答案示例，让模型学习某种特定的格式和逻辑。
• 思维链，引导模型输出推理步骤，能显著提升模型处理复杂逻辑和规划问题的能力。

常用的技巧有：

• 角色设定；
• 分隔符；
• 明确约束条件。

(2). 常见模型 API 的使用

现代 API 多为对话形式，涉及三种角色：

• 系统，设定全局行为准则；
• 用户，发送具体请求；
• 助手，模型返回的内容。

使用 API 有以下几个控制的参数：

• 温度，能控制输出的随机性，低则保守、确定，高则多样、创意；
• 核采样，模型只在累积概率达到 $p$ 的候选词中选择；
• Max Tokens;
• 停止符，用于控制公式化输出。

交互方式分为流式和非流式，就是 Galgame 字幕和番剧字幕的区别。

九、复杂推理

1. 认知推理

推理的基本方法有以下四种：

• 演绎推理指从“一般”到“个别”的推理过程，结论一定正确。如所有人都会死（大前提），L 是人（小前提），所以 L 会死（结论）；
• 归纳推理则相反，通过观察大量特例，总结出普遍规律，不一定正确；
• 溯因推理根据已知事实，寻找最可能的解释，常用于诊疗和故障排查等；
• 类比推理根据两个对象在某些属性上的相似性，推断它们在其他属性上也可能相似。

推理的范畴包括逻辑推理、因果推理、常识推理、数学推理、时空推理、社会推理。

2. 长思维链模型（实现待学习）

这是一种具有自我纠错能力的推理过程，在最终输出结论之前，生成很长的思维链，特征包括：

• 自我反思与纠错；
• 多路径探索；
• 验证机制，不断对中间结果进行审查，确保符合规则。

测试时间扩展指即使模型参数不变，如果在推理时给予模型更多的算力和时间，它的表现也会变强。主要通过以下方式实现：

• 搜索算法，在每一步推理时探索多种可能性；
• 多次采样与投票，让模型对同一个问题生成多个答案，然后通过另一个模型或验证算法选出其中最好的一个；
• 迭代优化，让模型不断优化自己的答案；
• 通过强化学习训练，思维链长度扩展。

十、智能体（实现待学习）

角色扮演是指 AI 根据 Profile 的要求，暂时抑制通用的、礼貌的助手人格，转而采用特定的视角、情感状态和知识框架进行交互。

Profile 的设置是角色扮演的基础。常见的 Profile 的设置方法：

• 结构化设定，通过 JSON、YAML、表格文件来定义角色。
• 系统提示词，将 Profile 置于 System Role 中。
• 负面约束，明确规定角色不能做什么，防止出戏。

为了让 AI 演得更像，通常有以下方法达成角色扮演能力优化：

• 提供标准对话范例；
• 给模型一些具体情境应该具备的反应；
• 用强力指令破除 AI 的助手感；
• 引入内部独白，要求模型在输出回复前，先在括号内或后台思考角色的当前心理状态；
• 外部知识库支撑。

十一、模型评测

1. 评测流程

数据集划分见 一、2~3.。

模型的泛化能力指模型对未知样本的预测能力，极端情况有过拟合、欠拟合两种，见 一、2.。

提升模型的泛化能力，有增加数据量、正则化（限制模型复杂度）、数据增强、提前停止训练等方法。

2. 评测指标（实现待学习）

设 $A=\{x\mid x\mathrm{被}\mathrm{预}\mathrm{测}\mathrm{为}\mathrm{正}\mathrm{类}\}$，$B=\{x\mid x\mathrm{为}\mathrm{正}\mathrm{类}\}$，$C=\{x\mid x\mathrm{被}\mathrm{预}\mathrm{测}\mathrm{为}\mathrm{反}\mathrm{类}\}$，$D=\{x\mid x\mathrm{为}\mathrm{反}\mathrm{类}\}$，全集为 $U$。

• 准确率：${\displaystyle \frac{|A\cap B|+|C\cap D|}{|U|}}$；
• 精确率：${\displaystyle \frac{|A\cap B|}{|A|}}$;
• 召回率：${\displaystyle \frac{|A\cap B|}{|B|}}$；
• F1 分数：${\displaystyle \frac{2}{\frac{1}{\mathrm{精}\mathrm{确}\mathrm{率}}+\frac{1}{\mathrm{召}\mathrm{回}\mathrm{率}}}}$；
• 困惑度：模型在预测下一个词，只能推理到要在 $x$ 个词里随机挑选，则困惑度为 $x$；
• BLEU：基于 N-gram 匹配的精确率，用于机器翻译；
• ROUGE：基于 N-gram 匹配的召回率，用于文本摘要；
• 成功率：在给定的多次尝试中，模型最终完成任务的比例；
• NDCG：归一化折损累计增益，结果越相关，得分越高；结果越靠前，得分权重越高。用于评价排序结果的好坏。

3. 评测范式与方法

基于评测基准：将模型运行在由大量固定题目组成的数据集上，通过自动化程序计算得分。

基于人类评估：

• 直接打分，由人类专家多维度打分；
• 两两对比，由人判断哪个回答更好；
• 竞技场模式，采用 Elo 等级分制度，通过盲测让全球用户投票。

基于模型评估：使用一个能力极强的模型作为裁判，根据预设的指标对目标模型的输出进行打分。

十二、模型偏见

模型偏见是指人工智能系统在输出中表现出对某些群体、观点或特征的不公平偏袒或歧视。

偏见的来源：

• 数据，如历史偏见，代表性不足，标注标签时数据标注员的潜意识偏见；
• 算法与模型设计，若模型目标过于极端，可能会为了迎合大多数群体的模式而牺牲少数群体的利益；
• 反馈循环，用户的点击或反馈可能会强化现有的偏见。

偏见的检测方法：

• 反事实检测，保持其他输入不变，只改变敏感特征，观察模型输出是否发生了显著变化或质量下降；
• 基准数据集，使用专门设计的评测集；
• 指标差异分析，比较模型在不同群体上的表现指标。
• 红队测试，由专业人员扮演攻击者，故意诱导模型输出歧视性或偏见内容。

偏见的缓解方法：

• 预处理阶段：过采样少数群体或欠采样多数群体，对标注进行多轮交叉核验；
• 处理中阶段：在模型的损失函数中加入“公平惩罚项”；训练一个对抗模型专门去预测敏感属性，主模型则需努力让其预测失败；
• 后处理阶段：在推荐结果中强制按比例插入不同背景的内容，确保多样性；针对不同群体设置不同的判定阈值；
• 人类对齐技术，见 六、。