Meta开发System 2蒸馏技术,Llama 2对话模型任务准确率接近100%

文章正文
发布时间:2024-07-19 20:22

研究者表示,如果 Sytem 2 蒸馏可以成为未来持续学习 AI 系统的重要特征,则可以进一步提升 System 2 表现不那么好的推理任务的性能。

谈到大语言模型(LLM)的策略,一般来说有两种,一种是即时的 System 1(快速反应),另一种是 System 2(慢速思考)。

其中 System 2 推理倾向于深思熟虑的思维,生成中间思维允许模型(或人类)进行推理和规划,以便成功完成任务或响应指令。在 System 2 推理中,需要付出努力的心理活动,尤其是在 System 1(更自动化思维)可能出错的情况下。

因此,System 1 被定义为 Transformer 的应用,可以根据输入直接生成响应,而无需生成中间 token。Sytem 2 被定义为生成中间 token 的任何方法,包括执行搜索或多次提示然后最终生成响应的方法。

业界已经提出了一系列相关的 System 2 技术,包括思维链、思维树、思维图、分支解决合并、System 2 Attention、Rephrase and Respond (RaR) 等。得益于这种明确的推理,许多方法都显示出更准确的结果, 但这样做通常会带来更高的推理成本和响应延迟。因此,许多此类方法未在生产系统中使用,而大多使用了 System 1。

对于人类来说, 学习将技能从深思熟虑(System 2)转移到自动(System 1)的过程在心理学中被称为自动性,以及程序记忆的使用。例如,第一次开车上班时,人们通常会花费有意识的努力来计划和做出到达目的地的决定。而在驾驶员重复这条路线后,驾驶过程就会「编译」到潜意识中。同样,网球等运动可以成为「第二天性」。

在本文中,来自 Meta FAIR 的研究者探索了一种类似的 AI 模型方法。该方法在给定一组未标记示例的情况下以无监督的方式执行编译,被称为 System 2 蒸馏。对于每个示例,他们应用给定的 System 2 方法,然后以无监督的方式测量预测的质量。

例如对于具有唯一答案的任务,研究者应用自洽性(self-consistency)并多次进行采样。对于 System 2 足够一致的示例,他们假设应该蒸馏此结果,并将其添加到蒸馏池中。然后对 System 1 进行微调,以匹配 System 2 方法对收集的示例池的预测,但不生成中间步骤。下图 1 说明了将 System 2 蒸馏到 System 1 的整体过程。

研究者对 4 种不同的 System 2 LLM 方法和 5 种不同的任务进行了实验。结果发现,本文方法可以在各种设置中将 System 2 推理蒸馏回 System 1 中,有时甚至比 System 2 教师的结果更好。此外,这些预测现在只需花费计算成本的一小部分即可产生。

例如,他们发现成功的蒸馏适用于处理有偏见的意见或不相关信息的任务(System 2 Attention)、澄清和改进某些推理任务中的响应(RaR)以及 LLM 的细粒度评估(分支 - 解决 - 合并)。

不过,并非所有的任务都可以蒸馏到 System 1 中,尤其是需要思维链的复杂数学推理任务。这也反映在人类身上,如果没有深思熟虑的 System 2 推理,人类就无法执行某些任务。

论文地址:https://arxiv.org/pdf/2407.06023v2

将 System 2 蒸馏回 System 1

设置:System 1 和 System 2 模型

给定一个输入 x,研究者考虑设置一个单一模型,在他们的例子中是一个大语言模型 (LLM),它能够实现两种响应模式:

System 1:直接生成输出 y。这类方法通过转发(forwarding)底层自回归神经网络 (Transformer) 的各层来生成输出标记来完成。

System 2。这类方法使用底层 Transformer 在生成最终响应 token 之前生成任何类型的中间输出标记 z,可能包括多次调用(提示)。

从形式上,研究者将 System 2 模型 S_II 视为一个函数,它接受 LLM p_θ 和输入 x,并且可以重复调用 LLM 以使用特定算法生成中间标记 z,然后返回输出 y:

System 2 方法可能涉及多个提示、分支、迭代和搜索,同时使用 LLM 生成中间结果以供进一步处理。相比之下,System 1 模型仅考虑原始输入 x 并直接调用 LLM pθ 来生成输出 y:

方法:System 2 蒸馏

本文方法的第一步是使用 System 2 模型对未标记的输入 X 生成响应:

然后,这些响应 y^i_S_II 可直接用作 System 2 蒸馏目标,以微调 System 1 模型。但是,它们容易受到噪声的影响:其中一些响应可能是高质量的,而另一些可能是低质量或不正确的。对于涉及简短响应(通常具有唯一正确(但未知)的答案)的简短问答和推理任务,研究者考虑采用无监督管理步骤来尝试提高训练数据质量。他们考虑了以下两种依赖于自洽性标准的变体:

输出的自洽性:对 S_II (x^i ; p_θ) 进行总共 N 次采样,并接受多数投票响应;如果没有多数投票获胜者,则丢弃该示例。

输入扰动下的自洽性:以输出不变的方式扰动输入 x^i,例如改变提示中多项选择题的顺序,并计算每次扰动的 S_II;如果输出不一致,则丢弃该示例。

之后研究者得到了合成数据集 (X_S_II , Y_S_II),其中 X_S_II 是 X 的一个过滤子集,目标是 Y_S_II。最后一步是使用这个蒸馏出来的训练集对参数为 p_θ 的 LLM 进行监督微调。研究者通常从当前状态 p_θ 初始化此模型,然后继续使用新数据集进行训练。微调后,他们得到一个 LLM

,这是一个 System 1 模型,预计可提供与评估的 System 2 模型类似的输出和性能提升。

实验结果

训练和评估设置

研究者使用 Llama-2-70B-chat 作为所有实验的基础模型。他们需要一个具有足够能力的基础模型,使其能够像 System 2 模型一样高效运行,同时还具有可以微调的开放权重,因此做出了此选择。

同时,研究者考虑了几种 System 2 方法,包括 System 2 Attention、 RaR、分支解决合并(Branch-Solve-Merge)和思维链, 并重点关注每种方法都显示出强大性能的任务。

对于 System 1,研究者使用指令调整后的基础模型作为标准基线进行零样本推理。他们报告每个任务的任务特定指标,以及「#Tokens」指标,后者衡量评估集上每个输入生成的平均 token 数量。System 2 方法则包括中间 token 生成以及最终输出 token 生成。

Rephrase and Respond 蒸馏

RaR 是一种 System 2 方法,它首先提示语言模型以进一步阐述的方式来复述原始问题,然后基于复述的问题生成响应,目的是提供更优的输出。

对于蒸馏数据,研究者使用输出的自洽性为 RaR 构建 System 2 蒸馏数据集。对于每个输入,他们对最后一个字母( last letter)任务进行了八次采样迭代,并同样对硬币翻转(coin flip)任务的每个阶段进行八次采样迭代,然后用多数投票来确定最终输出。

首先来看最后一个字母连接(Last letter Concatenation)任务。此任务侧重于符号推理,要求模型连接给定单词的最后一个字母。整体结果如下表 1 所示。

基线 System 1 模型 (Llama-2-70B-chat) 的准确率达到 30.0%,低于 System 2 的 1-Step 和 2-Step RaR 方法(分别为 39.5% 和 44.5%)。通过本文无监督技术将 2-Step RaR 方法蒸馏回 System 1 Llama-2-70B-chat 模型,则实现了 98.0% 的惊人准确率。

与零样本聊天模型相比,模型可以有效地从这些训练数据中学习如何解决任务。RaR 的蒸馏有效地继承了 System 2 和 System 1 的优势,既保留了 System 2 的准确率优势,而其推理成本与 System 1 相当。

再来看硬币翻转推理任务。这种符号推理任务经常在研究中进行测试,它涉及确定硬币的最终面(正面或反面),从已知的初始位置开始,经过一系列用自然语言描述的翻转,例如「硬币正面朝上」。

整体结果见上表 1。Llama-2-70B-chat(零样板)在此任务上的成功率为 56.1%,而 1-Step 和 2-Step RaR 的成功率分别为 58.5% 和 77.2%。因此,使用 2-Step 方法获得了巨大改进。通过本文无监督技术将 2-Step RaR 蒸馏回 System 1 Llama-2-70B-chat 可以获得 75.69% 的结果。

因此,蒸馏的 System 2 模型提供的性能与 System 2(2 Step RaR)相当,但不需要使用 2 个提示执行 LLM 程序。

System 2 Attention 蒸馏

Weston 和 Sukhbaatar (2023) 提出了 System 2 Attention (S2A),这种方法有助于减少模型的推理陷阱,例如依赖输入中的偏见信息或关注不相关的上下文。

研究者验证了将 S2A 提炼到 System 1 中的可行性,特别是 SycophancyEval 问答任务,该任务包含已知会损害 LLM 性能的输入中的偏见信息。

结果如下表 2 所示,报告了 3 个随机种子的平均准确率。正如预期,基线(System1)LLM 在有偏见部分的准确率较低,容易受到有偏见输入的影响。S2A 显著提高了有偏见输入的性能。System 2 蒸馏表现出与 System 2 方法类似的强大性能。

原标题:《Meta开发System 2蒸馏技术,Llama 2对话模型任务准确率接近100%》