谷歌推 BIG-Bench Mistake数据集可协助AI语言模型改善自我纠错能力

来源：谷歌浏览器官网 作者：浏览器迷

2024/01/16

谷歌推 BIG-Bench Mistake数据集可协助AI语言模型改善自我纠错能力。这个数据集可以帮助 AI 语言模型更好地识别和纠正自己的错误，从而提高其准确性。通过 BIG-Bench Mistake 数据集，AI 语言模型可以更好地理解和改进自己的语言生成，为用户提供更准确、连贯的回复。

谷歌推 BIG-Bench Mistake数据集可协助AI语言模型改善自我纠错能力1

谷歌推 BIG-Bench Mistake数据集可协助AI语言模型改善自我纠错能力

谷歌研究人员表示，由于过去没有能够评估大语言模型“出错概率”及“自我纠错能力”的数据集，因此他们创建了一项名为“BIG-Bench Mistake”的专用基准数据集用于评估测试。

谷歌推 BIG-Bench Mistake数据集可协助AI语言模型改善自我纠错能力2

据悉，研究人员首先使用 PaLM 语言模型在自家 BIG-Bench 基准测试任务中运行了 5 项任务，之后将生成的“思维链(Chain-of-Thought)”轨迹修改加入“逻辑错误”部分，之后重新丢给模型判断思维链轨迹中哪些地方存在错误。

为了提升数据集准确程度，谷歌研究人员反复进行上述过程，最终形成了一项内含“255 项逻辑错误”的“BIG-Bench Mistake”专用基准数据集。

研究人员提到，由于“BIG-Bench Mistake”数据集中的逻辑错误较为“简单明确”，因此可以作为一个良好的测试标准，可协助语言模型先从简单的逻辑错误开始练习，逐步提升辨识错误的能力。

研究人员利用该数据集对市面上模型进行测试，发现虽然绝大多数语言模型可以识别在推理过程中出现的逻辑错误并进行自我修正，但这个过程“并不够理想”，通常需要人工干预来纠正模型输出的内容。

谷歌推 BIG-Bench Mistake数据集可协助AI语言模型改善自我纠错能力3

本站从报告中发现，谷歌声称“目前最先进的大语言模型”自我纠错能力也相对有限，在相关测试结果中成绩发挥最好的模型，也仅仅找出了 52.9% 的逻辑错误。

谷歌推 BIG-Bench Mistake数据集可协助AI语言模型改善自我纠错能力4

谷歌研究人员同时声称，这一 BIG-Bench Mistake 数据集有利于改善模型自我纠错能力，经过相关测试任务微调后的模型，“即便是小型模型表现也通常比零样本提示的大模型更好”。

据此，谷歌认为在模型纠错方面，可以使用专有小型模型“监督”大型模型，相对于让大语言模型学会“纠正自我错误”，部署专用于监督大模型的小型专用模型有利于改善效率、降低相关 AI 部署成本，并更便于微调。

上述就是chrome官网站带来的【谷歌推 BIG-Bench Mistake数据集可协助AI语言模型改善自我纠错能力】全部内容，感谢大家的阅读和关注！

上一篇: 谷歌允许欧盟用户通过选择共享服务器数据来减少个性化广告推荐下一篇: 谷歌Chrome浏览器测试新特性：希望用户固定侧边栏使用