研究分析推理如何帮助模型回忆简单事实

谷歌研究团队研究语言模型在回答简单事实问题时为何也能受益于推理过程。即使任务不需要复杂计算，生成中间…

谷歌研究团队研究语言模型在回答简单事实问题时为何也能受益于推理过程。即使任务不需要复杂计算，生成中间步骤仍可能帮助模型从参数中调取已经学习的信息。

论文讨论两类机制：利用额外生成词元进行潜在计算，以及先激活相关事实来促进正确答案的回忆。研究为事实准确率改进提供新的视角，区分知识缺失与访问既有知识失败的情况。