当语言模型回答问题时，它究竟该相信眼前的资料，还是坚持自己学过的知识？一项针对Llama-3.1等模型的研究揭示了隐藏在其神经网络中的关键控制机制，这种机制像旋钮一样能精准调节模型对上下文的敏感程度。
想象你在阅读一篇声称“巴黎在英格兰”的文章时，被问到“巴黎在哪里？”——理想的回答应该既能根据文章内容说“英格兰”，又能基于常识纠正为“法国”。这正是语言模型面临的典型困境。研究人员设计了一项特殊任务来测试模型的这种平衡能力：先提供可能错误的上下文（如“巴黎在英格兰”），再明确指令模型选择“依据上下文”或“依据固有知识”作答。结果显示，经过针对性训练的Llama-3.1、Mistral-v0.3和Gemma-2模型能以85%-95%的准确率完成这项任务。
为了找出模型实现这种控制的机制，研究团队开发了一种新型线性时间算法（linear time algorithm），它能高效分析神经网络各层的作用。通过对比实验，他们发现了一个令人惊讶的现象：在所有这些模型中，控制上下文敏感性的关键都集中在某一特定神经层的1维子空间（1-dimensional subspace）里。这个子空间就像收音机的频率旋钮——向左旋转增强对上下文的依赖，向右旋转则偏向固有知识。
更引人注目的是，这个“旋钮”具有跨模型的普适性。当研究者在未经专门训练的原始模型（base model）或仅经过一般指令微调的模型（instruct model）中激活同一子空间时，模型同样表现出对上下文敏感性的可控调节。这说明不同规模的同系列模型可能共享相似的内在控制逻辑。例如，在Llama-3.1家族中，无论是基础版还是优化版，调节这个子空间都能产生一致的效果。
研究还发现，模型的表现与其在子空间中的答案分离度密切相关。高性能模型会将“遵从上下文”和“忽略上下文”两种答案清晰地分布在该子空间的两端，就像把黑白棋子分放在棋盘对角；而性能较差的模型则容易产生重叠区域。这种分离度可能成为评估模型上下文处理能力的新标准。
这项发现对现实应用具有双重意义：在需要忠实引用资料的场景（如文献分析），可以调高上下文敏感性；而在需要抵抗错误信息的场景（如事实核查），则可增强对固有知识的依赖。例如，当模型阅读一篇包含争议观点的社论时，用户可以通过调节这个“旋钮”来决定是优先理解作者立场，还是坚持客观事实。
尽管研究确认了子空间的存在，但关于其形成机制仍存在开放性问题：为什么所有测试模型都演化出类似的控制结构？这是训练数据的自然结果，还是神经网络架构的必然产物？后续研究可能需要结合更精细的解剖实验和理论分析来解答。