使用大型语言模型驱动和抑制人类语言网络

模型选择的句子驱动和抑制语言网络响应

#

🔼 该图表展示了使用大型语言模型（LLM）驱动和抑制人类语言网络活动的研究结果。图表分为四个部分：A部分显示了用于定义个体参与者语言网络的脑区；B部分和C部分分别展示了在事件相关设计和分块设计中，驱动（Drive）、抑制（Suppress）和基线（Baseline）条件下，功能磁共振成像（fMRI）测量的血氧水平依赖（BOLD）平均响应；D部分则提供了每个条件下的一些示例句子。从视觉上看，B部分和C部分的柱状图清晰地展示了不同条件下语言网络活动的差异。在事件相关设计（B）中，‘驱动’句子的响应明显高于’抑制’和’基线’句子，而在分块设计（C）中也观察到相似的趋势。散点图上的点表示个体参与者的平均响应，误差条显示了参与者内部的标准误差。脑部插图显示了在各个参与者中，功能定义的语言网络位置。这些结果表明，使用基于LLM的编码模型选择的句子可以有效地驱动和抑制人类语言网络的活动。D部分的句子示例进一步解释了每个条件的句子类型。‘驱动’句子通常比较不寻常或不符合语法规范，而’抑制’句子通常更为普通和符合语法规范。‘基线’句子是从自然文本语料库中采样的，代表了更常见的句子类型。这些数据表明，通过选择适当的句子，我们可以有效地调制大脑语言网络的活动，并且语言网络的活动与句子的复杂性和可预测性有关。通过使用机器学习模型预测和控制大脑活动，这项研究为理解语言处理和认知控制提供了新的视角，并为未来的神经科学研究和临床应用开辟了道路，例如在神经外科计划中快速识别语言回路，或在脑损伤后辅助理解大脑语言机制。

模型预测与脑响应对比

#

🔼 该图展示了语言网络中句子级别的脑响应与模型预测之间的关系。横轴代表编码模型预测的脑响应值，纵轴表示实际观测到的脑响应值，这些脑响应值是通过功能定义的左半球语言网络获得的。图中不同的颜色代表不同的句子类别：蓝色点表示预测会引起低脑响应的抑制句子，灰色点表示基线句子，红色点表示预测会引起高脑响应的驱动句子。从散点图可以看出，驱动句子集中在预测值的右侧，对应较高的观测脑响应，而抑制句子则集中在预测值的左侧，对应较低的观测脑响应。基线句子则分布在中间区域。图中还包含一个拟合的回归线，可以直观地看到预测值与观测值之间的正相关关系。主图中，所有句子的相关性r值为0.43，仅基线句子的相关性r值为0.30，这些值都表明模型具有一定的预测能力。此外，图中左上角的小图展示了功能定义的左半球语言网络的示意图，该图显示了用于定义语言网络的掩模区域。左下角展示了一些低响应的抑制句子示例，例如“他们进入了走廊”、“厨房里有个浴缸”等等；右上角展示了一些高响应的驱动句子示例，例如“无论是精神上还是身体上，你都被吸引了”、“我是进步的，你跌倒了”等等。这些例子直观地展示了不同类型句子与脑响应之间的关系。图的右下方还有一个插图，展示了模拟的句子级别脑响应与预测之间的关系。模拟响应是通过模拟参与者间的差异和测量噪声生成的。这个插图显示了在考虑到参与者间差异和fMRI测量噪声的情况下，模型能够达到的最大预测性能。在这个模拟图中，所有句子的相关性r值为0.62，而基线句子的相关性r值为0.39。这表明，实际模型的性能虽然不如模拟的理想模型，但仍然捕捉了神经活动中相当一部分可解释的变异。

总而言之，这个图表通过比较模型预测和实际观测到的脑响应，验证了基于大型语言模型的编码模型对语言网络活动具有较强的预测能力，并且该模型对自然句子和非自然句子都表现出较好的预测能力。此外，通过比较真实响应和模拟响应，还揭示了模型性能的局限性，即参与者间的差异和测量噪声也会影响模型的预测效果。

大脑网络噪声上限和相关性

#

🔼 该图表（Figure 4）展示了左半球语言区域在处理语言输入时的高度活动相关性，并将其与其他大脑区域进行了对比。图A展示了三个大规模脑网络（语言网络、多需求网络（MD）和默认模式网络（DMN））的功能性感兴趣区域（fROIs）的噪声上限。其中，语言网络的噪声上限明显高于其他两个网络，这表明语言网络对语言刺激的反应更为一致和可靠。误差条显示了通过1000次数据分割计算出的噪声上限值之间的标准误差。脑图展示了用于限制每个网络参与者特定fROIs选择的解剖区域。图B展示了在5个训练参与者中，左半球语言fROIs在1000个基线句子上的平均相关性矩阵。颜色编码显示了fROIs之间基于皮尔逊相关系数的相关性强度。对角线上的值为1，表示fROIs自身完全相关。值得注意的是，左半球语言区域之间呈现高度正相关性，特别是在前颞叶(AntTemp)和后颞叶(PostTemp)之间，以及额下回眶部(IFGorb)、额下回(IFG)和额中回(MFG)之间。图C显示了在3个评估参与者中，左半球语言fROIs在1500个驱动/抑制/基线句子上的相关性，与图B类似，显示了左半球语言区域内高度的相互关联。总的来说，图表强调了语言区域对语言刺激的特异性和一致性反应，以及这些区域之间的高度功能性连接，表明它们在语言处理中协同工作。

语言网络响应与句子属性的相关性

#

🔼 这张图表展示了语言网络对不同句子属性的响应。图A显示了语言网络对11个句子属性的响应相关性，这些属性被归为“形式与意义”、“内容”、“情感”、“形象性”和“感知频率”五个类别。对于2000个句子，令人惊讶的（低概率）句子与更高的脑活动相关，而不符合语法和不合理的句子也表现出更高的活动。与心理状态相关的句子似乎没有影响，而包含物理对象和地点的句子则与较低的活动相关。具有积极情感内容的句子与较低的活动相关，而可想象的句子也与较低的活动相关。最后，感知频率低的句子与更高的活动相关。

对于1000个基线句子，模式类似，但相关性更强。这表明语言网络对这些特征的反应一致，特别是在更自然的句子中。图B显示了这些句子属性之间的相关性。可以看出，一些属性是相关的，比如语法性和合理性，还有形象性和对物理对象或地点的提及。这种相关性表明，这些属性的效应可能不是完全独立的。

图C描绘了脑响应与句子属性的散点图。这些散点图显示了句子级别的数据，并用颜色编码了句子类型（红色表示驱动，蓝色表示抑制）。每个散点图中的插图显示了每个属性六个均匀大小的箱中的平均脑响应。这些插图显示了惊奇度、语法性和合理性的U形曲线，表示适度的不确定性和复杂性可能驱动最强的响应。相反，表示物理对象、地点、积极情绪和高图像性的句子似乎会抑制响应。感知频率也与较低的响应有关。这些发现共同揭示了语言网络如何对句子不同方面进行编码，表明了可预测性、结构和内容的重要性。

实验流程概览

#

🔼 该图表概述了本研究的实验流程，包括三个主要部分：编码模型开发、编码模型评估和句子属性分析。

A) 编码模型开发：

• 该部分描述了用于构建语言网络编码模型的过程。研究使用了5名被试（训练参与者），他们阅读了1000个从语料库中提取的、具有多样性的6词句子（基线句子集）。
• 通过事件相关的功能磁共振成像（fMRI）技术，记录这些被试在阅读句子时的脑活动。每个被试参与两个会话，总共收集了10个会话的数据。
• 每个会话包含10个运行，每个运行有50个句子，句子顺序是随机的。

B) 编码模型评估：

• 该部分详细说明了如何评估已构建的编码模型。主要通过事件相关和分块设计两个fMRI实验进行评估。
• i) 事件相关实验：3名被试（评估参与者）阅读了从模型预测中选取的句子，包括250个“驱动”句子（旨在最大化语言网络活动）和250个“抑制”句子（旨在最小化语言网络活动），这些句子与1000个基线句子随机穿插在一起。每个被试参与了3个会话，总共收集了9个会话的数据。每个会话包含10个运行，每个运行有50个句子，句子顺序是随机的。
• ii) 分块实验：4名被试（评估参与者）阅读了“驱动”、“抑制”和基线句子的子集，每种类型240个句子，这些句子被分为块状呈现。每个被试参与一个会话，总共收集了4个会话的数据。每个会话包含6个运行，每个运行有120个句子，句子顺序是随机的。

C) 句子属性分析：

• 该部分介绍了如何分析影响语言网络响应的句子属性。研究收集了3600名参与者的行为评级规范，用于分析句子属性（在预定义排除标准后，保留2741名参与者）。
• 研究使用了2000个句子，包括1000个基线句子以及500个“驱动”和500个“抑制”句子（分别从“搜索”方法和探索性“修改”方法中选取）。每个调查收集了20个列表的数据，每个列表有20名参与者，每个列表包含100个随机句子。
• 共有9项调查，涵盖以下句子属性：形式和意义、心理状态、物理对象、地点、效价、唤醒度、可想象性、一般感知频率以及会话感知频率。

总体来说，该图表清晰地展示了研究中数据采集和分析的步骤，突出了编码模型的开发和评估过程，以及如何通过行为数据深入研究影响语言网络反应的句子属性。该实验设计旨在探究大型语言模型是否可以用来控制人脑中的语言网络活动，并分析语言网络的反应模式与哪些句子属性相关联。