要点总结 #
BERTology 是一个研究领域，旨在通过分析大型语言模型（LLMs）的激活模式来发现语言表示。尽管LLMs在语言任务中表现出色，但其内部的语言表示仍然存在争议。本文指出，语言表示的概念在哲学和语言学文献中有多种解释，但这些解释在应用于BERTology时都存在挑战。特别是，生成语言学中的**结构描述（SDs）**与LLMs的表示方式之间存在理论上的不一致。
本文提出了六种可能的语言表示解释，并分析了每种解释在BERTology中的应用问题。作者认为，BERTology过于依赖为其他目的开发的语言学理论，而忽视了LLMs自身的特性。为了改进这一现状，作者建议采用一种**“LLM优先”**的方法，即从LLMs的底层结构出发，构建适合其解释的高层次语言描述。这种方法可以避免现有理论中的模糊性，并为未来的研究提供新的方向。
关键要点 #
论文重要性 #
本文的研究对于理解大型语言模型（LLMs）的内部工作机制具有重要意义。 通过揭示BERTology领域在解释LLMs语言表示时的理论模糊性，本文为未来的研究提供了新的方向。特别是，**“LLM优先”**的方法有助于构建更符合LLMs特性的语言描述，推动自然语言处理（NLP）领域的进一步发展。此外，本文的分析也为语言学与计算科学的交叉研究提供了新的视角，有助于解决当前LLMs解释中的理论困境。
图表分析 #
句法结构歧义示例 #
🔼 这张图（图 1）展示了“I saw someone with binoculars”这句话的两种可能的句法结构，阐明了句法结构歧义的概念。在第一种解读中，“with binoculars” 修饰动词 “saw”，表示使用双筒望远镜看某人；而在第二种解读中，“with binoculars” 修饰 “someone”，表示看到一个拿着双筒望远镜的人。这种歧义的产生是因为短语结构在句子中的不同组合和修饰关系。该图突出了句法分析在理解句子含义中的重要性，并说明了相同的词语排列可以对应不同的语义解释。
从结构上看，该图清晰地展示了树形图结构的层级关系，其中每个节点代表句子的一个组成部分，包括句子（S）、名词短语（NP）、动词短语（VP）和介词短语（PP）。这两种不同的句法结构展示了相同的词序列是如何通过不同的树形结构表达不同的含义的。图中的箭头也清楚地指明了短语之间的修饰关系。
此图对研究大型语言模型如何理解和处理歧义具有重要意义。例如，在自然语言处理中，正确理解句子的结构歧义对于机器翻译、信息检索和文本理解至关重要。理解大型语言模型如何区分和处理此类结构歧义，有助于提高模型在真实语言场景中的性能和鲁棒性。总的来说，这张图不仅是对句法结构歧义的有效视觉表示，而且还突出了语言结构在语义理解中的关键作用，并为研究大型语言模型提供了重要的上下文。
更多图表分析
短语结构分析树示例 #
🔼 该图展示了句子 “I saw someone with binoculars” 的两种可能的短语结构分析树。这两种结构分别对应了句子的两种不同理解方式，体现了句子的歧义性。左边的分析树中，“with binoculars” 作为介词短语 (PP) 修饰 “saw someone” 形成的动词短语 (VP)，表示“我用双筒望远镜看到了某人”，其中“with binoculars” 是作为一种工具来理解的；右边的分析树中，“with binoculars” 作为介词短语 (PP) 修饰“someone”，构成了一个名词短语 (NP)，表示 “我看到了一个拿着双筒望远镜的某人”，其中“with binoculars” 是作为 “someone” 的一个属性来理解的。这两个分析树都展示了句子如何被解析为不同的层级结构，其中 S 代表句子，NP 代表名词短语，VP 代表动词短语，V 代表动词，PP 代表介词短语。这种短语结构分析是生成语法理论中的核心概念，用于理解句子中不同成分之间的层次关系，并解释句子结构的歧义性。该图清晰地呈现了抽象的短语结构描述（SDs），以及它们如何用来解析一个具有歧义的句子。这种结构分析体现了句法成分的层次性，并且是理解句子意义的基础。通过这种图形化表示，读者可以直观地了解句子的构成和不同成分之间的相互关系，以及它们对句子意义的影响，此图也体现了为什么需要结构描述来解析语言的歧义。
BERTology模型解释框架 #
🔼 该图描绘了在BERTology领域中，语言学理论如何驱动大型语言模型（LLM）的解释过程。图中展示了一个典型的流程：首先，LLM接收输入（Input），经过一系列内部处理步骤，包括输入嵌入（Input embeddings）、多头自注意力（Multi-head self-attention）、前馈网络（Feed-forward）以及加法和归一化层（Add + normalize），最终产生输出（Output）。核心在于“模型解释（Model interpretation）”部分，这通常通过结构探测（structural probing）等技术实现，旨在揭示LLM内部如何编码和处理语言结构。该过程将LLM的内部状态与预定义的语言学理论框架（如短语结构树）联系起来，试图找到模型中对应于诸如名词短语（NP）、动词短语（VP）等语言单位的表示。此框架揭示了BERTology研究的基本思路：通过将LLM的黑箱操作与已知的语言学理论进行对比和映射，试图理解其内部的语言处理机制。图形的流程清晰地展现了从数据输入到模型输出，再到基于语言学理论的解释的整个过程，为理解当前基于LLM的自然语言处理方法提供了一个直观的框架。该图的重点在于强调了在理解和解释LLM时，语言学理论所起到的关键作用，突显了从传统的连接主义NLP到BERTology中对抽象结构描述的重视转变。
认知系统中的载体-内容区分 #
🔼 这张图表展示了认知系统中“刺激”、“载体”、“内容”和“载体属性”之间的关系。在认知系统中，外部的“刺激”触发内部的“载体”。这个载体是认知系统处理信息的基本单元，它通过自身的属性和与其他载体的关系参与信息处理。图表指出，刺激可能实现“内容”，而载体则“指代”该内容。这个“内容”是载体所代表的意义或信息，它可能是外部世界的某个实体或属性。此外，载体还具有自身的“载体属性”，这些属性是载体本身所固有的特征，不直接指代外部世界的任何事物，而是体现了载体在系统内部的形态。这个图表的核心概念在于区分了认知系统中两个关键方面：一个是载体本身，它的属性和在系统内部的运作方式；另一个是载体所指代的内容，也就是它所代表的意义。这种区分对于理解认知过程至关重要。例如，一个视觉刺激（如图像）触发大脑中的神经活动（载体），这些神经活动携带了关于图像的某些信息（内容），并且这些神经活动本身具有特定的神经特征（载体属性）。这幅图表体现了认知科学中关于信息表示的一个基本模型，即认知系统通过处理载体来表示内容，并且这种处理过程依赖于载体自身的属性和与其他载体的关系。因此，这张图对于理解认知模型中的“表示”和“内容”的概念至关重要，并为进一步研究认知过程提供了概念框架。
直接指称的内容解读 #
🔼 该图展示了“直接指称的内容解读”的框架。在此框架下，输入数据“John saw Mary”触发了模型内部的表征。同时，输入的语句也被认为实现了特定的结构描述（SD），即一个短语结构树，其中 S 代表句子，NP 代表名词短语，VP 代表动词短语，V 代表动词。该结构描述被认为是表征所指的内容。换句话说，模型内部的表征通过其与输入数据中直接实现的结构描述之间的指称关系来获得其意义。这意味着，表征并非任意的，而是由输入数据本身的结构所决定的。这种解读方式强调了输入数据在决定模型表征内容方面的直接作用，试图在模型内部的表征与外部世界（即输入数据）之间建立直接的联系。然而，这种解读存在挑战。如文中指出，生成语法中的短语结构不应由输入数据直接决定。这种解读方式倾向于将结构描述视为输入数据固有的属性，而忽略了生成语法中短语结构的自主性。生成语法认为，短语结构并非直接从线性输入中推导出来，而是具有独立的计算地位。因此，这种直接指称的解读在将生成语法的观点应用于 BERTology 时，可能存在根本性的理论冲突。模型如何直接从输入中获取短语结构，并在内部表征中体现这些结构仍然是一个开放问题，需要进一步探讨。
DNNs中的转换抽象 #
🔼 该图展示了深度神经网络（DNNs）中转换抽象的概念。图中，神经网络被描绘为一系列层级结构，从第一层（Layer 1）到第n层（Layer n）。每一层都由多个节点组成，这些节点以圆圈表示，节点内的（…）表示节点可能具有内部结构或代表多个神经元。箭头表示信息在不同层级之间的流动，每一层都对前一层的信息进行转换抽象。在第一层（Layer 1），节点处理“表面特征”（Superficial features），这些特征是输入数据的原始或低级表示。随着信息通过网络传递，中间层（Layer 2到Layer n-1）对前一层的特征进行转换，提取更高层次的抽象信息。每一层的转换抽象过程是对前一层信息的提炼和概括，使网络能够逐步构建更加复杂的表示。最终，在最后一层（Layer n），节点处理“抽象特征”（Abstract features），这些特征是经过多层转换后得到的、高度概括且更具意义的表示。转换抽象的目标是将原始输入转换为对任务有用的抽象特征，从而提高神经网络的性能。图中明确展示了信息从低级到高级的抽象过程，这是深度学习模型中实现复杂任务的关键。这种多层的抽象过程允许模型学习到数据中复杂的模式和关系，从而实现各种复杂任务，如图像识别、自然语言处理等。这种结构也是许多深度学习模型的核心，包括卷积神经网络（CNN）和循环神经网络（RNN）。总的来说，该图简洁明了地传达了深度神经网络通过逐层转换抽象来处理信息的核心思想。
Fictionalist内容解读 #
🔼 该图描绘了一个关于“fictionalist”内容解读的框架。核心思想是，当输入刺激（例如句子“John saw Mary”）触发了某种“Representation”（表示）时，这个表示所对应的“stimulus”（刺激物）实际上并不能完全“realize”（实现）其内容。图中用虚线框标示的“Fictional entity”（虚构实体）代表了这种未能完全实现的理想化内容。这种虚构实体，例如图中示例的语法结构树，并不存在于实际的刺激物中，而是通过内部表示来构建的。这是一种“misrepresentation”（误表示），即表示内容与实际刺激物存在差异。换句话说，我们的大脑或者模型在处理信息时，会将实际输入与一种理想化、抽象化的模式进行比对，而这个理想化的模式本身并不存在于实际世界中。图中的箭头清晰地指示了信息的流动方向和表示关系，有助于理解这种“fictionalist”解读方式的核心概念，即表示内容并非直接来源于刺激，而是通过一种复杂的内部转换过程产生的，其中可能存在对理想化内容的偏差。这种观点在讨论大型语言模型（LLM）时尤为重要，因为这些模型很可能基于抽象化的表示进行推理，而这些表示并非总是与实际的输入数据一一对应。
Platonist内容解读 #
🔼 该图展示了“柏拉图式内容解读”的框架，描述了具体对象（如“John saw Mary”这句话）如何触发认知系统中的表征，以及这个表征如何与抽象对象（如句子的结构描述，即树状图）关联起来。图中，“John saw Mary”这句话被标记为“triggers（触发）”一个“Representation（表征）”，这表示输入数据引发了认知系统内的某种内部状态。这个表征随后被认为“represents（代表）”一个抽象的句法结构，即图中下方展现的树状图，其中S代表句子，NP代表名词短语，VP代表动词短语，V代表动词。树状图是一种标准的语言学表示方法，显示了句子成分之间的层级关系。该图旨在说明，在柏拉图式的理解中，具体的语言输入如何通过内部表征与抽象的句法结构相联系。此框架的核心在于，抽象的句法结构作为一种理想化的对象，独立于具体的语言实例而存在，而认知系统中的表征则作为桥梁，连接具体和抽象两个层面。这种解读方式将句法结构视为一种抽象的、独立于物理现实的实体，并通过表征将其与具体的语言输入联系起来。这种观点强调了认知系统在理解语言过程中的中介作用，以及抽象结构在语言分析中的重要性。这个框架试图解释为何我们能够理解和产生句子，即使这些句子我们之前从未接触过，因为它基于对抽象句法结构的内部表征和操作。但是，图中并未明确表征本身是如何被构建的，也未解释“分析”的具体机制，这给理解认知过程的细节留下了空间。图中的虚线分隔了“Concrete Objects（具体对象）”和“Abstract Objects（抽象对象）”两个区域，强调了二者在概念上的不同。这种分隔进一步支持了柏拉图式的观点，即抽象的句法结构并非直接来源于具体的数据，而是在一个更为抽象的层面被理解和表征。
句法歧义示例 #
🔼 该图展示了一个句子“I saw someone with binoculars”的两种可能的句法结构，以此说明句法歧义现象。第一种结构显示，“with binoculars”修饰“someone”，表示我看到一个拿着双筒望远镜的人。第二种结构中，“with binoculars”修饰动词“saw”，表示我使用双筒望远镜进行观看。这两种不同的结构导致了句子意义的歧义，即“我用双筒望远镜看到某人”还是“我看到一个拿着双筒望远镜的人”。该图旨在通过一个具体的例子来引出关于大型语言模型（LLMs）如何处理和理解此类句法歧义的问题，强调了自然语言处理中理解句法结构的重要性。在传统认知神经科学中，这被视为一种复杂的认知能力，涉及到对词语之间层级关系的理解。而大型语言模型是否具备类似的认知能力，是文中讨论的核心问题之一。此图用以支持文章提出的观点，即需要深入探讨大型语言模型中“语言表征”的含义，并质疑目前BERTology研究中对理论语言学概念的直接应用。
间接实现解读图示 #
🔼 该图描绘了间接实现解读的框架，旨在阐明语言表征在认知系统中的运作方式。图中，“John saw Mary”这句话作为输入，触发了认知系统内的“表征”。这个表征通过实现函数（fR）与“载体属性”相连，而“载体属性”是系统内操作的内在特性。关键在于，这些“载体属性”通过解释函数（fI）映射到“数学内容”，其中数学内容由一个树状图结构表示，该结构具体展示了句子“John saw Mary”的句法结构，包括主语名词短语（NP）、谓语动词短语（VP），动词(V)，和宾语名词短语（NP）。这个树状图是句法结构的抽象表达，而非直接存在于输入或系统内部。这意味着，语言的抽象结构并非直接由物理输入或内部状态决定，而是通过解释函数赋予的。此过程强调了语言表征的间接性，即认知系统并不直接处理句法结构本身，而是通过表征和数学内容实现对语言的理解。这个解读框架表明，语言的认知处理涉及到多层次的抽象和映射，从物理输入到内部表征，再到抽象的数学结构，它们之间通过不同的函数相互关联。此外，这张图揭示了语言理论与认知科学之间的复杂关系，强调了数学形式化在理解认知过程中的重要性。整体而言，它展示了语言表征并非简单的直接映射，而是通过一系列复杂转换和解释，最终使得我们能够理解语言的含义和结构。
间接实现模式图 #
🔼 该图描绘了间接实现视角下认知系统状态、车辆类型与数学内容之间的关系。图中“认知系统状态”以圆圈S1至S6表示，代表认知系统内部不同的活动状态。这些状态通过“实现函数(fR)”映射到“车辆类型”V1、V2和V3，车辆类型被表示为方形。这里，实现函数 fR 的作用是将认知系统的内部状态转化为可操作的、具体的车辆类型。每个车辆类型实际上是一组具有相同功能的认知状态集合。接下来，“解释函数(fI)”将这些车辆类型映射到“数学内容”，这里使用语法树结构表示，如S、NP、VP等。这个映射过程是间接的，因为数学内容并非直接从认知状态中产生，而是通过车辆类型作为中介。图中虚线圆圈表示这些语法成分的抽象性质。图中的箭头表示映射的方向，从认知系统状态到车辆类型，再到数学内容。这个框架强调了数学内容作为认知系统状态的抽象描述，而不是对系统状态的直接反映。特别需要指出的是，车辆类型是认知系统内的物理或计算状态，而数学内容则是对这些状态的抽象解释。这种架构允许将抽象的语言结构（例如，语法树）与具体的认知过程联系起来，同时强调它们之间的间接性。
总体而言，该图阐释了一种理论模型，旨在解释认知系统如何处理信息，其中数学内容作为一种用于描述系统行为的抽象工具，在认知过程的解释中扮演关键角色。这种间接实现模式强调了从认知系统状态到数学内容需要经过多个抽象层级，解释函数fI 的作用在于定义这些抽象层级间的映射关系。
短语结构歧义示例 #
🔼 这个图表展示了句子“I saw someone with binoculars”的两种可能的短语结构，揭示了其歧义性。这两种结构在句法层面上有所不同，导致了语义解释的差异。第一种结构将“with binoculars”视为修饰“someone”的定语从句，表示用双筒望远镜看到的人；而第二种结构则将“with binoculars”视为修饰“saw”的方式状语，表示使用双筒望远镜进行观看。这种句法结构的差异突显了语言的层级性，以及同一表面结构可以对应不同的底层结构。这个例子强调了句法分析在理解句子含义中的重要性，同时说明了即使是看似简单的句子也可能存在多种解读。在自然语言处理中，正确解析此类歧义对于确保机器准确理解语言至关重要。此外，这个图表还展示了短语结构树在语言学分析中的作用，通过可视化句子的层级结构，帮助我们理解语言的内在组织方式。这种分析方法是生成语法理论的核心，也是BERTology研究关注的重点之一，即探讨大型语言模型是否能够捕捉并理解这种结构。
句子结构歧义示例 #
🔼 该图展示了一个句子“I saw someone with binoculars”的两种可能的句法结构，用以说明句子的结构歧义。在第一个结构中，“with binoculars”修饰“someone”，表示“我看到一个拿着双筒望远镜的人”，而在第二个结构中，“with binoculars”修饰“saw”，表示“我用双筒望远镜看”。这种结构上的歧义可以通过不同的句法树结构来表示，其中每个节点代表不同的短语类型（如S代表句子，NP代表名词短语，VP代表动词短语，PP代表介词短语）。
这种歧义的产生源于介词短语（PP）在句子中的不同依附方式，体现了句法结构的层次性。从图示中可以看出，第一个结构中，介词短语“with binoculars”作为名词短语“someone”的修饰语，是名词短语的组成部分。而在第二个结构中，介词短语“with binoculars”直接依附于动词短语“saw”，是动词短语的一部分。这种不同的依附关系导致了句子的语义解释差异。
此图强调了句法分析的重要性，尤其是在自然语言处理中。理解句子结构的歧义对于正确解析句子含义至关重要。该示例体现了语言的层次结构和不同句法结构如何影响句子语义，这也是传统生成语法理论的核心关注点。文章使用此图例来论证，大型语言模型如果能够真正理解语言，必须具备处理这种结构性歧义的能力，这意味着模型需要学习并表示这些抽象的句法结构，而不仅仅是处理词与词之间的线性关系。因此，该图有效地支撑了文章提出的关于语言模型内部表示的讨论，即语言模型是否以及如何通过内部表示来理解句子的结构。
句子歧义的两种结构分析 #
🔼 该图展示了“I saw someone with binoculars”这句话的两种可能的句法结构。这种歧义性源于介词短语“with binoculars”可以修饰动词“saw”或名词“someone”，从而产生两种不同的理解方式。第一个结构图中，介词短语“with binoculars”修饰动词“saw”，表示使用双筒望远镜进行观察，即“我用双筒望远镜看到了某人”。而在第二个结构图中，介词短语“with binoculars”修饰名词“someone”，表示某人持有双筒望远镜，即“我看到一个拿着双筒望远镜的人”。
这种结构性的歧义展示了句法结构在确定句子含义中的重要性，强调了语言分析不仅仅是线性排列的词语，更需要考虑词语之间的层级关系。这种分析方法是生成语法的基础，强调句法结构的自主性，即句法结构不能从词语的线性排列直接推导出来，而是通过独立的句法规则系统生成的。这一分析突出了语言的复杂性和多义性，表明理解一个句子不仅仅是识别词语，还需要正确分析其内在的句法结构，揭示词语之间的依存和修饰关系。这种分析方法对理解自然语言处理的许多挑战都具有重要意义。
深度解读 #
BERTology 的歧义 #
本文探讨了 BERTology 领域中的一个核心问题：大语言模型（LLMs）是否真正代表了语言学中的结构描述（SDs）。作者指出，BERTology 的研究方法依赖于从语言学理论中借用的抽象结构描述（如短语结构），但这些描述在 LLMs 中的实际表现并不明确。问题的根源在于“语言学表征”这一概念的歧义性。作者从哲学和语言学文献中提取了六种可能的解释，并指出这些解释在应用于 BERTology 时都存在挑战。特别是，某些解释会使 LLMs 代表 SDs 的命题变得琐碎地真或琐碎地假。例如，直接指称的解释要求 SDs 必须存在于输入数据中，而这与生成语言学中的“层次自主性”原则相冲突。因此，作者主张 BERTology 应更多地采用“LLM 优先”的方法，而不是依赖于为其他目的开发的语言学理论。
内容与载体 #
本文区分了“内容”和“载体”两种语言学表征的解释方式。内容解释认为，语言学表征是通过其内容（即外部指称）来个体化的，而载体解释则认为表征是通过其内在的载体属性来个体化的。作者进一步探讨了这两种解释在 BERTology 中的应用问题。内容解释面临的主要挑战是生成语言学中的“层次自主性”原则，即高层次的语言结构（如短语结构）不能通过低层次的线性信息来定义。这使得内容解释在应用于 LLMs 时变得琐碎地假。载体解释则避免了这一问题，但它引入了新的挑战，即如何将抽象的 SDs 与具体的载体联系起来。作者指出，载体解释需要通过“数学内容”来间接实现，但这又引发了“琐碎性问题”，即任何物理状态都可以映射到任何抽象结构。因此，作者认为 BERTology 需要找到一种非琐碎的方式来解释 LLMs 中的语言学表征。
结构探测的局限性 #
结构探测（structural probing）是 BERTology 中的主要模型解释技术，它通过训练分类器将 LLMs 的状态映射到语言学目标标签来解释模型的内部表示。然而，作者指出，结构探测并不能真正解决 LLMs 是否代表语言学结构的问题。结构探测的核心问题在于，它仅仅展示了模型状态与目标标签之间的某种映射关系，但并没有证明这些映射具有解释上的必要性。换句话说，结构探测只能证明存在某种映射，但不能证明这些映射是唯一的或具有解释力的。作者认为，结构探测的结果往往依赖于预先设定的语言学理论，这使得它无法真正揭示 LLMs 的内部机制。因此，作者主张 BERTology 需要一种更加自下而上的方法，通过分析 LLMs 的算法特性来推导出合适的语言学结构，而不是依赖于预先设定的 SDs。
未来研究方向 #
本文提出了 BERTology 未来研究的几个方向。首先，作者建议 BERTology 应更多地采用“LLM 优先”的方法，即从 LLMs 的算法特性出发，推导出适合解释其行为的高层次语言学结构，而不是依赖于为其他目的开发的语言学理论。其次，作者认为未来的研究应更多地关注如何将 LLMs 的低层次算法与高层次的语言学分析联系起来。例如，Weiss 等人（2021）提出的 RASP 语言提供了一种将 Transformer 架构映射到符号化格式的方法，这为 LLMs 的解释提供了一种新的思路。最后，作者强调，未来的研究需要解决“琐碎性问题”，即如何证明某些语言学结构是解释 LLMs 行为所必需的，而不仅仅是可能的。这要求 BERTology 不仅要找到模型状态与语言学结构之间的映射，还要证明这些结构在解释模型行为时具有独特的价值。
反表征主义的挑战 #
本文还探讨了反表征主义（anti-representationalism）在解释 LLMs 时的挑战。反表征主义认为，LLMs 并不真正代表任何语言学结构，而是通过复杂的启发式方法来实现语言任务。然而，作者指出，反表征主义也需要明确它在否认什么。如果“表征”这一概念过于模糊，反表征主义可能会成为一种默认的立场。然而，作者认为，只有在充分探讨了表征主义的各种解释之后，才能得出反表征主义的结论。因此，作者主张 BERTology 需要在表征主义和反表征主义之间找到一个平衡点，既要避免琐碎的表征解释，也要避免简单地否认 LLMs 的任何表征能力。这要求未来的研究更加深入地探讨 LLMs 的内部机制，并找到一种既能解释模型行为，又能避免琐碎性的理论框架。
完整论文 #
