QAIE: 基于LLM的数量增强和信息增强用于少样本方面级情感分析

LLM在ASQP任务中的表现示例

#

🔼 该图展示了大型语言模型（LLM）在方面情感四元组预测（ASQP）任务中的表现示例，该任务旨在从文本中提取方面词（AT）、方面类别（AC）、观点词（OT）和情感极性（SP）。图中共展示了三次独立的LLM尝试回答同一问题，每一次的回答都存在差异，突出了LLM在此任务中面临的挑战。

第一次尝试中，LLM识别出了“place”和“stomach”作为方面词，识别出“great”为观点词，情感极性为“positive”，并将方面类别归为“ambience general”。然而，该回答并非完全正确，因为“Big Wong”才是主要的方面词，而“place”和“stomach”更像是对“Big Wong”的解释。

第二次尝试中，LLM的回答形式更加自由，它将句子理解为“place is good indicates ambience general is great”，虽然表达了积极情感，但并没有直接给出各个元素，这表明LLM在结构化输出方面可能存在不足。

第三次尝试中，LLM试图用更简洁的方式回答，直接罗列出“Big Wong, place, stomach; good; positive; restaurant general”。虽然接近正确，但格式并不完全规范，且重复列出了“place”和“stomach”作为方面词。同时，图中给出了正确的四元组标注为（‘Big Wong’, ‘restaurant general’, ‘positive’, ‘great’），揭示了LLM在精确识别方面词和规范化输出方面仍存在提升空间。

总的来说，该图例说明了LLM在处理复杂的结构化信息提取任务时的不稳定性，即使是同一问题，LLM的回答也可能形式各异、准确性参差不齐。这突显了在自然语言处理任务中，仅仅依赖LLM是不够的，可能需要结合其他技术以提高输出的准确性和一致性。

T5模型在ABSA任务中的失败案例

#

🔼 该图展示了T5模型在ABSA（基于方面的情感分析）任务中两个失败的案例，揭示了当前模型在处理此类任务时面临的挑战。案例1说明了模型对ABSA规则的理解不足问题。图中显示，给定评论文本“The millennium roll is beyond delicious.”，正确的方面术语（AT）应该是文本中的一部分，即“millennium roll”。然而，T5模型错误地预测AT为“rolled”，这个词并不在原始文本中，同时，模型将情感归类为“food quality is good”，虽然情感判断正确，但是情感词的来源和属性不符合预期。该案例表明，由于缺乏足够的训练数据，模型未能完全理解ABSA的规则，从而导致了意料之外的错误输出。解决方案是通过LLM扩增原始数据集，得到新的文本标签对，并使用新的数据集进行微调，从而让模型更准确地理解ABSA规则。案例2说明了评论文本中信息不足的问题。例如，对于非常简短的评论“Love YUKA.”，T5模型难以提取细粒度的情感元素。模型错误地预测方面类别（AC）为“food quality”，而正确的AC应该是“restaurant general”。该案例表明，短小、信息量不足的评论会给情感预测带来困难。图中展示的解决方案是通过LLM的CoT方式（思维链）推理隐式信息，即推断出“它暗示顾客对这家餐厅有非常积极的评价和喜爱”。将推理出的隐式信息加入输入中，模型可以更准确地预测情感要素。这两个案例都表明了在ABSA任务中，仅依赖原始数据可能会导致模型出现理解偏差，利用LLM进行数据增强和隐式信息推理是提高模型性能的关键方法。该图强调了当前ABSA任务模型需要解决的两个核心问题：如何让模型理解ABSA规则和如何处理信息不足的文本。

QAIE模型训练流程图

#

🔼 该图展示了QAIE（Quantity Augmentation and Information Enhancement）模型训练的整体架构。训练流程从原始数据集（Original dataset，表示为Do）开始，数据首先经过数量增强模块（Quantity Augmentation Module）和信息增强模块（Information Enhancement Module），这两个模块协同工作以扩充数据量并提取隐式信息。 数量增强模块旨在通过修改原始评论文本中的方面词或观点词来生成更多的标注数据，从而提升模型的泛化能力。信息增强模块则通过链式思考提示（Chain-of-Thought Prompt）推断评论文本中未明确表达的隐式信息，为模型提供更丰富的输入。这两个模块的输出构成增强数据集（Augmented dataset，表示为DAug）。随后，增强数据集的数据被送入模板模块（Template Module），此模块将文本和标签转换为适合模型训练的输入输出序列对。最终，这些序列对被用于训练T5模型，从而完成整个模型的训练过程。T5模型在接收到序列对后进行训练，通过不断学习来优化其参数，以达到更好的性能。整个流程旨在提高模型在少样本环境下的性能，使其能更好地理解ABSA规则，并有效地利用文本中的显式和隐式信息。

QAIE模型训练框架

#

🔼 该图展示了QAIE（Quantity Augmentation and Information Enhancement）模型的训练框架。整体流程分为三个主要部分：模板模块（Template Module）、数量增强模块（Quantity Augmentation Module）和信息增强模块（Information Enhancement Module）。

模板模块（Template Module）：该模块负责将原始文本、增强文本以及隐式信息转换为适合模型训练的输入输出序列对。输入模板接收评论文本（Review Text）和隐式信息（Implicit Information），然后根据不同的任务（例如，ASQP）生成相应的输入序列。输出模板则定义了如何将标签转换为自然语言形式的输出。

数量增强模块（Quantity Augmentation Module）：该模块用于在数据量不足的情况下，通过生成新的增强评论文本来增加训练数据。它首先修改原始评论文本中的方面词（Aspect Term）或意见词（Opinion Term），生成多个变体。然后，它确定这些增强文本对应的标签，从而生成新的训练数据对。图中显示了原始评论文本“skip dessert”经过该模块处理后，生成了如“skip pudding”，“omit dessert”，“enjoy dessert”等多种变体，并赋予了相应的标签。

信息增强模块（Information Enhancement Module）：此模块通过推理挖掘评论文本中未明确表达的隐式信息。以“skip dessert”为例，通过推理，得到“The person is not going to have dessert.”这样的隐式信息。这个模块的目的是为模型提供更丰富的输入信息，尤其是在评论文本较短或信息量不足时。

在训练过程中，QAIE模型首先通过数量增强模块扩充训练数据，并利用信息增强模块获取隐式信息。然后，模板模块将原始文本、增强文本、隐式信息以及对应的标签转换为输入输出序列对，用于训练序列到序列模型。该图清晰地说明了QAIE模型的各个组成部分及其在训练过程中的作用，旨在提高模型在少样本情景下的性能。

通过以上分析，我们可以看出QAIE模型的核心是通过数据增强和信息增强来提升模型性能，特别是针对那些标注数据稀少以及评论信息不足的场景，此方法具有较强的实用价值和理论意义。

数量增强模块流程图

#

🔼 该图展示了论文中提出的数量增强模块（Quantity Augmentation Module）的工作流程。该模块旨在通过修改原始文本中的方面词（Aspect Term）或观点词（Opinion Term）来生成新的训练数据，从而解决在少样本场景下训练数据不足的问题。原始文本和标签对首先被输入到该模块中。随后，通过文本生成（Text Generation）模块，原始评论文本“我再也不会回来了”被修改为“我再也不会来了”。同时，通过标签确定（Label Determination）模块，原始标签（‘NULL’，‘restaurant general’，’negative’，’never return’）被相应地更新为（‘NULL’，‘restaurant general’，’negative’，’never come back’）。这两个模块的协同作用生成了新的增强文本和标签对，这些新的数据可以用来训练模型，使得模型能够更好地理解基于方面的情感分析规则。该模块的设计旨在通过增加训练数据的多样性和数量来提升模型在少样本场景下的性能，有效地解决了数据稀缺环境下模型训练的难题，为后续模型的训练提供了更有力的支持。流程图清晰地展示了从原始数据到增强数据的转换过程，突出了文本生成和标签确定这两个核心步骤，以及它们如何共同作用以提高模型的学习效率和泛化能力。

数量增强模块流程图

#

🔼 该图是数量增强模块的流程图，展示了如何通过修改原始评论文本中的方面词（AT）或观点词（OT）来生成增强文本。该流程图详细描述了文本生成（TG）和标签确定（LD）两个主要步骤。在文本生成阶段，通过TG-Prompt1、TG-Prompt2和TG-Prompt3三种不同的策略生成新的文本。TG-Prompt1使用语义相似的方面词替换原始文本中的方面词；TG-Prompt2和TG-Prompt3则通过替换观点词来生成新文本，其中TG-Prompt2使用语义相似的观点词，而TG-Prompt3使用语义相反的观点词。例如，原始评论“I will never return”通过TG-Prompt修改为“I will never come back”，观点词从“never return”变为“never come back”。在标签确定阶段，LD-Prompt用于确定增强文本中情感元素的标签。由于增强文本可能与原始文本有重叠部分，因此不简单比较差异，而是使用LD-Prompt来确定标签。此模块旨在增加训练数据的数量和多样性，以提升模型在少样本场景下的性能，从而使模型更好地理解ABSA规则，流程图中清晰地展示了数据如何从原始文本经过一系列处理步骤生成新的数据，帮助模型更好的理解ABSA规则。

在实现方法上，为应对标签可能包含不同数量的四元组，此模块还采用了交叉方法（Cross Method）和增量方法（Increment Method）两种增强策略。如果标签列表只包含一个四元组，则首先通过替换方面词或观点词生成三对新的文本-标签对，然后基于这三对增强数据，利用交叉方法生成另外两对新的文本-标签对。对于包含多个四元组的数据，则通过增量方法，不断修改原始数据来生成足够多的训练数据，以此来保证数据的多样性。通过这种细致的方法，数量增强模块在保证增强数据的数量的同时，也保证了增强数据的质量和多样性。

数量增强方法

#

🔼 该图展示了两种数量增强方法：交叉方法和增量方法。交叉方法主要用于处理单个四元组的情况，而增量方法则用于处理多个四元组的情况。在交叉方法中，原始评论文本（例如“good drink”）通过不同的提示（TG-Prompt1、TG-Prompt2、TG-Prompt3）生成多个增强文本，例如“delicious drink”、“good beverage”和“poor drink”。每个增强文本都与其对应的四元组标签相关联，例如（‘drink’，‘drinks quality’，‘positive’，‘delicious’）。通过这种方法，可以生成更多的训练数据，以提升模型的性能。对于增量方法，原始评论文本（例如“the view is spectacular, and the food is great”）通过逐步修改评论文本和其标签生成新的数据。比如，首先将“view”改为“scenery”，然后将“food”改为“cuisine”。每一步都产生新的数据，从而保持数据的多样性。这些增强数据有助于模型更好地学习ABSA规则，从而提高模型的性能。这两种方法都旨在解决在少量数据情况下模型训练不足的问题，通过生成更多的训练数据来提高模型的鲁棒性和泛化能力。此外，这些方法也考虑到了文本中情感元素的组合和变化，确保了增强数据的质量和多样性。

隐式信息推理示例

#

🔼 该图展示了论文中提出的信息增强模块中，利用链式思考 (CoT) 提示进行隐式信息推理的示例。该示例旨在说明如何从给定的文本中挖掘出未明确表达的信息。整个过程分为两个步骤。

第一步（Question1 & Answer1）：首先，向大型语言模型 (LLM) 提出问题：“给定句子 ‘THE SERVICE IS AMAZING, i’ve had different waiters and they were all nice, which is a rare thing in NYC.’，你对这句话的理解是什么？请简短回答。”LLM 的回答（Answer1）是：“这句话表达了对服务质量的积极评价，提到了说话者在纽约多次遇到友善服务员的体验。”这一步的目的是让 LLM 对原始句子进行初步的语义理解。

第二步（Question2 & Answer2）：然后，将原始文本和 Answer1 作为上下文，向 LLM 提出第二个问题：“文本 ‘THE SERVICE IS AMAZING, i’ve had different waiters and they were all nice, which is a rare thing in NYC.’ 是一条来自餐厅领域的评论。’Answer 1’ 这句话暗示了什么？请简短回答。”LLM 的回答（Answer2）是：“服务很好，服务员很友好。”这一步的目的是让 LLM 基于初步理解和餐厅领域的背景知识推断出更深层次的隐式信息。由此可见，通过这种链式思考的方式，可以有效地引导 LLM 从表面文本中挖掘出更丰富的隐含信息，这些隐式信息可以增强后续情感分析任务的效果。

该示例表明，通过两步推理的方式，可以有效地提取出句子中隐含的含义。这种方法不是直接使用 LLM 进行信息提取，而是通过逐步的引导，使 LLM 能够更好地理解文本，并从中推理出更深层次的信息。这种方法在处理短文本时尤为重要，因为短文本通常包含的信息量较少。通过引入这种隐式信息推理的方式，可以有效地提高情感分析的准确性，并对文本进行更全面的理解。

标签到自然语言转换示例

#

🔼 该图展示了当标签包含多个四元组时，如何将标签转换为自然语言句子的示例。图中，“Label”部分展示了两个四元组，分别为(‘wine list’, ‘drinks style_options’, ‘positive’, ’extensive’)和(‘wine list’, ‘drinks style_options’, ‘positive’, ‘impressive’)。这两个四元组代表了对“wine list”这个方面的情感分析，其中‘drinks style_options’是方面类别，‘positive’是情感极性，而‘extensive’和‘impressive’是描述情感的词语。通过“Convert”操作，这些标签被转换为自然语言句子。转换后的句子为“wine list is extensive indicates drinks style_options is good [SEEP] wine list is impressive indicates drinks style_options is good”。这里的“[SEEP]”是一个特殊的分隔符，用于连接多个四元组的转换结果。反向操作“Recover”则可以将这些自然语言句子还原为原始的四元组标签。这个过程说明了如何将结构化的标签数据转换为更易于模型理解和处理的自然语言形式，以及如何通过分隔符处理多个标签的情况。这种转换方法能够让模型更好地利用标签的语义信息，从而提高模型在情感分析任务中的性能。图中转换过程是整个模型流程的一部分，在训练和推理阶段都发挥着关键作用，保证了数据的一致性和准确性，同时也是该模型有效处理多标签问题的重要机制。

ABSA任务输出模板

#

🔼 该表格展示了针对五个不同的方面级情感分析（ABSA）子任务的输出模板。这些模板用于将模型预测的情感元素转换为自然语言形式，以便更好地解释和理解。每个任务都有其特定的输出格式，通过占位符（如 $AT, $SP, $AC, $OT）来表示不同的情感元素。

AE (方面提取) 任务的输出模板为 ‘$AT’，表示模型仅需要提取文本中的方面词。

AESC (方面级情感分类) 任务的输出模板为 ‘$AT is $SP’，表示模型需要提取方面词，并确定其对应的情感极性（如积极、消极或中性）。

TASD (目标方面情感检测) 任务的输出模板为 ‘$AT is $SP indicates $AC is $SP’，表示模型需要提取方面词，情感极性，并标注方面所属的类别，同时给出类别对应的情感极性。其中 $AC 代表方面类别。

ASTE (方面情感三元组提取) 任务的输出模板为 ‘$AT is $OT indicates it is $SP’，表示模型需要提取方面词、意见词，并确定针对方面的情感极性。其中 $OT 代表意见词。

ASQP (方面情感四元组预测) 任务的输出模板为 ‘$AT is $OT indicates $AC is $SP’，表示模型需要提取方面词、意见词、方面类别，并确定针对方面的情感极性。

这些模板的设计旨在明确每个子任务需要提取的情感元素，并指导模型输出结构化的情感分析结果。通过使用这些模板，可以将复杂的 ABSA 任务转化为可解释的自然语言表达形式，从而方便理解和使用。

信息增强模块流程图

#

🔼 该图展示了信息增强模块的工作流程，该模块旨在通过推理发现文本中的隐含信息，从而为情感分析模型提供更丰富的信息输入。图中可见，该模块主要通过Chain-of-Thought（CoT）方法进行隐式信息挖掘。该方法首先让大型语言模型（LLM）理解文本的基本含义，随后，基于第一步的理解，结合领域知识或背景信息，进一步推理出文本中没有明确表达的隐含信息。这个过程分为两个步骤，分别由Question 1和Question 2驱动，每个问题都引导LLM进行特定的信息推理。最终，推理出的隐含信息将与原始文本一起作为模型的输入，以提高模型对细粒度情感元素的提取能力。这种方法通过引入上下文推理增强了模型理解文本的能力，从而克服了传统方法仅依赖表面文本信息进行分析的局限性。隐式信息(Timplicit)为‘The food is not good’。这个方法有助于改善在数据稀缺场景下，模型因为信息不足而难以准确提取情感元素的问题。该图清晰地描述了从原始文本到推理出隐含信息，再到模型输入的完整流程。

输入序列示例

#

🔼 该图展示了QAIE模型中输入序列的示例，说明了如何将原始评论文本和隐式信息转化为模型可处理的输入格式，针对不同的ABSA（基于方面的情感分析）子任务，输入模板略有不同，但都包含了原始评论文本以及可能的隐式信息。具体而言，图中有五个不同的ABSA子任务：AE（方面提取）、AESC（方面情感分类）、TASD（目标方面情感检测）、ASTE（方面情感三元组提取）和ASQP（方面情感四元组预测）。对于每个任务，输入序列的结构都遵循类似的模式，即“给定文本：$Review Text，[任务相关问题]。隐式信息：$Implicit Information”。例如，在AE任务中，输入为“给定文本：$Review Text，其中的方面词是什么？”。在AESC任务中，则为“给定文本：$Review Text，其中的方面词和它们的情感是什么？隐式信息：$Implicit Information”。在TASD任务中，输入为“给定文本：$Review Text，其中的方面词、情感和类别是什么？隐式信息：$Implicit Information”。对于ASTE和ASQP，输入模板类似，只是询问的内容包括更多方面，例如意见词。图中的右侧展示了一个具体的例子，其中评论文本是“米饭太干了”，隐式信息是“食物不好”。不同的任务，会根据这个评论和隐式信息，生成特定的输入，例如，针对AE任务，输入为“给定文本：米饭太干了，其中的方面词是什么？”。这个图表清晰地展示了QAIE模型如何根据不同的任务需求，构造合适的输入，以便进行情感分析。

不同增强数据量下的模型性能

#

🔼 这张图表展示了在不同的数据增强量下，模型在 Rest15 和 Rest16 数据集上的 F1 分数表现。图表分为两部分，(a) 表示 k=5 的情况，即在少量样本设置下；(b) 表示 k=10 的情况，即在稍微多一些样本设置下的表现。横轴表示增强数据的数量，例如在 k=5 时，增强数据量分别为 25, 50, 75 和 100。纵轴表示 F1 分数，这是衡量模型性能的重要指标。从图中可以看出，在两种 k 值设置下，Rest16 数据集上的模型性能（蓝色线）通常高于 Rest15 数据集上的模型性能（橙色线）。在 k=5 的情况下，随着增强数据的增加，Rest16 的 F1 分数从约 27% 上升到约 30%，而 Rest15 的 F1 分数则从约 16% 上升到约 20%，然后在 75 数据量时达到峰值，之后略有下降。在 k=10 的情况下，Rest16 的 F1 分数从约 32% 增长到约 35%，然后基本保持稳定，而 Rest15 的 F1 分数则从约 25% 持续增长至约 29%。这个图表的主要发现是，增加数据增强量通常可以提高模型的性能，特别是在少量样本的情况下。然而，过多的增强数据可能不会带来持续的性能提升，甚至可能导致性能下降，如 Rest15 数据集在 k=5 时的表现。此外，不同数据集可能对增强数据量有不同的响应，Rest16 似乎对数据增强更为敏感，表现出更为显著的性能提升。这表明在实际应用中，选择合适的数据增强量是至关重要的，需要根据具体的数据集和模型来进行调整。总体而言，这张图表展示了数据增强在提升模型性能上的潜力，以及增强数据量与性能之间存在非线性关系。

文本长度与F1值关系

#

🔼 该图表展示了在不同文本长度下，模型性能（F1值）的表现。图表分为四个子图，分别对应不同文本长度范围以及三个不同的few-shot设置 (k=5, k=10, k=20)。图 (a) 显示了测试集中不同文本长度的分布情况，其中长度在1-10和11-20的文本数量最多。图 (b), (c), 和 (d) 分别展示了在 k=5, k=10 和 k=20 的 few-shot 设置下，模型在不同长度文本上的 F1 值。从整体趋势来看，随着文本长度的增加，模型的 F1 值呈现下降趋势，这在所有三个 few-shot 设置中都是一致的。特别是在k=5的设置下，短文本（0-10长度）的F1值明显高于长文本（>30长度）的F1值，这表明模型在处理短文本时表现更好。随着k值的增加，模型在所有文本长度范围内的F1值都有所提高，但是短文本的优势仍然很明显。此外，我们的模型在所有文本长度下都显著优于基线模型IT-MTL，尤其是在短文本部分，我们的模型提升更为明显。在 k=10 时，在 0-10 长度的文本上，F1 值有超过 15% 的绝对提升。这些结果表明，我们的模型在处理短文本时具有更好的性能，这可能是因为我们提出的信息增强模块有效地弥补了短文本信息不足的问题。同时，随着 few-shot 样本数量的增加，模型在不同长度文本上的表现都得到提升，但仍然是短文本提升更加明显，印证了我们在短文本上的优势。这个图表不仅验证了我们提出的方法在处理短文本上的优势，也为进一步的研究提供了方向。