融合大模型与图神经网络的电力设备缺陷诊断

图2 文本图构建示意图

#

🔼 图2展示了异质文本图的构建过程，该图用于表示缺陷描述语句与其中包含的词语之间的关系。图中，不同纹路的节点代表了不同类型的缺陷严重程度：左斜杠纹路表示一般缺陷，右斜杠纹路表示严重缺陷，点纹路表示危急缺陷。这种分类方式有助于模型区分不同严重程度的缺陷。图中节点分为两类：词语节点（用R(X)表示词语X的表征向量）和句子节点（用Di表示）。句子节点连接着构成该句子的词语节点，例如，一个句子包含词语X、Y和Z，那么该句子节点与词语节点X、Y、Z相连。词语与词语之间也存在关联，这种关联性通过虚线边表示。图中用黑色实线边表示语句与词语之间的关联，虚线边表示词语之间的关联。图结构的设计意在捕获文本中词语之间的语义关系和上下文信息，通过这种方式可以将文本转换为图数据，便于图神经网络进行处理。该图的构建为后续的图神经网络模型训练提供了基础，旨在提高缺陷文本分类的准确性。通过图结构，模型可以学习词语之间的相互作用和依赖关系，从而更好地理解文本的含义，从而有效地进行缺陷严重程度的分类，并有助于提高模型对复杂文本信息的处理能力。

RoBERTa-GAT 模型架构

#

🔼 该图展示了 RoBERTa-GAT 模型的架构，该模型结合了 RoBERTa 预训练语言模型和图注意力网络（GAT）的优势，用于处理缺陷文本分类问题。整体架构可以分为三个主要部分：输入层（词-句异质图）、隐藏层以及输出层（词-句表示）。

在输入层，图的节点分为两种：词语节点和句子节点。句子节点用 D 表示，不同的颜色或纹理代表不同的缺陷严重程度类别：一般缺陷（左斜杠纹路）、严重缺陷（右斜杠纹路）和危急缺陷（点纹路）。词语节点则是独立的词汇单元，如“烧坏”、“插件”、“闪烁”等。图中实线表示语句与词语之间的关联，而虚线表示词语与词语之间的关联。这些关联的权重通过 PMI 和 TF-IDF 算法计算得出，构建了文本的异质图表示。

隐藏层中，文本的分布式表示是通过 TF-IDF 和 PMI 计算出来的。在 RoBERTa 部分，句子嵌入被初始化，词语节点初始化为 0。 RoBERTa 对句子进行编码，并输出句子表示。同时，GAT 基于文本的图结构，学习节点间的关系，为节点分配不同的注意力权重。

输出层，RoBERTa 和 GAT 的输出通过加权求和的方式结合，得到最终的分类结果。公式 Y = (1 - λ)yRoBERTa + λyGAT 中，λ 控制两个模型的权重。当 λ=1 时，仅使用 GAT 模型；当 λ=0 时，仅使用 RoBERTa 模型；当 λ 介于 0 和 1 之间时，平衡两个模型的预测。通过这种方式，模型能够充分利用 RoBERTa 的语言理解能力和 GAT 的图结构处理能力，从而提高文本分类的准确性，特别是对于电力领域这种专业名词丰富的文本分类任务。

指令格式化示意图

#

🔼 该图展示了指令数据集的格式化过程，其核心目标是为大语言模型的微调提供高质量的训练数据。这个过程从人工设计开始，明确了任务描述：即从电力设备运维人员的角度出发，回答相关问题。数据收集环节，融合了包括电力设备基本原理、设备及功能、变压器、保护及控制设备以及其他类别的电力知识，并整合了 COIG-CQIA 数据集，保证训练数据的专业性和覆盖性。指令部分，以一个具体的示例展示了任务的输入形式，比如问题是“电压互感器和电流互感器在作用原理上有什么区别？”。输出部分则提供了对应的标准答案，例如“电流互感器二次可以…”、“相对于二次侧的负载…”以及“电压互感器正常工作…”等，这样的结构使得模型能够学习到问题与答案之间的映射关系，提升其在电力领域专业知识问答方面的能力。这一流程旨在通过高质量的指令数据，增强模型在电力设备缺陷诊断领域的理解和生成能力，为后续的智能诊断助手提供坚实的基础。

RoBERTa-GAT模型结构图

#

🔼 该图为RoBERTa-GAT模型结构图，展示了该模型如何结合RoBERTa预训练模型和图注意力网络（GAT）进行电力设备缺陷文本分类。从图中可以看到，模型首先使用RoBERTa对输入的缺陷文本进行编码，得到文本的初始嵌入表示。这些嵌入表示随后被输入到GAT网络中。GAT网络通过构建文本的图结构，利用注意力机制聚合来自邻居节点的信息，从而学习文本中词汇和句子之间的复杂关系，从而捕捉局部和全局信息。图中显示，GAT的输出与RoBERTa的输出结合，经过加权处理后得到最终的预测结果。整个模型结构突出了 RoBERTa 在捕捉上下文语义信息方面的优势，以及 GAT 在处理文本图结构和学习节点关系上的能力。模型通过结合两种方法的优点，旨在提高对电力设备缺陷文本分类的准确性。具体来说，RoBERTa负责理解文本中的语义信息，而GAT则负责捕捉文本中词语之间的关系，从而更全面地表示文本特征。该模型结构展现了深度学习在自然语言处理中的一种有效应用方式，即结合预训练模型和图神经网络的优点，解决复杂的文本分类问题。

模型微调训练过程曲线

#

🔼 本图展示了大模型微调训练过程中学习率衰减和损失变化的情况。从图中可以看出，学习率在训练初期较高，随着迭代次数的增加逐渐降低，这种动态调整策略有助于模型在训练初期快速收敛，并在后期微调阶段稳定学习。损失函数值在整个训练过程中呈现明显的下降趋势，这表明模型在不断优化自身参数，逐步适应训练数据。特别值得注意的是，损失值在第30轮左右趋于平稳，这说明模型已经基本收敛，其泛化能力在此阶段得到了显著提升。此外，学习率的动态调整对模型训练至关重要，它确保了模型既能快速收敛，又能避免陷入局部最优解，最终达到更优的性能。这说明本文采用的LoRA微调方法在电力领域是有效且可行的，能够帮助模型学习到更多的专业知识，同时保持较好的泛化能力。该图的实验结果为后续电力设备缺陷诊断模型的建立提供了参考，验证了模型微调过程的有效性，为实际应用奠定了基础。

专业语料数据分布

#

🔼 该图为饼状图，展示了电力专业语料库中不同类别数据的分布情况。整个饼图代表了所有语料的总量，不同的扇形区域则代表了不同的语料类别及其所占比例。图例部分详细列出了每个扇形对应的类别，并用不同的颜色区分。

1. 电力设备基础原理：该部分占比15%，表明语料库中有相当一部分内容涉及电力设备的基本原理和工作方式。
2. 设备及功能：占比20%，是图中占比最高的类别，反映了语料库中有关电力设备具体功能、使用场景以及相关技术描述的内容较多。
3. 变压器：占比15%，表明语料库中包含较多与变压器相关的技术资料、案例分析以及维护经验等。
4. 互感器：占比10%，语料库中互感器相关的资料量相对较少。
5. 保护及控制设备：占比15%，表示有较多关于电力系统保护和控制装置的相关内容。
6. 母线：占比10%，表明语料库中母线相关的内容较少。
7. 其他：占比15%，涵盖了不属于以上分类的其他电力相关内容。

总体来看，该语料库覆盖了电力系统的多个重要组成部分，从基础原理到具体设备功能均有涉及，其中“设备及功能”部分占比最高，说明语料库更侧重于具体设备的应用和描述。这为后续使用大模型进行电力设备缺陷诊断和知识问答提供了有力的数据基础。但同时，互感器和母线部分占比较少，可能需要后续补充相关数据，以实现更全面的覆盖。此图清晰地展示了语料库的组成结构，有助于研究者了解数据的分布，并据此进行更加精准的模型训练和知识检索。

训练学习率和损失变化

#

🔼 该图表展示了模型训练过程中学习率和损失值的变化情况。图表分为上下两个子图，分别展示了学习率和损失值随训练步骤的演变。横轴表示训练的步数，纵轴分别表示学习率（以10^-5为单位）和损失值。在学习率变化图中，初始学习率设置为相对较高的值（约为5e-5），然后随着训练的进行逐步降低，这是一个典型的学习率衰减策略，旨在使模型在训练初期快速收敛，后期更精细地调整参数。学习率的降低有助于防止模型在训练后期在局部最优解附近震荡，并有助于提高模型的泛化能力。在损失值变化图中，初始的损失值大约为2.8，并随着训练的进行迅速下降，大约在3000步左右趋于平缓，接近于0。这种损失值的下降表明模型在训练过程中不断学习和适应训练数据，使得模型的预测能力逐步提高。这两个子图共同说明，模型训练过程的整体效果是比较理想的，学习率的动态调整策略使得模型能够有效地降低训练误差。通过观察这些图表，可以判断模型的训练过程是否平稳，并调整超参数，以获得更好的训练结果。学习率衰减策略是深度学习中常用的优化方法，旨在平衡训练初期模型的快速收敛和训练后期模型的精细调整。损失函数的下降则表示模型预测与真实值之间的误差在减小，从而表明模型正在学习到数据中的模式和特征。总的来说，这是一个模型训练过程中学习情况的良好指标。

诊断助手处理流程图

#

🔼 该图展示了基于大模型和检索增强生成（RAG）技术的电力设备缺陷诊断助手的工作流程。整体流程可分为三个主要阶段：输入处理、知识检索和结果生成。

1. 输入处理阶段：用户首先输入缺陷描述。如果描述信息不完整，系统会通过“辅助补全描述”模块引导用户提供更多细节，确保输入信息的完整性。接下来，系统会对完整描述进行检索，将文本传递到知识抽取组件。

2. 知识检索阶段：知识抽取组件负责对电力系统相关文档（包括智能变电站装置运行评价规程、装置缺陷管理办法、装置软件管理规定等）进行解析。这些文档被结构化为文本块，并使用 BGE 模型进行向量化处理后，存储在向量数据库中。此外，系统会根据用户输入的缺陷描述检索向量数据库，查找最相关的文本块，为后续的分析提供依据。同时，根据预设的 Prompt 模版，文本理解组件会接收检索的文本块以及用户的缺陷描述。

3. 结果生成阶段：通过文本理解组件，结合用户输入的缺陷描述以及检索到的相关文本块，输入到微调后的电力领域大模型 Qwen-ElecDiag。Qwen-ElecDiag 基于这些输入生成缺陷的原因分析和处理建议。最后，系统将生成的结果输出给用户，从而完成整个缺陷诊断流程。

该流程的优点在于，通过引入 RAG 技术，将大模型的自然语言处理能力与电力领域专业知识相结合，提升了诊断的准确性和可靠性。同时，通过向量数据库的检索，避免了对整个知识库的遍历，提高了处理效率。此外，Prompt 模版的设计可以引导大模型更准确地生成结构化、专业化的诊断建议。整个流程旨在为电力设备运维人员提供更高效、准确的辅助决策工具，提高电力系统的智能化运维水平。

知识抽取组件流程图

#

🔼 该图展示了知识抽取组件的工作流程。首先，从知识库中获取文档，这些文档可以是各种格式的文本资料，如PDF或其他文档类型。接着，使用pdfplumber等工具对这些文档进行内容识别，目的是将非结构化的文档内容转化为计算机可处理的文本信息。在内容识别之后，文本被进一步处理，按照行进行文本块划分，每个文本块代表文档中的一个段落或语句。为了便于后续的检索和分析，这些文本块需要被转化为数值表示，即通过词嵌入技术进行向量化处理。最后，这些向量化的文本块被存储在向量存储库中，以便于后续的检索和使用。这一过程是典型的知识库构建流程，有助于将非结构化的文档信息转化为结构化的、计算机可理解的数据，为诸如检索增强生成（RAG）等下游应用提供支持。该图清晰地展示了从原始文档到向量化表示的完整过程，体现了知识抽取组件在整个系统中的核心作用。通过这种方式，系统可以有效地利用知识库中的信息，为用户提供准确、专业的回答。

文本理解组件流程

#

🔼 该图展示了文本理解组件的处理流程，该组件是电力设备缺陷诊断助手的一部分。整个流程的核心目标是根据用户输入的缺陷描述，从知识库中检索相关信息，并结合大模型生成专业的缺陷原因分析和处理建议。组件首先接收用户输入的缺陷描述文本，然后利用词嵌入技术将文本转换为向量表示，以便在向量空间中进行相似性计算。接着，系统会查询向量存储库，该存储库存储了预先处理好的知识库文本块的向量表示。通过检索操作，系统会召回与用户输入缺陷描述文本向量最相似的 top k 个文本块。这些文本块被认为是与用户输入的缺陷描述相关的知识片段。最后，检索到的文本块和预定义的 Prompt 提示文本被一同输入到微调后的大模型 Qwen-ElecDiag 中。大模型根据这些输入生成最终的缺陷原因分析和处理建议。这个过程结合了信息检索和文本生成的优势，确保诊断助手能够提供准确、专业的电力设备缺陷诊断意见。图中的黑色方块表示词嵌入后文本的向量表示，虚线框表示不同的处理阶段，箭头则表示信息流动的方向。整个流程简洁清晰，突出了 RAG（检索增强生成）在专业领域知识问答中的应用。

模型准确率对比图

#

🔼 该图为不同文本分类模型在迭代训练过程中的准确率对比图，横轴为迭代次数，纵轴为准确率。图中展示了RoBERTa-GAT、TextCNN、TextRNN和BERT四种模型在缺陷文本分类任务中的表现。从整体趋势来看，所有模型的准确率都随着迭代次数的增加而提高，但不同模型之间的收敛速度和最终性能存在差异。RoBERTa-GAT模型在训练初期就表现出较快的准确率提升，并且在整个训练过程中始终保持领先地位，最终达到了最高的准确率，超过了90%。TextCNN模型的准确率在早期快速上升，但随后增长速度放缓，最终准确率低于RoBERTa-GAT模型。TextRNN模型在早期表现相对较弱，但随着迭代次数的增加，其准确率逐渐提升，但仍低于其他模型。BERT模型的表现介于TextCNN和TextRNN之间，其准确率在早期上升较快，随后趋于平稳。图中的数据清晰地展示了RoBERTa-GAT模型在缺陷文本分类任务中的优越性能，验证了其在处理电力设备缺陷文本分类任务时的有效性。这表明，结合预训练语言模型和图神经网络能够更好地捕捉文本中的语义信息，从而提高分类准确率，为电力设备的智能运维提供可靠的技术支持。该图的数据也印证了文章中提出的RoBERTa-GAT模型具有更好的泛化能力和减少噪声影响的能力。

电力设备缺陷诊断助手界面示例

#

🔼 该图展示了电力设备缺陷诊断助手的界面示例，通过该助手，用户可以输入电力设备的缺陷描述，系统会返回相应的缺陷原因分析和处理建议。图中展示了当用户输入“液晶显示屏不显示，录波记录”时，系统给出的详细诊断结果，包括“缺陷原因分析”和“缺陷处理建议”两部分。

在“缺陷原因分析”部分，系统列出了可能导致液晶显示屏不显示的多种原因，包括显示器自身的硬件故障、信号传输问题、录波装置的软件故障或死机，以及供电问题。这些分析涵盖了从硬件到软件，从连接到供电的各个方面，体现了系统诊断的全面性。

在“缺陷处理建议”部分，针对上述的每一个可能原因，系统都给出了相应的检查和处理建议。例如，针对显示器故障，建议用户检查电源和连接线，并尝试连接其他设备进行测试；针对信号传输问题，建议排查信号传输线路，修复或更换损坏的线路；针对软件问题，建议重启录波装置或更新、重装软件；针对供电问题，则建议检查显示器供电，更换适配器或修复供电线路。

这个界面示例清晰地展示了该缺陷诊断助手的功能和优势，通过提供结构化的诊断分析和处理建议，可以帮助运维人员快速定位问题并采取相应的措施。整个流程简洁明了，逻辑清晰，有效地将复杂的设备问题转化为可操作的步骤，有助于提高电力设备运维的智能化水平。

诊断助手界面展示

#

🔼 图 11 展示了一个电力设备缺陷诊断助手的界面。这个界面主要分为两个部分，分别对应正常诊断和缺少信息诊断两种情况。在 (a) 部分，标有“正常诊断”，界面上方的输入框表明用户可以在此输入完整的缺陷描述，系统可以根据输入的文本进行分析，并给出相应的诊断结果。这一部分界面简洁明了，旨在直接高效地处理用户输入的完整信息。而在 (b) 部分，标有“缺少信息诊断”，这部分界面同样显示一个输入框，但是其目的是引导用户补全缺失的信息。当用户输入的缺陷描述不完整时，系统会通过此输入框引导用户提供更多的详细信息，以便进行准确的诊断。这种设计思路体现了系统在处理不同情况下的灵活性，既能处理完整的输入，也能引导用户逐步提供信息，确保诊断过程的准确性和全面性。整个图表展示了该电力设备缺陷诊断助手的交互设计，突出了用户友好性和信息补全的重要性。该助手旨在为电力系统的运维人员提供一个便捷、高效的工具，帮助他们快速准确地进行缺陷诊断。

RoBERTa-GAT模型准确率

#

🔼 该图表展示了RoBERTa-GAT模型在不同参数 λ 下的准确率变化。λ 是用于平衡RoBERTa模型和图注意力网络(GAT)输出的权重系数，该图评估了不同 λ 值对模型性能的影响。图表横轴表示 λ 的取值，分别为 0.5、0.6、0.7、0.8 和 0.9；纵轴则表示模型在相应 λ 值下的准确率。从图表中可以观察到，当 λ 取值为 0.7 时，模型达到了最高的准确率 92.13%。当 λ 值偏离 0.7 时，模型的准确率均有所下降。λ 值为 0.6 和 0.8 时，模型准确率下降至 88.76% 和 89.65%。λ 为 0.5 时，模型准确率略高于 0.8 的情况，为 89.65%，而 λ 为 0.9 时，模型准确率下降至最低点 87.53%。

此结果表明，在RoBERTa-GAT模型中，RoBERTa模型和GAT模型的输出需要适当的权衡才能达到最佳性能，当 GAT 模型的贡献占比为 70% 时，模型准确率最高。当 GAT 模型的贡献占比过低或过高时，模型的性能均会下降，说明两者之间存在最佳的协同效应。该图表对理解模型参数调优具有重要意义，特别是在需要平衡不同模型输出的场景下。实验结果表明，λ 值的选择对模型性能有显著影响，通过调整 λ 值，可以有效提高模型的准确率。

RoBERTa-GAT模型准确率对比

#

🔼 该图表展示了RoBERTa-GAT模型与其他基准模型在电力设备缺陷严重程度评级任务中的准确率对比。图中横轴为不同的模型，纵轴为准确率（%）。从图中可以清晰地看到，RoBERTa-GAT模型的准确率显著高于其他所有基准模型，达到了92.31%。

具体来看，传统的文本分类模型如TextCNN、TextRNN和TextRCNN的准确率相对较低，分别在83.15%、72.40%和80.82%左右。这些模型虽然在某些文本分类任务中表现良好，但在处理电力设备缺陷描述这种专业性强、语义复杂的文本时，表现出明显的局限性。BERT模型作为一种强大的预训练语言模型，其准确率达到了84.77%，优于传统的文本分类模型。TextGCN模型利用图神经网络处理文本结构信息，准确率达到了84.62%，也表现出较好的性能，与BERT模型接近。

然而，RoBERTa-GAT模型通过集成RoBERTa的预训练语言理解能力和GAT的图结构处理能力，显著提升了模型对缺陷文本的分类准确性。该模型能更好地捕捉文本中的局部和全局信息，为文本分类提供更丰富的特征表示。相比于BERT和TextGCN模型，RoBERTa-GAT的准确率提升了近8个百分点，这表明该模型在电力设备缺陷严重程度评级任务中具有显著的优势。此外，RoBERTa-GAT模型能够更好地减少噪声影响，提供更可靠的分类结果，这对于电力系统的安全运维具有重要意义。总而言之，此图强调了结合预训练模型和图神经网络的RoBERTa-GAT方法在处理专业领域文本分类任务的有效性，并展现了其在电力设备缺陷评级中的优越性能。

RoBERTa-GAT模型准确率对比

#

🔼 该图为不同模型的缺陷分类准确率对比。图中展示了TextCNN、TextRNN、TextRCNN、BERT、TextGCN以及RoBERTa-GAT模型在电力设备缺陷文本分类任务上的准确率表现。从图中可以清晰地看出，RoBERTa-GAT模型的准确率明显高于其他模型，达到了92.31%。而其他基准模型的准确率则在70%到85%之间波动。这表明，RoBERTa-GAT模型在处理电力领域专业文本分类问题时具有显著优势。该模型结合了RoBERTa的预训练语言模型和GAT图神经网络，有效地利用了文本的语义信息和图结构信息。通过图结构来建模词语和语句之间的关系，并结合注意力机制进行加权，模型能够捕捉到文本中的复杂关系，从而提高了分类的准确性。图中的实验结果有力地支持了RoBERTa-GAT模型在电力缺陷文本分类任务中的有效性，验证了图神经网络在处理此类专业领域文本的潜力，为电力设备运维人员提供更准确的缺陷等级评估依据。此外，从整体来看，使用预训练模型（如BERT）或者图神经网络（如TextGCN）相比于传统的深度学习模型（如TextCNN，TextRNN，TextRCNN），分类的准确性更高，说明预训练模型和图神经网络在复杂文本处理上的优势。

RoBERTa-GAT模型结构图

#

🔼 图3展示了RoBERTa-GAT模型的结构，该模型结合了RoBERTa预训练模型和图注意力网络（GAT）的优势，用于处理缺陷文本分类问题。整个模型结构分为几个关键部分。首先，输入层接收电力设备缺陷描述文本。这些文本经过预处理后，会转换成RoBERTa模型可以理解的输入格式。RoBERTa模型是一个强大的预训练语言模型，能够有效地捕捉文本中的语义信息。RoBERTa模型的输出，即文本的分布式表示，会作为GAT的输入。同时，文本会构建异质图，其中词语和句子作为图的节点，词语之间的共现关系以及句子和词语之间的关联作为图的边。GAT利用注意力机制来学习图中节点之间的关系，为每个节点分配不同的注意力权重，从而强化重要信息。GAT的输出与RoBERTa的输出相结合，通过一个加权求和层，得到最终的文本特征表示。这个过程可以有效地利用RoBERTa的语言理解能力和GAT的图结构处理能力。最后，模型通过全连接层和softmax层输出每个类别的预测概率，从而实现缺陷文本的分类。通过训练过程中调整权衡系数λ，使得模型可以更好地平衡两个模型各自的优势，实现最优的分类性能。这个结构使得模型能够同时学习文本的语义信息和结构信息，提高了缺陷文本分类的准确性，从而实现对电力设备缺陷严重程度的统一评级。