ProMvSD: 基于先验知识集成和多视图语义驱动的无监督知识图谱异常检测

传统异常检测框架

#

🔼 该图描绘了传统的知识图谱异常检测框架。框架的输入是一个知识图谱，该图谱经过预处理，提取出逻辑规则或嵌入表示。这些规则或嵌入被送入模型中进行训练。模型训练完成后，会产生匹配器或分类器，以判断知识图谱中的三元组是否为异常。该框架的核心是监督学习，需要大量带有标签的数据。图中强调了从知识图谱到最终异常检测的流程，并明确指出了监督学习方法在其中所起的作用。这个框架在实际应用中存在一些挑战，例如需要大量标注数据，并且依赖于预先定义的规则或嵌入。该框架也无法很好地处理复杂的知识图谱，因为这些图谱通常包含高度多样的关系类型。此外，这种框架的泛化能力较差，难以应用于新的知识图谱，因为每个知识图谱都有其独特的特点，需要不同的规则或嵌入。这种框架的另一个局限性在于其无法有效利用上下文语义信息进行异常检测，因为该框架依赖于预定义的规则或嵌入，而无法动态地捕捉知识图谱中的上下文语义。此外，这个框架在处理噪声数据时，可能会产生偏差，因为框架中的分类器或匹配器是基于带有标签的数据进行训练，而这些数据可能包含噪声。因此，需要对传统的知识图谱异常检测框架进行改进。

异常检测模型框架对比

#

🔼 这张图表对比了传统的知识图谱异常检测框架和本文提出的 ProMvSD 框架。图 (a) 展示了一般框架，该框架通常依赖于预定义的规则或手动标记的训练数据。这些方法首先根据知识图谱的特定特点制定标准规则，然后通过匹配器识别异常。基于知识表示学习的方法则迭代优化图模型，并基于标注好的标签训练分类器。这些方法存在泛化性较差且难以应用于现实世界知识图谱的问题。相比之下，图 (b) 展示了 ProMvSD 框架，它首先将知识图谱转换为序列结构，并通过大型语言模型（PLM）提取先验知识进行初始化。然后，通过多视图语义驱动模型 (MvSD) 来评估三元组的异常得分，并通过这些得分进行无监督优化。ProMvSD 框架更加灵活，能够直接在噪声知识图谱中区分正常和异常三元组，而无需额外的标签数据。此外，该方法通过将图任务转换为序列任务，从而更好地适用于不同规模的知识图谱。这种设计使得 ProMvSD 能够在没有大量标注数据的情况下进行知识图谱异常检测，从而在实际应用中更具优势。图中的箭头和组件也清晰展示了两个框架的主要流程，方便读者快速理解其差异与优势。

ProMvSD总体架构图

#

🔼 该图展示了 ProMvSD 框架的总体架构，该框架旨在通过将知识图谱的异常检测任务转换为无监督序列任务来适应不同规模的知识图谱。该架构的核心思想是将图结构的数据转换为序列数据，并结合预训练语言模型的先验知识，以及多视图语义驱动的估计模型，从而实现对知识图谱中异常的有效检测。首先，从知识图谱开始，图结构数据通过“Sequence”模块被转换为序列数据。这些序列数据被送入“Embeddings”模块，其中结合了来自“Prior Knowledge”模块的先验知识，这些先验知识可能来自预训练语言模型，用于初始化嵌入向量。接下来，多个视图（View 1, View 2, …, View k）共同评估这些嵌入，在图中以虚线框出的部分，这可能代表不同类型的语义或结构视角。每个视图都会产生一个评分，这些评分随后被汇总，生成一个“Suspicious Scores”，用以衡量每个三元组的异常程度。最后，基于这些可疑分数，系统可以对所有三元组进行排序，并提取排名靠前的 K 个异常三元组。整个过程是无监督的，这意味着模型无需手动标注的异常样本进行训练。这个架构体现了从知识图谱到可疑分数的完整流程，并强调了序列化、先验知识集成和多视图评估在无监督知识图谱异常检测中的作用。图中的核心概念包括知识图谱的序列化表示、外部先验知识的融入、多视图语义驱动评估以及无监督学习方法的使用，这些共同构成了 ProMvSD 框架的核心创新点，旨在解决知识图谱异常检测中面临的挑战。

图3：图数据预处理

#

🔼 该图展示了知识图谱（KG）的图数据预处理过程，将结构化数据转换为序列数据，以适应 ProMvSD 框架的异常检测。图示分为三个子图，分别对应三种不同的视角：节点视角（Node View）、三元组视角（Triple View）和路径视角（Pathway View）。

(a) 节点视角（Node View）：图中左侧展示了如何将一个锚点输入（Anchor Input），即一个三元组 (h, r, t)，转换为一个序列。该视角主要关注三元组内部的逻辑信息，将三元组视为一个简单的句子结构“[主语]→[关系]→[宾语]”。这种转换旨在评估三元组内部的语义一致性，为后续的异常检测提供基础。红色的 h 和 t 分别代表头实体和尾实体，r 代表关系。

(b) 三元组视角（Triple View）：中间部分展示了三元组视角，该视角将每个三元组视为超节点，并忽略关系的方向性。图中，以红色圆圈表示的锚点三元组为中心，扩展到其一阶邻域。分别收集头实体 h 和尾实体 t 的邻近三元组，形成两个集合 Th 和 Tt。这个过程旨在捕获邻近三元组之间的关系，基于信息聚合的稳定性来计算语义差异。其中红色的圆圈代表核心的三元组，蓝色和绿色的圆圈代表与其相关的其他三元组，虚线圆圈代表了一阶邻居的范围。

(c) 路径视角（Pathway View）：图中右侧部分展示了路径视角，该视角考虑关系的方向性，并关注信息在子路径上的流动。与三元组视角类似，路径视角也围绕锚点三元组展开。它将头实体和尾实体对应的所有传入和传出关系，以及关系本身都考虑在内。图中以红色连接的节点为核心三元组，蓝色和绿色的节点表示与其他节点相连的路径。子路径序列 Ph 和 Pt 分别表示以头实体 h 和尾实体 t 为起点的路径序列。该视角关注信息传播的稳定性，通过计算路径间的语义差异来识别异常。

总而言之，该图详细说明了 ProMvSD 如何从三个不同的角度处理知识图谱数据，将图数据转换为序列数据，从而可以利用序列模型的强大能力进行异常检测。这种多视角处理方法可以更全面地捕捉知识图谱中可能存在的异常模式。

ProMvSD框架结构

#

🔼 该图展示了名为 ProMvSD 的知识图谱异常检测框架的整体架构。整个框架主要分为四个阶段：图预处理、先验知识整合、多视图语义驱动估计和无监督优化。在图预处理阶段，首先对输入的知识图谱进行采样，并根据节点视图（NV）、三元组视图（TV）和路径视图（PV）构建子图，并将子图转换为序列数据。接着，在先验知识整合阶段，利用预训练语言模型（PLM）作为推理器，从大规模文本数据中提取先验知识，用于初始化图谱中的实体和关系嵌入表示。在多视图语义驱动估计阶段，通过 Transformer 编码器增强节点视图的内部语义一致性，并使用带有注意力机制的邻居感知聚合器来捕捉三元组视图的全局语义信息，同时利用双向 LSTM 网络来提取路径视图中的动态信息流。在最后一步的无监督优化阶段，框架综合考虑三个视图的输出，并使用基于边际的排序损失函数进行模型优化，从而实现对噪声知识图谱的异常检测。此外，图中还标示了每个阶段所采用的关键技术和操作，如 Graph2Sequence、Sampler、PLM Reasoner、Transformer Encoder、Bi-LSTM 和 Neighborhood-aware Aggregator 等。该图清晰地阐述了 ProMvSD 框架的工作流程，展现了其如何利用多视图信息进行知识图谱异常检测。整个框架设计的目标是无监督地识别和分离知识图谱中的错误三元组，并以此提高知识图谱的质量和可靠性。框架还引入了语义差距的概念，通过量化头尾实体邻域的语义不一致性，更有效地定位异常三元组。

超参数λ的影响

#

🔼 该图表展示了超参数 λ 对 ProMvSD 模型在三个不同数据集（WN18RR、FB15K-237 和 BBK）上的性能影响，评估指标分别为 Recall 和 fMMR。图表分为两个子图：左侧子图展示了 Recall 值随 λ 变化的情况，右侧子图则展示了 fMMR 值随 λ 变化的情况。横轴表示 λ 的取值，范围从 0.001 到 0.999，纵轴分别表示 Recall 和 fMMR 的具体数值。每个数据集都用一条带有标记的曲线表示，使得不同数据集的性能变化可以直观地进行比较。从 Recall 的子图可以看出，WN18RR 数据集在 λ 值较小（接近 0.3）时达到 Recall 的峰值，然后随着 λ 增大而略有下降。FB15K-237 数据集的 Recall 值在 λ 较小时较高，然后在 0.3 附近有明显的下降趋势，之后趋于平稳。BBK 数据集的 Recall 值在 λ 较小（接近 0.3）时略微上升，之后则稳定在一个较低的水平。这些结果表明，λ 的取值对不同数据集的性能影响不一致，需要根据具体的任务和数据集进行调整。从 fMMR 的子图可以看出，WN18RR 数据集在 λ 值在 0.3 左右时，fMMR 指标达到峰值。FB15K-237 数据集的 fMMR 值在 λ 较小时相对较低，在 λ 取值 0.3 附近达到峰值，之后回落。BBK 数据集的 fMMR 值在 λ 较小时变化不大，但在 λ 接近 0.3 时 fMMR 值略微上升，然后趋于稳定。这些结果表明，对于不同的数据集， λ 的最佳取值范围是不同的。图表清晰地展示了超参数 λ 对模型性能的敏感性，并强调了在实践中进行超参数调优的重要性。在实际应用中，需要根据特定数据集的特性来选取合适的 λ 值，以达到最佳的异常检测效果。从整体上看，λ 对模型的 Recall 和 fMMR 指标均有影响，且 λ 的最优值因数据集而异，需要在实验中进行调整。

不同λ值对AUC的影响

#

🔼 该图表展示了在不同 λ 值下，模型在 FB15K 数据集上的 AUC（曲线下面积）表现。λ 是一个在 0 到 1 之间变化的超参数，用于平衡多视图语义驱动模型中不同视图的权重。图表中的曲线显示，随着 λ 值的变化，AUC 值呈现出波动，表明 λ 的选择对模型的性能有显著影响。具体来说，当 λ 值接近 0.3 时，FB15K 数据集上的 AUC 值达到峰值，这表明在此 λ 值下，模型能够最有效地检测知识图谱中的异常。然而，当 λ 值远离 0.3 时，AUC 值会下降，表明模型的性能降低。此外，该图表还展示了其它数据集上模型性能的趋势。这些结果强调了超参数调优在实现最佳模型性能中的重要性。通过仔细分析 λ 值对模型性能的影响，研究人员可以更好地理解不同视图在知识图谱异常检测中的作用，并选择合适的 λ 值以最大化模型的性能。此外，该图表也突出了模型在不同 λ 值下的鲁棒性，这对于在实际应用中部署模型至关重要。图表中其他数据集的曲线提供了更多关于 λ 值对模型在不同数据环境影响的洞察。

超参数对模型性能的影响

#

🔼 该图表展示了三个超参数（trade-off coefficient γ, margin parameter γ, 和 shot setting k）对模型性能（Recall, fMMR, AUC）的影响。图表分为三个部分，每个部分包含三个子图，分别对应不同的性能指标。每个子图有四条曲线，分别代表不同的数据集（具体数据集名称不可见，但可以根据曲线颜色区分）。

(a)图显示了trade-off coefficient γ 对模型性能的影响。可以看出，γ 在不同数据集上的最优值不同，且对fMMR和AUC的影响较Recall更为明显。Recall在γ=0.3附近有明显波动；fMMR和AUC随γ变化表现出相对稳定的趋势。总体而言，γ的选取对模型性能有一定影响，但并非决定性因素。

(b)图展示了margin parameter γ 对模型性能的影响。与trade-off coefficient γ 相比，margin parameter γ 对模型性能的影响相对较小，尤其是在Recall指标上。fMMR和AUC指标随γ值波动也较为平缓。这表明margin parameter γ 在模型的超参数调整中不是关键因素。

(c)图显示了shot setting k 对模型性能的影响。不同数据集在不同k值下表现出不同的性能。对于Recall指标，随着k值的增大，性能整体呈上升趋势，但部分数据集在k值较小时就取得了较好的性能。在fMMR指标上，k=10时达到最优，之后逐渐下降。在AUC指标上，k=10附近时，多个数据集表现出较好的性能，之后略有下降，但整体波动不大。这说明合适的采样数量对模型的性能至关重要。

总体来看，三个超参数对模型性能都有一定影响，但影响程度不同。trade-off coefficient γ 对模型性能的影响较为明显，margin parameter γ 的影响相对较小，而shot setting k 则对不同数据集的模型性能有较大差异。选择合适的超参数值对模型的性能提升具有重要意义。

复杂异常下的模型检测结果

#

🔼 该图展示了在三种不同的知识图谱数据集（WN18RR、FB15K-237和BBK）上，不同模型在默认异常生成方式（Default）和复杂异常生成方式（Complex+）下的异常检测Recall值。横轴代表不同的模型，包括TransE、CAGED、BaseMvSD和ProMvSD。纵轴表示Recall值，即模型正确识别出的异常三元组的比例。在每组模型中，都使用两种不同的颜色来区分异常的生成方式：浅灰色代表默认异常生成方式，深蓝色代表复杂异常生成方式。 具体来说，WN18RR数据集的实验结果显示，ProMvSD模型在默认异常生成方式下的Recall值最高，达到约0.8，而其他模型的表现则相对较低，如TransE仅有约0.3。在复杂异常生成方式下，所有模型的Recall值均有所下降，但ProMvSD的Recall值依然明显高于其他模型。对于FB15K-237数据集，ProMvSD模型在两种异常生成方式下均表现出最高的Recall值，且相较于其他模型有明显的优势。BaseMvSD在两种情况下也都表现良好，高于TransE和CAGED。在BBK数据集上，ProMvSD同样展现了最佳的性能，在两种异常生成方式下都明显优于TransE、CAGED和BaseMvSD。 总的来说，该图清晰地表明，无论是在默认还是复杂的异常生成方式下，ProMvSD模型在不同数据集上的异常检测性能均优于其他对比模型。即使在异常生成方式更为复杂时，ProMvSD模型的性能下降幅度也相对较小，这表明ProMvSD模型在处理复杂异常检测任务时具有更强的鲁棒性和适应性。此外，BaseMvSD在没有使用预训练语言模型的情况下也表现出良好的性能，证明了其多视图语义驱动模型的有效性。

不同模型加入PLM后的性能对比

#

🔼 该图展示了在三个不同的知识图谱数据集（WN18RR，FB15K-237，BBK）上，几种基线模型在默认设置（Default）和使用预训练语言模型增强（PLM+）后的异常检测召回率（Recall）对比。图表分为三个子图，分别对应三个数据集。横轴表示不同的模型，包括TransE、SimplE、CAGED和BaseMvSD；纵轴表示召回率，数值越高表示模型检测异常的能力越强。每个模型都有两组柱状图，浅灰色表示默认设置下的性能，深蓝色表示加入PLM后的性能。从图中可以看出，在所有三个数据集上，加入PLM后，所有模型的召回率都有显著提升，表明PLM可以有效增强模型的异常检测能力。具体来说，TransE的提升最为明显，其默认设置下的召回率相对较低，但在加入PLM后提升非常显著。SimplE和CAGED也有不同程度的提升，但不如TransE明显。BaseMvSD在默认设置下就表现出了较好的性能，加入PLM后也有所提升，但在WN18RR数据集上的提升幅度不如其他模型。总的来说，该图清晰地展示了PLM对于知识图谱异常检测任务的积极影响，并且证明了即使是最基本的模型，在PLM的辅助下也能显著提高性能。这种提升可能源于PLM为模型提供了更丰富的语义信息，使其能够更好地识别知识图谱中的异常三元组。

BBK 案例分析

#

🔼 本图展示了 ProMvSD 模型在 BBK 数据集上的案例分析，包括一个成功的异常检测案例（a）和一个看似失败但实则揭示潜在问题的案例（b）。

在 (a) 中，图展示了 “Blood in Sputum”（咯血）与 “Cerebral Vasculature”（脑血管系统）之间的 “Site of Onset”（发病部位）关系。ProMvSD 模型成功地识别出这是一个异常的知识三元组，因为咯血通常与肺部疾病有关，而非脑血管系统。下方文本框提供了关于咯血和脑血管系统的描述，进一步证实了这种关系的错误性。模型通过分析头尾实体之间的语义差异，准确地识别了异常情况。

在 (b) 中，图展示了 “Sneeze”（喷嚏）与 “Spinal Cord Tumors”（脊髓肿瘤）之间的 “Typical Symptom”（典型症状）关系。最初，模型将此关系判断为正常，但经过进一步分析，可以发现“喷嚏”并非脊髓肿瘤的典型症状，而可能与过敏性鼻炎有关。“Sneeze”可能加剧 “Spinal Cord Tumors” 的疼痛，这个三元组可能是在数据集构建时出现的错误。这个案例展示了模型的分析能力，它不仅能识别明显的错误，还能指出潜在的、不易察觉的错误，揭示了数据集中潜在的问题，并进一步验证了 ProMvSD 模型在处理复杂语义关系方面的有效性。通过对这两种案例的分析，可以看出 ProMvSD 在知识图谱异常检测中的可靠性和有效性，同时展示了在真实场景中如何有效利用该模型来发现数据中的错误。

CAGED模型可疑分数散点图

#

🔼 该图为论文中提出的基线模型 CAGED 在三个数据集（WN18RR, FB15K-237, BBK）上的可疑分数散点图。图中横轴无具体含义，纵轴为可疑分数，数据点颜色表示数据类别，其中红色点代表错误三元组，蓝色点代表正常三元组。从整体布局来看，三个子图都显示错误三元组（红色）和正常三元组（蓝色）在纵轴上存在交错分布，难以清晰区分。具体来说，在 WN18RR 数据集上，错误三元组的分布较为分散，既有低分值区域也有高分值区域，而正常三元组的分布相对集中于低分值区域，但仍然存在一定程度的重叠。FB15K-237 数据集表现出类似的趋势，即错误三元组分布较广，且与正常三元组在分值上混合严重。BBK 数据集虽然在整体分布上更加紧凑，但也显示出错误三元组和正常三元组在可疑分数上存在混叠。总的来说，这些散点图说明 CAGED 模型在区分错误三元组和正常三元组方面存在一定的局限性，无法有效将它们在可疑分数上清晰区分开。这表明模型在实际应用中可能需要更强的判别能力来有效检测知识图谱中的异常三元组。图中的数据点是经过稀疏采样的，因此并非所有数据点都显示在图中。该图主要用于直观地展示 CAGED 模型在不同数据集上的异常检测效果，并作为后续模型对比的基础。

ProMvSD 散点图

#

🔼 该图展示了 ProMvSD 模型在三个不同数据集上的异常检测结果的散点图，分别为 WN18RR，FB15K-237 和 BBK。图中，横轴代表数据点的索引或某种顺序，纵轴代表模型预测的“可疑分数”。每个点代表知识图谱中的一个三元组，红色点表示实际的异常三元组，而蓝色点表示正常的三元组。理想情况下，异常三元组（红色点）应具有较高的可疑分数，聚集在图的上方，而正常三元组（蓝色点）则应具有较低的可疑分数，聚集在图的下方。从图中可以看出，在三个数据集中，ProMvSD 模型都能较好地将异常三元组和正常三元组分离。大部分红色点（异常）都位于图的上方，具有较高的可疑分数，而蓝色点（正常）则集中在下方，具有较低的分数。这意味着 ProMvSD 模型能够有效地识别出知识图谱中的异常，并且具有良好的区分能力。在 WN18RR 和 FB15K-237 数据集上，分离效果尤其明显，异常点的可疑分数普遍高于正常点。BBK 数据集上，虽然分离效果稍逊，但异常点仍然整体集中在更高的分数区域。这种可视化方式有助于直观地理解模型的性能，验证了 ProMvSD 模型在不同数据集上都有较强的异常检测能力。图中的分离效果表明，模型通过学习到的知识表示和多视角语义驱动的估计，成功捕捉了异常三元组的特征，从而能够准确地将它们与正常三元组区分开来。这与论文中提出的模型目标一致，即通过可疑分数来区分知识图谱中的正常和异常三元组。整体而言，该图是论文实验结果的有力佐证，体现了 ProMvSD 模型在实际应用中的有效性。