FALCoN: 使用上下文特征和未标记数据检测和分类社交网络中的辱骂性语言

语言模型微调步骤

#

🔼 这张图描绘了一个用于从社交媒体消息的文本内容中提取向量表示的语言模型微调过程。该过程分为两个主要阶段：语言模型微调（LM Fine-Tuning）和文本分类微调（Text Classification Fine-Tuning）。在第一阶段，即LM Fine-Tuning阶段，使用预训练的LSTM（长短期记忆网络）语言模型。这个模型接受输入序列中的每个词，例如“She”、“is”、“so”和“extra!”，并预测下一个词的概率。图中显示，每个词都通过预训练的LSTM-LM层，生成相应的隐藏状态(h1, h2, h3, h4)，并计算下一个词的条件概率，例如P(“is”|h1), P(“so”|h2), P(“extra”|h3)和 P(“”|h4)。这些概率的计算是基于模型在大量文本数据上学习到的语言模式。第二阶段，即Text Classification Fine-Tuning阶段，使用经过第一阶段微调的LSTM-LM模型。在这个阶段，模型不再预测下一个词的概率，而是针对特定的文本分类任务进行微调。这个过程使用与第一阶段相同的输入序列，但模型的输出变为预测目标变量 y 的概率P(y|h4)。这个目标变量取决于具体的分类任务，例如判断文本是正面还是负面，或者属于哪个类别。此图强调了使用预训练模型进行微调在自然语言处理任务中的重要性，它展示了如何利用大规模语料库学习到的通用语言知识来解决特定的下游任务。通过这种两阶段微调，模型能够更好地理解社交媒体文本的复杂性，从而提高分类性能。这种方法尤其适用于资源有限的语言，因为它可以利用预训练模型中已有的知识来克服数据稀缺的问题。

协同训练流程图

#

🔼 该图展示了论文中提出的协同训练策略的流程。该策略旨在利用无标签数据来提升内容(CTN)和上下文(CTX)分类器的性能，核心思路是通过两个独立的分类器互相学习。整个流程包括以下几个关键步骤：1. 初始训练数据准备: 流程开始于为CTN和CTX分类器准备原始的训练数据。这些初始数据是带有标签的，为后续模型的训练提供基础。

2. 特征提取: 从训练数据中提取CTN特征和CTX特征。CTN特征主要基于文本内容，而CTX特征则基于文本之外的上下文信息，例如点赞数、评论数、发布时间等。
3. 模型训练与验证: 使用提取出的特征分别训练CTN和CTX模型，并在验证集上进行验证，以确定模型的性能。
4. 最优置信概率窗口（CPW）的确定: 通过枚举不同的CPW值来寻找最佳的CPW。CPW是一组阈值，用于决定无标签数据中哪些数据可以被视为高置信度的正例或负例，从而被加入到训练集中。
5. 过滤与添加: 使用最佳的CPW来过滤无标签数据，选择出高置信度的伪标签数据，并将其添加到各自的训练集中，从而实现数据的扩充。这个过程是一个循环迭代的过程。
6. 迭代训练: 不断重复以上步骤，使用添加了伪标签的扩充训练数据对模型进行再训练。
7. 最佳模型选择: 在迭代过程中，选择在验证集上性能最优的模型。
8. 循环迭代: 此过程将重复进行，直到模型性能不再有显著提升或达到预设的迭代次数上限。该图清晰地展示了协同训练的工作机制，通过两个角度（内容和上下文）的分类器互相学习，共同利用无标签数据，最终提升了模型的整体性能。这种协同训练方法特别适用于标签数据匮乏而无标签数据丰富的场景，例如社交媒体滥用语言检测。

F1值对比

#

🔼 该图表展示了在不同类别（Figurative, Rude, Offensive, Dirty, Abusive）下，使用内容特征（CTN）、上下文特征（CTX）以及组合特征（CMB）进行分类时，所能达到的F1值。F1值是衡量分类器性能的一个重要指标，它综合考虑了精确率（Precision）和召回率（Recall）。

从图表中可以看出，在Rude类别下，三种特征均能达到较高的F1值，其中组合特征（CMB）的F1值最高，接近0.92。而在Dirty类别下，所有特征的F1值都相对较低，但CTX和CMB的表现相对较好。在其他类别下，CMB的表现也均优于CTN和CTX。这表明，在大多数情况下，将内容特征和上下文特征相结合能够提升分类器的性能，尤其是对于需要结合上下文理解的类别。

具体来说，对于Figurative类别，CTN的F1值略高于0.75，CTX约为0.71，而CMB接近0.75，提升幅度不大。Rude类别下，CTN的F1值约为0.89，CTX约为0.91，而CMB则略高于0.92，表现最佳。Offensive类别中，CTN的F1值略高于0.74，CTX和CMB的F1值均在0.74附近，提升较小。Dirty类别中，CTN的F1值约为0.62，CTX约为0.69，而CMB则约为0.70，提升幅度相对较大。Abusive类别中，CTN的F1值约为0.86，CTX约为0.89，而CMB则略高于0.90，表现依然是CMB最佳。

综合来看，图表清晰地展示了组合特征（CMB）在不同类别下的优势，特别是在Dirty类别中，这种优势更为明显。这表明，在进行社交媒体内容分类时，同时考虑文本内容和上下文信息对于提升分类器性能至关重要。图表也暗示，对于像Rude这种类别，因为其具有明显的特征词，上下文信息的加持可能不会有非常明显的提升。

特征重要性

#

🔼 该图为表格，展示了使用随机森林算法计算出的各个特征的重要性得分。这些特征主要分为两类：CTN（内容特征）和CTX（上下文特征）。其中，上下文特征（CTX）占据主导地位。具体而言，‘super_haha_count’（超级哈哈计数）和‘cue_figr_loc_first’（比喻词首次出现位置）并列第一，得分均为0.041，显示了用户在社交媒体上的互动行为以及特定词语出现位置在识别恶意内容中的重要性。‘post_time_month’（帖子发布月份）得分0.037，表明时间因素对模型判断也具有一定影响。‘post_love_count’（帖子喜爱计数）为0.033，说明情感反应也能提供线索。‘cue_rude_loc_avg’（粗俗词平均出现位置）和‘post_time_minute’（帖子发布分钟）的得分分别是0.032和0.031，体现了上下文和时间信息对于检测不当言论的重要性。其他上下文特征如‘post_share_count’（帖子分享计数）、‘cue_figr_count’（比喻词计数）、‘cue_offn_loc_avg’（攻击词平均出现位置）等也排在前列，表明上下文信息对理解恶意内容至关重要。值得注意的是，唯一一个内容特征‘’（被审查的比喻词）也出现在列表中，尽管得分较低，但仍具有一定影响力。总的来说，该表格强调了在检测社交媒体恶意内容时，上下文特征（CTX）的重要性高于内容特征（CTN），尤其是用户互动、情感反应和时间信息等因素。该表格的结果表明，仅仅依赖文本内容可能不足以准确识别恶意内容，必须结合上下文信息才能有效提升检测性能。这有助于理解模型如何利用各种特征来判断帖子是否具有攻击性，为进一步优化模型提供了依据。

FALCoN框架图

#

🔼 该图是FALCoN（Foul and Abusive Language detection using Co-training in social Networks）框架的整体流程图。从图中可以看出，该框架主要由以下几个步骤构成：首先，从社交媒体平台（例如Twitter、Facebook等）收集原始数据，这些数据包含文本内容、时间戳、对话结构和用户反馈等信息。接下来，对收集到的数据进行预处理，包括标记部分数据为恶意内容，并提取内容特征（CTN）和上下文特征（CTX）。这些特征被进一步组合成混合特征（CMB），以便进行模型训练。模型训练阶段分为两个部分，首先使用CTN、CTX以及CMB特征分别训练各自的基础模型。随后，利用协同训练（co-training）方法，使用无标签数据对CTN和CTX基础模型进行迭代优化。在协同训练过程中，两个模型互相学习，不断提升自身的分类性能。最后，将经过协同训练的CTN和CTX模型以及CMB模型进行集成，利用加权平均或多数投票等方法进行最终的分类决策。该框架旨在处理低资源语言环境下，社交网络中恶意语言的检测和分类问题。通过利用丰富的无标签数据和上下文信息，FALCoN框架能够有效提高恶意内容检测的准确率和召回率。特别地，图中展现的协同训练过程是该框架的核心创新点，通过两个模型的相互学习，有效利用了未标注数据，提升了模型的泛化能力和鲁棒性。此外，该框架通过对比实验，验证了其在恶意内容检测和分类任务中的有效性，特别是在低资源语言环境下，表现出显著的优势。 这个框架设计清晰，逻辑严谨，为社交网络中恶意语言的检测和分类提供了一个有效的解决方案。

FALCoN框架图

#

🔼 该图表展示了名为 FALCoN (Foul and Abusive Language detection using Co-training in social Networks) 的框架的整体流程。该框架旨在检测和分类社交网络中的辱骂性语言，特别是在低资源语言环境中。整个流程从社交媒体平台（如Twitter、Facebook等）收集消息开始。这些消息首先经过预处理，提取出相关的信息，包括文本内容、时间戳、会话结构以及用户反应等。部分消息被标记上辱骂类别，用于后续模型的训练和评估。框架的核心在于提取内容特征（CTN）和上下文特征（CTX），并将它们组合成混合特征类型（CMB）。内容特征是从消息的文本内容直接计算得出的，例如使用TF-IDF或词嵌入模型。而上下文特征则来自其他非文本属性，如用户互动、帖子结构以及周围消息等。然后，针对CTN、CTX和CMB这三种特征类型，评估不同的文本表示方法和分类算法，以找出最优的组合。框架进一步利用协同训练（co-training）方法，将CTN和CTX基模型与未标记数据一起用于迭代学习，以提高分类性能。协同训练之后，最佳的CTN和CTX模型以及最佳的CMB分类器被组合起来形成集成决策。框架最终将输入的消息分类为一个或多个辱骂类型。图表的布局清晰地展示了数据处理、特征提取、模型训练和最终分类的完整流程。这种结构化的方法使得框架易于理解和复制，并且为解决低资源语言中的辱骂语言检测问题提供了一个有前景的解决方案。

特征重要性排名

#

🔼 图表展示了在社交网络中检测和分类辱骂性语言时，随机森林模型中各特征的重要性排名。这些特征分为上下文(CTX)和内容(CTN)两类，分别代表了非文本信息和文本内容。每个类别的前20个最重要特征被列出。对于辱骂类，包括脏话(dirty)、粗鲁(rude)词语出现频率及其平均位置、帖子时间(月份、年份)、超赞(super haha)和喜爱(love)等互动次数、信息位置等上下文特征，表明这些元素在识别辱骂性信息时至关重要。内容特征虽然也存在，但重要性不如上下文特征。强调了上下文信息在识别辱骂性语言中的重要作用，尤其是在检测细粒度类别（如“脏”、“粗鲁”）的辱骂信息时。值得注意的是，这些特征的有效性可能受到语言和文化背景的影响，并且需要进一步研究和验证在其他语言和社会环境中的适用性。同时，用户行为，特别是互动反应（例如“赞”，“爱”，“哇”，“哈哈”，“悲伤”等）的频率，与粗俗语言的识别高度相关，揭示了社交媒体上辱骂性语言的复杂性，而仅仅依靠文本内容可能是不够的，需要关注用户之间的互动信息。

此外，帖子时间信息，包括月份和年份，以及帖子的分享次数，在所有类别中都排名前20，可能表明某些时间段或事件更容易出现粗俗言论。这些发现对开发更准确的辱骂性语言检测系统具有重要意义，并为社交媒体平台识别和处理有害内容提供了有价值的见解，有助于更好地理解社交媒体上用户行为的模式和潜在的社会文化影响。进一步研究还可以探讨这些特征在不同文化背景下的变化，从而改进跨文化环境下的检测模型。

FALCoN框架流程图

#

🔼 该论文提出了一个名为 FALCoN 的框架，用于在资源匮乏的语言环境中检测和分类社交网络中的辱骂性语言。该框架的核心思想是利用协同训练 (co-training) 的方法，结合内容特征和上下文特征，以及大量的未标记数据来提高模型的性能。\n\n框架的整体流程如下：首先，从社交媒体平台（如 Facebook、Twitter 等）收集消息，并进行预处理，提取文本内容、时间戳、对话结构和用户反馈等相关信息。然后，对部分消息进行人工标注，分为不同的辱骂类别（如比喻、粗鲁、冒犯、污秽和非辱骂）。接下来，从标注和未标注的数据中提取内容特征 (CTN) 和上下文特征 (CTX)，并将它们合并成组合特征 (CMB)。针对 CTN、CTX 和 CMB 三种特征类型，分别评估不同的文本表示方法和分类算法，得到相应的基本模型。\n\n重点在于，该框架使用 CTN 和 CTX 基本模型，通过协同训练过程来提高分类性能。在协同训练过程中，两个模型分别从不同的特征视角学习，并利用未标记的数据进行迭代更新，互相指导学习。协同训练完成后，选取最优的 CTN 和 CTX 模型，并结合最优的 CMB 模型，进行集成决策，最终将输入消息分类到不同的辱骂类别。\n\n该框架的主要创新点包括：提出了针对低资源语言的协同训练策略，同时利用了内容和上下文特征，并通过未标记数据来增强模型的泛化能力。该框架在泰语数据集上进行了实验验证，并取得了较好的分类效果。\n\n该框架的提出为低资源语言环境下社交网络中辱骂性语言的检测和分类提供了新的思路和方法，具有重要的学术价值和应用前景。同时，也为其他相关研究提供了参考和借鉴。

Co-Training F1变化趋势

#

🔼 该图表展示了在“Dirty”类别下，使用逐步（Progressive）和重学习（Relearning）两种方式进行协同训练时，内容特征（CTN）和上下文特征（CTX）模型的F1值的变化趋势。横轴表示迭代次数，纵轴表示F1值。左图展示了逐步协同训练的结果，其中CoT-Pro-CTN代表内容特征模型，CoT-Pro-CTX代表上下文特征模型。右图展示了重学习协同训练的结果，CoT-Rel-CTN代表内容特征模型，CoT-Rel-CTX代表上下文特征模型。

逐步协同训练（左图）： 可以看到，在初始迭代时，内容和上下文模型的F1值都较高。随着迭代的进行，两个模型的F1值均出现显著下降，并在大约第6次迭代后趋于稳定，但整体表现较低。内容模型的F1值在迭代过程中始终低于上下文模型，并且在约第6次迭代后稳定在0.65左右。上下文模型在初始迭代后出现下降，然后有所回升，但总体上稳定在略高于0.67的水平，表现优于内容模型。

重学习协同训练（右图）： 可以看到，与逐步协同训练相比，重学习协同训练下的F1值波动更为明显。模型在迭代过程中经历了多个上升和下降的阶段，并未出现如左图般的快速稳定。内容和上下文模型的F1值在迭代过程中交替领先，反映了模型的动态学习过程。内容模型F1值在迭代初期和中期表现不稳定，后期趋于下降。上下文模型F1值整体表现相对稳定，并最终高于内容模型，达到大约0.7的水平。

对比分析： 总的来说，重学习协同训练展现出更好的整体表现，其模型最终达到的F1值高于逐步协同训练。重学习协同训练的F1值波动性表明，模型在迭代过程中能够动态调整学习，避免过早陷入局部最优。 逐步协同训练则可能因为过早引入不准确的伪标签而导致模型性能下降。重学习协同训练在多个迭代周期内的表现波动，也反映了模型在不断学习，纠正错误标签。图中显示在重学习模式下，模型在初期和中期有较大的震荡，表明重学习策略允许模型在迭代过程中有机会丢弃或修正之前不准确的伪标签。结合文章上下文分析，可得知重学习策略在协同训练中能够更有效地提高模型性能，使得模型能够充分利用未标记数据进行学习。