基于多特征融合的深度学习情感分类

RNSA方法在不同特征组合下的表现

#

🔼 该表格展示了RNSA（一种用于情感分析的深度学习方法）在不同特征组合下的性能表现，具体来说，比较了使用全部特征（RNSA Full）、去除词级别特征（RNSA WEF+SLF）、去除句子级别特征（RNSA WEF+WLF）以及仅使用词嵌入特征（RNSA WEF）时的精确率（Precision）、召回率（Recall）和F1值（F_measure）。

实验结果显示，RNSA Full方法在所有评估指标上都取得了最佳性能，其F1值达到了0.7478，显著优于其他特征组合。这表明，结合词嵌入、词级别特征和句子级别特征可以最大化模型的性能。相比之下，RNSA WEF方法仅使用词嵌入特征，表现最差，F1值仅为0.6807。RNSA WEF+WLF和RNSA WEF+SLF的性能介于两者之间，F1值分别为0.7246和0.7048。这说明词级别特征（WLF）对模型的贡献要高于句子级别特征（SLF）。

数据还表明，词嵌入特征（WEF）是基础，但在词嵌入特征的基础上增加词级别特征和句子级别特征能够提高模型的性能，并且词级别特征的贡献更为显著。RNSA Full方法之所以能取得最佳性能，是因为它充分利用了上下文信息、句子和词的情感信息，并且能够区分具有相反情感极性的词语。该表的数据明确指出，在情感分析任务中，综合利用各种特征是非常重要的，特别是词级别特征。这种多特征融合的方式显著提升了模型的性能。

RNSA模型结构示意图

#

🔼 该图展示了论文中提出的 RNSA（Recurrent Neural Network with Long Short-Term Memory）模型的整体结构。RNSA 模型旨在对文本进行情感分类，它结合了多种特征信息并利用 RNN-LSTM 网络进行处理。模型的主要组成部分包括预处理模块、向量表示模块、RNN-LSTM 层和全连接层。

预处理模块是数据处理的第一步，负责对原始文本进行清洗和标准化处理，如分词、去除停用词、词干提取和词性标注等。这一步旨在提取文本中的关键信息，为后续的特征提取和模型训练做准备。预处理后的文本被转化为向量表示，其中包含了词嵌入特征、词级别特征和句级别特征。

在向量表示模块中，通过词嵌入技术将词语映射到低维向量空间，捕捉词语的语义和语法信息。此外，还结合了词级别特征（如词性标注和情感编码的词嵌入）和句级别特征（如词汇特征、否定特征、标点特征、词性特征和句子类型特征）来构建更加丰富的文本表示。

RNN-LSTM 层是模型的关键部分，它利用 LSTM 单元处理序列数据，捕捉文本中的长期依赖关系。在每一个时间步，LSTM 单元接收当前时间步的输入向量（包含词嵌入、词级别特征）以及前一个时间步的隐藏状态，并更新内部记忆状态和隐藏状态。通过这种方式，模型可以学习到句子中词语之间的顺序关系和上下文信息。

最后，全连接层将 RNN-LSTM 层的输出与句级别特征进行拼接，然后通过 sigmoid 激活函数进行二分类，预测文本的情感极性（正面或负面）。图中，不同的颜色编码分别代表了不同的特征类型。蓝色圆点代表词嵌入特征，绿色圆点代表词级别特征，橙色圆点代表句级别特征，灰色圆圈代表从 RNN-LSTM 中提取的特征。总体而言，该图清晰地展示了 RNSA 模型的结构和工作流程，强调了多特征融合和 RNN-LSTM 网络在情感分类中的重要作用。这种详细的结构图对于理解 RNSA 模型的工作原理至关重要，有助于读者了解模型如何处理输入数据并做出情感分类预测。

循环神经网络结构图

#

🔼 该图展示了一个循环神经网络（RNN）的架构，用于处理序列数据，例如文本。图中，底部标有t=0、t=1和t=2的椭圆分别代表输入序列中的三个词：“I”，“Like”和“Movie”。每个词（如X0, X1, X2）通过各自的输入权重（U0, U1, U2）被输入到隐藏层（h0, h1, h2），隐藏层通过循环连接（W01, W12）传递信息，使得网络能够捕捉序列中的上下文关系。每个隐藏层的输出通过输出权重（v0, v1, v2）生成输出（E0, E1, E2）。

具体来说，在时间步t=0，输入词“I” (X0) 通过权重U0传递到隐藏层h0。接着，在t=1，输入词 “Like” (X1) 通过权重U1传递到隐藏层h1，同时，来自h0的信息通过权重W01传递到h1，从而使得h1的计算考虑了前一个词的信息。这个过程持续到t=2，输入词“Movie” (X2) 通过权重U2传递到隐藏层h2，同时来自h1的信息通过权重W12传递到h2。

这种结构使得RNN能够处理文本等序列数据，捕捉序列中词与词之间的关系，这对于情感分析等自然语言处理任务至关重要。图形化的表示清晰地展示了RNN如何通过时间步的迭代处理输入序列，并通过隐藏层的循环连接维持上下文信息。图中颜色编码也帮助区分了输入层，隐藏层和输出层。这个RNN结构图是本文中提出的RNSA方法的核心组成部分，支持了模型对句子进行情感分析的能力。

LSTM 架构图

#

🔼 该图展示了长短期记忆网络（LSTM）的详细架构。LSTM 是一种特殊的循环神经网络（RNN），旨在处理序列数据中的长期依赖关系。图中清晰地展示了 LSTM 单元内部的结构，包括各种门控机制和激活函数。

首先，输入向量 Xt 和前一时间步的隐藏状态 ht-1 作为输入。这些输入通过不同的线性变换（权重矩阵）和偏置项，分别进入输入门 (it)、遗忘门 (ft) 和输出门 (ot)。这些门使用 sigmoid 激活函数（σ）产生介于 0 和 1 之间的值，控制信息的流动。此外，输入向量和前一时间步的隐藏状态还会经过一个 tanh 激活函数（tanh），生成一个候选记忆单元 (ĉt)。

遗忘门 (ft) 决定哪些信息需要从单元状态 Ct-1 中丢弃。输入门 (it) 决定哪些新的信息需要添加到单元状态中，该信息由候选项记忆单元 (ĉt) 提供。通过这两个门控机制的结合，可以实现对记忆单元 Ct 的更新。单元状态 Ct 的更新公式为：Ct = ft * Ct-1 + it * ĉt。

最后，输出门 (ot) 决定基于当前单元状态 Ct 和 tanh 激活函数 tanh(Ct) 来产生当前时间步的隐藏状态 ht。隐藏状态的计算公式为：ht = ot * tanh(Ct)。图中的圆形带叉的符号表示乘法操作，带加号的符号表示加法操作。

总的来说，该图清晰地描述了 LSTM 的核心机制，通过精心设计的门控机制，LSTM 能够有效地处理长距离依赖，使其在自然语言处理等任务中表现出色。此图对于理解和实现 LSTM 网络至关重要，它可以帮助研究人员了解数据是如何在 LSTM 单元内部流动和转换的。

情感词典大小与性能关系

#

🔼 该图为柱状图，展示了不同情感词典的大小与其在情感分析任务中的性能（以 F-measure 指标衡量）之间的关系。横轴表示情感词典中词语的数量，纵轴表示 F-measure 的百分比值。图中每个柱状代表一个情感词典，不同的词典用不同的颜色和线型区分，其中包括 General Inquirer、AFINN、SenticNet4、SO-CAL、Sentiment140 Lexicon、Subjectivity Lexicon、SentiWordNet、MSD、Opinion Lexicon、NRC 和 WordNet-Affect。从图中可以看出，不同的情感词典在性能上存在显著差异。词典大小与性能之间呈现出一定的正相关趋势，即一般情况下，词典包含的词语越多，情感分析的性能就越高。AFINN（2477 个词）的 F-measure 值最低，约为 67%；而 SentiWordNet（155287 个词）和 MSD（183000 个词）的 F-measure 值最高，接近 73% 和 75%。特别值得注意的是，MSD 词典取得了最高的 F-measure 值，这表明，结合多种情感词典可能有助于提升情感分析的准确率。然而，也存在一些例外，例如 Opinion Lexicon 词典词语数量较少，但其 F-measure 值仍高于部分词语数量更多的词典，这表明除了词语数量之外，词典质量和覆盖度也是影响性能的重要因素。该图清晰地展示了情感词典在情感分析中的作用，并强调了词典选择和构建的重要性，以及词典大小并非决定性能的唯一因素。