使用年度报告中的文本段进行深度学习的困境预测

模型表现对比图

#

🔼 该图展示了不同模型在预测企业财务困境时的表现，使用了 AUC 和对数得分（Log Score）作为评估指标。图中横轴代表不同的模型，包括结合审计报告和管理层声明的神经网络模型 (NNaud+man)，仅使用审计报告的神经网络模型 (NNaud)，仅使用管理层声明的神经网络模型 (NNman)，梯度提升树模型 (XGB)，不使用文本信息的神经网络模型 (NN) 以及逻辑回归模型 (Logit)。纵轴左侧为 AUC 值，右侧为对数得分。AUC 值越高，模型性能越好，对数得分越低，模型性能越好。

从图中可以清晰地看出，NNaud 和 NNaud+man 模型的 AUC 值最高，表明这两个模型在对企业财务困境进行排序时表现最佳。同时，这两个模型的对数得分也最低，进一步证实了它们在模型拟合方面更优越。相比之下，NNman，XGB，NN 和 Logit 的 AUC 值都相对较低，对数得分较高，说明这些模型在预测企业财务困境方面的表现不如前两个模型。特别值得注意的是，NNaud 和 NNaud+man 的表现非常接近，这表明管理层声明在模型中提供的额外信息价值有限，审计报告可能是预测企业财务困境的关键文本数据来源。

图中还使用了误差线来表示结果的波动范围，这有助于我们更准确地评估模型性能的稳定性。整体而言，该图清晰地展示了结合文本信息（特别是审计报告）的神经网络模型在企业财务困境预测方面具有明显的优势，为研究人员和从业人员提供了有价值的参考。

图 1：神经网络架构

#

🔼 图1展示了用于预测企业财务困境的神经网络架构。该模型融合了文本数据（审计报告和管理层声明）和数值财务变量。该架构由几个关键部分组成，首先是词嵌入层，将文本中的每个词转换为密集向量，以便在特征空间中表示语义相似性。接下来，将文本分割成半重叠的词块，并使用卷积神经网络（CNN）从这些词块中提取模式，从而学习低维表示。这些模式随后被送入循环神经网络（RNN），通过注意力机制对RNN的输出进行加权求和，生成最终的文本表示。这个文本表示然后与数值财务变量连接起来，形成一个综合特征向量。最后，通过两个全连接层，并利用sigmoid激活函数，输出最终的企业财务困境预测概率。这种架构允许模型捕捉文本的语义信息和时间依赖性，并通过注意力机制关注文本中更重要的部分。该图展示了不同组件之间的信息流动，从原始的文本和数值输入到最终的预测输出，整体架构清晰且易于理解，解释了模型如何整合文本和数值数据进行财务困境预测，并为读者提供了模型运作的整体视图。

模型参数调优结果

#

🔼 该论文主要研究了如何利用年度报告中的非结构化文本数据（审计报告和管理层声明）来预测企业财务困境。文中提出了一个深度学习模型，该模型结合了卷积神经网络（CNN）和循环神经网络（RNN），并融合了财务报表中的数值变量，以提高预测的准确性。图A.1展示了模型在不同参数下的性能表现，包括AUC（曲线下面积），用于评估分类模型的性能。从图中可以看出，针对不同的文本数据（包括只使用审计报告、只使用管理层声明以及两者都使用），模型进行了参数调优。横轴表示不同的超参数组合，比如卷积神经网络的块大小、过滤器数量，池化大小等，以及循环神经网络的LSTM单元大小，学习率。图中的误差线表示一个标准差的范围。结果表明，模型在不同的参数组合下性能相对稳定，在一定的范围内波动，没有出现明显的参数敏感性。例如，使用审计报告的模型（NNaud）和同时使用审计报告和管理层声明的模型（NNaud+man），在不同的参数下，AUC的值均高于只使用管理层声明的模型（NNman），这表明审计报告对于预测企业财务困境的贡献更大。而NNman模型的参数调优结果相对于其他两个模型，波动性也更大，表明其性能受参数影响较明显。最佳的参数组合可以通过观察图中的最高点或者误差线上限来确定。整体来说，图A.1展示了参数调优的结果，说明模型在合理的参数范围内具有鲁棒性，并且验证了审计报告在预测企业财务困境中的重要作用。模型最终选择的参数是块大小为20，过滤器数量为40，池化大小为4，LSTM单元大小为100，学习率为0.001。这些结果为后续的实验和分析提供了依据，验证了该模型具有较好的泛化能力和稳定性。

Example 2 attention map

#

🔼 本图展示了论文中“Example 2”部分，该部分通过热力图突出了审计报告中对公司财务状况至关重要的关键短语。图中，红色高亮区域表示模型在预测公司破产风险时给予较高权重的词语或短语，这些词语揭示了公司面临的重大不确定性。具体而言，高亮部分包括“在报表注释中的提及”和“管理层的报告，管理层解释了关于公司持续经营能力的重大不确定性”，以及“继续经营，因为是否能够产生必要的流动资金仍然不确定”。这些短语表明，审计师在评估公司未来运营能力时，对财务持续性表示了明确的担忧。此处的关注点不仅在于财务报表中存在不确定性，还在于管理层对这些不确定性的明确承认，这在模型中被认为是预测公司可能陷入困境的重要信号。通过这种可视化，研究人员可以直观地理解模型如何利用文本数据中的关键信息来进行破产风险预测，并证明了结合文本分析在传统财务指标之外的价值。此外，该热力图也体现了模型的解释性，使用户能够理解模型决策的过程，这在实际应用中至关重要。总体而言，本图突出了文本信息在理解企业财务健康状况中的重要作用，并揭示了审计报告中的细微信息是如何被模型有效利用的。

不同模型在企业破产预测中的AUC和Log Score表现

#

🔼 该图表展示了不同模型在企业破产预测任务中的性能表现，主要比较了包括文本信息的深度学习模型与仅使用数值财务变量的传统模型。其中，NNaud+man表示同时使用审计报告和管理层声明的模型，NNaud表示仅使用审计报告的模型，NNman表示仅使用管理层声明的模型，NN表示不使用文本信息的神经网络模型，XGB表示梯度提升树模型，Logit表示逻辑回归模型。图表分为两个部分，分别展示了模型的AUC（曲线下面积）和Log Score。AUC用于衡量模型区分破产企业和非破产企业的能力，值越高表示模型性能越好；Log Score则衡量模型预测概率的准确性，值越低表示模型性能越好。结果显示，所有包含文本信息的模型（NNaud+man, NNaud, NNman）的AUC均高于不包含文本信息的模型（NN, XGB, Logit），且Log Score均低于不包含文本信息的模型，这表明文本信息对于提高破产预测的准确性具有重要作用。此外，NNaud模型的表现优于NNman模型，表明审计报告比管理层声明提供更多有价值的破产预测信息。值得注意的是，NNaud+man模型的表现与NNaud模型基本持平，说明管理层声明提供的破产预测信息可能已被审计报告所涵盖。误差条显示了模型性能的标准误差，表明结果的可靠性。总体而言，该图表清晰地展示了引入文本信息后，深度学习模型在企业破产预测任务中的性能提升，为进一步研究文本信息在财务预测中的应用提供了重要参考。该图表还提示研究人员，审计报告可能比管理层声明更值得关注。

Example 4 from auditors’ report

#

🔼 该部分文本节选自一份审计报告，展示了模型如何利用注意力机制来识别与公司财务困境相关的关键信息。这段文字的核心内容是审计师未能对公司持续经营能力给出明确结论，原因是公司尚未收到相关银行的确认，导致审计师无法对公司的运营能力做出评估。 “involved bank, and on that basis we cam conclusion regarding the firm’s ability t operation. Non-Conclusion Due to” 这句话强调了审计师的保留意见和由此带来的不确定性。模型通过加深颜色标注的方式，突出了 “conclusion regarding the firm’s ability t operation” 这几个词组，表明这些词组对于预测公司是否会陷入财务困境至关重要。这种不确定性在财务报告中被认为是负面信号，通常与公司较高的破产风险相关联。 该示例展示了深度学习模型如何有效地从文本数据中提取关键信息，并通过注意力机制突出这些信息的重要性，从而提升公司财务困境预测的准确性。该模型不仅关注个别关键词，还能理解词组之间的上下文联系，从而对审计报告的整体含义进行评估，最终形成更精准的预测。这种方法克服了传统方法依赖人工定义特征的局限性，展现了自然语言处理技术在金融风险管理领域的巨大潜力。

神经网络参数调优结果

#

🔼 该图展示了神经网络模型在不同超参数设置下的性能表现，使用AUC（曲线下面积）作为评估指标。图中包括了五个子图，分别展示了块大小（block size k）、LSTM 单元大小（cell size）、学习率（learning rate）、过滤器数量（number of filters m）和池化大小（pool size τ）对模型性能的影响。

(a) 块大小 (Block size k)：该图显示了当块大小 k 从 10 增加到 20 时，模型的 AUC 值略有上升，之后趋于稳定。不同的标记表示不同的模型配置，黑点和三角表示使用了文本信息的模型，而白色方块表示没有使用文本信息的模型。带误差线的点表示在不同的参数设置下的模型表现的波动范围。这说明块大小对性能有一定影响，但不是特别显著。

(b) 单元大小 (Cell size of LSTM)：该图展示了 LSTM 单元大小对模型性能的影响。图中结果表明当单元大小从 50 增加到 100 时，模型的性能有小幅提高，之后在 150 时略有下降，但总体变化不大。这表明 LSTM 单元的大小对于模型性能有一定影响，但并非决定性因素。

(c) 学习率 (Learning rate)：该图显示了不同的学习率对模型性能的影响。当学习率为 10^-3 时，模型性能优于学习率为 10^-4 的情况。说明适当的学习率对于模型的训练至关重要。

(d) 过滤器数量 (Number of filters m)：该图展示了卷积神经网络中过滤器数量对模型性能的影响。图中结果表明当过滤器数量从 40 增加到 60 时，模型性能略有提高，但是幅度不大。这意味着增加过滤器数量可能会提高模型表现，但边际效益递减。

(e) 池化大小 (Pool size τ)：该图显示了不同的池化大小对模型性能的影响。当池化大小从 2 增加到 4 时，模型的性能有小幅提高，之后在 6 时略有下降。这说明池化大小对模型性能有一定影响，但并非线性关系。

总的来说，这些图表展示了超参数调优的结果，并且突出了选择合适的参数对于模型的性能非常重要。从整体趋势来看，使用了文本信息的模型（黑点和三角）始终优于没有使用文本信息的模型（白色方块）。

图 2: 模型性能比较

#

🔼 图2展示了不同模型在预测企业财务困境时的性能比较，其中横轴代表不同的模型，纵轴表示AUC和对数得分（Log score）。图中的误差线表示标准误差范围。从图中可以清晰地看到，采用了文本信息的神经网络模型（NNaud + man, NNaud, NNman）在AUC指标上均显著高于不使用文本信息的模型（NN, XGB, Logit）。这表明，利用年度报告中的审计报告和管理层声明等文本信息，能够显著提高财务困境预测的准确性。具体而言，NNaud（仅使用审计报告的神经网络模型）和NNaud+man（同时使用审计报告和管理层声明的神经网络模型）的性能最为突出，它们的AUC值均超过了0.84，而传统模型（如Logit）的AUC值仅为0.81左右。对于Log score指标，数值越小表示模型拟合效果越好，同样，采用了文本信息的模型得分也明显低于不使用文本信息的模型。这表明，文本信息不仅能提高模型的风险排序能力，还能提供更好的整体模型拟合效果。此外，图表还显示了NNaud和NNaud+man之间没有显著差异，这暗示在当前数据集下，管理层声明没有提供超出审计报告的额外信息。总而言之，图2有力地支持了在企业财务困境预测中加入文本分析的有效性，并证明了审计报告的重要性。这些发现对于开发更精确的财务风险预测模型具有重要意义。