要点总结 #
数字人文（DH）和信息科学（LIS）领域的研究越来越依赖于计算技术，尤其是深度神经网络（DNN）在自然语言处理（NLP）中的应用。尽管DNN在许多NLP任务中表现出色，但在DH研究中应用DNN时，面临两大主要挑战：训练数据的可用性和领域适应。DH领域的文本资源通常是特定领域的，且数据量有限，难以满足DNN的训练需求。此外，DH任务的解释与标准NLP任务不同，导致直接应用DNN模型时效果不佳。
本文通过分析多个DH研究案例，提出了应对这些挑战的解决方案。针对训练数据不足的问题，研究者可以通过众包、专家标注或生成合成数据来扩展数据集。领域适应问题则可以通过迁移学习、模型微调等技术来解决。本文还为DH研究者提供了一个决策模型，帮助他们根据数据可用性和领域需求选择合适的深度学习方法。通过这些方法，DH研究者可以更好地利用DNN技术，提升文本分析的准确性和效率。
关键要点 #
论文重要性 #
本文的研究为数字人文领域提供了重要的技术指导，帮助研究者克服深度神经网络应用中的关键挑战。随着数字人文研究的扩展，文本分析的需求日益增加，而DNN作为当前最先进的NLP技术，能够显著提升文本分析的效率和准确性。本文提出的决策模型和解决方案不仅适用于当前的研究，还为未来的数字人文研究提供了方向。通过推动DNN在DH领域的应用，本文为跨学科研究提供了新的可能性，并鼓励研究者生成和共享更多的公开数据集，以促进深度学习技术的进一步发展。
图表分析 #
DH与生物信息学ML/DL应用对比 #
🔼 本图表展示了数字人文(DH)和生物信息学领域在机器学习(ML)和深度学习(DL)方面的应用对比。横轴代表三个指标：深度学习占机器学习的比例（Deep Learning / Machine Learning）、深度学习占所有文章的比例（Deep Learning / All）、以及机器学习占所有文章的比例（Machine Learning / All）。纵轴表示百分比。图表使用并排的柱状图来对比两个领域在这些指标上的差异，蓝色柱状代表数字人文，橙色柱状代表生物信息学。
观察图表，可以得出以下几个关键发现：首先，在“深度学习占机器学习的比例”方面，生物信息学明显高于数字人文，分别约为52%和21%。这意味着在生物信息学领域，研究人员更倾向于使用深度学习作为机器学习的一部分。其次，在“深度学习占所有文章的比例”方面，生物信息学依然显著高于数字人文，约为19.5%和3.8%，这说明生物信息学领域更广泛地采用了深度学习技术。最后，在“机器学习占所有文章的比例”方面，生物信息学也高于数字人文，大约为37%和18%，这表明生物信息学领域整体上更积极地应用机器学习技术。总的来说，该图表清晰地展示了数字人文领域在机器学习，特别是深度学习的采用方面明显落后于生物信息学领域。这可能反映了不同领域的研究重点、资源投入或技术成熟度的差异。这种差异突出了数字人文领域在技术应用方面仍有很大的提升空间，可以借鉴生物信息学等领域的成功经验，从而推动数字人文领域的进步。此外，该图表支持了文章的论点，即数字人文学科在深度学习的使用方面相对滞后。
更多图表分析
NER模型结构图 #
🔼 该图展示了一个用于命名实体识别（NER）的深度学习模型的结构。整个模型主要由三个部分组成：嵌入层（Embedding layer）、双向长短期记忆网络层（Bi-LSTM）和条件随机场层（CRF）。
在嵌入层，模型首先接收输入，然后使用四种不同的方法对输入进行编码：新训练的词嵌入（Newly trained embeddings）、领域内预训练的词嵌入（In-domain embeddings）、BERT预训练的词嵌入和字符级别的词嵌入（Character embeddings）。这些不同的词嵌入方式旨在捕获文本的不同方面，例如词的语义信息、领域相关的特征以及词的形态信息。这些词嵌入被合并（通过“+”符号表示）形成一个统一的向量表示。
接下来，这个统一的向量表示被输入到双向LSTM层。双向LSTM层可以捕捉上下文信息，既考虑了输入序列的前向信息，也考虑了后向信息，这对于理解文本中的实体边界至关重要。
最后，Bi-LSTM的输出被传递到多个“实体类型”层，每个实体类型层对应一个特定的命名实体类型（如人名、地点等）。每个实体类型层都包括一个全连接层和一个CRF层。全连接层进行初步的分类，而CRF层则用于捕捉标签之间的依赖关系，进一步提高标签预测的准确性。整个模型的结构设计旨在充分利用文本的上下文信息和标签依赖性，从而实现高效且准确的命名实体识别。
此图清楚地展示了一个复杂的深度学习模型如何一步步处理文本数据，并最终输出识别的实体类型，是对自然语言处理领域中复杂模型结构的一个清晰阐释。这个图例展示了在历史语料库中进行NER任务时，如何结合不同类型的嵌入方式，提升模型性能。
数据可用性策略 #
🔼 该图是一个流程图，描述了在数字人文研究中使用深度学习模型时，根据数据可用性选择合适方法和模型的策略。该策略的核心在于评估可用的数据集的大小以及数据的标注情况，从而指导研究者选择合适的机器学习方法。图表的起始点是“Corpus size”，即语料库的大小，分为“Small\none”（小或无）和“Large”（大）两种情况。如果语料库很小或没有，则首先考虑是否可以使用专家进行数据标注。如果可以，则使用专家生成数据集；否则，进一步考虑是否可以生成合成数据。如果可以，则生成合成数据；否则，如果语料库大小为“None”，则推荐使用零样本深度学习模型或硬编码规则；如果语料库大小为“Small”，则推荐使用少样本深度学习或传统机器学习算法（如SVM，HMM，KNN，DT）。如果语料库大小为“Large”，则需要进一步判断是否有标注数据。如果标注数据也很少，则需要根据“Common knowledge labels?”（是否为常识标签）来判断是否可以进行众包。如果可以，则可以使用众包生成数据集；否则，如果模型精度较低，则考虑增加数据集大小或采取其他方法，并推荐使用有监督的深度学习模型。该决策流程清晰地指导研究者如何根据数据可用性选择合适的机器学习方法，从而解决深度学习在数字人文研究中常见的挑战。此外，图中虚线框强调了当模型精度较低时，需要重新评估数据量，并有可能需要返回到数据集生成阶段。
领域自适应策略决策模型 #
🔼 该图展示了一个领域自适应策略的决策模型，用于指导研究人员在数字人文(DH)研究中选择合适的机器学习方法。该模型以问题复杂度和数据结构作为起始判断条件。如果问题复杂度较低，可以通过定义严格规则解决，则无需使用机器学习（ML）或深度学习（DL）。如果问题复杂度较高，数据为非结构化数据，则需要考虑是否可以轻易定义特征，并使用结构化数据。如果可以轻松定义特征且数据是结构化的，接下来考虑计算资源。若仅有个人电脑或CPU服务器，则推荐使用传统机器学习（ML）方法，其适用情景为远距离阅读和高召回率的需求。反之，如果有预算购买GPU服务器，且研究目标需要高精度，则应该使用深度学习(DL)。在DL的决策分支下，进一步分为深度神经网络（DNN）领域优化和模型微调。虚线框标注了领域自适应方法。
从分析角度来看，该图提出了一个清晰的决策流程，为数字人文研究人员在选择机器学习方法时提供了指导。其主要逻辑是首先评估问题复杂度、数据结构、计算资源，以及精度要求，根据评估结果推荐合适的机器学习方法。此外，该模型特别强调了DL的领域自适应，这对于处理特定领域的问题至关重要。在数字人文研究中，常常需要处理历史文本或特定文化背景下的数据，因此需要对深度学习模型进行领域优化和微调，以适应特定领域的需求。此外，该图表中的信息与论文的主要论点一致，即深度学习方法是数字人文学科的有力工具，但在使用时需要根据具体情况进行策略选择，并进行适当的领域适应。此模型对于在数字人文研究中如何有效利用深度学习具有重要的指导价值。
领域自适应策略决策模型 #
🔼 该图呈现了一个用于在数字人文研究中选择合适方法（机器学习或深度学习）的领域自适应策略决策模型。该模型以流程图的形式展现，主要依据问题的复杂性、计算资源以及准确率的重要性来引导决策。从图表整体布局来看，该模型清晰地将决策过程分为三个主要阶段，每个阶段都以不同的形状和颜色标注。第一阶段，从顶部开始，判断问题复杂性，如果问题可以使用硬编码规则解决，则无需机器学习或深度学习；反之，则进入下一个阶段。如果容易定义特征和规则，则问题被认为是结构化的，否则，被认为是复杂和非结构化的。第二阶段，根据计算资源和精度要求评估，如果拥有足够的计算资源（如GPU服务器）且精度要求高，则进入下一阶段。反之，如果只有个人电脑或CPU服务器，则考虑传统机器学习算法。第三阶段，如果问题需要深度学习，则通过DNN领域优化和模型微调等步骤进一步细化处理过程，体现了深度学习方法的灵活性。图中数字1、2、3表明了决策过程的顺序，虚线部分显示了替代流程。该模型强调了在复杂问题和需要高精度时，深度学习结合领域自适应的重要性。决策模型的意义在于为数字人文研究者提供了清晰的指导，协助他们根据具体的研究情境选择最适宜的数据分析方法，在有限的资源下达到最优的研究效果。
数据可用性策略 #
🔼 该图是一个流程图，用于指导数字人文学科研究中如何根据数据可用性选择合适的机器学习方法。该图主要展示了在不同数据量和标签情况下，应该采用何种策略。流程图以“语料库大小”（Corpus size）为起点，首先判断语料库的大小。如果语料库“小或无”（Small\none），则直接进入灰色区域，建议使用零样本深度学习模型或硬编码规则。如果语料库“大”（Large），则进入蓝色区域，继续判断“标签数据大小”（Labeled data size）。如果标签数据“小”（Small），则会进一步判断标签是否为“常识知识标签”（Common knowledge labels）。如果为“是”，则建议使用众包生成数据集；否则，需要考虑使用专家进行数据集生成或生成合成数据。 如果标签数据“大”（Large），则适合使用监督式深度学习模型。如果模型精度较低，则需要评估是否出现过拟合现象，若过拟合需要增加数据集大小。图中的数字标签代表着不同的决策点，箭头则表示决策流程的方向。图中的核心观点是，在数据量不足的情况下，应当优先考虑传统机器学习方法或零样本深度学习方法，而在数据量充足且标签质量高的情况下，则应优先考虑监督式深度学习模型。此外，图中还特别标注了数据集过拟合的情况，并提示通过增加数据集规模来解决该问题。该决策流程的目标是为数字人文学科研究者提供一个清晰的指引，帮助他们根据自身的数据情况选择最合适的机器学习方法。
深度解读 #
DNN在DH的挑战 #
论文深入探讨了在数字人文（DH）研究中使用深度神经网络（DNN）时面临的两大主要挑战：训练数据的可用性和领域适应性。首先，DH领域的文本资源通常是特定领域且小众的，缺乏足够的标注数据来训练DNN模型。即使有大量文本，也缺乏平衡的标注数据集，导致DNN难以收敛。其次，DH任务与自然语言处理（NLP）中的标准任务不同，文本资源可能需要预处理，如处理噪声数据或非标准数据结构。这些挑战要求DH研究者在使用DNN时进行领域适应和模型调整。论文通过多个案例研究，展示了如何通过生成合成数据集、迁移学习等方法来解决这些问题。这些解决方案不仅提高了模型的准确性，还为DH研究者提供了实用的决策模型，帮助他们选择适合的深度学习方法来应对具体的研究任务。
领域适应性 #
领域适应性是DH研究中应用DNN的关键挑战之一。DNN模型通常是为通用任务设计的，而DH任务往往需要特定的领域适应。例如，DH文本资源可能包含历史语言、非标准数据格式或噪声数据，这些都需要在输入DNN之前进行预处理。论文指出，领域适应性不仅涉及模型的调整，还包括数据预处理和管道的优化。通过迁移学习，研究者可以利用预训练的通用模型，并在少量领域特定数据上进行微调，从而提高模型的性能。这种方法在历史文本分析、手稿识别等任务中表现出色。此外，论文还强调了领域特定管道设计的重要性，如在中世纪手稿识别任务中，通过分步处理图像和文本，显著提高了识别精度。这些案例表明，领域适应性是DNN在DH研究中成功应用的关键。
训练数据生成 #
训练数据的生成是DH研究中使用DNN的核心问题之一。由于DH领域的文本资源通常缺乏标注数据，研究者需要采用创新的方法来生成训练数据集。论文提出了两种主要方法：人工生成和算法生成。人工生成依赖于众包或领域专家的标注，虽然成本较高，但能确保数据的准确性。算法生成则通过小规模人工标注数据，利用模式识别或远程监督技术生成大规模合成数据集。例如，在OCR后校正任务中，研究者通过众包生成小规模校正数据，然后利用Needleman-Wunsch算法生成大规模训练数据。这些方法不仅解决了数据稀缺的问题，还为DNN模型提供了足够的训练样本。此外，论文还探讨了迁移学习在数据生成中的应用，通过预训练模型和少量领域数据，研究者可以显著提高模型的性能。
DNN优化 #
DNN模型的优化是DH研究中提高性能的关键步骤。DNN模型的架构和超参数选择对任务的准确性和效率有重大影响。论文详细讨论了如何通过调整模型架构、层数、激活函数和损失函数等超参数来优化DNN模型。例如，在诗歌隐喻分类任务中，研究者通过优化超参数，显著提高了分类的F1分数。此外，论文还介绍了自动机器学习（AutoML）技术在DNN优化中的应用，尽管AutoML成本较高，但在某些情况下可以自动找到最优的模型配置。这些优化方法不仅提高了模型的性能，还为DH研究者提供了灵活的工具，使他们能够根据具体任务调整模型。然而，论文也指出，优化过程需要大量的计算资源和时间，研究者需要在性能和成本之间找到平衡。
未来研究方向 #
论文最后提出了未来在DH领域应用DNN的多个研究方向。首先，研究者需要进一步探索如何生成高质量的领域特定训练数据，尤其是在历史语言和小众领域。其次，领域适应性仍然是未来研究的重点，特别是在多语言和跨文化文本分析中。此外，论文还建议DH研究者应加强对DNN模型的理解，掌握数学、编程和深度学习框架的使用，以便能够定制和开发适合自己研究任务的模型。未来的研究还应关注DNN在环境可持续性方面的影响，尤其是在大规模模型训练中产生的碳排放问题。最后，论文呼吁DH学术界将深度学习技术纳入课程体系，培养具备跨学科能力的专家，以推动DH领域的进一步发展。
完整论文 #
