要点总结 #
研究背景与问题：传统的引用分析假设所有引用都是等价的，而引用上下文分析则考虑每个引用的上下文信息。然而，引用上下文分析需要大量的人工注释数据，成本高昂，限制了其广泛应用。随着大型语言模型（LLMs）的发展，研究者开始探索LLMs在引用上下文分析中的适用性，特别是ChatGPT的表现。本文通过比较LLMs和人类注释的结果，探讨了LLMs在引用上下文分析中的潜力。
方法论与贡献：研究使用ChatGPT进行引用目的和引用情感的注释任务，并与人类注释结果进行比较。结果表明，LLMs在一致性方面优于或等同于人类注释者，但在预测性能上表现较差。因此，LLMs无法完全替代人类注释者，但可以作为参考信息，帮助缩小多个人类注释者的结果，或在难以获得足够人类注释者时作为辅助注释者。研究为未来引用上下文分析的发展提供了重要基础。
关键要点 #
论文重要性 #
这项研究的意义在于：引用上下文分析是科学计量学中的重要工具，能够提供比传统引用分析更丰富的上下文信息。然而，高昂的注释成本限制了其广泛应用。本研究通过探索LLMs在引用上下文分析中的适用性，揭示了LLMs在一致性方面的优势，尽管其预测性能尚不足以完全替代人类注释者。这为未来的研究提供了新的方向，特别是在如何结合LLMs和人类注释者以提高注释效率和质量方面。此外，随着LLMs技术的不断进步，未来的研究可能会进一步优化LLMs在引用上下文分析中的应用，推动该领域的进一步发展。
深度解读 #
LLM 标注一致性 #
本研究发现，大型语言模型（LLM）在标注一致性方面表现优于人类标注者。具体来说，ChatGPT 在引用目的和引用情感的分类任务中，标注结果的一致性（通过简单一致率和 Cohen’s Kappa 衡量）显著高于人类标注者。例如，在引用目的的分类任务中，ChatGPT 的简单一致率达到 90.1%，而人类标注者仅为 71.8%。这表明 LLM 在处理重复性任务时具有更高的稳定性。然而，尽管 LLM 在一致性上表现优异，其预测性能却较差，尤其是在处理复杂的语义分类任务时，LLM 的表现不如人类标注者。这表明 LLM 在处理需要深度理解的文本时，仍然存在局限性。
LLM 预测性能 #
尽管 LLM 在标注一致性上表现优异，但其预测性能却相对较差。实验结果显示，ChatGPT 在引用目的和引用情感的分类任务中，预测准确率仅为 61.3% 和 64.6%。特别是在处理少数类别（如“批评”和“使用”）时，LLM 的表现尤为不佳。例如，在引用目的的分类任务中，LLM 几乎无法正确预测“批评”和“使用”类别。这表明 LLM 在处理复杂的语义分类任务时，缺乏对文本深层含义的理解能力。此外，LLM 的预测结果往往偏向于多数类别（如“背景”），导致少数类别的预测准确率极低。因此，尽管 LLM 在一致性上表现优异，但其预测性能的不足限制了其在引用上下文分析中的直接应用。
LLM 支持人类标注 #
尽管 LLM 无法完全替代人类标注者，但可以作为人类标注的辅助工具。实验表明，LLM 在某些类别的预测上具有较高的置信度，例如在引用情感分类中，LLM 对“正面”情感的预测准确率较高。因此，LLM 可以用于初步筛选高置信度的标注结果，从而减少人类标注者的工作量。此外，LLM 的标注结果可以作为参考信息，帮助人类标注者在讨论和最终确定标注结果时提供额外的视角。特别是在标注任务中，LLM 的一致性较高，可以作为多个标注者之间的“第三方”参考，减少主观偏差的影响。这种辅助性应用可以在一定程度上降低标注成本，同时提高标注结果的可靠性。
LLM 未来应用 #
本研究表明，尽管当前的 LLM 无法完全替代人类标注者，但其在引用上下文分析中的应用潜力仍然值得探索。未来的研究方向可以集中在如何优化 LLM 的提示（prompt）设计，以提高其预测性能。例如，通过引入更详细的上下文信息或使用链式思维（chain-of-thought）提示，可能会提升 LLM 在复杂分类任务中的表现。此外，未来的研究还可以探索如何将 LLM 与其他机器学习模型结合，形成混合标注系统，从而在保持高一致性的同时，提升预测性能。最后，随着 LLM 技术的不断发展，未来的模型（如 GPT-4 或更高版本）可能会在引用上下文分析中展现出更强的能力，从而改变当前的研究结论。
LLM 局限性 #
尽管 LLM 在引用上下文分析中展现出一定的潜力，但其局限性也不容忽视。首先，LLM 在处理复杂的语义分类任务时，表现不如人类标注者，尤其是在处理少数类别时，预测准确率极低。其次，LLM 的预测结果往往偏向于多数类别，导致少数类别的预测结果不可靠。此外，LLM 在处理需要深度理解的文本时，缺乏对隐含上下文的理解能力，导致其在某些任务中的表现不佳。最后，LLM 的预测性能受提示设计的影响较大，提示的微小变化可能导致预测结果的显著差异。因此，尽管 LLM 在一致性上表现优异，但其预测性能的不足限制了其在引用上下文分析中的广泛应用。
完整论文 #
