使用自然语言处理自动评分自传体访谈

模型在老年人情景模拟中的表现

#

🔼 该图表展示了自动化评分模型在老年人情景模拟任务中的表现。图a显示，预测的内部内容与实际的内部细节数量之间存在显著的正相关关系（r = 0.77, p < 0.001），表明该模型能够较好地识别和预测叙述中的内部细节。内部细节指的是事件中与时间、地点相关的具体情节信息，如人物、动作和感知细节。横轴表示模型预测的内部内容数量，纵轴表示实际的内部细节数量。散点图中的趋势线和阴影区域表示拟合回归线及其置信区间，可以观察到随着预测内部内容增加，实际内部细节数量也呈现增加的趋势。

图b显示，预测的外部内容与实际的外部细节数量之间也存在显著的正相关关系（r = 0.61, p < 0.001），尽管相关性比内部细节稍弱，这表明模型在一定程度上能够捕捉到叙述中的外部细节。外部细节指的是与情景无关的非情节信息，如事实信息、重复信息和与中心事件无关的信息。横轴表示模型预测的外部内容数量，纵轴表示实际的外部细节数量。散点图显示了两者之间的正相关趋势，但数据点分布较为分散。

整体来看，该模型在老年人情景模拟任务中表现出一定的有效性，能够较好地识别和预测叙述中的内部和外部细节。但图b也表明，模型对外部细节的预测能力相对较弱，这可能是由于外部细节本身的多样性和复杂性导致的。该图表的主要发现是，通过自然语言处理技术可以实现对回忆内容自动打分，这对于大规模研究和提高研究效率具有重要意义。然而，也需要注意到该模型的局限性，并进一步改进，特别是在识别外部细节方面。

模型内容误分类分析图

#

🔼 这张图表展示了模型在区分内部内容和外部内容时可能出现的误分类情况，该图由两个散点图组成，分别表示模型将内部内容错误分类为外部内容和将外部内容错误分类为内部内容的情况。左侧图（c）显示了实际的内部细节数量与模型预测的外部内容数量之间的关系。可以看到，点的分布较为分散，拟合线几乎水平，相关系数 r 为 0.04，p 值为 0.644，表明内部细节和预测的外部内容之间没有显著的相关性。这意味着模型在很大程度上没有将内部细节错误地分类为外部内容。右侧图（d）展示了实际的外部细节数量与模型预测的内部内容数量之间的关系。图中数据点的分布也有一定的分散性，但拟合线呈现轻微的负斜率，相关系数 r 为 -0.19，p 值为 0.028，表明存在微弱的负相关性，也就是说，外部细节的增多可能伴随着模型预测内部内容略微减少。从整体上看，该图表明，该模型在大多数情况下能够正确区分内部内容和外部内容，但在外部内容误分类为内部内容方面存在一定程度的不足，尽管这种误分类的相关性较弱。此外，图表还提供了 r 值和 p 值，用于评估相关性和统计显著性。这些值对于理解模型分类错误的程度及其统计意义至关重要。总的来说，这张图表提供了关于该模型分类表现的重要信息，揭示了其在某些情况下可能存在的局限性。

模型在年轻人未来模拟数据上的表现

#

🔼 该图表展示了模型在年轻人未来模拟数据上的表现，其中包含两个子图，分别评估了内部内容和外部内容的分类效果。子图 a) 呈现了内部内容分类的结果，横轴为模型预测的内部内容量，纵轴为实际的内部细节数量。散点图中的每个点代表一个数据样本，而蓝色阴影区域表示回归线的置信区间。散点图显示，随着模型预测的内部内容量增加，实际的内部细节数量也呈现增加的趋势，表明模型在识别内部内容方面具有一定能力。该图的 r 值为 0.67，p 值小于 0.001，表明模型预测和实际内部细节之间存在显著的正相关关系，意味着模型在一定程度上能够有效区分内部内容。子图 b) 展示了外部内容分类的结果，横轴为模型预测的外部内容量，纵轴为实际的外部细节数量。与内部内容分类图类似，散点图中的每个点代表一个数据样本。此图中，随着模型预测的外部内容量增加，实际的外部细节数量也呈现增加的趋势，尽管其关联性相较内部内容分类图略弱。图中的 r 值为 0.33，p 值小于 0.001，表明预测的外部内容与实际的外部细节之间存在显著的正相关关系，但相关性强度较弱。总的来说，该图表表明模型在分类内部内容时表现更好，对外部内容的预测能力则相对较弱，这可能与模型训练或数据特征有关。这个结果也提示了模型可能需要改进的地方，例如如何更准确地预测和区分外部内容。

模型在年轻成人数据上的错误分类情况

#

🔼 该图表展示了在年轻成人未来模拟数据集中，模型对内部和外部内容进行错误分类的情况。图c显示了模型将实际的内部细节错误分类为外部内容的散点图，横轴代表实际的内部细节数量，纵轴代表模型预测的外部内容数量。可以看到，散点分布较为分散，且拟合的回归线斜率接近于零，表明实际的内部细节数量与模型预测的外部内容数量之间没有显著的相关性（r=0.08, p=0.321）。

图d则显示了模型将实际的外部细节错误分类为内部内容的散点图，横轴代表实际的外部细节数量，纵轴代表模型预测的内部内容数量。同样，散点分布较为分散，且拟合的回归线斜率也接近于零，表明实际的外部细节数量与模型预测的内部内容数量之间没有显著的相关性（r=0.06, p=0.503）。这两个图表的结果均表明，该模型在对年轻成人数据进行分类时，内部和外部内容之间的混淆程度较低，模型没有系统性地将一类内容误判为另一类内容。

具体来说，在图c中，可以看到大部分点的纵坐标都集中在100到200之间，这说明模型倾向于将大部分句子都预测为含有一定程度的外部内容。而在图d中，大多数点的纵坐标在150到250之间，表示模型倾向于认为大多数句子都包含一定量的内部内容。虽然散点比较分散，但整体趋势表明，模型没有将大量的内部内容错误分类为外部内容，反之亦然。

总而言之，虽然在某些点上存在偏差，但图c和图d共同表明，该模型在处理年轻成人未来模拟任务中的数据时，误分类的情况较少，具有较好的内容区分能力。

自传体记忆任务的自动评分性能

#

🔼 该图表展示了在自传体记忆任务中，使用自动化模型对内部和外部内容进行评分的性能。图表分为两个子图：(a)内部内容分类和(b)外部内容分类。在(a)中，横轴表示模型预测的内部内容量，纵轴表示实际的内部细节数量。可以看到，两者之间存在显著的正相关关系（r=0.89, p<0.001），这表明模型能够较好地识别和预测自传体记忆中的内部细节。散点图周围的阴影区域表示回归线的置信区间，进一步证实了这种相关性。

在(b)中，横轴表示模型预测的外部内容量，纵轴表示实际的外部细节数量。与内部内容类似，外部内容也呈现出显著的正相关关系（r=0.73, p<0.001），这表明模型在识别和预测外部细节方面也表现良好。然而，散点图的分布相对于(a)而言更为分散，表明模型对外部内容的预测可能不如对内部内容的预测精确。总的来说，该图表表明，自动化评分模型能够有效地捕捉到自传体记忆中内部和外部细节的关键特征，尽管在外部内容的预测方面可能存在一些不确定性。这为使用自动化工具进行大规模自传体记忆研究提供了有力的支持，减少了人工评分的负担并提高了研究效率。

King et al. (2022)结果图

#

🔼 该图表展示了King et al. (2022)研究中，自动评分模型在识别自传体记忆叙述中的内部和外部内容时的表现。该研究主要探讨了视角转换对自传体记忆叙述中情景细节（内部细节）和语义细节（外部细节）的影响。图表由四个子图组成，分别展示了模型预测的内部内容与实际内部细节数量的关系，预测的外部内容与实际外部细节数量的关系，内部细节被误分类为外部内容的程度，以及外部细节被误分类为内部内容的程度。

子图c显示，实际内部细节数量与模型预测的外部内容之间几乎没有相关性（r=-0.05，p=0.218），这表明模型在很大程度上没有将内部细节错误地分类为外部细节。子图d显示，实际外部细节数量与模型预测的内部内容之间存在微弱正相关关系(r=0.17,p<0.001)，这表明模型在一定程度上会错误地将外部细节分类为内部细节，尽管相关性较低。 总体而言，该图表说明了该模型在区分内部和外部内容方面具有较好的性能，并且在大多数情况下，能够正确分类。模型在处理外部细节时，较容易将其混淆为内部细节。

该图表支持了研究的主要结论，即自动评分模型在识别自传体记忆叙述中的内部和外部细节方面具有一定的效度，并且能够提供一种有效的方法来减少人工评分的工作量，从而促进大规模研究。尽管模型存在一定的局限性，例如在特定情境下可能存在的误分类，但其整体表现仍然是有用的，为自传体记忆研究提供了新的分析工具。图表中的统计数据为评估模型的性能提供了量化的证据，表明模型具有足够的准确性。

图5：自传体记忆任务自动评分

#

🔼 该图表展示了自传体记忆任务中，自动评分模型对内部细节和外部细节分类的性能。图表分为两个子图：a) 展示了内部内容分类的结果，横轴代表模型预测的内部内容量，纵轴代表实际的内部细节数量；b) 展示了外部内容分类的结果，横轴代表模型预测的外部内容量，纵轴代表实际的外部细节数量。

在a图中，可以看到散点图呈现出明显的正相关趋势，回归线的斜率为正，表明随着预测的内部内容增加，实际的内部细节数量也随之增加。相关系数 r = 0.77，p < 0.001，表明该相关性在统计上是显著的。这说明自动评分模型能够较好地捕捉到叙述中的内部细节。

b图中，散点图同样呈现出正相关趋势，回归线的斜率也为正。相关系数 r = 0.8，p < 0.001，表明预测的外部内容与实际的外部细节数量之间存在显著的正相关关系。这说明自动评分模型能够较好地识别叙述中的外部细节。

整体而言，该图表表明自动评分模型在区分内部和外部细节方面表现良好。两个子图均显示出强烈的正相关关系，说明模型的预测与实际评分之间具有较高的一致性。散点图中的数据点分布表明，模型在不同内部和外部细节水平上均有一定的区分能力。 模型的良好性能为大规模研究和在线数据收集提供了可能性，减少了人工评分的负担。

图5c和5d：内容误分类分析

#

🔼 图 5c 和 5d 展示了模型在自传体记忆任务中，对于内容误分类的分析结果。图 5c 中，横轴代表人工标注的内部细节数量，纵轴代表模型预测的外部内容数量。该图旨在评估模型是否会将实际的内部内容错误地分类为外部内容。散点图显示，内部细节数量与预测的外部内容之间没有显著的相关性（r = -0.08，p = 0.371），这表明模型在很大程度上能够区分内部和外部内容，不会将内部内容错误地分类为外部内容。图中数据点较为分散，回归线几乎水平，进一步支持了这一结论。\n\n图 5d 中，横轴代表人工标注的外部细节数量，纵轴代表模型预测的内部内容数量。该图旨在评估模型是否会将实际的外部内容错误地分类为内部内容。散点图显示，外部细节数量与预测的内部内容之间存在较弱的正相关关系（r = 0.21，p = 0.012）。虽然相关性显著，但相关系数较低，说明模型在将外部内容分类为内部内容时存在一定的误差，但这种误分类程度较低。\n\n总的来说，这两张图表明模型在自传体记忆任务中，对内部和外部内容的分类效果较好，误分类的情况较少，但仍存在一些误分类的情况，尤其是将外部内容误分类为内部内容的情况。图中的线性回归线及其周围的阴影区域表示了模型预测与实际值的关系和置信区间。

图6：创造性写作结果

#

🔼 图6展示了在创造性写作任务中，自动评分模型对内部和外部内容的分类效果。图a显示了预测的内部内容与实际内部细节数量之间的关系，二者呈现显著的正相关（r=0.74, p<0.001），表明该模型能够有效地识别内部内容。散点图中的每个点代表一个写作样本，横轴表示模型预测的内部内容量，纵轴表示人工评分的内部细节数量。蓝色阴影区域代表置信区间，表明数据点围绕回归线的分布范围。整体趋势表明，预测的内部内容越多，实际的内部细节也越多。图b展示了预测的外部内容与实际外部细节数量之间的关系，同样呈现显著的正相关（r=0.76, p<0.001），说明该模型在外部内容识别方面也表现良好。类似地，散点图中的每个点代表一个写作样本，横轴表示模型预测的外部内容量，纵轴表示人工评分的外部细节数量。蓝色阴影区域表示置信区间。该结果表明，模型预测的外部内容与人工评分的外部细节数量高度一致。总的来说，图6表明该模型在创造性写作数据上，能够有效区分内部和外部内容，为研究人员提供了一种自动化的评估工具。

内容误分类情况散点图

#

🔼 该图表由两个散点图组成，分别展示了内容误分类的情况。左侧图表(c)显示了实际的内部细节与模型预测的外部内容之间的关系。横轴表示内部细节的数量，纵轴表示预测的外部内容。散点图中的每个点代表一个数据样本，通过观察点的分布和趋势线，我们可以了解模型在将内部内容错误地分类为外部内容时的表现。图表标题表明，该图的目标是评估模型如何错误地将内部内容分类为外部内容，同时给出了相关系数 r = -0.19 和 p 值 = 0.001，表明存在一个显著但较弱的负相关，说明随着内部细节的增加，预测的外部内容呈现减少的趋势。

右侧图表(d)则展示了外部细节与模型预测的内部内容之间的关系。横轴代表外部细节的数量，纵轴代表预测的内部内容。该图旨在评估模型在将外部内容错误地分类为内部内容时的表现。图表标题表明，该图的目标是评估模型如何错误地将外部内容分类为内部内容，同时给出了相关系数 r = 0.06 和 p 值 = 0.311，表明它们之间没有显著相关性。

总体而言，这两个图表用于评估模型的误分类性能。左侧图表显示模型在将内部细节误分类为外部内容时存在一定程度的负相关趋势，而右侧图表则表明模型在将外部细节误分类为内部内容时没有明显的相关性。这些发现有助于研究人员理解模型的分类错误模式，并为改进模型提供依据。此外，图表中的趋势线和阴影区域表示线性回归拟合及置信区间，有助于进一步分析数据的分布和趋势。

自动评分模型在自传体记忆任务上的表现

#

🔼 该图表展示了自动评分模型在谢尔顿等人（2020）研究中自传体记忆任务上的表现。该图表由四个子图组成，分别展示了内部内容分类、外部内容分类，以及内部内容被错误分类为外部内容和外部内容被错误分类为内部内容的情况。每个子图都包含散点图，其中x轴表示模型的预测内容，y轴表示手动评分的细节数量。图a显示了预测的内部内容与实际内部细节之间存在正相关关系（r=0.75, p<0.001），表明模型能够有效识别内部内容。图b显示了预测的外部内容与实际外部细节之间存在正相关关系（r=0.66, p<0.001），表明模型也能较好地识别外部内容。图c显示了内部细节与预测的外部内容之间的关系，其相关系数为0.29（p<0.001）, 这表明在一定程度上，模型会把内部内容误判为外部内容。图d显示了外部细节与预测的内部内容之间的关系，其相关系数为0.34（p<0.001），表明模型在一定程度上也会把外部内容误判为内部内容。总的来说，该图表明该模型在区分内部和外部内容方面表现良好，但仍存在一些误分类的情况，尤其是在内部内容和外部内容之间的相互误判上。这可能是因为转录文本中缺乏标点符号和存在无意义的文本信息导致的。在加入标点符号后，模型的识别效果得到了显著提升。该模型的主要目的是评估叙述中内部和外部内容的数量，为研究人员提供更高效的分析工具，特别是在处理大型数据集时，能够大大减少人工评分的工作量。尽管该模型并非完美，但它代表了自动化叙事分析的重要一步。

图8：图片描述任务的自动评分表现

#

🔼 该图展示了Strikwerda-Brown等人（2021）研究中图片描述任务的自动评分表现。图8a显示了预测的内部内容与实际内部细节之间的关系，二者呈现强正相关（r=0.87, p<0.001），表明模型能够较好地识别图片描述中的内部细节。图8b显示了预测的外部内容与实际外部细节之间的关系，也呈现正相关（r=0.64, p<0.001），但相关性较内部细节弱。图8c显示了模型将内部内容错误分类为外部内容的程度，二者呈现弱正相关（r=0.26, p=0.002），表明模型存在一定的误分类情况。图8d显示了模型将外部内容错误分类为内部内容的程度，二者呈现中等程度的正相关（r=0.48, p<0.001），表明模型在此项上的误分类率较高。综合来看，该模型在图片描述任务中能够较好地识别内部和外部内容，但仍存在一定的误分类情况，特别是将外部内容错误分类为内部内容的情况较为显著。这可能与图片描述任务的特殊性有关，即参与者描述图片时可能会包含较多主观推断或与图片本身关联不大的内容，而这些内容可能被模型误判为内部细节。该图显示了模型在处理非自传体回忆任务时的表现，也为后续模型改进提供了依据。

自动评分模型性能：自传体记忆任务

#

🔼 该图表展示了自传体记忆任务中，自动评分模型预测的内部和外部内容与实际的内部和外部细节数量之间的关系。图a展示了内部内容分类的结果，其中横轴表示模型预测的内部内容数量，纵轴表示实际的内部细节数量。散点图中的每个点代表一个参与者的回忆叙述，拟合线显示了两者之间的正相关关系。相关系数 r=0.84，p<0.001，表明模型对内部内容的预测与实际内部细节数量之间存在显著的正相关性，即模型能够较好地识别和量化叙述中的内部细节。阴影区域表示回归线的置信区间。图b展示了外部内容分类的结果，横轴表示模型预测的外部内容数量，纵轴表示实际的外部细节数量。类似地，散点图和拟合线显示了两者之间的正相关关系。相关系数 r=0.76，p<0.001，表明模型对外部内容的预测也与实际外部细节数量之间存在显著的正相关性，说明模型能够识别和量化叙述中的外部细节。总的来说，这两个图表清晰地展示了该模型在区分和量化回忆叙述中的内部和外部内容方面的有效性。该模型通过自然语言处理技术，能够较为准确地自动评估自传体回忆叙述中的细节信息，这有助于大规模的记忆研究。

内容误分类情况散点图

#

🔼 这张图表展示了在Strikwerda-Brown等人（2021）的研究中，模型在分类自传体记忆内容时出现的内容误分类情况。图c) 展示了内部细节（Internal Details）与预测的外部内容（Predicted External Content）之间的关系，即模型将实际的内部细节错误地分类为外部内容的情况。图d) 则展示了外部细节（External Details）与预测的内部内容（Predicted Internal Content）之间的关系，即模型将实际的外部细节错误地分类为内部内容的情况。在图c) 中，横轴代表手动标注的内部细节的数量，纵轴代表模型预测的外部内容数量。散点图中的每个点代表一个样本，散点分布较为分散，拟合的线性回归线的斜率接近于零，这表明内部细节的数量与模型预测的外部内容之间没有显著的相关性（r=0.15，p=0.082）。而在图d) 中，横轴代表手动标注的外部细节的数量，纵轴代表模型预测的内部内容数量。散点图中的点呈现出上升的趋势，拟合的线性回归线显示外部细节数量与模型预测的内部内容之间存在着显著的正相关关系（r=0.51，p<0.001）。这说明模型在一定程度上会将外部细节错误地归类为内部细节。总的来说，图表揭示了模型在处理实际内部细节时的表现较好，不会将其误分为外部内容，但模型在处理外部细节时，有一定倾向将其误判为内部细节，需要进一步优化模型，提高外部细节分类的准确性。