弥合大型语言模型差异：多语言教育内容的技能标注

GPT-3.5 在不同训练示例和 epoch 下的微调结果

#

🔼 该图表展示了 GPT-3.5 模型在对来自印度马哈拉施特拉邦的教育内容进行技能标记任务时，通过微调所取得的性能提升。横轴表示每个技能的训练示例数量，范围从 0 到 10 个，纵轴表示准确率。图中包含了三个不同的 epoch 设置：3、4 和 10。初始情况下，在没有训练示例时，模型的准确率为 0。随着训练示例数量的增加，模型性能显著提高。当 epoch 设为 3 时，准确率在 5 个训练示例时达到约 0.25，并在 10 个示例时保持相对稳定。当 epoch 设为 4 时，准确率在 5 个示例时约为 0.3，并在 10 个示例时略微增加。最显著的改进出现在 epoch 设为 10 时，准确率随着示例数量的增加而快速上升，在 5 个示例时超过 0.4，然后在 10 个示例时略有下降。这表明，增加训练示例和 epoch 数可以显著提高模型在技能标记任务上的性能，特别是对于低资源语言如马拉地语而言。该图强调了微调对于提升 LLM 在特定任务和语言上的性能的重要性，也展示了调整 epoch 和训练数据量对性能的直接影响。

不同国家LLM微调性能

#

🔼 该图表展示了在不同训练轮数（epoch=3, 10, 20）和不同训练样本数量下，针对美国（US）、爱尔兰（Ireland）、韩国（Korea）和印度马哈拉施特拉邦（Maharashtra）的教育内容，使用大型语言模型（LLM）进行微调后的技能标签分类准确率。横轴表示每个技能的训练样本数量，从0到5不等，纵轴表示准确率。图表主要展示了以下几个关键发现：

1. 美国（US）: 随着训练样本数量的增加，准确率显著提高。当训练轮数为20时，准确率提升最为明显，表明更长时间的训练能有效提高模型性能。初始的准确率在没有训练样本时接近0，通过微调，模型性能得到了显著提升。

2. 爱尔兰（Ireland）: 类似于美国，爱尔兰的准确率也随着训练样本数量和轮数的增加而提升。尽管在训练轮数为3时提升不明显，但在20轮时，准确率的提升幅度与美国类似，但整体表现略低于美国。

3. 韩国（Korea）: 韩国的微调效果显著，随着训练样本的增加，准确率线性上升，并且在20轮训练时，性能接近美国和爱尔兰。这表明即使对于非英语的韩国内容，微调也能有效提高模型的技能标签分类能力。

4. 马哈拉施特拉邦（Maharashtra）: 与其他三个地区相比，马哈拉施特拉邦的准确率提升幅度较小。即使在20轮训练和5个样本的情况下，准确率仍然较低，这可能是由于该地区使用的马拉地语数据量较少，模型训练资源有限导致。

总而言之，该图表清楚地展示了通过微调大型语言模型，可以显著提升其在教育内容技能标签分类任务中的表现。但不同地区的表现有所差异，可能与语言资源、训练数据和初始模型对不同国家文化和教育体系的了解程度有关。在所有地区，增加训练数据量和训练轮数都能有效提高准确率，其中20轮的训练效果最为明显。马哈拉施特拉邦的提升相对较小，揭示了低资源语言在模型训练中面临的挑战。

Llama2-13B在Maharashtra的微调结果

#

🔼 该图表展示了 Llama2-13B 模型在对印度马哈拉施特拉邦（Maharashtra）的教育内容进行技能标记任务时，通过微调所取得的准确率变化。横轴表示每个技能使用的训练样本数量，从0到10不等。纵轴表示准确率。图中展示了三个不同的微调训练轮数（epochs）：3轮、10轮和20轮。从图中可以观察到，随着训练样本数量的增加，模型的准确率整体呈现上升趋势。在相同的训练样本数量下，增加训练轮数（从3轮到20轮）通常能够提高模型的准确率。当训练轮数为3时，无论使用多少训练样本，准确率都非常低。当训练轮数为10时，随着训练样本数量的增加，准确率逐渐提高，但仍然较低。当训练轮数为20时，准确率明显提高，并且随着训练样本数量的增加，准确率的增长更为显著。当使用10个训练样本时，20轮训练的准确率最高，接近0.07。这表明，对于资源相对较少的语言（如马拉地语），增加训练数据和训练轮数对于提高模型性能至关重要。图中还显示出，即便使用了10个训练样本和20个训练轮次，该模型的性能仍然有限，未能达到与英语或韩语相似的水平。这突显了在低资源语言环境下，模型训练的挑战，并表明需要更先进的技术和更多的训练数据才能实现更好的性能。这种现象可能与Llama2的训练数据中，马拉地语的数据占比极少有关。

LLM性能对比

#

🔼 该图表展示了两种大型语言模型 (LLM) 在技能标签任务上的性能比较，分别为 Llama2-13B 和 GPT-3.5，评估了它们在不同国家数据集上的表现，包括美国、爱尔兰、韩国和印度马哈拉施特拉邦。图表分为上下两个部分，分别表示“在提示中加入标准”和“微调”两种策略下模型的表现。每个部分都以柱状图展示，横轴表示准确率，范围从 0 到 1。颜色区分不同的国家：蓝色代表美国，绿色代表爱尔兰，红色代表韩国，紫色代表马哈拉施特拉邦。在“在提示中加入标准”部分，GPT-3.5 在所有国家都表现出比 Llama2-13B 更高的准确率，尤其是在美国和爱尔兰，准确率接近 0.5。而在马哈拉施特拉邦，即使在标准提示的帮助下，准确率仍然很低。在“微调”部分，GPT-3.5 的性能显著提高，美国和爱尔兰的准确率都超过了 0.8，韩国也达到了 0.8 以上。微调后的 Llama2-13B 虽然性能也有提高，但与 GPT-3.5 相比仍有差距，尤其是在爱尔兰和马哈拉施特拉邦的性能显著偏低。图表清晰地显示了 GPT-3.5 在技能标签任务上，通过微调能够达到更高的精度，而 Llama2-13B 虽然通过微调也有性能提升，但仍不如 GPT-3.5。此外，图表还揭示了模型在不同语言和文化背景下的表现差异，特别是在低资源语言如马拉地语上的表现明显不如英语和韩语。这说明了预训练模型在处理非英语内容时可能面临挑战，需要额外的训练或者专门针对这些语言的模型优化。

模型微调后的平均分数提升

#

🔼 该图表展示了在不同训练轮数（Epoch=3 和 Epoch=10）下，GPT-3.5 和 Llama2-13B 模型在四个国家（美国、爱尔兰、韩国和印度马哈拉施特拉邦）的技能标签任务中的平均分数提升。图表为并排的柱状图，每个国家和模型组合都有一个独立的柱子，颜色代表不同国家。左侧图表显示了训练轮数为3时的结果，右侧图表显示了训练轮数为10时的结果。每个柱子上的数值代表该模型在该国家数据集上的平均分数提升。

从图中可以看出，在训练轮数为3时，爱尔兰的 GPT-3.5 模型取得了最高的平均分数提升，达到了 0.158，其次是韩国的 GPT-3.5 模型，分数为 0.131。美国的 GPT-3.5 模型提升为 0.108。Llama2-13B 模型在所有国家中的提升都较低，其中爱尔兰的提升最高，为 0.028。马哈拉施特拉邦的两个模型都表现出最低的提升。

当训练轮数增加到10时，所有模型在所有国家的分数都有所提升。爱尔兰的 GPT-3.5 模型仍然表现最好，提升至 0.183，韩国和美国的模型也分别提升至 0.168 和 0.123。Llama2-13B 模型在10个训练轮数时，各国家的分数都有显著提升，但仍然低于对应的 GPT-3.5 模型。例如，美国的 Llama2-13B 从 0.035 提升至 0.062，爱尔兰的 Llama2-13B 从 0.028 提升至 0.030，韩国的 Llama2-13B 从 0.020 提升至 0.056，马哈拉施特拉邦的 Llama2-13B 从 0.001 提升至 0.004。

总体而言，GPT-3.5 模型在所有国家和训练轮数下的表现都优于 Llama2-13B 模型。增加训练轮数可以显著提高模型的性能。该图突出了微调对模型性能的积极影响，特别是在处理多语言教育内容时。对于所有国家，GPT-3.5 模型的平均分数提升都高于 Llama2-13B 模型，表明 GPT-3.5 在处理此类任务时可能具有更强的能力或更有效的微调机制。值得注意的是，尽管所有模型都从增加的训练轮数中受益，但 Llama2-13B 的改进幅度远小于 GPT-3.5。马哈拉施特拉邦的提升依然相对较小，这可能是由于该语言的训练数据较少。