FEDS-ICL：通过优化演示选择增强大语言模型的翻译能力和效率

双语语料库大小对解码速度和翻译质量的影响

#

🔼 图1展示了不同大小的双语语料库在执行英德翻译任务时，对大型语言模型（LLMs）的解码速度和翻译质量的影响。横轴代表用于检索演示的双语语料库的大小，纵轴分别表示解码速度（tok/s，每秒生成的token数）和翻译质量（BLEU得分）。从图中可以明显观察到，随着用于检索演示的双语语料库规模的增加，检索速度显著下降，导致LLMs的解码速度大幅降低。这是因为模型需要等待演示检索完成后才能进行翻译，从而影响整体效率。然而，另一方面，随着语料库规模的扩大，翻译质量（BLEU得分）呈现先上升后平稳的趋势，表明更大的语料库可能包含更丰富的翻译模式，有助于提高翻译质量。尽管如此，演示检索效率的降低仍然严重制约了LLMs执行机器翻译任务的解码效率。该实验结果的目的是为了验证作者提出的方法的通用性。实验结果表明，ICL能提高翻译质量，无论LLM的大小如何。然而，演示检索的效率严重限制了LLM执行机器翻译任务的解码效率。本研究旨在解决这一挑战，通过优化演示选择策略，提高机器翻译的效率和准确性。

不同规模双语语料库的影响

#

🔼 该图表展示了不同规模的双语语料库对使用大型语言模型（LLMs）进行英德翻译任务的解码速度和翻译质量的影响。图表由两部分组成，上半部分展示了随着语料库规模增大，翻译质量（BLEU值）的变化趋势；下半部分展示了随着语料库规模增大，解码速度（tokens/秒）的变化趋势。横轴代表双语语料库的大小，从1M到100M不等。纵轴左侧表示BLEU值（翻译质量），纵轴右侧表示解码速度。图表显示，随着语料库规模的增加，翻译质量呈现出先快速上升后趋于平缓的趋势，说明在一定范围内，增加语料库规模可以提高翻译质量，但当语料库规模超过一定程度后，提升效果不再明显。同时，随着语料库规模的增加，解码速度呈现出显著的下降趋势，这表明在大型语料库中检索相关示例会降低翻译速度。图表还对比了多个不同的LLMs（如OPT-7B, BLOOM-7B, MPT-7B, LLaMA-1-7B, LLaMA-2-7B, Gemma-7B, Mistral-7B, GLM-4, GPT3.5和GPT4.0）的表现，可以看到不同模型在不同语料库规模下的性能差异。总的来说，该图表揭示了在利用ICL进行机器翻译时，语料库大小对翻译质量和效率之间的权衡关系。研究者可以通过此图的分析，优化语料库大小的选择，以平衡翻译质量和效率。

FEDS-ICL 方法概述

#

🔼 该图展示了 FEDS-ICL 方法的整体流程，该方法旨在优化大型语言模型（LLMs）在机器翻译中的应用。流程分为两个主要阶段：第一阶段是数据集分割和量化，第二阶段是上下文选择和生成。在第一阶段中，首先对原始数据库进行训练，将其中的高维向量分解为子向量。利用乘积量化技术，为每个子向量生成一个代码本。原始数据库根据这些代码本被分割成若干个子集。接下来，输入句子经过相同的量化过程，并根据其索引确定其所属的子集。在第二阶段中，利用第一阶段生成的子集和输入句子，进行相似性计算和排序，选出最相似的 k 个句子作为上下文。选出的句子对会构成提示输入，即，源语言和目标语言的句子对，以及最后需要翻译的输入语句。最后，这个提示输入传递给大型语言模型（LLM），从而输出翻译结果。 此流程通过使用子集检索和优化的提示设计，旨在提高翻译的效率和质量。第一阶段利用乘积量化技术减少了检索的数据量，加速了相似句子的搜索过程。第二阶段的上下文选择和提示设计，则利用了句子和词语层面的信息，进一步提高了翻译的准确性。整个流程突出了 FEDS-ICL 方法的核心优势，即快速、高效且准确地选择合适的上下文，从而改进大型语言模型在机器翻译中的表现。

不同LLM翻译质量与效率

#

🔼 该图展示了不同大型语言模型（LLMs）在机器翻译任务中的性能，具体包括翻译质量（以BLEU值衡量）和效率（以每秒处理的token数衡量）。图表使用了雷达图的形式，每个子图对应一个LLM，并对比了不同方法在不同语言对上的表现。这些LLM包括MPT-7B, LLaMA-1-7B, LLaMA-2-7B, Gemma-7B, Mistral-7B, GLM-4, GPT3.5和GPT4.0。每个雷达图展示了在en-de（英语到德语）、de-en（德语到英语）、en-cs（英语到捷克语）、cs-en（捷克语到英语）、en-zh（英语到中文）和zh-en（中文到英语）六个语言对上的翻译质量和效率。

在翻译质量方面，每个子图的上半部分展示了不同方法的BLEU值。对比的方法包括0-shot（无示例提示）、BM25、Fuzzy、Recall-B、BiPMT和FEDS-ICL。从图中可以看出，FEDS-ICL方法在大多数情况下都能达到最高的BLEU值，这意味着它在翻译质量上优于其他方法。尤其值得注意的是，在一些模型和语言对上，FEDS-ICL的BLEU值明显高于其他方法，这表明其在各种情况下都具有较强的翻译能力。

在翻译效率方面，每个子图的下半部分展示了不同方法的tokens/秒。对比的方法包括NONE（直接从整个数据集检索）、FAISS、Subset-MT和FEDS-ICL。从图中可以看出，FEDS-ICL在保持较高翻译质量的同时，也保持了较高的翻译效率。虽然NONE方法在某些情况下可能获得较高的BLEU值，但其效率明显较低。而FAISS和Subset-MT的效率虽然较高，但在翻译质量上不如FEDS-ICL。因此，FEDS-ICL在翻译质量和效率之间取得了较好的平衡。

总体来看，该图直观地展示了FEDS-ICL方法在不同LLM和语言对上的优越性，证明了其在机器翻译任务中的有效性和广泛适用性。该方法不仅提高了翻译质量，同时也保持了较高的效率，这对于实际应用非常重要。此外，该图也揭示了不同LLM在翻译任务上的性能差异，为选择合适的模型提供了参考。

en-de翻译的效率和质量

#

🔼 该图表展示了在英语到德语（en-de）的翻译任务中，不同方法在不同批次大小和子集大小下的翻译速度和翻译质量。其中，图(a)展示了不同批次大小下的翻译速度，NONE方法的速度明显慢于其他方法，而FAISS、Subset-MT和FEDS-ICL方法的速度随着批次大小的增加而快速增加，并且FEDS-ICL始终保持领先。图(b)展示了不同邻居句子数量下的翻译速度，FEDS-ICL方法在不同的子集大小下都保持着较高的翻译速度，而FAISS和Subset-MT方法的翻译速度随着邻居句子数量的增加而降低。图(c)展示了不同邻居句子数量下的翻译质量（BLEU值），FEDS-ICL在各种子集大小下都优于FAISS和Subset-MT方法，并且在邻居句子数量适中时表现最佳。整体而言，FEDS-ICL在翻译速度和翻译质量上均优于其他方法，特别是在批次大小增加和邻居句子数量变化的情况下，它都表现出更稳定的性能和更高的效率。该图表突出了FEDS-ICL在实际应用中处理大规模翻译任务的优势，展示了其在速度和质量之间的平衡能力，证明了FEDS-ICL在机器翻译领域的高效性和有效性，进一步支持了文章的主要论点。图中数据清晰地表明，FEDS-ICL方法不仅能够快速处理翻译任务，而且还能保持高水平的翻译质量，这对于提高机器翻译系统的实用性和效率至关重要。

不同批次大小、子集大小对翻译速度和质量的影响

#

🔼 该图表展示了在英语-中文（en-zh）翻译任务中，不同批次大小（batch size）和子集大小（subset size）对翻译速度以及翻译质量的影响。其中图(a)描述了不同批次大小下的翻译速度，横轴是批次大小，纵轴是每秒翻译的token数量。可以看到，随着批次大小的增加，所有方法的翻译速度都呈现上升趋势，但FEDS-ICL方法明显优于其他方法，NONE方法的翻译速度则显著低于其他方法。图(b)展示了不同子集大小对翻译速度的影响，横轴为邻近句子数量，纵轴为每秒翻译的token数量。FEDS-ICL方法的翻译速度明显高于FAISS和Subset-MT，并且在不同子集大小下保持相对稳定，而FAISS和Subset-MT方法在子集数量超过一定阈值后速度明显下降。图(c)表示了不同子集大小对翻译质量的影响，横轴为邻近句子数量，纵轴为BLEU评分。FEDS-ICL方法的BLEU评分显著高于FAISS和Subset-MT方法，并且随着子集大小的改变，翻译质量变化不大，这说明FEDS-ICL在不同子集大小下具有良好的鲁棒性。该图表综合说明了FEDS-ICL方法在翻译速度和翻译质量上都优于其他方法，且FEDS-ICL方法对不同的批次大小和子集大小都有较好的适应性。这个图表展示了本文提出的FEDS-ICL方法在实际应用中的优势，尤其是在大规模翻译场景中，该方法可以在保证翻译质量的前提下，显著提升翻译速度。图表的结果有力地支持了论文的论点，即FEDS-ICL是一种高效且有效的翻译方法。

不同相似度下BLEU值

#

🔼 该图表展示了在不同相似度区间下，不同方法在1-shot、3-shot和5-shot设置下的BLEU值表现。图表横轴表示句子相似度区间，纵轴表示BLEU得分，反映了翻译质量。图表中共有五种方法，包括BM25、Fuzzy、Recall-B、BiPMT和FEDS-ICL。观察发现，随着相似度分数的提高，各方法的BLEU得分总体呈现上升趋势，这表明选择与测试句子更相似的示范可以提高翻译质量。在1-shot情况下，FEDS-ICL在所有相似度区间均表现最优，且增长趋势最平稳。随着shot数量的增加（3-shot和5-shot），FEDS-ICL的优势更加明显，在较高相似度区间保持了最高的BLEU值。尤其是在0.9-1.0区间，FEDS-ICL的表现显著优于其他方法，表明其在处理高度相似的示范时具有更强的翻译能力。此外，在低相似度区间（0-0.6），FEDS-ICL也能够保持相对较好的性能，这说明该方法对示范的选择更加稳健，不受低质量示范的过多影响。相比之下，BM25和Fuzzy方法在各个相似度区间的表现相对较弱，特别是在低相似度区间。Recall-B和BiPMT方法虽然性能有所提高，但在高相似度区间的表现仍不及FEDS-ICL。总体而言，图表清晰地表明FEDS-ICL在不同示范数量和相似度下的稳定性和优越性，验证了该方法在提高机器翻译质量方面的有效性。这些结果强调了在选择翻译示范时，同时考虑语义相似度和示范质量的重要性。该图同时也说明了，仅仅增加示范的数量，不一定能显著提升翻译的质量，但是高质量的示范，可以提升模型的翻译能力。

不同相似度下BLEU值

#

🔼 该图表展示了在不同相似度区间下，不同方法在机器翻译任务中的BLEU得分表现。图表分为三个子图，分别对应1-shot、3-shot和5-shot三种不同的情境，这里的shot指的是在In-Context Learning (ICL) 中使用的示例数量。横轴表示句子相似度的区间，从0-0.6到0.9-1.0，纵轴表示BLEU得分，数值越高表示翻译质量越好。

在1-shot情境中，FEDS-ICL方法在所有相似度区间都取得了最高的BLEU得分，其次是BiPMT、Recall-B、Fuzzy和BM25。值得注意的是，随着句子相似度的增加，所有方法的BLEU得分均呈现上升趋势，表明选择与测试句子更相似的示例作为演示（demonstrations）有助于提高翻译质量。FEDS-ICL的优势在相似度较高时尤为明显，表明该方法在利用高相关性示例方面具有更好的性能。

在3-shot情境中，与1-shot情境类似，FEDS-ICL依然保持最佳性能。当相似度在0.7-0.8区间时，FEDS-ICL的BLEU得分曲线斜率变缓，表明当相似度达到一定程度后，其提升效果可能趋于饱和。但总体而言，FEDS-ICL仍然显著优于其他方法。此外，BiPMT和Recall-B表现出类似的趋势，它们在较低相似度区间内提升速度较快，但在高相似度区域提升趋缓，而Fuzzy和BM25则相对落后。

在5-shot情境中，FEDS-ICL仍然是表现最好的方法，且其优势进一步扩大。与其他方法相比，FEDS-ICL在高相似度区域持续提升，体现了其更强的利用上下文信息的能力。此外，随着shot数量的增加，所有的曲线均有所上升，表明使用更多示例作为上下文演示确实可以提高翻译质量。但不同方法的性能提升幅度不同，FEDS-ICL的提升最为显著。

总而言之，该图表清晰地展示了FEDS-ICL方法在不同相似度和shot数量下的优势，并强调了高相似度示例和多示例演示在提高机器翻译质量中的作用。它支持了论文中关于FEDS-ICL方法有效性和稳健性的论点，并为理解如何有效利用ICL来提高机器翻译性能提供了重要的依据。

不同α值对BLEU的影响

#

🔼 该图表展示了在德语-英语（de-en）翻译任务中，不同 α 值对模型 BLEU 值的影响。其中，α 值是控制模型在选择上下文信息时，对于绝对值、相对值和比例值的偏好程度。图表通过不同颜色的线条展示了在 1-shot、3-shot 和 5-shot 场景下，不同 α 值对应的 BLEU 分数变化。从图中可以看出，随着 α 值的增大，BLEU 分数总体呈现上升趋势，说明适当地增加 α 值有助于提升模型的翻译性能。当 α 值较低时（例如 0.1 到 0.3），所有 shot 数的 BLEU 分数都相对较低，表明此时模型可能无法有效地利用上下文信息。随着 α 值逐渐增大（例如 0.4 到 0.8），BLEU 分数显著提升，并在 0.8 附近达到峰值，表明模型在此时能够更好地权衡各种上下文信息，获得最佳的翻译结果。然而，当 α 值继续增加到 0.9 时，BLEU 分数开始略有下降，表明过高的 α 值可能导致模型过度依赖某些类型的信息，反而影响了翻译质量。不同 shot 数（1-shot、3-shot、5-shot）的表现也略有不同，但总体趋势一致。5-shot 场景通常能获得更高的 BLEU 分数，但随着 α 值的变化，其波动幅度也较大。这可能意味着在更多的上下文信息下，模型对于 α 值的选择更为敏感。此图说明了 α 值在基于上下文学习（ICL）的机器翻译中的重要性，适当地调节 α 值能显著提升翻译效果。最佳的 α 值大约在 0.8 左右，此时模型在各个 shot 数下都能获得较好的翻译表现。

PQ 对比

#

🔼 该图表展示了使用产品量化（PQ）技术与不使用该技术（No-PQ）在不同数据集大小下，机器翻译任务中的性能表现。该图包含三个子图，分别展示了 BLEU 值、内存消耗和推理速度（以微秒为单位）随数据集大小的变化情况。数据集大小从 20M 增加到 100M。

第一个子图显示，随着数据集大小的增加，使用 PQ 的方法的 BLEU 值始终高于不使用 PQ 的方法，这表明产品量化能够提高翻译质量。尤其是在较大的数据集上，PQ 的优势更加明显。在数据集大小为 100M 时，使用 PQ 的 BLEU 值达到了约 27.5，而不使用 PQ 的 BLEU 值则低于 27.4。这表明 PQ 通过减少噪声和提高搜索效率，从而提升了翻译质量。

第二个子图比较了使用和不使用 PQ 时的内存消耗。图中清晰地显示，随着数据集大小的增加，使用 PQ 的方法内存消耗增加速度明显快于不使用 PQ 的方法。例如，在数据集大小为 100M 时，使用 PQ 的内存消耗接近 6，而不使用 PQ 的内存消耗约为 2.5。这反映了 PQ 技术在存储和索引向量时需要更多的内存空间。然而，内存消耗的增加是在提高搜索速度和翻译质量的代价下发生的。

第三个子图展示了不同数据集大小下，使用和不使用 PQ 时的推理速度，以微秒（µs）为单位。结果表明，在较小的数据集大小（如20M到50M）时，两种方法的速度差异不大。但随着数据集大小的增加，不使用 PQ 的方法推理速度迅速下降，而使用 PQ 的方法则保持相对较快的速度，并始终快于不使用 PQ 的方法。特别是在数据集大小达到 100M 时，不使用 PQ 的方法推理速度明显高于使用 PQ 的方法，显示了 PQ 在处理大数据集时的优越性能。这说明产品量化通过减少搜索空间，加速了最近邻搜索过程，从而提升了翻译的效率。

综上所述，虽然产品量化技术会带来一定的内存消耗增加，但在提高翻译质量和推理速度方面具有显著优势，尤其是在处理大规模数据集时。因此，在实际应用中，产品量化是一种值得考虑的优化手段。