图书情报领域大模型的应用模式和数据治理

大模型应用的基本架构

#

🔼 该图展示了大模型应用的基本架构，它将整个系统划分为多个层次，清晰地呈现了数据流和功能模块之间的关系。从图中可以看出，整个架构由用户应用层（前台）、应用集成层（后台）、数据治理层、知识库层和模型层构成。用户应用层是用户与系统交互的界面，支持各类设备和交互方式；应用集成层负责业务逻辑和API调用，类似于传统应用中的中间件，负责不同模块之间的调度和数据处理；数据治理层则负责数据的获取、清洗、分块、转换、标注、归一、增强、存储和评价等过程，是实现大模型领域能力的关键；知识库层通过向量数据库等方式提供额外的知识支持，增强模型的语义检索能力；模型层则是大模型的所在，是提供普适的知识和语言能力的核心。该架构的核心思想是将大模型的能力与领域知识相结合，通过“检索增强生成（RAG）”的方式，既发挥大模型的泛化和推理能力，又结合了特定领域的知识，有效地解决了大模型在特定领域应用中可能出现的“幻觉”问题。该架构充分体现了模块化设计的思想，各层之间职责清晰，易于维护和扩展。其中，数据治理层尤为重要，其作用不仅仅是提供数据，还包括对数据的动态处理和交互，这与传统的数据处理方式有明显的区别。此外，该图也体现了当前大模型应用开发的一个重要趋势，即强调数据驱动，从数据收集、预处理到应用，都离不开对数据的有效管理和利用。总而言之，该图清晰地展示了大模型应用开发的整体架构，揭示了各模块之间的相互关系和数据流向，为后续领域大模型的开发和应用提供了重要的参考。

大模型指令微调的3个步骤

#

🔼 该图展示了大模型指令微调的三个关键步骤，包括数据收集、奖励模型训练和策略优化。第一步，收集演示数据并训练监督策略。此阶段首先从提示数据集（prompt dataset）中采样一个提示（prompt），例如“向一个五岁小孩解释登月”，然后由标注员演示期望的输出行为，例如“有些人去了月球”。这些数据用于通过监督学习微调GPT-3模型。第二步，收集比较数据并训练奖励模型。在此阶段，对一个提示采样，并生成多个模型输出。标注员对这些输出进行排序，从最好到最差，这些数据用于训练奖励模型（RM）。第三步，使用强化学习优化对抗奖励模型的策略。此步骤中，从数据集中采样一个新的提示，例如“写一个关于青蛙的故事”，然后策略（policy）模型生成一个输出，例如“很久以前…”。奖励模型为该输出计算奖励，该奖励被用来使用PPO（Proximal Policy Optimization）算法更新策略。该图清晰地展示了指令微调的流程，强调了数据在微调过程中的重要作用，并说明了如何通过结合人类反馈和强化学习来提升模型的性能。这三个步骤构成了一个迭代的反馈回路，通过不断优化策略来使模型输出更符合人类的期望。

领域模型应用需求确定流程

#

🔼 该图为领域模型应用需求确定流程图，以流程图的形式展示了在实际应用中，如何根据问题的性质选择合适的模型应用方法。从起始节点开始，首先判断问题是否简单，可以通过基本方式解决。若问题简单，则采用“0-shot零知识问答”方式，然后通过提示词工程进行优化；若问题较为复杂，则需要判断是否需要领域新知识或内部知识。如果需要，则需要将向量知识库嵌入进来辅助；如果不需要，则需要判断问答问题是否需要特别知识。如果需要，则要进行模型调参，否则再判断是否问答需要复杂步骤，如果需要就选择API开发智能体；否则就采用“few-shot少量知识问答”，通过提示词工程进行优化。整个流程清晰地展示了如何从实际问题出发，逐步选择最合适的模型应用策略，对于理解领域模型应用具有很好的指导意义。该图体现了领域模型应用中需要考虑的关键因素：问题的复杂性、领域知识的需求以及是否需要复杂的步骤。这些因素决定了是采用简单的零样本学习、结合知识库、还是需要进行模型调参或API开发智能体。通过该图可以帮助读者更好地理解领域模型的应用方式，以及如何根据不同场景选择最佳的解决方案。该图在一定程度上反映了大模型应用在领域场景中的复杂性和多样性。

大语言模型训练流程

#

🔼 该图展示了大语言模型训练的第一个阶段——预训练阶段。在这个阶段，模型主要通过分析大量的无标注文本数据进行学习，其目标是预测给定文本序列中的下一个词元（token）。这一过程无需人工标注的数据，模型通过自我监督学习，从海量的文本数据中提取语言模式和结构。从数据规模来看，预训练阶段的数据量非常庞大，通常在1000亿到5万亿词元之间，这也反映了构建高性能大模型所需的计算资源和数据量。预训练的输出结果是一个基础模型（也称为“foundation model”），它具备了基本的语言理解和生成能力，为后续的微调奠定了基础。这个阶段的训练结果对大模型最终的性能至关重要，它决定了模型是否能够“涌现”出复杂的语言能力，例如泛化和推理能力。此图为理解大语言模型训练流程提供了直观的展示，强调了预训练阶段数据驱动的特性以及其在整个训练流程中的核心作用，后续的微调环节是基于此基础模型进行的。此外，图中还展现了“暴力”训练方式中，数据量的重要性。通过大量的数据，模型能够学习到更加复杂的语言模式，从而在下游任务中取得更好的表现。这一流程不仅是技术上的突破，也是对“大数据驱动人工智能”理念的深刻体现，说明了高质量的数据对人工智能模型的重要性。

监督式微调数据样例

#

🔼 本图展示了监督式微调（Supervised Fine-tuning, SFT）的典型数据样例，这是大语言模型训练中的一个重要环节。在SFT阶段，模型通过学习标注好的指令-响应对来提升其理解和执行特定任务的能力。该图提供了两个具体的样例，清晰地展示了SFT数据的结构和内容。第一个样例中，指令是“写一首关于鹈鹕的五行打油诗”，相应的输出是一段满足指令要求的文本，即一首以鹈鹕为主题的五行诗。第二个样例中，指令是“从下列组中找出奇数项”，输入是“胡萝卜、苹果、香蕉、葡萄”，相应的输出则是“胡萝卜”。这些样例直观地说明了SFT如何通过指令和对应的期望输出来训练模型。从更深层次来看，这些数据样例揭示了SFT的核心机制：通过大量的指令-响应对，使模型能够理解自然语言指令的含义，并生成符合要求的响应。这使得大模型能够从预训练的通用语言模型转化为能够执行特定任务的专家模型。在实际应用中，SFT的数据质量和数量直接影响模型的性能，因此，高质量、多样化的SFT数据是构建高性能大模型的基础。此外，数据标注的准确性和一致性也至关重要，它直接决定了模型的学习效果和最终表现。这种方法使得模型不仅仅能完成“文字接龙”，而是真正理解并执行各种复杂的指令，从而满足实际应用需求。

预训练数据示例

#

🔼 该图展示了预训练数据的示例，具体内容为一段关于古腾堡项目的描述。古腾堡项目由美国作家 Michael S Hart 于 1971 年创立，是历史最悠久的数字图书馆。其馆藏主要为公共领域的书籍或独立故事全文，所有文件均可通过开放格式免费访问，且几乎可在任何计算机上使用。截至 2015 年 10 月 3 日，古腾堡项目已收藏了 50,000 项免费电子书。这段文本可以作为大语言模型预训练的语料，让模型学习文本结构和常见的知识。这段文本的重点在于描述古腾堡项目的历史和特点，强调其开放性、免费性和广泛的适用性。将此类数据用于预训练，可以帮助大模型理解关于数字图书馆和文本资源的背景知识。此外，这段文本还展示了时间、人物和地点等关键信息，有助于模型掌握上下文语境。在实际应用中，这种数据需要进行预处理，例如分词、去除停用词等，以便模型更好地理解和学习。

大模型训练流程示意图

#

🔼 图1展示了大语言模型的训练流程，该流程分为两个主要阶段，共四个步骤。第一阶段是无监督预训练，该阶段利用大量的未标注文本数据，通过语言模型技术预测给定文本的下一个单词，使模型学习文本的上下文信息。这个阶段的核心是使用Transformer结构，通过自注意力机制和残差连接实现信息的跨层传递。第二阶段包括三个主要步骤：有监督的微调（SFT），奖励建模和强化学习（RLHF）。有监督的微调利用带有标签的标注数据进行语义微调和指令微调，使模型能够支持各种特定的任务，如问答、实体识别、情感分析等。奖励建模评估模型的输出结果，并提供奖励信号。强化学习则利用人类反馈进一步优化模型。整个训练流程是一个迭代过程，每一步都依赖于特定的训练算法和数据集。该图清晰地展示了从原始数据到最终模型的转化过程，强调了数据和微调在模型训练中的关键作用。通过这个流程，大模型不仅获得了通用知识，还具备了解决特定问题的能力，成为了能理论联系实际的“三好学生”。该流程也说明了数据和算法是支撑模型能力的关键，同时也奠定了大模型应用的基础。