Generate-Read

该模块可作为开发物件之一 初步方案：符合语言的Seq2Seq类模型+PRCA调度逻辑微调 1 文献目标 问题 LLM参数太多，调参成本有限 调整logits输出无法适用于通过API提供服务的黑盒模型 解决方案 创建即插即用PRCA 适配器 PRCA模块和RECOMP信息压缩器处于同一生态位，都属于RAG适配器（Adapter）。具体实现上，可以只实现调度部分， 2 具体实现 2.1 训练潜在问题 PRCA模块本身也是一个生成式的模型，它与[[RECOMP(arXiv2310.04408)论文精读笔记#2.3 Abstractive Compressor| Abstractive Expressor]]相似，但是PRCA的训练信号来自于奖励值，而不是来自于LLM和自监督。 PRCA拦在LLM和文档之间的特点带来了如下问题： 文档先经过PRCA吗，才给到LLM，使得检索质量、PRCA加工质量和生成器能力耦合在一起，形成黑箱，难以判定PRCA的实际效用 LLM本身也是个黑盒，无法从中获取梯度以传递给PRCA，标准的监督学习路径被截断 这也是RECOMP可能遇到的问题 PRCA通过划分信息提取阶段和奖励驱动阶段来解耦生成能力和内容调度能力的评估 2.2 信息提取阶段(Contextual Extraction Stage) 第一阶段遵从常规的序列到序列模型微调流程，其目标为： $$ min \ L(\theta) = -\frac{1}{N}\sum_{N}^{i=1} C_{truth}^{(i)}\log(f_{PRCA}(S_{input}^{(i)}:\theta)) $$ 符号： $C_{truth}^{(i)}$: 真实标签或者期望答案。论文原文没有给出具体获取途径，需要单独设计 $f_{PRCA}$: PRCA神经网络，表达前向传播 $S_{input}^{(i)}$: 查询 原论文中，$f_{PRCA}$使用了BART-Large，此处可以用任意序列到序列模型替代,或更改预训练数据集，以适配具体需求和语种 此处，$C$和$S$都是自然语言序列，具体获取方法为用序列到序列的tokenizer来分别处理，以得到可以被计算机处理的数组数据。 信息提取阶段是PRCA训练的基础，其作用为让序列到序列模型具备文本输出能力或适应领域知识。 2.3 奖励驱动阶段(Reward-Driven Stage) 2.3.1 问题定义 第二阶段通过强化学习微调PRCA，使其生成的上下文更能帮助下游生成器产生正确答案。 具体而言，PRCA学习提取和组织信息的方式，以最大化生成器输出与真实答案的相似度。 需要注意的是，在PRCA的设计下：为保障模型的通用性，LLM被视作一个黑盒，只能输出自然语言，允许不输出如logprob，梯度等内部状态。其作用/目的如下： 适配闭源模型 - 可使用任何提供文本API的LLM作为生成器(如GPT-4、Claude、Gemini等)，无需访问模型内部参数或梯度 跨模型迁移能力 训练阶段:可使用成本较低的模型(如DeepSeek)作为奖励信号来源 推理阶段:训练好的PRCA可无缝切换到其他生成器(如Claude、GPT-4) 降低训练成本(使用便宜的API训练)提升推理质量(使用更强的API推理) 规避ToS限制(某些模型禁止用输出训练,但可用于推理) 请注意检查LLM提供商的使用协议，以保障训练行为合规！ 该阶段将问题建模为马尔可夫决策过程(MDP): ...

该模块可作为开发物件之一 0 概念澄清 RAG指的是一系列方法论，其概念更加抽象。检索强化语言模型（Retrieval-Augmented LM） 则是经外部知识强化后的语言模型，其概念具体到可以指定物件。 其中，在该文章语境下，RALM的检索功能被定义为语言模型的一部分，而RAG则允许检索功能被放置在任何位置，包括但不限于语言模型内部和外部挂载模块。为作区分，之后的部分将明确标注检索强化生成技术的作用位置，即模型内和模型外 1 文献目标 1.1 概览 问题 模型外的RAG技术会消耗更多token，长文本效果更明显 难以提取长文本上下文 无关文本干扰模型 解决方案： 在预置和模型之间插入信息压缩模块。该文献提出了两种信息压缩模块。 “预置”是指整合查询和文本块并准备输入LLM的步骤，它被定义在Naive RAG架构中的Generation操作开端。 2 具体实现 两个模块都可以用LoRA微调，推荐应用于编码-解码结构 2.1 问题定义 给定输入序列$x$，目标输出$y$和一组检索到的文档$D = [d_1, d_2, \cdots, d_n]$，压缩器的任务是： 生成一个摘要$s$，使得： $s$比$D$短得多 当$s$被预置到$x$前输入语言模型$M$时，模型生成$y$的概率最大化 $s$的内容应该能被$D$所蕴含 压缩器的任务与花书中定义的序列生成定义相对接近，其本身超越传统的监督学习任务框架。 该文献的方法将语言模型视为黑盒并不作更改。 2.2 Extractive Compressor 原论文模型参数量110M，考虑量化后体积还能进一步缩小 Extractive Compressor将问题定义为ranking问题，即直接将句子排序、拼接并预置。Extractive Compressor使用双编码器结构，通过嵌入句子，计算相似度来衡量语料对回答问题的有用程度。 推理过程如下： flowchart LR subgraph A [输入预处理与编码] A1[“文档集D<br>（多篇文档）”] --> A2[“分句”] A2 --> A3[“句子集合S<br>（s₁, s₂, …, sₙ）”] A4[“用户查询 x”] end subgraph B [句子评分与选择] A3 -- “句子编码器<br>enc_θ(sᵢ)” --> B1[“句子向量”] A4 -- “查询编码器<br>enc_θ(x)” --> B2[“查询向量”] B1 --> B3(“点积/余弦相似度<br>计算得分”) B2 --> B3 B3 --> B4[“按得分排序<br>选出Top K个句子”] end subgraph C [输出拼接] B4 --> C1[“压缩后的摘要 s<br>（Top K 句子的直接拼接）”] end A --> B --> C 训练流程大概如下： ...

1 文献目标 问题： LLM缺乏领域针对性知识的获取，如相关知识及专有名词 SOTA LLM通常是黑盒，缺乏透明性且成本高昂导致难以针对领域只是微调 能承担微调费用的用户有隐私暴露风险 解决方案： 通过instruction fine-tuning，在与训练阶段将指定领域的知识融入PKG模块 提问时，PKG先生成领域知识，领域知识传递给黑盒LLM辅助作答 2 具体实现 套用Generate-Read 的Modular RAG范式 2.1 内容生成 得到问题$Q$后，LLM通过最大化后验估计(MAP)来生成回应 $$ \hat{A} = argmax_{A} P(A|Q, M^{LLM}) $$ 其中$M^{LLM}$是黑盒LLM的参数。该公式含义为：在给定查询$Q$和LLM参数$M^{LLM}$的情况下，总是返回“最可能”的答案。该公式是直接使用LLM时的答案返回机制。 2.2 知识对齐 此时向问题传入PKG模块，其参数为$M^{PKG}$。该模型同样通过最大后验估计来生成回答，此处仅处理背景知识： $$ \hat{K} = argmax_KP(K|Q, M^{PKG}) $$ 即，通过已有的PKG模块$M^{PKG}$，总是返回“最可能”的背景知识。 这一步的实现具体为使用 instructions, input, response三元组的形式来控制PKG模块的输出，大概模板具体如下： <元指令，告诉模型接下来的输入数据格式是什么，让模型清楚知道自己在干啥> ### Instruction <用于PKG模块的查询> % 例如: ### Input <具体输入的指令和数据> 例如： ### Response: <期望输出> % 在此编写你希望模型回复的形式，例如具体的计算过程，要不要用某些指定框架实现，怎么呈现背景知识 以下是一个具体的例子 The following content is an instruction of how to solve a background knowledge providing problem, which contains "instruction", "input" and "expected output". You need to follow such steps for further queries and return content similar to "expected output" descriped below. ### Instruction Generate background knowledge that helps with data mining problems. ### Input What is the average salary. Table: | name | salary | | Alice | 70000 | | Bob | 80000 | ### Output To calculate average: - Sum: 70000+80000=150000 - Count: 2 employees - Average: 150000 / 2 - 75000 2.3 强化查询 将PKG模块融入到LLM中后，后验概率变更为： ...