RefAug：prompt增强训练LLM
https://github.com/ytyz1307zzh/RefAug
Learn Beyond The Answer: Training Language Models with Reflection for
Mathematical Reasoning
论文提出了一种新的训练策略，名为“reflective augmentation”（简称RefAug），旨在通过在数学问题解答训练实例中嵌入问题反思，来培养语言模型（LMs）更深层次的理解能力。这种方法不仅提高了模型在标准单轮问答（QA）设置中的性能，也显著提升了模型在需要反思性思考的更复杂场景中的性能，如处理后续问题、纠正错误或利用外部反馈。
从项目代码中查看训练数据文件为
在答案中增加反思过程，通过训练以引导LLM主动反思，增强推理能力。在推理时，将reflective的部分进行字符串删除即可。
SeaKR：自我感知RAG
SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented
Generation
https://github.com/THU-KEG/SeaKR
自适应RAG是动态确定LLM是否需要RAG的策略。SeaKR能从低成本模型的内部状态中提取其自身的不确定性，自适应的激活检索功能。性能优化现有的自适应RAG方案。
SeaKR
通常来说，使用RAG时，会默认从知识库中检索输入相关内容，而不关心输入数据或者模型内部是否已经包含了足以回答的信息量。对这种场景来说，不但徒增了耗时，还有可能因为检索到的内容导致模型生成质量降低。
因此自适应RAG应运而生。根据输入数据动态判断是否需要检索。有根据模型输出判断是否需要检索的方法，但SEAKR是第一个利用LLMS内部状态的自我意识来动态确定何时检索和有效整合检索到的知识的框架。具体地说，从对应于最后生成的令牌的每一层的前馈网络(FFN)的内部状态中提取LLM的自感知不确定性。
The overall framework of SEAKR.
SEAKR包含三部分：1、LLM。2、根据LLM内部状态的不确定性估计器。3、搜索引擎。
首先对输入prompt直接进行推理，得到LLM的内部状态；
通过不确定性估计器估计是否需要RAG处理。
将搜索到下相关内容和原始prompt按照模板拼接起来，LLM推理生成最终回答。
评测效果如下
Experiment results on complex QA datasets in percentage (%)
Experiment results on simple QA datasets in percentage (%)
12 RAG Pain Points and Proposed Solutions
RAG 系统开发中的 12 大痛点及解决方案 [译]
总结有如下几点：
数据缺失找不到；（整理数据）
找到了错误数据；（数据清洗）
找到正确数据，但是整合顺序有问题；（优化相似度计算等）
找到正确数据，但是超出上下文长度；（chunk size，上下文压缩、LongContextReorder(长内容优先排序)）
数据格式错误，提取困难or信息不对；（优化相关文档的解析）
回答不够详细；
回答不够全面；
回答的安全性；
数据查询的效率问题；
结构化数据读取效率；
模型回复效率；
Memory3：外挂KV知识库
Memory3: Language Modeling with Explicit Memory
[院士领衔推出大模型的第3种记忆：比参数存储和RAG都便宜，2.4B模型越级打13B]
Memory3是一种把知识最大程度外置的方法，LM 可以享受更小的参数大小、训练成本和推理成本，实现比更大的模型和RAG更好的性能，并享有更快的速度。
这种记忆是继隐性记忆（模型参数）和工作记忆（模型输入，RAG的结果也是输入）之后的第三种记忆形式。
Memory 3模型将文本转化为显性记忆，然后在推理过程中调用这些记忆。显性记忆可以看作是可检索的模型参数、外化知识或稀疏激活的神经回路。
其实就是在原始的外挂知识库的场景上，将知识库预先通过LLM处理得到全部的kv值，把kv值存储下来替换文本知识库。（这部分操作是前预处理）在推理时，根据当前输入的kv值去知识kv库中查找相关的kv，一起进行attention计算即可。
但如果将全部知识库的kv cache存下来，内存消耗也是极大的。需要压缩。
1、只将注意力层的前半部分设置为记忆层，即产生和关注显性记忆的层。只存储部分kv值。
2、通过GQA减少kv值
3、由于注意力会集中在少部分token中，因此只存储这部分的kv cache。
4、通过残差量化压缩kv cache。
论文中提到最终将46T的数据压缩到了4T。
从评分上看也还不错，2.4B的模型性能堪比最强的Qwen1.5-7B
Few-shot evaluation of general abilities. The model sizes only include non-embedding parameters.
多模态RAG：ColPali
ColPali: Efficient Document Retrieval with Vision Language Models
目前文本的RAG已经有不错的成果，而图像RAG效果还有很大的提升空间。通常的图像RAG流程为：
1、PDF解析器或光学字符识别（OCR）系统用于从页面中提取单词。
2、运行文档布局检测模型来分割段落、标题和其他页面对象，如表格、图形和标题。
3、定义一个组块策略来对具有一定语义连贯性的文本段落进行分组
但经试验发现，优化图像信息输入方法比优化文本模型的性能提升更加明显。因此提出了ViDoRe，一个新的全面的测试基准，考虑更多的视觉信息。提出了ColPali，一个新的VLM模型，纯粹以图像特征中索引相关文档。
graphrag
GitHub - microsoft/graphrag: A modular graph-based Retrieval-Augmented Generation (RAG) system
From Local to Global: A Graph RAG Approach to Query-Focused Summarization
GraphRAG: A new approach for discovery using complex information
源码解读 - 微软GraphRAG框架
通过RAG技术可以使LLM准确回答从未见过的内容。目前大多数 RAG 方法都使用向量相似度作为搜索技术。GraphRAG是微软提出来的RAG+graph框架，使用 LLM 生成的知识图谱，在对复杂信息进行文档分析时显著提高问答性能。
基础RAG的缺点：
基线 RAG 难以将各个点连接起来。当回答问题需要通过共享属性遍历不同的信息片段以提供新的综合见解时，就会发生这种情况。
当被要求全面理解大型数据集合甚至单个大型文档中的总结语义概念时，基线 RAG 的表现不佳。（比如让模型回答未训练过的《西游记》一书的内容，若问孙悟空被天庭封为什么官，那么RAG到相似的文档即可回答。若问西游戏整本书在讲什么，那么RAG的效果就很差，取任何chunk都没办法总结全书的内容）
From Local to Global: A Graph RAG Approach to Query-Focused Summarization
Graph RAG方法的数据流如下所示
Graph RAG pipeline
1：Source Documents→Text Chunks🌹首先，讲输入文本分割成chunk进行处理，每个chunk都传入一组LLM中，从中提取组成graph的元素。将文档分割成更长的文本可以降低LLM的调用次数。可以观察到，在chunk size为600个token的时候，从整个文档中提取到的entity references 几乎是2400token长度的两倍。虽然references 越多越好，但任何提取过程都需要平衡精度和召回率。
Number of gleanings performed
2：Text Chunks→Element Instances🌹从每个chunk中提取graph的结点内容和边（关系）。这里需要设计多个prompt。第一个prompt对chunk中的名字、类型、描述等进行总结。第二个prompt对chunk和其他chunk之间的关系进行总结。
在RAG过程中，为了平衡效率和质量，使用多轮抽取，直到达到最大chunk数目。
Element Instances→Element Summaries🌹对每个node提取了内容和关系已经是对node的抽象总结了，但是对每一个graph网络，还需要通过LLM对所有的node总结整理成一个整体的总结。
Element Summaries→Graph Communities🌹上一步中创建的索引可以建模为同质无向加权图，其中实体节点通过关系边连接，边权重表示检测到的关系实例的归一化计数。
graph communities
Graph Communities→Community Summaries🌹当有非常大的数据集时，所有的graph可以组成Community。这些摘要本身作为理解数据集的全局结构和语义的一种方式，并且它们本身可以用于在没有问题的情况下理解语料库。例如，用户可以浏览某一级别的社区摘要，查找感兴趣的一般主题，然后点击较低级别报告的链接，该报告为每个子主题提供更多详细信息。
Community Summaries→Community Answers→Global Answer🌹当输入一个问题时，利用Community Summaries可以用于生成最终答案。
Community Summaries随机打乱在在不同的chunk中，以保证能提取尽量多的chunk。
每个chunk根据问题检索出一个答案，检索答案的同时，LLM也会生成答案的可信度评分（0—100）。
按照答案的得分进行排序，添加到输入prompt中，直到添加完成或者达到最大程度限制。最终LLM生成答案。
LLM 生成的知识图谱
使用LLM对知识库进行整理。
LLM 处理整个私有数据集，创建对源数据内所有实体和关系的引用，然后使用这些引用创建 LLM 生成的知识图。
然后，该图用于创建自下而上的聚类，将数据按层次结构组织成语义聚类（下图 3 中用颜色表示）。这种划分允许预先汇总语义概念和主题，这有助于全面理解数据集。
在查询时，这两种结构都用于为回答问题时的 LLM 上下文窗口提供材料。
使用 GPT-4 Turbo 从私有数据集构建的 LLM 生成的知识图谱
总结
graphrag主要是为了解决单个chunk中的内容无法回答问题，需要依据多个chunk之间关系进行联合总结的场景。
使用LLM进行知识图谱的生成会耗费大量时间（每个chunk调用LLM总结内容，每一组chunk调用LLM总结，每一个graph调用LLM总结一次），且RAG时需要多轮查询（检索的时候也需要运行LLM）。因此和常规rag相比，准确度有所上升，但速度很慢。
mem0
Mem0 是 RAG 发展的下一个阶段，相比 RAG 的核心区别：关注实体和实体关系；关注最近、最相关的；上下文连续性；适应性学习；动态更新信息。而普通 RAG 只是单纯的从静态的文档中检索信息。
和graphrag类似，也采用了图网络。提取每个chunk的内容和不同chunk之间的关系。
Triplex
https://huggingface.co/SciPhi/Triplex
https://www.sciphi.ai/blog/triplex
知识图谱（例如 Microsoft 的 Graph RAG）增强了 RAG 方法，但构建成本高昂。Triplex 可将知识图谱创建成本降低 98%，性能优于 GPT-4，成本仅为 GPT-4 的 1/60，并且可以使用 SciPhi 的 R2R 构建本地图谱。
Triplex 的目标是通过将知识图谱的生成成本降低十倍来彻底颠覆这一模式。这一成本降低是通过 Triplex 将非结构化文本转换为“语义三元组”——知识图谱的构建块——的有效方法实现的。在成本和性能方面明显优于 gpt-4o。
Triplex
性能更强
性能对比
成本更低
成本对比
参考了A Comprehensive Survey on Automatic Knowledge Graph Construction和From local to global: A graph rag approach to query-focused summarization两篇论文。
总结
RAG通常通过向量之间的相似性进行检索。因此适用于语句简单相似的场景，比如query：你吃饭了吗？db：我吃饭了。Rerank可以对搜索到的向量进行重新排序，提高相关文档对模型效果的影响，但解决不了搜索不到的问题。
Graph通过建立结点之间的连接，可以极其有效的丰富搜索结果。比如query：感冒了吃什么？db：1、感冒了可能会发烧和头痛。2、对乙酰氨基酚是一种退烧和止疼药物。相似度搜索极难查询到第2个结果，而Graph方法可以将对1和2连接在一起，从而在检索到1结点的时候将相邻结点一起检索出来。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
大模型 AI 能干什么？ 大模型是怎样获得「智能」的？ 用好 AI 的核心心法 大模型应用业务架构 大模型应用技术架构 代码示例：向 GPT-3.5 灌入新知识 提示工程的意义和核心思想 Prompt 典型构成 指令调优方法论 思维链和思维树 Prompt 攻击和防范 …第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
为什么要做 RAG 搭建一个简单的 ChatPDF 检索的基础概念 什么是向量表示（Embeddings） 向量数据库与向量检索 基于向量检索的 RAG 搭建 RAG 系统的扩展知识 混合检索与 RAG-Fusion 简介 向量模型本地部署 …第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
为什么要做 RAG 什么是模型 什么是模型训练 求解器 & 损失函数简介 小实验2：手写一个简单的神经网络并训练它 什么是训练/预训练/微调/轻量化微调 Transformer结构简介 轻量化微调 实验数据集的构建 …第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
硬件选型 带你了解全球大模型 使用国产大模型服务 搭建 OpenAI 代理 热身：基于阿里云 PAI 部署 Stable Diffusion 在本地计算机运行大模型 大模型的私有化部署 基于 vLLM 部署大模型 案例：如何优雅地在阿里云私有部署开源大模型 部署一套开源 LLM 项目 内容安全 互联网信息服务算法备案 …学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
总结
### 文章总结：大模型AI创新发展与应用前景#### 1. **RefAug：通过反思增强训练LLM**
- **核心内容**：提出了一种名为RefAug的训练策略，通过在数学问题解答中增加反思过程，来增强语言模型（LLM）的推理能力。这种方法不仅提高了基本的QA性能，还提升了模型在复杂场景中（如处理后续问题、纠正错误）的表现。
#### 2. **SeaKR：自我感知RAG**
- **核心内容**：SeaKR通过利用LLM的内部状态来自适应判断何时需要检索额外知识，从而优化RAG（Retrieval-Augmented Generation）的效果。它避免了不必要的检索开销，并通过提取LLM的不确定性作为触发检索的信号。
#### 3. **Memory3：外挂KV知识库**
- **核心内容**：Memory3通过将大量知识预先处理成显性记忆（即kv存储），实现了 更小的模型尺寸、更低的推理成本和更高的性能。通过对kv值的压缩技术，进一步降低了存储损耗。
#### 4. **ColPali：多模态RAG**
- **核心内容**：聚焦于图像RAG的优化，提出了一种新的VLM模型ColPali，该模型通过视觉信息来索引相关文档，有效提升了复杂视觉信息的处理能力。
#### 5. **GraphRAG：基于图网络的RAG**
- **核心内容**：GraphRAG通过构建知识图谱，将各个信息片段连接起来，实现了从局部到全局的全面理解。这使得模型在回答复杂问题时，能够更有效地整合不同来源的信息。
#### 6. **Mem0与Triplex**
- **核心内容**：Mem0和Triplex是RAG的进一步进化。Mem0关注实体关系，实现了更加动态和连续的知识更新。Triplex则通过创新的知识图谱生成方法，大大降低了知识图谱的构建成本，并实现了与GPT-4相当的性能，同时降低了使用成本。
#### 7. **大模型AI学习资料分享**
- **四阶段学习路径**：
1. **初阶应用**（10天）：建立对大模型AI的基本理解和 初步应用能力。
2. **高阶应用**（30天）：深入掌握RAG技术，开发对话机器人等高级应用。
3. **模型训练**（30天）：从训练基本原理到独立训练垂直大模型，掌握关键技术。
4. **商业闭环**（20天）：全局认知大模型性能，进行大模型部署和商业应用。
- **资料分享方式**：CSDN平台上提供包括思维导图、学习书籍、视频教程在内的完整学习资料，帮助学习者系统掌握大模型AI知识。
#### 总结
文章详细介绍了当前大模型AI领域的几项重要创新，包括反思增强训练、自适应RAG、外挂知识库等关键技术。同时，通过学习资料的分享，展示了从初阶到应用的系统化学习路径，帮助读者快速掌握AI大模型的核心技术和应用能力。