今天是24年8月份的第一天，我们先来回顾下昨日大模型进展早报。
我们来看看一个工作，基于大模型的自动综述生成，Automated Review Generation Method Based on Large Language Models：(https://arxiv.org/pdf/2407.20906)，里面的思路可以看看。
一、基于大模型的文献综述生成方案的幻觉控制
Automated Review Generation Method Based on Large Language Models：(https://arxiv.org/pdf/2407.20906)这个工作，介绍了一种基于大模型的自动化文献综述生成方法，基于大模型来处理和整合科学文献。
先看结果：
在对丙烷脱氢（PDH）催化剂的案例研究中，该方法从343篇文章中生成全面的综述，每个LLM账户平均几秒钟就能处理一篇文章。对1041篇文章的扩展分析提供了对催化剂组成、结构和性能的见解。考虑到LLMs的幻觉问题，采用了多层次的质量控制策略。
多级过滤和验证的质量控制策略，类似于检索增强生成（RAG）的概念，以减轻并纠正幻觉：
文本格式过滤：注意到幻觉经常破坏文本格式，应用预定义的XML格式模板来过滤出格式混乱的文本。
DOI验证：DOIs（数字对象标识符）是一系列符号和数字的组合，它们与上下文没有直接的语义联系，这在生成中构成挑战，并容易出现幻觉。然而，DOIs精确的参考性质允许进行验证。通过对生成内容进行严格的DOI验证，抑制了幻觉内容的进一步传播，确保每个生成的结论都可以追溯到其原始来源。
相关性验证：在RAG系统中，语义相关但缺乏正确答案的文档尤其有害。在知识提取阶段仔细审查每个响应，确保其相关性，用相关关键词排除了离题的答案。
自我一致性验证：对于文本总结，存在一个确定的正确答案，认识到幻觉的随机性意味着正确的答案应该在迭代中更频繁地出现，我们采用从重复查询中聚合的方法来有效抑制幻觉。
全数据流可追溯性机制：通过使用DOIs作为每段生成内容的关键参考标识符，并强制每个结论都有引用，使综述读者能够轻松地追溯到原始文献，支持验证和对感兴趣的主题进行更深入的探索。
二、基于大模型的文献综述生成方案具体步骤
构建综述文章的方法由四部分组成：文献搜索、主题制定、知识提取和综述撰写，以及为有经验的用户提供的额外的数据挖掘模块。
其中：
1、文献搜索
最初，从期刊分类表中获取一组指定综述主题领域的期刊列表。然后，通过搜索引擎的API检索这些选定期刊中包含特定关键词的文献。接着进行初步筛选，检查每个标题和摘要是否有与选定关键词列表的交集。有交集的文献被保存，并且那些是综述性质的文献被标记。
该方法支持包括期刊、专利、会议论文、书籍等在内的各种类型的文本文献。这意味着任何文本形式的内容都可以被包括在搜索范围内，进一步扩展了方法的应用场景和覆盖面。
例如，使用 “propane dehydrogenation” 作为关键词，通过Google Scholar上的SerpAPI检索了343篇顶级化学和化学工程期刊的出版物（根据2022年中国科学院分类），在通过关键词如 “propane dehydrogenation”、“PDH”、“ODH”、“Oxidative Dehydrogenation” 等过滤标题和摘要后，包括14篇综述。
2、主题制定
构建综述主题有两种方法：一种是LLM直接起草大纲，另一种是基于LLM从现有文献综述中提炼和起草大纲。获得主题列表后，可以手动添加和排序额外的主题。
例如，Claude2模型直接生成了一个包括12个主题的大纲，另一个基于现有综述文章生成了9个主题和35个引导问题。
3、知识提取
根据获得的主题列表，LLM为从文献中提取信息生成一系列问题，每个综述主题对应一个问题。对于每篇文章重复这个过程多次后，所有答案都被连接起来。然后LLM确定答案是否与问题相关，并将它们聚合起来（见图3 (iii)）。
例如，在PDH案例中，将35个引导问题转化为从文献中提取信息的问题后，使用Claude2模型从343篇顶级文章中提取信息五次，将8575个响应聚合成2783个有效的信息组合。
4、综述撰写
将每篇文章的答案与其来源DOI关联起来后，为每个主题生成并整合段落。LLM从所有组合的答案中生成综述段落，然后进行总结和展望。多次重复这个过程后，LLM对生成的段落进行评分，为每个主题选择最佳段落，形成全文的初步草稿。
然后，在LLM的帮助下润色全文，调整和检查引用格式，以产生最终草稿。
例如，将各个文章的答案组合成JSON格式的信息组，输入到Claude2模型中进行段落生成，整合形成流畅的段落，重复9次，根据标准（如SI所示）由Claude2模型评分，并润色以产生最终草稿。
总结
本文主要看了基于大模型的文献综述生成方案，这其实很多学术领域的场景中会用到。
感兴趣的可以多看看。
那么，如何系统的去学习大模型LLM？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~
篇幅有限，部分资料如下：
?LLM大模型学习指南+路线汇总?
?大模型入门要点，扫盲必看！
?既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。
?大模型入门实战训练?
?光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
?国内企业大模型落地应用案例?
?《中国大模型落地应用案例集》 收录了52个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）
?《2024大模型行业应用十大典范案例集》 汇集了文化、医药、IT、钢铁、航空、企业服务等行业在大模型应用领域的典范案例。
?LLM大模型学习视频?
?观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）
?640份大模型行业报告?
?包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
?获取方式：
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
?有需要的小伙伴，可以Vx扫描下方二维码免费领取?
总结
### 文章总结**背景与介绍**
- 时间点：2024年8月1日，文章首先回顾了前一天的大模型进展。
- 主题聚焦：基于大模型的自动综述生成方法（Arxiv链接分享：[Automated Review Generation Method Based on Large Language Models](https://arxiv.org/pdf/2407.20906)）。
**一、基于大模型的文献综述生成者的幻觉控制**
- **目的**：介绍了一种通过大模型自动化处理和整合科学文献以生成文献综述的方法。
- **案例研究**：在丙烷脱氢（PDH）催化剂的研究中，该方法从343篇文章中快速生成全面综述，并通过对1041篇文章的进一步分析，揭示了催化剂的关键特性。
- **质量控制策略**：为解决大模型（LLMs）容易产生的“幻觉”问题，引入了多级过滤和验证方法：
- **文本格式过滤**：排除格式混乱的文本。
- **DOI验证**：通过精确的数字对象标识符（DOI）验证生成内容的准确性。
- **相关性验证**：在知识提取阶段，使用相关关键词确保内容的相关性。
- **自我一致性验证**：通过对重复查询结果的聚合，减少幻觉内容的出现频率。
- **全数据流可追溯性**：使用DOI作为参考标识符，支持读者追溯原文献进行验证和探索。
**二、文献综述生成的具体步骤**
1. **文献搜索**：通过特定关键词在期刊、专利、会议论文等中搜索相关文献，并初步筛选和标记综述性质的文献。
2. **主题制定**：通过LLM直接起草大纲或基于现有综述文章提炼出综述主题。
3. **知识提取**：LLM生成问题并从文献中抽取信息，然后对信息进行相关性和聚合判定。
4. **综述撰写**：将提取的信息与DOI关联，LLM生成并整合综述段落，形成初稿后经过润色和调整。
**总结**
- 探讨了基于大模型的文献综述生成在实际学术研究中的应用价值，并提出了针对大模型幻觉问题的多重质量控制策略。
- 强调了系统学习大模型（LLM）的重要性，并分享了全面的学习资源包，包含学习指南、实战案例、行业报告及视频教程，旨在帮助读者快速掌握相关知识并应用于实际。
**学习资源获取**
- 提供了免费获取大模型学习资源包的方式，扫描文章末尾的CSDN官方认证二维码即可免费领取。