七月论文审稿GPT第2版：从Meta Nougat、GPT4审稿到Mistral、LongLora Llama

前言

如此前这篇文章《学术论文GPT的源码解读与微调：从chatpaper、gpt_academic到七月论文审稿GPT》中的第三部分所述，对于论文的摘要/总结、对话、翻译、语法检查而言，市面上的学术论文GPT的效果虽暂未有多好，可至少还过得去，而如果涉及到论文的修订/审稿，则市面上已有的学术论文GPT的效果则大打折扣

原因在哪呢？本质原因在于无论什么功能，它们基本都是基于API实现的，而关键是API毕竟不是万能的，API做翻译/总结/对话还行，但如果要对论文提出审稿意见，则API就捉襟见肘了，故为实现更好的review效果，需要使用特定的对齐数据集进行微调来获得具备优秀review能力的模型

继而，我们在第一版中，做了以下三件事

所以，进入Q4后，我司论文审稿GPT的项目团队开始做第二版(我司目前在不断迭代三大LLM项目，每个项目各自一个项目组，除了阿荀带头的论文审稿GPT之外，还有：霍哥带头的AIGC模特生成系统、朝阳带头的企业知识库问答)，并着重做以下三大方面的优化

第一部分 第二版对论文PDF数据的解析

1.1 两大PDF解析器：nougat VS ScienceBeam

1.1.1 Meta nougat

nougat是Meta针对于学术PDF文档的开源解析工具(其主页、其代码仓库)，以OCR方法为主线，较之过往解析方案最突出的特点是可准确识别出公式、表格并将其转换为可适应Markdown格式的文本。缺陷就是转换速读较慢、且解析内容可能存在一定的乱序

和另一个解析器sciencebeam做下对比，可知

当然，还要考虑的是解析器格式化的粒度，比如正文拆成了什么样子的部分，后续我们需不需要对正文的特定部分专门取出来做处理，如果格式化粒度不好的话，可能会比较难取出来

# 新建虚拟环境
conda create -n nougat-ocr python=3.10
# 激活虚拟环境
conda activate nougat-ocr
# 使用pip安装必要库（镜像源安装可能会出现版本冲突问题，建议开启代理使用python官方源进行安装）
pip install nougat-ocr -i https://pypi.org/simple

# 初次使用时会自动获取最新的权重文件
# 针对单个pdf文件
nougat {pdf文件路径} -o {解析输出目录}
# 针对多个pdf所在文件夹
nougat {pdf目录路径} -o {解析输出目录}

1.1.2 ScienceBeam

ScienceBeam是经典PDF文档解析器GROBID的变体项目，是论文《Can large language models provide useful feedback on research papers? A large-scale empirical analysis》所采用的文本提取方法，同其他较早期的解析方法一样，对公式无法做出LateX层面的解析，且该解析器仅支持在X86架构的Linux系统中使用

// 待更

1.2 对2.6万篇paper的解析

最终，针对有review的2.6万篇paper (第一版 全部paper3万篇，其中带review的2.5万篇；第二版 全部paper3.2万篇，其中带review的2.6万篇 )

// 待更

第二部分 第二版对paper和review数据的处理

2.1 第二版对paper数据的处理

在第一版中，我们对paper和review数据做了如下处理(注：对paper做的是去掉reference，剩下其他都是对review做的数据处理)

总之，第一版中

第二版中对paper处理沿用第一版的处理方法，即去除paper中的reference项

2.2 对review数据的处理

以“b_forum”字段为与Paper数据所关联的外键，“b_forum”为对应Paper的唯一标识符（id）

针对原始数据，我们做以下4点处理

本部分数据处理的代码，暂在七月在线的「大模型项目开发线上营」中见

// 待更

第三部分 对review数据的进一步处理：规范Review的格式且多聚一

3.1 斯坦福：让GPT4首次当论文的审稿人

近日，来自斯坦福大学等机构的研究者把数千篇来自Nature、ICLR等的顶会文章丢给了GPT-4，让它生成评审意见、修改建议，然后和人类审稿人给出的意见相比较

所以，怎样让LLM给你审稿呢？具体来说，如下图所示

Your task now is to draft a high-quality review outline for a top-tierMachine Learning (ML) conference fora submission titled “{PaperTitle}”:

```
{PaperContent}
```

======
Your task:
Compose a high-quality peer review of a paper submitted to a Nature family journal.

Start by "Review outline:".
And then:
"1. Significance and novelty"
"2. Potential reasons for acceptance"
"3. Potential reasons for rejection", List multiple key reasons. For each key reason, use **>=2 sub bullet points** to further clarify and support your arguments in painstaking details. Be as specific and detailed as possible.
"4. Suggestions for improvement", List multiple key suggestions. Be as specific and detailed as possible.

Be thoughtful and constructive. Write Outlines only.

3.2 为了让模型对review的学习更有迹可循：规范出来4个要点且多聚一

3.2.1 设计更好的提示模板以让大模型帮梳理出来review语料的4个内容点

上一节介绍的斯坦福这个让GPT4当审稿人的工作，对我司做论文审稿GPT还挺有启发的

对于上面的“第三大点 审稿语料的组织”，我们(特别是阿荀，其次我)创造性的想出来一个思路，即通过提示模板让大模型来帮忙梳理咱们爬的审稿语料，好把审稿语料 梳理出来上面所说的4个方面的常见review意见

那怎么设计这个提示模板呢？借鉴上节中斯坦福的工作，提示模板可以在斯坦福那个模板基础上，进一步优化如下

// 暂在七月在线的「大模型项目开发线上营」中见，至于在本文中的更新，待更

3.2.2 如何让梳理出来的review结果更全面：多聚一

我们知道一篇paper存在多个review，而对review数据的学习有三种模式

如此，最终清洗之后的24000篇paper的review，用多聚一的思路搞的话，便可以直接一次调用支持16K的GPT 3.5(毕竟16K的长度足够，可以把所有的review数据一次性给到GPT3.5 16K)，或开源模型让它直接从所有review数据里提炼出4个要点，大概是24000多次

3.2.3 通过最终的prompt来处理review数据：ChatGPT VS 开源模型

综上，即是考虑多聚一策略来处理Review数据，主要是对Prompting提出了更高的要求：

相当于咱们得基于上述要求来设计Prompt (最终设计好的prompt暂在七月在线的「大模型项目开发线上营」里讲，至于本文本部分内容的更新则明年Q1更新)

当我们最终的prompt设计好了之后，接下来，便可以让大模型通过该prompt处理review数据了，那我们选用哪种大模型呢，是ChatGPT还是开源模型，为此，我们对比了以下三种大模型

// 待更

第四部分 模型的训练/微调：从Mistral到LongLora LLaMA13B

4.1 Mistral 7B：通过分组查询注意力 + 滑动窗口注意力超越13B模型

今年5月，DeepMind和Meta的三位前员工在巴黎共同创立了Mistral AI(其CEO Arthur Mensch此前在DeepMind巴黎工作，CTO Timothée Lacroix和首席科学家Guillaume Lample则在Meta共同参与过LLaMA一代的研发，很像当年OpenAI的部分员工出走成立Anthropic啊)，今年10月，他们发布了第一个基座大模型，即Mistral 7B

据其对应的论文《Mistral 7B》称( 另，这是其GitHub地址)

此外，作者提供了一个针对遵循指令进行了微调的模型，名为Mistral 7B-Instruct，它在人工和自动化基准测试中均超过了LLaMA 2 13B-chat模型

4.1.1 滑动窗口注意力：扩展上下文长度

vanilla attention的操作次数在序列长度上是二次型的，记忆量随着token数量线性增加。在推理时，由于缓存可用性的降低，这导致了更高的延迟和更小的吞吐量(The number of operations in vanilla attention is quadratic in the sequence length, and the memory increases linearly with the number of tokens. At inference time, this incurs higherlatency and smaller throughput due to reduced cache availability)

为了缓解这个问题，我们使用滑动窗口注意力(sliding window attention)

4.1.2 滚动缓冲区缓存(Rolling Buffer Cache)

固定的注意力长度意味着我们可以使用滚动缓存来限制我们的缓存大小(A fixed attention span means that we can limit our cache size using a rollingbuffer cache)

如果把缓冲区比作一座仓库，每存进一个新东西，都会占据相应的位置，而仓库的总容量是固定的，当仓库被装满时，就会把最早放入的东西移除，让新的物品继续进仓，相当于入仓时间更接近当前时间的物品则会留在仓库中，如此，即能在节约资源的同时保留一定长度的序列

4.1.3 预填充与分块：减少重复运算

在生成序列时，我们需要一个一个地预测token，因为每个token都以前面的token为条件。然而，prompt是提前知道的，我们可以用prompt预填充(k, v)缓存，即

// 待更

4.2 LongLora LLaMA13B

// 待更

第五部分 模型的评估：如何评估审稿GPT的效果

5.1 斯坦福研究者如何评估GPT4审稿意见的效果

如下图所示

5.2 借鉴斯坦福的工作，我司如何评价审稿GPT的效果

上一节斯坦福研究者对模型review效果评估的工作看似很完美，不过其中有个小问题，即

// 待更

至此，本文中已透露了很多我司论文审稿GPT项目的各种工程细节，这些细节网上很少有，毕竟商用项目，当然 更多在「大模型项目开发线上营」见

参考文献与推荐阅读

创作、修改、完善记录