笔记整理：张廉臣，东南大学硕士，研究方向为自然语言处理、信息抽取
链接：https://arxiv.org/pdf/2305.02105.pdf
持续分享SPG及SPG + LLM双驱架构应用相关进展
查看官网： spg.openkg.cn/
Github： github.com/OpenSPG/ope…
1、动机
在很多自然语言处理任务中，上下文学习的性能已经媲美甚至超过了全资源微调的方法。但是，其在关系抽取任务上的性能却不尽如人意。以GPT-3为例，一些基于GPT-3的上下文学习抽取方法在关系抽取任务上不理想的效果主要来自于两个方面：① 检索演示示例中实体、关系的相关度较低；② 大语言模型具有将NULL例子错误分类成为预定义关系类型的强烈倾向。造成①的原因主要是以上方法通过随机选择或基于句子表示的K近邻法检索演示示例。这会导致演示示例实体、关系的相关度低；造成②的原因主要是相对于符合预定义类型的示例，NULL示例的复杂度更高，该类型是包含各种未定义的关系的集合。针对以上问题，该论文提出了结合实体感知检索策略和事实标签诱导策略的GPT-RE，以提高基于大语言模型的上下文学习在关系抽取任务上的性能。
2、贡献
该论文的主要贡献包括：1）提出了实体感知检索策略和事实标签诱导策略，实体感知检索策略能够在演示检索中结合实体信息，获取更适合关系抽取任务的表示；事实标签诱导策略能够引导大语言模型输出更理想的结果；2）通过实验验证了结合以上两种策略的基于大语言模型的上下文学习框架能够在关系抽取任务中取得很好的效果，在测试数据集上的性能已经赶上甚至超过了现有全监督基线模型；
3、方法
图1 GPT-RE框架
GPT-RE是一个使用GPT-3的基于上下文学习的关系抽取框架，其具体方法如下：
3.1提示构建：
GPT-RE的提示主要包括三部分，分别是：①任务描述和关系预定义类型，②小样本演示示例，③输入样本。提示包含的任务描述和关系预定义类型是对关系抽取的任务描述和其相关的关系预定义类型的一个简洁概括，模型会根据这部分的内容输出预定义的关系类型，若测试样本不属于任何预定义关系类型，模型会输出NULL标签。小样本演示示例是输入模型的演示示例，其中，每条样例包含文本和该文本中所包含的关系，演示示例可以通过后续推理过程进一步的丰富。输入样本为一条文本，GPT-3的任务就是输入文本中实体对所对应的关系。
3.2 实体感知演示检索：
因为演示示例在表示空间中接近测试样本可以使模型表现出更好的性能，最近的一些工作使用K近邻法选出与测试样本句子表示最相近的演示示例。但是，由于句子表示和关系抽取之间的差异，原始上下文的表示在关系抽取任务中不足以完全作为检索演示示例的标准，该论文提出了两种新的获取表示方法提升检索演示示例的质量。
3.2.1 实体提示句子表示：
首先，考虑到实体信息在关系抽取任务中的重要性，作者利用实体对信息重建原始上下文。其具体做法是在原文中加入描述原文中实体对关系类型的内容。在计算句子相似度时，作者使用了最新的健壮模型SimCSE来计算句子之间的相似度。
3.2.2微调关系表示：
由于关系表示在很多情况下天然地包含了实体表示的信息，与将实体信息加入到上下文中相比，更直接的解决方法是从微调模型中提取关系表示用于检索演示示例。作者认为这种方法可以潜在地弥补GPT-3在关系抽取任务中的局限性。虽然基于GPT-3的上下文学习只使用有限的演示示例，但预训练模型的微调过程可以在整个训练集上进行。这种方法有两个优点：首先，直接使用适应关系抽取任务的关系表示可以显著提高整体检索质量；其次，由于微调后的模型可以准确识别NULL类型，因此过度预测NULL问题将得到缓解。
3.3事实标签诱导推理：
最近的工作表明，逻辑提示可以引导大语言模型获得理想输出。在该论文中，作者让GPT-3通过相应的事实关系标签来生成每个演示示例的推理逻辑过程。例如，给定一个选定的示例，作者首先基于该示例文本提出一个提示，然后利用GPT-3生成推理上下文中实体对之间关系类型的逻辑线索。最后，作者通过将生成的线索与原始示例结合起来增强演示示例。
4、实验
该论文使用了三个开放领域关系抽取数据集和一个科学领域关系抽取数据集共四个数据集作为实验数据，分别为：Semeval 2010 task 8, TACRED, ACE05和SciERC。基于以上四个数据集的对比方法共分为两大类，第一类为传统的微调基线模型，如PURE；第二类是基于GPT-3的基线模型，如GPT-Random等。该论文对比了以上基线模型和GPT-RE在使用不同表示检索演示示例时的性能，并对比了是否加入实施标签诱导推理提示时GPT-RE的性能差异，其主实验结果如下图所示：
图2 实验结果
此外，该论文也进行了一系列消融实验和在低资源场景下的实验，具体实验结果请参照原论文。实验结果表明：① 在检索演示示例时，使用适合特定任务的句子表示是有必要的，无论是使用GPT-RE_SimCSE还是GPT-RE_FT都取得了比GPT-Sent更好的效果；② GPT-RE_FT表现出的性能表明，基于GPT-3的上下文学习有潜力在关系抽取上取得很好的效果，甚至已经在Semeval和SciERC上取得了SOTA效果；③ 相比于GPT-RE_SimCSE，推理模块对GPT-RE_FT的加成更小，这说明GPT-RE_FT获得的演示示例在本实验中质量更高。同时，小样本时推理模块会使模型具有更好的性能。
5、总结
总的来说，该论文探索了GPT-3上下文学习在关系抽取任务上的潜力。针对GPT-3在此任务上存在的问题，该论文提出了两个策略弥补了基于GPT-3框架和目前SOTA基线模型的差距，实验结果表明，GPT-RE在三个数据集上显著优于微调基线模型，并在Semeval和SciERC上实现了SOTA效果。同时，作者对GPT-3如何克服现有困难，如NULL标签的影响等进行了详细的实例分析，以上工作对后续研究具有比较大的意义。
持续分享SPG及SPG + LLM双驱架构应用相关进展
查看官网： spg.openkg.cn/
Github： github.com/OpenSPG/ope…