论文笔记 –《Get To The Point: Summarization with Pointer-Generator Networks》

作者：himon
时间：2021.1.6
来源： ACL 2017
关键词：NLG，Pointer-Generator Networks

1.背景及问题描述

seq2seq模型的出现给生成式摘要（abstractive text summarization）的实现提供了更好的方案，但是seq2seq常常出现的两点弊端：1. 它容易生成不准确的细节 2. 容易重复 3.不能处理OOV问题。作者提出了两个方法来提升seq2seq模型的表现，一个是将PointerNetwork与seq2seq中的encoder结合起来，使得生成的结果中既有seq2seq从全部词典中生成的，也有从源文本中copy的，这样即可以协助生成准确的词语，同时也可以处理OOV的问题。第二点是使用coverage机制来追踪摘要的部分，一次来避免重复（repetition）。

2.已有的解决方案

seq2seq+attention是处理此类问题的baseline：

seq2seq模型分为encoder和decoder。在encoder端，需要将文章中的单词一个一个的fed到encoder中（LSTM或者Transformer），经过encoder得到文章的编码状态 （encoder hidden states）,在decoder端，在每一个时刻，decoder接收前一个时刻单词的词向量，求得解码状态（decoder hidden state ），然后计算得到注意力权重：

公式中,, 以及都是可学习的参数。
这里得到的注意力权重可以看作是关于source中所有词语的关注度概率，用来告知decoder应该关注那一个word来生成下一个词语。

然后使用注意力权重和编码状态 计算得到加权的编码状态,看作是上下文向量：

将上面得到的上下文向量送入到两层线性层，计算softmax得到单词表概率分布，概率值表明词典中所有vocab被选中的概率。

最后使用交叉熵计算loss，完整的loss就是序列每个位置loss的平均值：

3.解决方案概述

本篇论文是在seq2seq基础上提出了Pointer-Generator Networks，也就是seq2seq+PointerNetwork：

1. Pointer-Generator Networks

在解码阶段，如何确定是从source中copy还是生成，作者引入一个权重来决定。具体的计算,在时刻：

其中，,, 以及是可学习参数，解码状态，上下文向量，decoder的输入 。
在解码阶段需要维护一个扩展的词典，即原本词典加上source中出现的所有词语，我们在这个扩展的词典上计算所有token的概率：

在这里，如果是OOV，则为0,一样的，如果没有出目前source中，则后面一项也为0.

loss的定义与seq2seq中一样。

2.Coverage mechanism

重复是seq2seq模型常常出现的问题，本文引入 Coverage model来解决这个问题，这也是本文的主要亮点。具体实现上，就是将之前所有step的注意力权重相加到一个覆盖向量(coverage vector) 上。就是用先前的注意力权重决策来影响当前注意力权重的决策，这样就避免在同一位置重复，从而避免重复生成文本。具体计算如下：

然后将覆盖向量添加到注意力权重的计算过程中：

这就可以使得在计算注意力权重时，当前的决定是受到历史决定影响的，这样就可以让注意力机制避免重复关注某个位置，也就可以避免生成重复词语。

作者发现引入 coverage loss 是很有必要的，coverage loss的计算方式如下：

模型最终的loss为，其中是超参数：

4.结果分析

在abstractive摘要的评测中，本文提出的方法在ROUGE这个指标上提升比较明显。
此外，作者发现，lead-3的实验设置，也就是只取文章的前3句话进行抽取生成，ROUGE得分明显更高，这是由于新闻的关键信息一般出目前文章开头。实际上，作者实验发现，只使用前400个token效果更好。

此外作者还分析了，本文模型与seq2seq+attentoin模型生成很少见n-gram的比例：

少见n-gram的定义是没有出目前原本的n-gram。从上图可以发现，本文模型生成比较少的少见n-gram，seq2seq+attentoin模型生成的比较多，并且大多数都是错误的。

5.创新点或贡献

1. 文本提出了一种引入覆盖机制的混合指针模型，可以有效缓解生成模型不准确和重复的问题。
2. 在长文抽取任务中，本模型结果大大超出当时的SOTA。
3. 本文是在seq2seq模型基础上加入的PointerNetwork和Coverage model，效果提升许多，但是模型参数没有增加许多。详细的，baseline模型参数共有21,499,600参数，pointer-generator增加1153参数，coverage增加512参数

6.个人思考

经典的文章，经典的思路，值得深入学习！

[参考]
paper
code-pytorch