ZAKER汽车|2020 | PEGASUS：文本摘要中的SOTA，ICML( 二 ) 论文信息论文标题：PEGASUS:Pre-traini

(3)对于低资源任务数据集，通过微调PEGASUS模型，可以在广泛的领域实现良好的抽象摘要效果。在多个任务上，仅需1000个样本就超过了以前的最先进的结果。
(4)对模型结果进行人工评估，结果表明在XSum,CNN/DailyMail和RedditTIFU上的摘要效果与人工摘要比肩。
模型
预训练目标GSG
本文假设预训练自监督的目标越接近最终的任务则结果性能越好。在PEGASUS预训练中，将文件里的几个完整句子删除，而模型的目标就是要恢复这些句子，换句话说，用来预训练的输入是有缺失部分句子的文档，而输出则是缺失句子的串连。这是一项难以置信的艰巨任务，甚至对人人类来说也是不可能的，我们并不期望模型能完美地解决它。然而，这样一个具有挑战性的任务促使模型学习到关于语言的知识和这个世界的一般事实，以及如何从整个文档中提取信息，以便生成类似于微调摘要任务的输出。这种自监督的优点是，可以创建与文档一样多的示例，而不需要任何人工注释，而这通常是纯监督系统的阿喀琉斯之踵。
Figure1展示了GSG和MLM如何同时作用到一个样本。在实验中发现， MLM任务在大的预训练Steps中并不能提升下游任务，所以在最终的PEGASUS_版中舍弃了MLM任务。

文章图片
实验发现，选择重要的句子来遮蔽效果最好，让自监督示例的输出结果更像摘要。那么怎么选择重要的句子？根据ROUGE度量标准，通过查找那些与文档的其他部分最相似的句子，自动地识别出这些句子。 ROUGE计算两个文本的n-gram重叠，从而得到文本之间的相似性(ROUGE-1、ROUGE-2和ROUGE-L是三种常见的变体) 。句子选择策略如Figure2所示：

文章图片
Ind表示独立计算每个句子得分再选择top个句子(其对立面是Seq ，通过贪婪地最大化所选句子之间的ROUGE1-F1) ， Orig表示采用原始的n-grams(其对立面是Uniq ，句子中的n-grams去重) 。所以，组合方案有4种。
预训练语料和下游任务
与T5类似,本文预训练所用的海量语料也是通过网络爬取。接着在12个抽象摘要数据集上微调PEGASUS ，以ROUGE得分来看取得当下最好结果，但参数量只有T5的5% 。参与评测的12个数据集是多样的的，包括新闻文章、科学论文、专利、短篇小说、电子邮件、法律文件和使用指南，这表明模型框架适用于广泛的主题，具有一定通用性。
预训练的语料具体如下：
(1)C4 ，这是T5中引入的语料
(2)HugeNews ，这是本文新引入的
下游任务具体如下：
(1)XSum(2)CNN/DailyMail(3)NEWSROOM(4)Multi-News(5)Gigaword(6)arXiv(7)PubMed(8)BIGPATENT(9)WikiHow(10)RedditTIFU(11)AESLC(12)BillSum
实验结果
PEGASUS_版：
参数量为223M ， L=12 ， H=768 ， F=3072 ， A=12 ， batchsize=256 。
PEGASUS_版：
参数量为568M ， L=16 ， H=1024 ， F=4096 ， A=16 ， batchsize=8192 。
消融研究
模型的消融研究基于PEGASUS_ ，研究对象：预训练语料、预训练目标、词典尺寸。
预训练语料的影响如Figure3所示：

文章图片
从上图可以看出在两个新闻相关的下游任务上用HugeNews预训练效果更好，而另两个非新闻类的任务WikiHow和RedditTIFU则用C4预训练效果更好。这表明，当预训练的语料和下游任务更相关时，预训练的模型可以更有效地迁移到下游任务。
预训练目标的影响如Figure4所示：
Figure4a可以看出Ind-Orig的方案最佳， Seq-Uniq次之。 Figure4a展示了gap-sentences比例(GSR)的影响。实验表明GSR低于50%较好，在CNN/DailyMail数据集上15%的比例可以得到最优结果。而XSum/RedditTIFU和WikiHow的最佳值分别是30%和45% 。