2020学术会议回顾：从这些最佳论文中一窥研究趋势( 四 ) 2020年

南加州大学的这项研究提出了一个深度潜变量模型，可以联合学习技能的嵌入空间和来自离线智能体经验的技能先验。研究者将常见的最大熵强化学习方法进行扩展，以使用技能先验引导下游学习。该研究在复杂的导航和机器人操作任务中对提出的方法SPiRL(Skill-PriorRL)进行验证，结果表明学得的技能先验对于从丰富数据集上进行高效技能迁移是必要的。
NeurIPS2020
最佳论文1：LanguageModelsareFew-ShotLearners
论文链接：https://papers.nips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf
简介：用于估计序列中下一个词概率的人工智能系统叫做「语言模型」。语言模型首次出现在1950年代，是连接自然语言与当时的新领域——信息论的理论构架。 OpenAI的这篇论文提出了大型复杂语言模型GPT-3 。这项研究表明，如果你使用史无前例的大量算力和数据让语言模型获得足够的准确率，它也就获得了无需额外训练，仅使用简单的自然语言提示即可解决大量任务的能力。比如回答简单的问题、生成文章、确定电影评论是否积极，以及英法互译等。
论文作者表明， GPT-3在一些任务中的能力胜过其他模型，并用大量篇幅探讨这项技术的优缺点。论文作者还考虑了这项技术的潜在有害影响，如低成本生成难以检测的假新闻，模型因训练数据偏见在种族、性别和宗教等敏感话题上产生倾向性。
GPT-3因其高达1750亿参数、动辄几百万美元的模型训练费用和无与伦比的「文学创作」水平，在推出之后吸引了众多学者，甚至业界以外人们的关注。不过在研究如此大规模模型之后，社区未来应该朝着哪个方向研究，我们还需要很多思考。
最佳论文2：No-RegretLearningDynamicsforExtensive-FormCorrelatedEquilibrium
论文链接：https://proceedings.neurips.cc/paper/2020/file/5763abe87ed1938799203fb6e8650025-Paper.pdf
简介：人们的决定会影响到他人。为了保证合理的行事方式，我们需要通过这种「相互依赖」达到经济学家所说的「均衡」（equilibrium）。创建能够找出均衡点的自动程序是非常困难的任务。这篇论文提供了首个解决方法——利用学习方法为通用交互寻找「相关均衡」（correlatedequilibria ， CE）。
相关均衡要求一个受信任的外部调停者为决策者提供决策建议，典型案例就是红绿灯，红绿灯告诉车辆前进这一行为是否安全。即使在相关法律缺失的情况下，我们仍然应该遵循红绿灯的推荐结果，因为我们知道每个人都可以推断出这是最好的选择，闯红灯是危险的行为。
这篇论文表明，此类均衡可以通过完全独立执行的学习算法来实现，无需外部交通工程师，甚至在决策涉及多个步骤、决策者对于世界的状态一知半解时也是如此。也就是说，存在此类regret-minimizing算法使CE在更广泛的博弈类别中实现收敛，即扩展形式的博弈。这一结果解决了博弈论、计算机科学和经济学领域中长期存在的开放性问题，并对涉及调停者的博弈产生显著影响，如通过导航app高效制定交通路线。
最佳论文3：Improvedguaranteesandamultiple-descentcurveforColumnSubsetSelectionandtheNystrommethod
论文链接：https://proceedings.neurips.cc/paper/2020/file/342c472b95d00421be10e9512b532866-Paper.pdf
简介：从大型矩阵中选择小规模且具代表性的列向量子集是一个困难的组合问题，基于基数约束行列式点过程的方法可以给出实用的近似解。这篇论文推导出近似解近似因子的新型上下界。由于这些近似方法在机器学习领域中广泛应用，因此这篇论文可能带来巨大影响，并为核方法、特征选择和神经网络的双下降现象提供新的理解方式。
随着更多大型数据集变得可用，人们越来越依赖以简明扼要的形式总结复杂数据。数据总结（datasummarization）是识别数据中重要的样例及属性以高效表示数据的过程。它能够用于从遗传学数据集中选择具有代表性的基因变体子集，也可用于从文本数据库中选择最具信息量的文档。
此前的研究表明，数据总结是一个棘手的问题，对于有些数据集，不存在能够在合理的时间范围内很好地总结数据的算法。而这篇论文表明，这些分析过于悲观。实际上，对于现实世界中的数据而言，生成可解释总结的成本要低得多。该研究表明，未来的系统将能够创建准确、可解释且高效生成的数据总结，从而极大地提高我们吸收和处理复杂数据集的能力。
IJCAI2020
杰出论文1：SynthesizingAspect-DrivenRecommendationExplanationsfromReviews