NeurIPS'20| AI编程:如何从复制粘贴走向推理合成( 四 )


NeurIPS'20| AI编程:如何从复制粘贴走向推理合成文章插图
图8:LANE 在 SCAN 的各个子任务上均达到100%的准确度
图9展示了 LANE 中的 Composer (TreeLSTM)学习得到的两个隐式树结构作为示例 。 TreeLSTM 在具体实现时是二叉化的 , 将具体进行抽象动作的结点着黑色 。 可以看到 , 即使并未引入任意人工预定义的抽象/映射规则 , LANE 也能够自动化地探索出符合人类思维的抽象化过程 。
NeurIPS'20| AI编程:如何从复制粘贴走向推理合成文章插图
图9:示例:LANE 学习得到的两个隐式树结构
新型的端到端神经网络架构 LANE 能够模拟人类的抽象化思维能力 , 以此学习到数据中潜在的解析表达式映射 , 从而在 AI 编程(语义解析)任务中获得组合泛化能力 。 微软亚洲研究院的研究员们希望以此作为一个出发点 , 探讨深度学习如何由 “鹦鹉范式”(记忆与模仿)走向“乌鸦范式”(探索与归纳) , 从而延伸其能力边界 。 不过目前这还是初步的理论研究 , 想要应用到更复杂的任务中还需要很多后续工作(例如 , 提高训练效率、提高容错学习能力、与无监督方法结合等) 。
论文:
代码:
微软亚洲研究院数据、知识、智能组(Data, Knowledge, and Intelligence)正在招聘研究员/实习生 , 欢迎你加入我们 , 一起做有远见、有创新且可以解决实际问题的研究 。
实习简历投递:
全职研究员简历投递:
di-recruit@microsoft.com
参考文献
[1] 《智能数据分析技术 , 解锁Excel“对话”新功能》<;
[2] 《对话即数据流:智能对话的新方法》<;
[3] 《朋友送了我一个会编程的机器人 , 说程序员可以下岗了!!!》<;
[4] Brenden Lake, Marco Baroni. Generalization without Systematicity: On the Compositional Skills of Sequence-to-Sequence Recurrent Networks. 2018. <;.
[5] Daniel Keysers, et al. Measuring Compositional Generalization: A Comprehensive Method on Realistic Data. 2019. <;
【NeurIPS'20| AI编程:如何从复制粘贴走向推理合成】11月24日 , 我们将邀请论文作者之一——微软亚洲研究院数据、知识、智能组(Data, Knowledge, and Intelligence)研究员林泽琦在B站直播间为大家深度解读论文 , 届时欢迎大家扫码观看 。
NeurIPS'20| AI编程:如何从复制粘贴走向推理合成文章插图