从Bengio演讲发散开来：探讨逻辑推理与机器学习(12) 机器之心分析师网络作者：仵冀颖编辑：

文章插图
表 2. LogiQA 的主要结果（准确率 %）
3.1.4 文章小结
本文提出了一个大型逻辑推理阅读理解数据库 LogiQA 。除了测试机器阅读的推理能力外， LogiQA 还可以作为重新审视在深度学习 NLP 时代长期追求的逻辑人工智能研究的基准水平。本文的实验结果表明，最先进的机器阅读器（各类算法、模型）仍然远远落后于人类的阅读能力。本文所提出的数据集可以作为后续测试阅读理解能力的测试基础。
4. 小结
本文在回顾什么是「逻辑」的基础上，讨论了构建有逻辑的（Logical）和可推理的（Reasoning）系统问题。其中，重点关注了两篇逻辑推理与深度神经网络相结合的文章。这两篇文章的题目很类似，所做的工作也具有一定的延续性和对比性。第一篇文章是将诱因性学习作为一个模块引入到经典的深度学习网络架构中，第二篇文章则是引入了一个可微（平滑）最大可满足性（MAXSAT）求解器，并将其直接集成到深度学习系统的回路中，而不是作为一个单独的模块所考虑。
最后一篇文章重点是结合 NLP 中的阅读理解任务构建了一个需要通过逻辑推理才能得到答案的 LogiQA 数据库。在这篇文章中作者只是使用了经典的基于规则、深度学习和预训练的方法进行实验，且效果都不好，都远低于人类直接进行阅读理解的水平，经典深度学习方法的效果甚至低于预训练的方法。但是作者并未对这种差距进行深入分析，尚无法判断是否在 NLP 这一专门领域的逻辑推理任务中预训练一定优于深度学习方法。
由我们分析的几篇文章可以看出，很显然，在强逻辑任务中机器还无法和人类相比拟。如何使深度学习 / 机器学习的方法或模型具备强大的推理能力，似乎仍然是一个悬而未决的问题。
参考文献
[1] King, R.D., Rowland, J., Oliver, S.G., Young, M., Aubrey, W., Byrne, E., Liakata, M., Markham, M., Pir, P., Soldatova, L.N. and Sparkes, A., 2009. The Automation of Science. Science, 324(5923), pp.85–89.
[2] Raza, M. and Gulwani, S., 2017, February. Automated data extraction using predictive program synthesis. In Thirty-First AAAI Conference on Artificial Intelligence.
[3] #rules-and-manual-reviews
[4]
[5] Bridging Machine Learning and Logical Reasoning by Abductive Learning, 2019, NeurIPS 2019,
[6] SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver, ICML 2019,
[7] Liu J , Cui L , Liu H , et al. LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning[C]// Twenty-Ninth International Joint Conference on Artificial Intelligence and Seventeenth Pacific Rim International Conference on Artificial Intelligence {IJCAI-PRICAI-20. 2020.
[8] A. C. Kakas, R. A. Kowalski, and F. Toni. Abductive logic programming. Journal of Logic Computation, 2(6):719–770, 1992.
[9] Patrick J. Hurley. A concise introduction to logic. Nelson Education, 2014.
[10] Wen-tau Yih, Ming-Wei Chang, C. Meek,and A. Pastusiak. Question answering using enhanced lexical semantic models. In ACL, 2013.
[11] M. Richardson, C.J.C. Burges, and E. Renshaw. MCTest: A challenge dataset for the opendomain machine comprehension of text. In EMNLP, 2013.
分析师介绍：
【从Bengio演讲发散开来：探讨逻辑推理与机器学习】本文作者为仵冀颖，工学博士，毕业于北京交通大学，曾分别于香港中文大学和香港科技大学担任助理研究员和研究助理，现从事电子政务领域信息化新技术研究工作。主要研究方向为模式识别、计算机视觉，爱好科研，希望能保持学习、不断进步。