浅谈Alpha Go所涉及的深度学习技术( 二 ) _小知识

卷积神经网络(Convolutional Neural Network)
在图像识别的问题上，我们处理的是一个二维的神经网络结构，以100*100像素的图片来说，其实输入数据就是这10000像素的向量(这还是指灰阶图片，如果是彩色则是30000)，那如果隐藏层的神经元与输入层相当，我们等于要计算10的8次方的权重，这个数量想到就头疼，即使是透过并行计算或者是分布式计算都恐怕很难达成。因此卷积神经网络提出了两个很重要的观点：
1.局部感知域：从人类的角度来看，当我们视觉聚焦在图片的某个角落时，距离较远的像素应该是不会影响到我们视觉的，因此局部感知域的概念就是，像素指需要与邻近的像素产生连结，如此一来，我们要计算的神经连结数量就能够大幅降低。举例来说，一个神经元指需要与邻近的10*10的像素发生连结，那么我们的计算就可以从10的8次方降低至100*100*(10*10)=10的6次方了。
2.权重共享：但是10的6次方还是很多，所以这时要引入第二个观念就是权重共享。因为人类的视觉并不会去认像素在图片上的绝对位置，当图片发生了平移或者是位置的变化，我们都还是可以理解这个图片，这表示我从一个局部所训练出来的权重(例如10*10的卷积核)应该是可以适用于照片的各个位置的。也就是说在这个10*10范围所学习到的特征可以变成一个筛选器，套用到整个图片的范围。而权重共享造成这10*10的卷积核内就共享了相同的权重。一个卷积核可以理解为一个特征，所以神经网络中可以设计多个卷积核来提取更多的特征。下图是一个3*3的卷积核在5*5的照片中提取特征的示意图。

文章插图
卷积层找出了特征后，就可以做为输入变量到一般的类神经网络进行分类模型的训练。不过当网络结构越来越复杂，样本数如果不是极为庞大，很容易会发生过度学习的问题(over-fitting，神经网络记忆的建模数据的结构，而非找到规则) 。因此我们后来引入池化 (pooling)或是局部取样(subsampling)的概念，就是在卷积核中再透过n*n的小区域进行汇总，来凸显这个区域的最显著特征，以避免过度学习的问题。
所以常见的图像识别技术(例如ImageNet)就是透过多阶段的卷积层+池化层的组合，最后在接入一般的类神经网络架构来进行分类预测。下图是一个图像识别的范例。其中的C2、C4、C6都是卷积层，而S3与S5则是池化层。卷积神经网络建构了一个透过二维矩阵来解决抽象问题的神经网络技术。而图像识别不再需要像过去一样透过人工先找出图像特征给神经网络学习，而是透过卷积网络结构，它们可以自己从数据中找出特征，而且卷积层越多，能够辨识的特征就越高阶越抽象。所以你要训练神经网络从照片中辨识猫或狗，你不再需要自己找出猫或狗的特征注记，而是只要把大量的猫或狗的照片交给神经网络，它自己会找出猫或狗的抽象定义。

文章插图
讲到这里有没有发现卷积神经网络作图像识别与围棋有甚么相似性？没错，围棋是一个19*19的方阵，而围棋也是一个规则不像象棋或西洋棋般的明确，而且具备了很高的需要透过直觉才能判断落子的特性。这个时候，深度学习就能发挥极佳的作用，因为程序设计师不需要自己把围棋的游戏规则输入给计算机，它可以透过大量的棋谱自己找出对应的逻辑与抽象概念。
为什么围棋比较困难?
为什么深蓝可以在西洋棋赢过人类但是却无法赢围棋，这是因为深蓝透过强大的计算能力，将未来局势的树状架构，推导出后面胜负的可能性。但是各位要知道，以西洋棋或中国象棋来说，它的分支因子大概是40左右，这表示预测之后20步的动作需要计算40的20次方(这是多大，就算是1GHz的处理器，也要计算3486528500050735年，请注意，这还是比较简单的西洋棋)，所以他利用了像是MinMax搜索算法以及Alpha-Beta修剪法来缩减可能的计算范围，基本上是根据上层的胜率，可能胜的部分多算几层、输的少算，无关胜负不算，利用暴力解题法来找出最佳策略。但是很不幸的是，围棋的分支因子是250，以围棋19*19的方阵，共有361个落子点，所以整个围棋棋局的总排列组合数高达10的171次方，有不少报导说这比全宇宙的原子数还多，这是采用了之前的一个古老的研究说全宇宙原子数是10的75次方，不过我对此只是笑笑，我觉得这也是低估了宇宙之大吧。
AlphaGo的主要机制