如何系统地欺骗图像识别神经网络( 二 ) 本文最初发表于TowardsDataScien

这是相当可观的，特别是考虑到 perbutation 向量对原始输入向量的微小变化。
文章插图
让我们考虑一下在上一个例子中 ?=0.2 时这种情况的影响。我们可以得到 3 个单位的差额（总和为 -4）。
如果权重向量具有 n 个维数，并且元素的平均绝对值为 m ，则激活值将增长为 ?nm 。在高维图像中（如 256×256×3）， n 的值为 196608 。 m 和 ? 可以非常小，但仍会对输出产生重大影响。
这种方法非常快，因为它只通过 +? 或 -? 来改变输入：但是它这样做的方式如此有效，以至于完全愚弄了神经网络。
文章插图
在上图中， 0.007 的 ? 对应于 GoogLeNet 转换为实数之后的 8 位图像编码的最小为的大小。来源： Goodfellow 等人。
Goodfellow 等人在应用 FGSM 时发现了有趣的结果：

?=0.25 时，浅层 SoftMax 分类器的错误率为 99.9% ， MNIST 上的平均置信度为 79.3% 。
?=0.1 时，对预处理的 CIFAR-10 的错误预测， CNN 的错误率为 87.15% ，平均置信度为 96.6% 。

显然，这些对抗性的输入会导致严重的错误率，但也许更令人担忧的是高置信度。这些网络不仅做出了错误的预测，还对自己错误的输出“充满了信心” 。这显然是有问题的：想象一下，教一个犹豫不决回答 2×4=6 的学生和一个自豪地宣布答案的学生之间的区别。
这些对抗性的输入 / 样本可以解释为高维点积的一个特性：当需要在其中分配和的像素数量较多时，加权和可以更大，而对每个单独像素的改变也会更小。
事实上，对抗性样本是网络过于线性的结果。毕竟，这样的变化（比如说）对一个由 sigmoid 函数组成的网络的影响微乎其微，因为在大多数地方， perbutation 的影响都是递减的。具有讽刺意味的是，正是这种特性——死亡梯度（dying gradients）ReLU 和其他容易受到对抗性输入影响的无界函数的兴起。
本文中提出的其他要点包括：

最重要的是 perbutation 的方向，而不是空间中的某个特定点。这并不是说，模型在多维空间中存在“弱点”的情况；相反，在对抗性输入的构建中， perbutation 的方向才是最关键的。
因为方向是最重要的，所以对抗性结构可以泛化。由于寻找对抗性输入并不局限于探索模型的预测空间，因此，可以在集中不同类型和结构的模型上推广构造方法。
对抗性训练可以导致正则化，甚至比 Dropout 还要多。训练网络识别对抗性输入是一种有效的正则化形式，也许比 Dropout 更有效。对抗性训练的正则化效果不能通过减少权重或简单地增加权重来复制。
易于优化的模型很容易受到扰动。如果找到最佳梯度很简单，那么计算一个有效的对抗性输入同样也会很简单。
线性模型、训练以模拟输入分布的模型以及集合对抗性输入均不能抵抗对抗性输入。 RBF 网络具有抵抗性。具有隐藏层的架构可以通过训练来识别对抗性输入，从而获得不同程度的成功。

走出数据集的限制性和完美条件的世界，进入不那么有序的现实世界变得越来越重要。通过发现有效的策略来欺骗我们的图像识别模型，我们就可以在它们被用于更恶意的目的之前对其进行屏蔽。
推荐阅读

《解释和利用对抗性样本》（Explaining and Harnessing Adversarial Examples）， Goodfellow 等人。该论文以比本文更严谨的数学方法禁烧了 FGSM ，并对实验结果进行了深入分析，讨论了 FGSM 的卢纶解释和启示。
《建立抵抗对抗性攻击的深度学习模型》（Towards Deep Learning Models Resistant to Adversarial Attacks）， Madry 等人。在 FGSM 的研究工作的基础上，开发了一种更为复杂的对抗性样本生成方法。
《 TensorFlow 教程：FGSM 的对抗性样本》（TensorFlow Tutorial: Adversarial Example with FGSM）。在 TensorFlow 中实现 FGSM 的代码教程。

作者介绍：
Andre Ye ， Critiq 联合创始人。机器学习、计算机科学与数学爱好者。
原文链接：
【如何系统地欺骗图像识别神经网络】关注我并转发此篇文章，私信我“领取资料” ，即可免费获得InfoQ价值4999元迷你书，点击文末「了解更多」，即可移步InfoQ官网，获取最新资讯～