神经网络的自动稀疏连接学习 _小知识

【神经网络的自动稀疏连接学习】神经网络的自动稀疏连接学习
由于稀疏神经网络通常包含许多零权重，这些不必要的网络连接有可能被消除而不会降低网络性能。因此，精心设计的稀疏神经网络有可能大大减少FLOPs和计算资源。在这项工作中，我们提出了一种新的自动修剪方法--稀疏连接学习（SCL）。具体来说，一个权重被重新参数化为一个可训练的权重变量和一个二进制掩码的元素智慧乘法。因此，网络连通性完全由二进制掩码描述，而二进制掩码是由一个单位阶梯函数调制的。我们从理论上证明了使用直通式估计器（STE）进行网络修剪的基本原则。这个原则是：STE的代理梯度应该是正的，确保掩码变量在它们的最小值处融合。在发现Leaky ReLU、Softplus和Identity STE可以满足这一原则后，我们建议在SCL中采用Identity STE进行离散掩码松弛。我们发现不同特征的掩码梯度是非常不平衡的，因此，我们建议将每个特征的掩码梯度归一化，以优化掩码变量训练。为了自动训练稀疏掩码，我们在目标函数中加入了网络连接总数作为一个正则化项。由于SCL不需要修剪标准或设计者为网络层定义的超参数，网络在更大的假设空间中被探索，以实现优化的稀疏连接，从而达到最佳性能。SCL克服了现有自动剪枝方法的局限性。实验结果表明，SCL可以自动学习并选择各种基线网络结构的重要网络连接。由SCL训练的深度学习模型在稀疏度、准确度和FLOPs减少方面优于SOTA人类设计的和自动剪枝方法。
《Automatic Sparse Connectivity Learning for Neural Networks》
论文地址:网页链接

文章插图