让AI去学习AI：你已经是个成熟的模型了，该学会自己训练了( 二 ) 随着深度神经网络的不断发展

▲图3 强化学习中智能体与环境的交互过程
神经架构自动搜索中，强化学习把架构的生成看成一个智能体（agent）在选择动作（action）的过程，通过在测试集上测试网络性能来获取奖励值（reward），从而指导架构的生成。
与传统的强化学习问题略有不同的是构建了一个RNN控制器，通过迭代的方式来更新控制器从而生成合适的架构。
文章插图
▲图4 基于强化学习的网络架构搜索示意图
2）基于进化算法的方法
基于进化算法的神经网络结构搜索，在演化步骤中，把子模型作为种群来进化。群体中的每个模型都是训练过的网络，并被视为个体，模型在验证集上的表现（例如，准确度）作为每个个体的质量好坏。基于进化算法神经架构搜索的通用流程如下：

初始化操作，对现有的各个个体进行编码，把这些个体编码成种群。
选择操作，从种群中根据适应度挑选出优秀的个体。
繁殖操作，分为两种：有性繁殖操作和无性繁殖操作，无性繁殖的操作包括变异操作，有性繁殖包括交叉操作或者组合操作。
网络训练操作，对上一步繁殖操作得到的所有个体神经网络进行训练，训练到收敛为止。
适应度计算操作，使用指定的验证集对每个已训练的网络计算验证准确率，把验证准确率作为适应度。

具体流程如下图所示：

文章插图
▲图5 基于进化算法的神经架构搜索通用流程
3）基于可微分架构搜索的方法
可微分架构搜索方法很多种，其中比较出名的是卡内基梅隆大学提出的DARTS（Differentiable Architecture Search）。
与传统的在离散的和不可微的搜索空间尚采用进化或强化学习搜索结构的方法不同，该方法是基于将结构表示的松弛化（relaxation），允许使用梯度下降来解决架构搜索的问题，所以效率可以比之前不可微的方法快几个数量级。
简单来说就是给操作（operations）的每个连接都赋一个权值alpha ，优化的目的是为了通过梯度下降优化alpha矩阵，根据alpha的大小来确定连接方式。
神经网络原有的权重称为矩阵，在训练集上固定alpha矩阵的值，然后梯度下降矩阵的值，再验证集上固定矩阵的值，然后梯度下降alpha的值，循环往复直到这两个值都比较理想。

文章插图
▲图6 DARTS搜索空间
03 加速方案无论是基于强化学习还是进化算法的搜索，子网络都要被训练和评估，以指导搜索过程。但是从头开始训练每个自网络需要超大的资源和时间。所以NAS的加速方案被提出，主要代表方案是改进代理模型和权值共享。
1. 改进代理（Improve proxy）
很明显代理模型的引入会带有误差，研究证明子网络的FLOPs（每秒计算的浮点数）和模型大小与最终准确度呈负相关，因此引入了一种应用于奖励计算的校正函数，通过早期停止获得子网络的精度，弥合代理与真实准确性之间的差距。
根据这一想法，研究者们提出了几种通过“预测”神经架构的精度来改进代理度量的方法，预计精确度较差的子网络将被暂停训练或直接放弃。以下是三种预测神经架构搜索的方法：

根据子网络的学习曲线预测神经架构的精度。
回归模型。使用基于网络设置和验证曲线的特征来预测部分训练模型的最终性能。
训练代理模型，基于progressively architectural properties预测子网络的准确性。

2. 权值共享（Weight sharing）
在神经网络的搜索和训练过程中，涉及到很多权值和超参数，权值共享可以实现加速，在这里列举几个权值共享的经典方法：

在进化过程中，允许子网络继承父本的权重，而不是从头训练每个子模型。使用One shot 模型实现共享。
设计带有辅助超网络的“主”模型，以生成以模型架构为条件的主模型的权重。从超网络代表的分布中采样的权重。
使用one-shot模型，主要有两种方法：

第一种是训练表示各种候选结构的one-shot模型，然后使用预训练的one-shot模型权重在验证集上随机评估这些候选结构。
另一种是使用包含整个搜索空间的one-shot模型训练所有权重，同时，使用梯度下降来优化候选结构的分布。
- 上一页
- 1
- 2
- 3
- 下一页