《深度学习500问》正式出版！GitHub星标数超4.2万的火爆之作 | 赠书( 六 ) 编辑|陈大鑫AI领域蓬勃发展

现有的深度迁移学习方法通常都只考虑域迁移，而没有考虑类别之间的信息。如何把域迁移和任务迁移结合起来，是一个需要研究的问题。
Tzeng针对目标任务的部分类别有少量标签，剩下的类别无标签的情况，提出名为域迁移和任务迁移的联合CNN体系结构（JointCNNArchitectureForDomainandTaskTransfer）。其最大的创新之处在于，提出现有的方法都忽略了类别之间的联系，并提出在现有损失函数的基础上还要再加一个软标签损失（SoftLabelLoss）函数。意思就是在源域和目标域进行适配时，也要根据源域的类别分布情况来调整目标域。相应地，他提出的方法就是把这两个损失函数结合到一个新的CNN网络上，这个CNN是基于AlexNet修改而来的。总的损失函数由3部分组成，第1部分是普通训练的损失函数，第2部分是域自适应的损失函数，第3部分是目标域上的软标签损失函数。
下图为同时迁移领域和任务的方法示意图。
该网络由AlexNet修改而来，前面几层无变化，区别是在fc7层后面加入了一个域分类器，在该层实现域自适应，在fc8层后计算网络的损失函数和软标签损失函数。
那么什么是软标签损失？
软标签损失就是不仅要适配源域和目标域的边缘分布，还要把类别信息考虑进去。具体做法如下，在网络对源域进行训练时，把源域中的每一个样本处于每一个类的概率都记下来，然后，对于所有样本，属于每一个类的概率就可以通过先求和再求平均数得到。下为软标签损失示意图。这样做的目的是，根据源域中的类别分布关系，来对目标域做相应的约束。

文章图片
（4）JAN方法
DAN方法的作者龙明盛2017年在ICML上提出了JAN（JointAdaptationNetworks）方法[Longetal. ， 2017] ，在深度网络中同时进行联合分布的自适应和对抗学习。 JAN方法将只对数据进行自适应的方式推广到了对类别的自适应上，提出了JMMD度量（JointMMD）。下为JAN方法示意图。

文章图片
（5）AdaBN方法
与上述研究选择在已有网络层中增加适配层不同，北京大学的HLi和图森科技的NWang等人提出了AdaBN（AdaptiveBatchNormalization）方法[Lietal. ， 2018] ，其通过在归一化层加入统计特征的适配来完成迁移。下图是AdaBN方法示意图。

文章图片
AdaBN方法与其他方法相比，实现起来相当简单，不带有任何额外的参数，在许多公开数据集上都取得了很好的效果。
[赠书福利]
AI科技评论本次联合【博文视点】为大家带来12本《深度学习500问：AI工程师面试宝典》正版新书。
（扫码了解本书详情）
在本文留言区留言，欢迎大家畅所欲言，谈一谈你对本书的看法和期待或者在学习深度学习时遇到的困难。
AI科技评论将会在留言区选出12名读者，每人送出《深度学习500问：AI工程师面试宝典》一本。
活动规则：
1.在本文留言区留言，在综合留言质量（留言是敷衍还是走心）和留言点赞最高的读者中选出12位读者获得赠书。获得赠书的读者请联系AI科技评论客服（aitechreview）。
2.留言内容会有筛选，例如“选我上去”、“这书写的很棒（仅仅几个字）”等内容将不会被筛选，亦不会中奖。
3.本活动时间为2021年2月18日-2020年2月25日（23:00），活动推送时间内仅允许赠书福利中奖一次。
【《深度学习500问》正式出版！GitHub星标数超4.2万的火爆之作 | 赠书】由于微信公众号试行乱序推送，您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道，请将“AI科技评论”设为星标账号在看” 。