一种新的全连接张量网络分解：突破TT和TR分解的局限性 | AAAI 2021 作者|郑玉棒编辑|陈大鑫近日电

文章图片
作者|郑玉棒
编辑|陈大鑫
近日电子科技大学张量建模与计算团队与日本理化学研究所张量学习团队一篇合作论文被人工智能领域顶级会议AAAI2021(CCFA类推荐会议)接收，标题为《Fully-ConnectedTensorNetworkDecompositionandItsApplicationtoHigher-OrderTensorCompletion》。
论文第一作者为电子科技大学博士生郑玉棒，通讯作者为电子科技大学黄廷祝教授和赵熙乐教授，合作作者为日本理化学研究所张量学习团队负责人QibinZhao博士和西南财经大学蒋太翔副教授。

文章图片
论文链接：https://www.aaai.org/AAAI21Papers/AAAI-4990.ZhengY.pdf或https://yubangzheng.github.io/
代码链接：https://yubangzheng.github.io/
主要内容
论文提出了一种全连接张量网络(fully-connectedtensornetwork,FCTN)分解。
其优势在于：
(1)建立了任意两个因子间的运算，使其可以充分地刻画张量任意两个模式(modes)间的相关性；
(2)具有转置不变性，即对于不同的张量mode排列，分解本质上是相同的。进一步地，论文将FCTN分解应用到张量填充任务中，设计了基于临近交替极小化(proximalalternatingminimization,PAM[1])的求解算法，证明了算法的收敛性。
1研究背景
信息技术的飞速发展使得数据形式逐渐趋向高维化，如视频数据、高光谱图像以及交通流量数据，通常可用张量表示。然而，高维数据往往存在像素缺失现象，如成像条件不佳导致高光谱图像部分像素被云覆盖以及感知器故障导致交通数据在连续时间内元素缺失(如图1所示) ，这种退化现象严重影响了其后续应用。
张量填充旨在从部分的观测数据中反推出完整的真实数据，属于经典的反问题，通常需要利用正则化方法引入高维数据的先验知识(内在性质)限制解空间并稳定求解过程。在众多先验知识中，高维数据的全局相关性(低秩性)尤为重要。
图1：被云覆盖的高光谱图像和具有元素缺失的交通数据
张量分解旨在将一个高阶张量分解为一系列低维因子，对张量的全局相关性具有强大的捕捉能力。
在过去的十年中， Tucker和CANDECOMP/PARAFAC(CP)分解[2]取得了巨大的成功。但是Tucker分解只能描述张量一个mode与其他所有modes之间的相关性，而不是任意两个modes之间的相关性，且需要较高的存储成本；CP分解无法灵活刻画张量不同modes之间的不同相关性。
最近几年，张量链(tensortrain,TT)和张量环(tensorring,TR)分解显示出了处理高阶，特别是超过三阶张量的强大能力[3,4] 。
更具体地说， TT分解将一个N阶张量分解为N-2个三阶张量和两个矩阵。并且，从第一个TT因子(矩阵)开始，每个因子都需要与下一个因子进行运算，直到最后一个因子(矩阵) 。 TR分解用三阶张量代替了TT因子中的两个矩阵，并在它们之间建立了额外的运算。
但是TT和TR分解有两个明显的局限性：
(1)这两种分解方法只建立了相邻两个因子之间的运算，而不是任意两个因子之间的联系，导致其相关性度量能力有限；
(2)它们只在张量的modes作反向排列(TT和TR)或循环移动(TR)时具有不变性，这意味着TT和TR分解对张量mode的排列高度敏感。
那么如何解决这些问题？

文章图片

文章图片

文章图片

文章图片
图2：Tucker、CP、TT和TR分解
2新型张量分解：全连接张量网络分解
该论文提出了一种新的张量分解，即全连接张量网络(FCTN)分解，它将一个N阶张量分解成一系列低维的N阶因子，并在任意两个因子之间建立了一个运算，其数学表达形式为：

文章图片
FCTN秩定义为由

文章图片
组成的向量。

文章图片
图3：FCTN分解
【一种新的全连接张量网络分解：突破TT和TR分解的局限性 | AAAI 2021】图3展示了FCTN分解的图表示。可以看到，在二阶情况下， FCTN分解实际上是矩阵分解，而FCTN秩实际上是矩阵秩。此外，对于高阶张量，任意两个FCTN因子间都有一个大小相等的mode用于进行运算，这使得FCTN分解能够充分表征张量任意两个modes之间的相关性。