一种新的全连接张量网络分解：突破TT和TR分解的局限性 | AAAI 2021( 二 ) 作者|郑玉棒编辑|陈大鑫近日电

众所周知，矩阵分解具有转置不变性，即

文章图片
而对于高阶张量，论文证明了FCTN分解同样具有广义转置不变性，即

文章图片
也就是说对于不同的张量mode排列， FCTN分解本质上是相同的。这意味着在使用FCTN分解时，不需要考虑张量mode排列顺序。而对于TT和TR分解，不同的mode排列对应的分解是不同的，使用时通常需要寻找最优mode排列。
3基于全连接网络分解的张量填充模型
为了验证FCTN分解的优越性，论文将其应用于张量填充任务，建立了如下基于FCTN分解的张量填充模型

文章图片
同时，论文设计了一种基于临近交替极小化的求解算法，并证明了其理论收敛性。
4实验结果
4.1仿真数据实验
仿真数据实验主要是通过对比相应填充方法的性能，验证论文提出的FCTN分解相对于TT和TR分解的优越性。所有方法均由PAM求解以消除算法的影响。
此外，对于每个数据，论文测试两种张量mode排列，即原始排序和一种广义置换。重建张量与真实张量之间的相对误差(RSE)被用来评价不同方法的性能，图4为不同缺失率(missingratio,MR)下不同方法的重建结果。

文章图片
图4：不同缺失率下不同方法的重建结果
从图4可以观察到，首先， FCTN-TC方法对不同的张量mode排列具有鲁棒性，而TT-TC和TR-TC方法的性能对其比较敏感；
其次，在不同的数据、缺失率和mode排列情况下， FCTN-TC方法在三种方法中总是获得最低的RSE值，也就是最优的重建效果。
4.2真实数据实验
在真实数据实验中，论文选取了基于不同张量分解的张量填充模型作为对比方法，即HaLRTC[5]、TMac[6]、t-SVD[7]、TMacTT[8]和TRLRF[9] 。 PSNR和RSE被用来评价不同方法的性能。
表1报道了四个彩色视频(http://trace.eas.asu.edu/yuv/)在不同缺失率下所有比较方法的PSNR值和运行时间。
可以看到，在所有测试数据上，所提出的FCTN-TC方法与其他方法相比性能更佳。

文章图片
表1：四个彩色视频在不同缺失率下所有比较方法的PSNR值和运行时间
在交通数据中，传感器故障通常会导致一段时间的数据全部丢失。因此，论文考虑列缺失问题。
图5展示了某一天的重构结果以及整个数据的RSE值。可以看出，论文提出的FCTN-TC方法在所有对比方法中取得了最好的结果。

文章图片
图5：40%缺失率下不同方法在某一天的重建结果以及整个数据的RSE值
5总结
这项工作有三方面的贡献。
第一，提出了一种全连接张量网络分解，它突破了TT和TR分解的局限性；
第二，将全连接张量网络分解应用于张量填充问题，并设计了一种基于PAM的求解算法；
第三，从理论上论证了算法的收敛性。
参考文献：
[1]Attouch,H.;Bolte,J.;andSvaiter,B.F.;ConvergenceofDescentMethodsforSemi-AlgebraicandTameProblems:ProximalAlgorithms,Forward-BackwardSplitting,andRegularizedGauss-SeidelMethods,MathematicalProgramming,137(1):91-129,2013.
[2]Kolda,T.G.;andBader,B.W.;TensorDecompositionsandApplications,SIAMReview,51(3):455-500,2009.
[3]Oseledets,I.V.;Tensor-TrainDecomposition,SIAMJournalonScientifificComputing33(5):2295-2317,2021.
[4]Zhao,Q.;Zhou,G.;Xie,S.;Zhang,L.;andCichocki,A;TensorRingDecomposition,arXivpreprintarXiv:1606.05535,2016.
[5]Liu,J.;Musialski,P.;Wonka,P.;andYe,J.;TensorCompletionforEstimatingMissingValuesinVisualData,IEEETransactionsonPatternAnalysisandMachineIntelligence35(1):208-220,2013.
[6]Xu,Y.;Hao,R.;Yin,W.;andSu,Z;ParallelMatrixFactorizationforLow-RankTensorCompletion,InverseProblemsandImaging,9(2):601-624,2015.
[7]Zhang,Z.;andAeron,S;ExactTensorCompletionUsingT-SVD,IEEETransactionsonSignalProcessing,65(6):1511-1526,2017.
[8]Bengua,J.A.;Phien,H.N.;Tuan,H.D.;andDo,M.N.;EffificientTensorCompletionforColorImageandVideoRecovery:Low-RankTensorTrain,IEEETransactionsonImageProcessing,26(5):2466-2479,2017.
[9]Yuan,L.;Li,C.;Mandic,D.;Cao,J.;andZhao,Q.;TensorRingDecompositionwithRankMinimizationonLatentSpace:AnEffificientApproachforTensorCompletion,InProceedingsoftheAAAIConferenceonArtifificialIntelligence,9151-9158,2019.