天津大学在多模态缺失数据方向取得系列进展

近日，我学部机器学习与数据挖掘团队青年教师张长青副教授、胡清华教授等人撰写的论文《Deep Partial Multi-View Learning》被人工智能领域国际顶级期刊《IEEE Transaction on Pattern Analysis and Machine Intelligence》（SCI， IF： 17.861）录用。

　　近日，我学部机器学习与数据挖掘团队青年教师张长青副教授、胡清华教授等人撰写的论文《Deep Partial Multi-View Learning》被 技术已经取得长足进步，但由于多源信息之间的复杂关联、数据缺失等问题，算法的有效性和稳定性仍然面临巨大挑战。针对挑战，该论文提出了多视图完备表示方法并给出了理论支撑，在统一框架下有效解决复杂缺失情况下的分类、补全问题。该方法具备高度灵活性，针对不完整多源异构数据具有强适应性。

　　(1) 有监督分类。同时考虑了统一表示的信息完整性和类分布结构性，以学习统一的隐空间表示。该方法具备高度灵活性，针对缺失的多视图数据具有强适应性。从观测数据反向编码而来的隐空间表示具备完备性和紧致性；无参化分类模式增强了隐空间表示的结构性。基于分类任务的理论分析和实验结果证明了所提出的模型的有效性。

　　(2)无监督：聚类及补全。针对缺失信息补全效果难以在线评价问题，提出通过引入对抗策略增强补全信息的合理性，以促进隐空间表示学习。基于聚类和补全任务的实验结果验证了所提模型的有效性。

　　一、基于缺失多视图数据的分类任务（有监督）

　　如Fig.1所示，我们提出跨缺失视图网络模型（CPM-Nets），通过构建隐空间表示还原完整视图，并根据结构化约束获得强泛化能力分类模型。

　　二、基于缺失多视图数据的聚类、补全任务（无监督）

　　如Fig.2所示，在无监督条件下，通过引入对抗策略确保对缺失视图的补全合理性（提出min-max-min隐表示对抗学习框架），进一步确保完备表示有效性。

　　三、基于缺失多视图数据的高阶关联挖掘

　　此外，课题组首先提出的高阶张量多视图融合模型引起了广泛关注，后续工作基于该思想进行了深入和扩展，取得了非常优越的性能。基于张量的多视图融合方法在一些常用数据集上甚至达到了接近100%的聚类精度。近期，提出了信息缺损情况下的多视图高阶关联挖掘方法，在统一框架下有效解决了复杂缺失情况下多源信息高阶关联挖掘问题。

　　[1] Changqing Zhang，Yajie Cui，Zongbo Han，Joey Tianyi Zhou，Huazhu Fu and Qinghua Hu，Deep Partial Multi-View Learning，IEEE TPAMI 2020

　　[2] Changqing Zhang，Zongbo Han，Yajie Cui，Huazhu Fu，Joey Tianyi Zhou，and Qinghua Hu，CPM-Nets：Cross Partial Multi-View Networks，The Thirty-third Conference on Neural Information Processing Systems (NeurIPS) 2019

　　[3] Zhao Bo-Yu，Zhang Chang-Qing，Chen Lei，Liu Xin-Wang，Li Ze-Chao，Hu Qing-Hua.Generative Model for Partial Multi-View Clustering.Acta Automatica Sinica.https：//doi.org/10.16383/j.aas.c200121