2018年8月 第34卷第4期 陕西理工大学学报（自然科学版） Journal of Shaanxi University of Technology (Natural Science Edition) Aug.2018 Vol.34 No.4 [文章编号]2096 -3998(2018)04 -0070 -10 概率张量分解综述 史加荣#’2"，张安银1 (1.西安建筑科技大学理学院，陕西西安710055; 2.西安建筑科技大学建筑学院，陕西西安710055) [摘要]在获取高维多线性数据的过程中，元素通常丢失，而概率张量分解能够在不破坏 数据结构的前提下有效地补全丢失值。综述了近几年出现的主要概率张量分解模型。首先，讨论了经典的张量分解模型；其次，将概率张量分解模型分为平行因子分解和塔克分解两大 类，并给出了求解方法及优缺点。在模型求解过程中，分析了两种最常用的方法：变分贝叶斯 推断和吉布斯采样。最后，指出了有待进一步研究的问题。 [关键词]张量分解；概率张量分解；低秩；变分贝叶斯推断；吉布斯采样 [中图分类号]T P301.6 [文献标识码]A 作为一类数据分析工具，低秩矩阵分解已被广泛地应用在机器学习、计算机视觉、数据挖掘和信号 与图像处理等诸多研究领域。低秩矩阵分解主要包括主成分分析[1]、奇异值分解[2]和非负矩阵分解[3]等模型，它们需要完整的输入数据。在数据获取时若出现数据丢失或者较大的噪声腐蚀，前述的传统低 秩分解方法往往不能给出理想的结果，而概率矩阵分解在一定程度上能克服这些缺陷[49]。与矩阵分解 相比，概率矩阵分解要求低秩成分是随机的，这不但可以增加模型的鲁棒性，而且有利于研究数据的生 成方式。 随着信息技术的快速发展，数据规模急剧扩大，使得高维数据结构更加复杂。传统的机器学习方法 用向量或矩阵形式来表示数据，因而不能很好地刻画数据的多线性结构。作为向量和矩阵的高阶推广，张量表示在一定程度上能够避免上述问题。因此，基于张量的机器学习方法已经受到广泛关注，成为当 今机器学习与数据挖掘领域的一个新的研究方向。平行因子分解（C a n d e c o m p/P a r a f a c，C P)和塔克分解 (T u c k e r)是张量分解的两类最重要的代表模型，它们分别是主成分分析与奇异值分解的高阶推广[10]，已成功地应用到计算机视觉[11—14]、人脸识别[15—17]、交通网络分析[18]、社会网络分析[19]和国际关系分 析[20]等领域中。 在获取高维数据的过程中，部分元素可能丢失或者不准确。低秩张量恢复是解决上述问题的一类 方法，它根据待研究数据张量的近似低秩结构来恢复出低秩成分与噪声[2126]。Q u等[2718]认为低秩张 量恢复充分利用了数据所有维度的信息，能有效恢复或预测丢失数据。但现有的低秩张量恢复方法也 有一定的弊端，如:确定张量的秩是多项式非确定性（N o n-d e te r m in istic P o ly n o m ia1，N P)问题，低秩成分是 确定的而不是随机的。这些问题可能会导致过拟合，不利于低秩模型的生成。概率张量分解能够很好 地避免上述问题，已成为处理高维数据的一类重要方法。本文对主要的概率张量模型进行综述。 收稿日期#2017-10-25 修回日期#2018-01-02 基金项目：国家自然科学基金资助项目（61403298);中国博士后科学基金资助项目（2017M613087) "通信作者:史加荣（1979—），男，山东省聊城市人，西安建筑科技大学教授，博士，主要研究方向为机器学习、模式识别。 ? 70 ?
基于张量分解的二次双线性系统降阶方法在工程应用领域,许多物理及化学现象往往可以通过数学模型描述.这些数学模型通常是由微分方程构成.随着科技与计算水平的发展,人们对于所建模型的精度要求越来越高,使得动力系统的复杂程度和规模急剧增大.因而给动力系统的仿真模拟、优化和控制带来了巨大挑战.为了在合理的时间内,利用有限的资源对系统进行模拟和分析,必须寻找快速且可行的方法来降低系统的规模或复杂度.模型降阶为解决上述问题提供了有效的方法,它能够在保证精度的前提下,有效降低理论分析难度、提高仿真模拟效率.本论文研究了二次双线性(Quadratic bilinear,QB)系统基于张量分解的模型降阶方法.主要的研究内容包括以下几个方面:(一)对于一类非线性系统,通过引入新的状态变量将其等价地转化为QB系统,探讨了该系统基于张量Tucker分解与矩阵Khatri-Rao积的模型降阶方法.将QB系统的二次项系数矩阵重构为一个三阶张量,并进行Tucker分解,将其分为核心张量与三个因子矩阵.考虑张量的展开矩阵,将原始系统的二次项写为小规模矩阵的Khatri-Rao积形式.对状态变量进行Taylor展开,计算展开系数,构造投影矩阵,从而得到降阶系统.由此得到的降阶系统能够保持原始系统的稳定性,并且能够匹配若干Taylor展开系数.此外,本论文还给出了原始系统与降阶系统的误差界.(二)针对QB系统,研究了基于张量CANDECOMP/PARAFAC(CP)分解及矩阵Hadamard积的模型降阶方法.首先,将QB系统的二次项系数重构为三阶张量.通过对该张量进行CP分解,得到三个规模相对较小的成分矩阵.类似地,将CP分解得到的张量展开为矩阵形式,进而将原始系统的二次项写为矩阵的Hadamard 积形式.通过计算状态变量的Taylor展开系数,构造投影矩阵,从而得到降阶系统.此外,理论分析了降阶系统的稳定性,探讨了原始系统与降阶系统的误差界.