广义逆在多元分析中的应用
刘雯雯信通院学号：B098035
摘要：多元分析的一个重要内容就是研究随机向量之间的关系，在一元统计中，用相关系数来描述随机变量之间的关系，Hotelling[1]和张尧庭教授[2]先后定义了度量两个随机向量相关程度的数量指标，并称之为广义相关系数。这一章主要利用Moore-Penrose广义逆矩阵来引人了随机向量之间的相关系数—广义相关系数，并探讨了随机向量的典型相关系数和广义相关系数之间的关系。
关键词：特征值广义相关系数典型相关系数正交阵可逆矩阵
1.引言
矩阵概念和线性代数学科的引进和发展是源于研究线性方程组系数而产生的行列式的发展.莱布尼兹,微积分学的两个奠基者之一,在1693年使用了行列式,克莱姆于1750年提出了用行列式求解线性方程组的公式(即今天著名的克莱姆法则).相对比地,行列式的隐含使用最早出现在18世纪晚期拉格郎日关于双线性型的著作里.拉格郎日希望刻画多变量函数的极大值与极小值.他的方法今天以拉格郎日乘数法闻名.为此,他首先要求第一个偏导数为0,再需要关于第二个偏导数的矩阵成立一个条件.这个条件今天称之为正定或负定,尽管拉格郎日没有明显地使用矩阵.
在1800年左右,高斯发现了高斯消去法,他用此方法解决了天体计算和后来大地测量(关于测量或确定地球形状或定位地球表面一个点的应用数学分支,称之为大地测量学)计算中的最小平方问题.尽管高斯的名字相伴随从线性方程组逐次逍去变量的这项技术,但从发现的早在几个世纪前的中文手稿中解释了如何用"高斯的"消去法解带有三个未知量的三个方程构成的线性方程组.多年来,高斯消去法被认为是大地测量学,而非数学,发展的一部分.首次印刷出来的高斯—约当消去法是在W. 约当写的关于大地测量学的手册里.许多人错误地认为著名数学家 C.约当是"高斯—约当"消去法中的约当. 为了矩阵代数的丰富发展,人们既需要适当的概念,还需要适当的矩阵乘法.这两种需要在同一时间和同一地点交汇了.在1814年于英格兰,J.J.西勒维斯特首先引进了术语"Matrix",作为一列数的名称,这是胚胎的拉丁词.矩阵代数于1855年由亚瑟凯莱的工作得到了发展.凯莱研究了线性变换的合成,导致定义了矩阵乘法,使得合成变换ST的系数矩阵是S的矩阵与T的矩阵的乘积.他继续研究这些合成包括矩阵逆的代数.著名的凯莱—哈密尔顿定理断言,一个方阵是它的特征多项式的根.这个定理于1 858年在凯莱的"关于矩阵理论备忘录"的著作里给出.代表矩阵的单个字母A的使用对于矩阵代数的发展是关键的.早期的公式det(AB)=det(A)det(B)提供了矩阵代数与行列式的联系.凯莱写下了"有许多事情说明关于矩阵的理论,似乎对我而言,比行列式理论重要". 数学家们也试图发展向量代数,但没有任意维数的两个向量积的自然定义.涉及到非交换向量积(亦即VW×不一定等于WV×)的第一个向量代数由赫尔曼格拉斯曼在他的书"维数理论"(1844)提出来的.格拉斯曼的书也引进了一个列矩阵与一个行矩阵的乘积,导致了今天所谓的单纯的或秩1的矩阵.在19世纪晚期,美国数学物理学家W.吉布斯发表了关于向量分析的著名论文.在那篇论文里,吉布斯把一般的矩阵,他称之为并向量(dyadics),表示为单纯矩阵(吉布斯称为并向量(dya ds))的和.后来物理学家P.A.M.迪拉克引进了术语"行-列"(bra-ket)来表示我们现在称之为行向量乘以列向量的纯量积,术语"列-行(ket-bra)"表示一列向量乘以行向量的积,从而导致如同上
面的我们现在称做的单纯矩阵.我们现在把列矩阵和向量视为同一的习惯是由物理学家们在20世纪引进的.
矩阵一直与线性变换紧密结合着.直到1900年,它们仅仅是线性变换理论的有限维的情形.向量空间的现代定义是由皮亚诺于1888年引进的.不久,其元素是函数的抽象向量空间跟着出现了.第二次世界大战后随着数字计算机的发展,矩阵,特别是矩阵的数值分析方面有新的进展.约翰冯诺伊曼和赫尔曼戈德斯坦于1947年在分析舍入误差中引进了条件数.阿兰图灵和冯诺伊曼在程序存储计算机方面是二十世纪的巨人.图灵于1948年引进了矩阵的LU 分解,L是对角线上为1的下三角矩阵,U是梯形矩阵.在解一系列线性方程组时普遍采用LU分解,每个方程组有同一系数矩阵.QR分解的好处是在10年后认识到的.Q是其列为正交向量的矩阵而R是上三角矩阵,其对角线元素是正的.QR分解用于各种计算如解方程,找特征值的计算机算法中.
矩阵理论在数值计算、线性规划、数据分析、科学试验、信号传输等重大领域有着极其广泛的应用。随着科技日新月异地进步，人类社会开始步入信息化、数字化时代，矩阵在生产实践中的应用越来越广泛，矩阵理论的研究也就越来越重要[1]。
矩阵理论在现代统计学的许多分支有着广泛的应用，成为统计学中不可缺少的工具，而且，随着研究的深入和应用的发展，矩阵与统计学之间的关系会越来越深刻。一方面，统计学对矩阵研究提出了许多新的研究课题，刺激了有关矩阵理论研究的发展;另一方面，矩阵理论中的结果被越来越多地应用于统计学的理论研究及其应用中。近三十年，许多统计学家致力于这方面的研究，并撰写了很多这方面的论文和著作，其中很多结论在统计学的研究中发挥着很大的作用。近三十年矩阵研究中一些与统计学有密切关系的新发展，包括它们在统计中的应用，这些研究结果一开始就渊源于统计问题。本文皆在向读者介绍矩阵论中并与统计学密切有关的如下几个方面：矩阵偏序、矩阵不等式、广义逆矩阵等，这些方面与统计学息息相关，特别是在多元分析和线性模型参数估计中都有着重要的应用。
广义逆矩阵是对逆矩阵的推广。
广义逆矩阵是上世纪矩阵理论的一项极为重要的新发展[7]，广义逆的概念最早由Redh olm于1908年提出的，他给出TFredholm积分算子的广义逆，Hurwitz于1912年利用有限维Fredholm积分算子的零空间给出了此类广义逆的一个简单的代数表征，Hilbert于1904
年讨论广义Green函数时曾提出了微分算子的广义逆，之后许多学者研究了微分算子的广义逆，特别是Myller、westfall、Reid等。1920年，Moore首次提出了矩阵的广义逆，他利用投影矩阵定义了唯一的广义逆。Bjerhammer在不知道Moore结果的情形下，重新提出了广义逆矩阵的定义，利用广义逆给出了线性方程组的解。Bott和Duffin在研究电网络理论时，引进了后来被称为Bott-Duffin广义逆。但这时期的研究工作是零散的。在Penrose1955年证明了Moore所定义的广义逆是满足四个矩阵方程的唯一的矩阵之后，广义逆矩阵得到迅速发展并在应用学科的诸多领域获得广泛的应用。近四十年来，广义逆矩阵理论在最优化、数理统计、算子理论、经济学和计算数学等众多数学分支和工程科技领域发挥了重大作用。尤其在研究最小二乘问题、病态线性、非线性问题，回归，分布估计，多元分析等统计问题，规划问题，控制论，网络问题的过程中，广义逆是不可或缺的研究工具。
若A为非奇异矩阵,则线性方程组Ax=b的解为x=A^(-1)b，其中A的A的逆矩阵A^(-1)满足A^(-1)A=AA^(-1)=I(I为单位矩阵)。若A是奇异阵或长方阵,Ax=b可能无解或有很多解。若有解,则解为x=Xb+(I-XA)у,其中у是维数与A的列数相同的任意向量,X是满足AXA=A的任
何一个矩阵，通常称X 为A 的广义逆矩阵,用A^g 、A^-或A^(1)等符号表示,有时简称广义逆。当A 非奇异时,A^(-1)也满足AA^(-1)A =A ,且x =A^(-1)b +(I -A^(-1)A )у=A^(-1)b 。故非异阵的广义逆矩阵就是它的逆矩阵，说明广义逆矩阵确是通常逆矩阵概念的推广。
1955年R.彭罗斯证明了对每个m×n 阶矩阵A ,都存在惟一的n ×m 阶矩阵X ，满足：①AX A =A ；②XAX =X ；③(AX )*＝AX ；④(XA )*＝XA 。通常称X 为A 的穆尔-彭罗斯广义逆矩阵,简称M-P 逆，记作A^+。当A 非奇异时，A^(-1)也满足①～④,因此M-P 逆也是通常逆矩阵的推广。在矛盾线性方程组Ax ＝b 的最小二乘解中,x ＝A^(-1)b 是范数最小的一个解。
广义逆的计算方法大致可分为三类：以满秩分解和奇异值分解为基础的直接法，迭代法和其他一些常用于低阶矩阵的非凡方法。
本文介绍了Moore-Penrose 广义逆在多元分析中的应用。多元分析的一个重要内容就是研究随机向量之间的关系。对于不同类型的矩阵A 和B ，讨论了随机向量和y 的典型相关系数与Ax 和By 的典型相关系数之间的关系，从而得到了x 和y 的广义相关系数与Ax 和By 的广义相关系数之间的关系。
设x ,y 分别为p×1和q×1随机向量，它们的方差阵和协方差阵分别为
()()()T xx V x E x Ex x Ex V =--=
()()()T yy V y E y Ey y Ey V =--=
(,)()()T xy yx
Cov x y E x Ex y Ey V V =--== 从而
()(,)(,)()xx xy yx yy V V x V x Cov x y V V V y Cov y x V y ??????== ? ? ??????? （1.1）
矩阵V +yy V yx V +xx V xy 的特征值都是非负的且都不大于1,非零特征值设为
222110...1r r λλλ-<≤≤≤≤。
其中矩阵A +表示A 的Moore -Penrose 广义逆。由典型相关系数的定义知，1
2,,...,r
λλλ称为典型相关系数，它在典型相关分析中起着重要作用。 2.广义逆矩阵
广义逆矩阵的研究可以追溯到1935年的Moore 的著名论个条件：
,,(),(),AXA A XAX X AX AX XA XA ''====
定义了A 的广义逆X 。但是，在此后的20年中，这种广义逆几乎没有引起×人们的多少注意，直到1955年，Penrose 证明了满足上述条件的广义逆具有唯一性后，广义逆的研究才真正为人们所重视，基于这个原因人们把满足上述四个条件的的广义逆称为Moore-Penrose 广义逆。
本节主要介绍以下两种经常应用的广义逆：
2.1广义逆A -
定义2. 1对矩阵A m ×n ,一切满足方程组
AXA A =
的矩阵X ，称为矩阵A 的广义逆，记为A -。
下面的定理解决了A -的存在性和构造性问题。
定理2.1设A 为m ×n 矩阵，rk (A) =r ，若
00
0r
I A P Q ??= ???
这里P 和Q 分别为m ×m ，n ×n 的可逆阵，则 000r I A Q P --
-??= ??? 这里B ，C 和D 为适当阶数的任意矩阵。
下面的两个定理圆满地解决了用广义逆矩阵表示相容线性方程组集的问题。
定理2.2设Ax =b 为一相容方程组，则
(1)对任一广义逆A -，x=A -b 必为解；
(2)齐次方程组Ax=0的通解为x =(I -A -A )z ，这里z 为任意的向量，A -为任意固定的一个广义逆；
(3)Ax =b 的通解为
()x A b I A A z --=+-
其中A -为任意固定的一个广义逆，z 为任意的向量。
定理2. 3设Ax =b 为相容线性方程组，且b ≠0，那么，当A -取遍A 的所有广义逆时，x =A - b 构成了该方程组的全部解。
下面一定理讨论分块矩阵的广义逆。
定理2.4(分块矩阵的广义逆)(1)若A 11-1存在，则
1111111211111222.12111111222.11212222.1211122.1A A A A A A A A A A A A A A A A A ----------??+-??= ? ?-????
(2)若A 22-1存在，则
1111211.211.21222111121
22222111.222222111.21222A A A A A A A A A A A A A A A A A ----------??-??= ? ?-+????
(3)若 11
1221
220A A A A A ??=≥ ???
则 111111111222.12111111222.1122.1211122.1A A A A A A A A A A A A A A -------
---??+-= ?-??
或
111.211.21222
1111222111.222222111.21222A A A A A A A A A A A A A A ----------??-= ?-+?? 其中，
22.12221111211.211122221,A A A A A A A A A A --=-=-
2.2广义逆A +
从上段的介绍知，一般来说广义逆A -有无穷多个。在这无穷多个A -中，有一个A -占有特殊的地位，它就是本节一开始提到的Moore-Penrose 广义逆。
定义2. 2设A 为任一矩阵，若X 满足下述四个条件：
,,(),(),AXA A XAX X AX AX XA XA ''====
则称矩阵X 为A 的Moore-Penrose 广义逆，记为A +。
引理2.1(奇异值分解)设A 为m ×n 秩为r 的矩阵，则存在两个正交阵P m ×m 和Q n ×n ，使得
0,0
0r
A P Q Λ??'= ???
其中 12(,,...,),0,1,...,,r r i diag i r λλλλΛ=>=
而221,...,r λλ为A *A 的非零特征值。
定理2. 4(1)设A 的分解式满足上式，则
10;00r A Q P -+??Λ'= ???
(2)对任何矩阵A ，A +惟一。
因为A +是一个特殊的A -，因此，它除了具有A -的全部性质外，还有以下性质：
定理2. 5
(1)();
(2)()();
(3);
(4)()();
(5)()();
(6)()().
A A A A I A A rk A rk A A A A A A AA A A A A ++++++++++++=''=≥=''''==''=
3.随机向量的典型相关系数和广义相关系数
对于不为零的常数a ,b ，显然，ax 与by 的典型相关系数和x 与y 的典型相关数是相同的。下面分别讨论对于不同类型的矩阵A, B ,Ax 与By 的典型相关系数和x 与y 的典型相关系数之间的关系（参见文献[3]）。
定理3.1设A 和B 分别是p ×p 和q ×q 可逆方阵，并且AV +xx V xx =V +xx V xx A, BV +yy V yy =V +yy V yy B, 则Ax 与By 的典型相关系数和x 与y 的典型相关系数相等。
证明：因为
()(,)V (,)
()Ax V Ax Cov Ax By By Cov By Ax V By ????= ? ????? T
T xx xy T T yx yy AV A AV B BV A BV B ??= ? ??? （3.1）
故Ax 与By 的典型相关系数ρi >0满足下列方程：
2()()0
T T T T yy yx xx xy i BV B BV A AV A AV B I ρ++-= （3.2）
其中I 是单位矩阵。下面验证 1111()(),()()T T T T xx xx yy yy AV A A V A BV B B V B +-+-+-+-== （3.3）
事实上，
111111111
11111111()()()()()(())()()()T T T T T
xx xx xx xx xx xx xx T T T T T xx xx xx xx xx xx xx T T T T T T xx xx xx xx xx xx T T xx xx xx xx AV A A V A AV A AV V V A AV A A V A AV A A V A A V V V A A V A AV A A V A AV V A A V V A
AV A A V A AV V A
--++--+--++-----+-+--+-+-+-=======
注意到：
xx xx xx xx AV V V V A ++=，所以 1111(())()T T T T T xx xx xx xx xx xx AV A A V A AV A A V A V V -+--+-+== 同理，
1111(())()T T T T T
xx xx xx xx A V A AV A A V A AV A -+--+-=
这就验证了（3.3）式的成立。
把（3.3）式代入（3.2）式得：
1111122()()0T T yy yx xx xy i yy yx xx xy i B V B BV A A V A AV B I V V V V I ρρ-+--+--++-=-=（3.4）
从而证明了ρi 是x 与y 的典型相关系数。
由于广义相关系数是用典型相关系数定义的（参见文献[4]），故有
推论3.1当满足（3.3）式时，随机向量x 与y 的广义相关系数和Ax 与By 的广义相关系数相同。
定理3.2设A 是p ×p 可逆阵，B 是q ×q 可逆阵，x 与y 分别为p 维和q 维随机向量，且V xx ，V yy 也都可逆，则Ax 与By 的典型相关系数和x 与y 的典型相关系数相同。
证明：由于
V T T xx xy T T yx yy AV A AV B Ax BV A BV B By ????= ? ? ?????
所以Ax 与By 的典型相关系数ρi >0满足
2()()0
T T T T yy yx xx xy i BV B BV A AV A AV B I ρ++-= （3.5） 由于A ，B ，V xx ，V yy 都可逆，上式易化为
20yy yx xx xy i V V V V I ρ++-= （3.6）
这样就证明了定理3.2。
推论3.2 在定理2.2的条件下，Ax 与By 的广义相关系数与x 和y 的广义相关系数相同。 定理3.3 设A 是n ×p 列正交阵，B 是m ×q 列正交阵，则Ax 与By 的典型相关系数和x 与y 的典型相关系数相等。
证明：因为Ax 与By 的典型相关系数ρi 满足
2()()0
T T T T yy yx xx xy i BV B BV A AV A AV B I ρ++-= （3.7）
注意到A ，B 都是列正交阵，据3.2知 (),()T T T T
yy yy xx xx BV B BV B AV A AV A ++++==
代入（3.7）式得 20T yy yx xx xy i BV V V V B I ρ++-= （3.8）
又因为对矩阵D,F ，我们易证DF 与FD 的非零特征值是相同的。
从而由（3.8）式得
20yy yx xx xy i V V V V I ρ++-=
这就证明了ρi 是随机变量x 与y 的典型相关系数，定理证毕。
推论3.3当A ， B 是列正交时，Ax 与By 的广义相关系数和x 与y 的广义相关系数相等。 定理3.4设A 是n ×p 列满秩阵，B 是m ×q 列满秩阵，V xx ，V yy 可逆时，则Ax 与By 的典型相关系数和x 与y 的典型相关系数相等。
证明：设A, B 的谱分解分别为
111222,A P Q B P Q =?=?
其中P 1，P 2，Q 1，Q 2都是列正交阵，△1，△2是主对元素大于零的对角矩阵。令ρi >0是Ax 与By 的典型相关系数，则ρi 是下列方程的解。
2()()0T T T T yy yx xx xy i BV B BV A AV A AV B I ρ++-= （3.9）
把A ，B 的谱分解代入上式，并注意到P 1，P 2，Q 1，Q 2的正交性，上式可化为：
22222221111111122()()0T T T T yy yx xx xy i Q V Q Q V Q QV Q QV Q I ρ++????????-= （3.10）
由于V xy ，V yy ，△1，△2 ，Q 1，Q 2都是可逆阵，故
11111
22222222()()T T yy yy Q V Q Q V Q +-----??=??
1111111111111()()T T xx xx QV Q Q V Q +-----??=?? 代入（3.10）式即得
1120
yy yx xx xy i V V V V I ρ---=
定理由此获证。 推论3.4 设A 是n ×p 列满秩阵，B 是m ×q 列满秩阵，V xx ，V yy 可逆，则Ax 与By 的广义相关系数和x 与y 的广义相关系数相同。
4.小结
本文，利用Moore-Penrose 广义逆矩阵讨论了它在多元分析中的一个应用--比较随机向量的典型相关系数和广义相关系数之间的关系。对于不同类型的矩阵A 和B ，讨论了随机向量x 和y 的典型相关系数与Ax 和By 的典型相关系数之间的关系，从而得到了x 和y 的广义相关系数与Ax 和By 的广义相关系数之间的关系。典型相关系数和广义相关系数在多元统计中发挥着重要的作用，例如，王松桂[5]讨论了广义相关系数与估计效率；朱显海，杨学锋[6]讨论了广义相关系数与估计的稳健性。正因为典型相关系数和广义相关系数在统计中有着重要的应用，本文讨论了它们之间的关系。
参考文献：
[1].Hotelling H.,Relation Betnween Two Sets of Vriates,Biometrika ，1936，36：321-377.
[2].张尧庭，广义相关系数及其应用，应用数学学报，1978，1（4）：312-320
[3].张建芝，刘栋富，随机向量的典型相关系数和广义相关系数，中国科技信息，2008，(6)：268-269.
[4].张尧庭，方开泰，多元统计分析引论，北京：科学出版社，1983.
[5].王松桂，广义相关系数与估计效率，科学通报，1985，19：1521-1524.
[6].朱显海，杨学锋，广义相关系数与估计的稳健性，东北师大学报，1995，3：1-5.
[7].王松桂,杨振海,广义逆矩阵及其应用,北京:北京工业大学出版社,2006.