矩阵的奇异值分解在数字图像处理的应用

矩阵的奇异值分解

在数字图像处理的应用浅析

学院：···

专业：··

姓名：··

学号：··

2011年11月6日

目录

一、绪论 ................................................................................................................................. - 1 -

二、数字图像处理简介 ............................................................................................................. - 2 -

三、矩阵的奇异值分解原理 ..................................................................................................... - 4 -

3.1 矩阵的奇异值 ............................................................................................................. - 4 -

3.2 矩阵的奇异值分解（SVD） ....................................................................................... - 4 -

四、奇异值分解的图像性质 ..................................................................................................... - 5 -

五、图像的奇异值分解压缩方法 ............................................................................................. - 7 -

5.1 奇异值分解压缩原理分析 ......................................................................................... - 7 -

5.2 奇异值分解压缩应用过程 ......................................................................................... - 8 -

六、小结 ................................................................................................................................. - 9 -

一、绪论

目前，随着科学技术的高速发展，现实生活中有大量的信息用数字进行存储、处理和传送。而传输带宽、速度和存储器容量等往往有限制，因此数据压缩就显得十分必要。数据压缩技术已经是多媒体发展的关键和核心技术。图像文件的容量一般都比较大，所以它的存储、处理和传送会受到较大限制，图像压缩就显得极其重要。当前对图像压缩的算法有很多，特点各异，类似JPEG 等许多标准都已经得到了广泛的应用。奇异值分解(Singular Value Decomposition ，SVD) 是一种基于特征向量的矩阵变换方法，在信号处理、模式识别、数字水印技术等方面都得到了应用。由于图像具有矩阵结构，有文献提出将奇异值分解应用于图像压缩[2]，并取得了成功，被视为一种有效的图像压缩方法。本文在奇异值分解的基础上进行图像压缩。

二、数字图像处理简介

首先，简单介绍一下数字图像处理。人们对数字图像都应该很熟悉。我们在计算机上

看到的图像，数码相机拍到的图像，雷达图像，人体MRI 图像等等。数字图像处理是指用计算机对图像进行分析处理，以达到所需结果的技术。

图像处理的内容十分广泛，具体而言，可以分为：图像获取、图像增强、图像复原、

图像压缩、图像分割等。这些内容都是基于矩阵的处理得到的。下面举例介绍几个重要的应用。

图像获取是图像处理的第一步。图像获取有很多方法，最常用的方法就是用传感器如

数字摄像机、扫描仪等设备得到。

数字图像处理的定义：我们可以将一幅图像定义为一个二维函数(,)f x y ，这里x 和y 是空间坐标，在空间坐标(,)x y 上的幅值f 称为该点图像的强度或灰度。对于数字图像而言，,x y 和幅值f 都是有限的、离散的。这样一幅图像就可以用一个二维函数来表示。模拟图像不利于计算机处理，所以我们常常将模拟图像转换为数字图像。模拟图像转化为数字图像的方式是：取样和量化。我们将,x y 坐标值离散化称为取样，将幅度值f 离散化称之为量化。经过取样和量化的图像是一幅数字图像。数字图像的质量很大程度上取决于取样和量化的取样数和灰度级。取样和量化的结果是一个实际的矩阵。这个矩阵可以表示为

n

m n m f m f m f n f f f n f f f y x f ??

??

???

?

??

???------=)1,1()1,1()

0,1()1,1()1,1()

0,1()1,0()1,0()0,0(),(ΛM

M M M ΛΛ

更一般的矩阵表达方式为：

n

m n m m m n n a a a a a a a a a A ?------?

?

?????

?????=1.11

.10

.11.11.10

.11,01,00,0ΛM M M M ΛΛ

图像压缩是数据压缩技术在数字图像上的应用，它的目的是减少图像数据中的冗余信息从而用更加高效的格式存储和传输数据。图像数据之所以能被压缩，就是因为数据中存在着冗余。图像数据的冗余主要表现为：图像中相邻像素间的相关性引起的空间冗余；图像序列中不同帧之间存在相关性引起的时间冗余；不同彩色平面或频谱带的相关性引起的

频谱冗余。

图像压缩可以是有损数据压缩也可以是无损数据压缩。无损图像压缩方法主要有行程长度编码、熵编码法如LZW；有损压缩方法主要有变换编码，如离散余弦变换（DCT）或者小波变换这样的傅立叶相关变换，然后进行量化和用熵编码法压缩和分形压缩（fractal compression）。

图像矩阵A的奇异值（Singular Value）及其特征空间反映了图像中的不同成分和特征。奇异值分解(Singular Value Decomposition ，SVD) 是一种基于特征向量的矩阵变换方法，在信号处理、模式识别、数字水印技术等方面都得到了应用。我们主要讨论奇异值分解在图像压缩上的应用。

三、矩阵的奇异值分解原理

3.1 矩阵的奇异值

设n

m r

C A ?∈，)(rank A r =，i λ是H AA 的特征值，i μ是A A H 的特征值，它们都是实

数。且设

02121==???==>≥???≥≥++m r r r λλλλλλ 02121==???==>≥???≥≥++n r r r μμμμμμ

则特征值

i λ与i μ之间的关系为：0>=i i μλ，),,2,1(r i ???=。

设n m r C A ?∈， H AA 的正特征值i λ，A A H 的正特征值i μ，称i i i μλα==，

),,2,1(r i ???=是A 的正奇异值，简称奇异值。若A 是正规矩阵，则A 的奇异值是A 的

非零特征向量的模长。

3.2 矩阵的奇异值分解（SVD ）

若n

m r C A ?∈，r δδδ≥???≥≥21是A 的r 个正奇异值，则存在m 阶酉矩阵U 和n 阶酉

矩阵V ，满足：

H

H V U UDV A ???????==000

其中，),,,(21r diag δδδ???=?，?为奇异对角阵。U 满足U AA U H

H

是对角阵，V 满足

AV A V H H 是对角阵。U 的第i 列为A 的对应于i δ奇异值对应的左奇异向量，V 的第i 列

为A 的对应于i δ奇异值对应的右奇异向量。它们的每一列均为单位向量，且各列之间相互

正交。

若n m r C A ?∈，r δδδ≥???≥≥21是A 的r 个正奇异值，则总有次酉矩阵r

m r r U U ?∈，

r n r r V V ?∈满足：H r r V U A ?=，其中),,,(21r diag δδδ???=?。

奇异值分解是一种基于特征向量的矩阵变换方法。奇异值分解是现代数值的最基本和最重

要的工具之一。

四、奇异值分解的图像性质

任意一个n

m C

A ?∈矩阵的奇异值),,,(21r δδδ???是唯一的，它刻画了矩阵数据的分布

特征。直观上，可以这样理解矩阵的奇异值分解：将矩阵n

m C A ?∈看成是一个线性变换，

它将m 维空间的点映射到n 维空间。n

m C

A ?∈经过奇异值分解后，这种变换被分割成3个

部分，分别为U 、?和V ，其中U 和V 都是标准正交矩阵，它们对应的线性变换就相当于对m 维和n 维坐标系中坐标轴的旋转变换。

若A 为数字图像，则A 可视为二维时频信息，可将A 的奇异值分解公式写为：

∑∑====?

??????==r

i H

i i i r i i H H

v u A V U UDV

A 11000δ

其中，i u

和

i

v 分别是U 和V 的列矢量，i δ

是A 的非零奇异值。故上式表示的数字图像A 可

以看成是r 个秩为1的子图H

i i v u 叠加的结果，而奇异值i δ为权系数。所以i A

也表示时频信

息，对应的

i

u 和

i

v 可分别视为频率矢量和时间矢量，因此数字图像A 中的时频信息就被分

解到一系列由

i

u 和

i

v 构成的视频平面中。

由矩阵范数理论， 奇异值能与向量2-范数和矩阵Frobenious-范数(F-范数)相联系。

)

max(22

21X AX

A ==λ

2

1

122

12)(∑∑==???

???=r

i i mn mn F

a A

λ

若以F-范数的平方表示图像的能量，则由矩阵奇异值分解的定义知：

∑==?

?????????????==r

i i H

H H

F

V U U V tr A A tr A

12

2)000000()(δ。

也就是说，数字图像A 经奇异值分解后，其纹理和几何信息都集中在U 、H

V 之中，

而?中的奇异值则代表图像的能量信息。

性质1：矩阵的奇异值代表图像的能量信息，因而具有稳定性。

设n

m C A ?∈，δ+=A B ，δ是矩阵A 的一个扰动矩阵。A 和B 的非零奇异值分别记

为：r 11211δδδ≥???≥≥和r 22221δδδ≥???≥≥。且)(rank A r =，1δ是δ的最大奇异值。

则有：

1

2

221δδ

δδ==-≤-B A i i 。

由此可知，当图像被施加小的扰动时，图像矩阵的奇异值变化不会超过扰动矩阵的最大奇异值，所以图像奇异值的稳定性很好。

性质2：矩阵的奇异值具有比例不变性。

设n

m C A ?∈，矩阵A 的奇异值为

i δ),,2,1(r i ???=，)(rank A r =，矩阵kA (0≠k )

的奇异值为

i α),,2,1(r i ???=。则有：),,,(),,,(2121r r k αααδδδ???=???。

性质3：矩阵的奇异值具有旋转不变性。

设n

m C

A ?∈，矩阵A 的奇异值为

i δ),,2,1(r i ???=，)(rank A r =。若r U 是酉矩阵，

则矩阵A U r 的奇异值与矩阵A 的奇异值相同：

)(22=-=-E A U A U E AA i H r r i H δδ。

性质4：设n

m C

A ?∈，s r A ≥=)(rank 。若

)

,,,(21s s diag δδδ???=?，

∑==s

i H

i i i s v u A 1δ，

s

rank A s s =?=)()(rank

所以可得：

{

}

2

2221min r s s n m F

F

S

C B B

A A A δδδ+???++=∈-=-++?

上式表明，在F-范数意义下，s

A 是在空间

n

m s C ?（秩为s 的n m ?维矩阵构成的线性空

间）中A 的一个将秩最佳逼近。因此可根据需要保留)(r s s <个大于某个阈值的i δ而舍弃

其余s r -个小于阈值的

i δ且保证两幅图像在某种意义下的近似。

这就为奇异值特征矢量的

降维和数据压缩等应用找到了依据。

五、图像的奇异值分解压缩方法

5.1 奇异值分解压缩原理分析

用奇异值分解来压缩图像的基本思想是对图像矩阵进行奇异值分解，选取部分的奇异值和对应的左、右奇异向量来重构图像矩阵。根据奇异值分解的图像性质1和4可以知道，奇异值分解可以代表图像的能量信息，并且可以降低图像的维数。如果A 表示n 个m 维向量，可以通过奇异值分解将A 表示n m +为个r 维向量。若A 的秩远远小于m 和n ，则通过奇异值分解可以大大降低A 的维数。

对于一个n n ?像素的图像矩阵A ，设H

V

U A ?=，其中，),,,(21r diag δδδ???=?。

按奇异值从大到小取k 个奇异值和这些奇异值对应的左奇异向量及右奇异向量重构原图像矩阵A 。如果选择的r k ≥，这是无损的压缩；基于奇异值分解的图像压缩讨论的是r k <，即有损压缩的情况。这时，可以只用)12(+n k 个数值代替原来的n n ?个图像数据。这

)12(+n k 个数据分别是矩阵A 的前k 个奇异值， n n ?左奇异向量矩阵U 的前k 列和n n ? 右奇异向量矩阵V 的前k 列元素。

比率：

)12(2

+=

n k n ρ

称为图像的压缩比。

显然，被选择的奇异值的个数k 应该满足条件2)12(n n k <+，即

)122

+

u u u ,,,21???和右奇异

向量r v v v ,,,21???后，可以通过：

∑==k

i H

i i i k v u A 1

δ

重构出原图像矩阵。

k

A 与A 的误差为：

2

22212r k k F

k

A A δδδ+???++=-++

某个奇异值对图像的贡献可以定义为

）

（k j j i i ,,2,1,/22Λ==∑δδε，对一幅图像来

说，较大的奇异值对图像信息的贡献量较大，较小的奇异值对图像的贡献较小。假如

）（k i i

,,2,1,Λ=∑ε接近1，该图像的主要信息就包含在

）

（k i v u A H

i

i i

k

,,2,1,Λ==∑δ之中。通常图像的奇异值都具“大L 曲线”，只有不多的一些比较大的奇异值，其它的奇异值相对较小，因此一般只需要比较小的k 就使

）（k i i

,,2,1,Λ=∑ε接近1。在满足视觉要

求的基础上，按奇异值的大小选择合适的奇异值个数r k <，就可以通过k A

将图像A 恢复。

k 越小，用于表示k A 的数据量就小，压缩比就越大，而k 越接近r ，则k A 与A 就越相似。

在一些应用场合中，如果是规定了压缩比，则可以由式

)12(2

+=n n ρ求出k ，这时也同样可以求出

）（k i i

,,2,1,Λ=∑ε。

5.2 奇异值分解压缩应用过程

在对图像进行操作时，因为矩阵的维数一般较大，直接进行奇异值分解运算量大， 可以将图像分解为子块，对各子块进行奇异值分解并确定奇异值个数，将每个子块进行重构。这样操作除了因为对较小型的矩阵进行奇异值分解的计算量比较小外，另一方面是为了利用原始图像的非均匀的复杂性。如果图像的某一部分比较简单，那么只需要少量的奇异值，就可以达到满意的近似效果。

为了保证图像的质量就需要较多的奇异值。但是各个子块的奇异值数目， 大小各不相同， 因此可以考虑为每个子块自适应的选择适当的奇异值数目。一种简单的方法是定义奇异值贡献量的和

）

（k i a i

,,2,1,Λ=>∑ε

来选择k ，其中a 是一个接近1的数。对常见的

256 ×256 .bmp 格式的图像（位图），划分为4×4个子块，每个子块大小为64×64。对每个子块根据

）

（k i i

,,2,1,99.0Λ=>∑ε

来选择所需要的奇异值数目。增大a 的值来选择奇异值

数目，可以推理得随着a 不断增大，视觉效果越来越好。随着a 不断增大， 需要的奇异值也增多， 压缩比会减小。

六、小结

经过以上讨论可知，用奇异值分解进行图像压缩，肯定能取得成功，也具有较好的应用价值，但仍然需要有以下值得去思考并改善：

1、对子块的划分可以采取更加有效的方法来完成。例如对规模很大的矩阵，随机抽取矩阵的某些行列得到规模较小的矩阵，计算小矩阵的奇异值，重复若干次，用这些小矩阵的奇异值逼近原始矩阵的奇异。

2、影响运算速度的因素是SVD 变换运算比较大，能否找到一个快速的SVD 变换算法。

另外，若已知图像矩阵的奇异值及其特征空间，一般认为较大的奇异值及其对应的奇异向量表示图像信号，而噪声反映在较小的奇异值及其对应的奇异向量上。依据一定的准则选择门限，低于该门限的奇异值置零(截断) ，然后通过这些奇异值和其对应的奇异向量重构图像进行去噪。若考虑图像的局部平稳性，也可以对图像分块奇异值分解去噪，这样能在一定程度上保护图像的边缘细节。如果仔细分析，SVD去噪具有的方向性。根据SVD 图像性质3，可以把图像分块旋转SVD去噪，即将图像划分为不同的块，然后对每个图像块单独进行旋转SVD去噪，最后再整体组合得到去噪后的图像。这样图像的主观质量可能有较大改善。

特征值分解与奇异值分解

特征值：一矩阵A作用与一向量a，结果只相当与该向量乘以一常数λ。即A*a=λa，则a 为该矩阵A的特征向量，λ为该矩阵A的特征值。 奇异值：设A为m*n阶矩阵，A H A的n个特征值的非负平方根叫作A的奇异值。记 (A) 为σ i 上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing） 另外在这里抱怨一下，之前在百度里面搜索过SVD，出来的结果都是俄罗斯的一种狙击枪（AK47同时代的），是因为穿越火线这个游戏里面有一把狙击枪叫做 SVD，而在Google上面搜索的时候，出来的都是奇异值分解（英文资料为主）。想玩玩战争游戏，玩玩COD不是非常好吗，玩山寨的CS有神马意思啊。国内的网页中的话语权也被这些没有太多营养的帖子所占据。真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢制作游戏，搞Data Mining的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。 前面说了这么多，本文主要关注奇异值的一些特性，另外还会稍稍提及奇异值的计算，不过本文不准备在如何计算奇异值上展开太多。另外，本文里面有部分不算太深的线性代数的知识，如果完全忘记了线性代数，看本文可能会有些困难。 一、奇异值与特征值基础知识： 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧：

奇异值分解及其应用

奇异值分解及其应用 This model paper was revised by the Standardization Office on December 10, 2020

PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing） 奇异值与特征值基础知识 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。比如说下面的一个矩阵： 它其实对应的线性变换是下面的形式：

矩阵的奇异值分解及其应用

矩阵的奇异值分解（SVD）及其应用 版权声明： 本文由LeftNotEasy发布于https://www.doczj.com/doc/b115919502.html,, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@https://www.doczj.com/doc/b115919502.html, 前言： 上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Sem antic Indexing） 另外在这里抱怨一下，之前在百度里面搜索过SVD，出来的结果都是俄罗斯的一种狙击枪（AK47同时代的），是因为穿越火线这个游戏里面有一把狙击枪叫做SVD，而在Google上面搜索的时候，出来的都是奇异值分解（英文资料为主）。想玩玩战争游戏，玩玩COD不是非常好吗，玩山寨的CS有神马意思啊。国内的网页中的话语权也被这些没有太多营养的帖子所占据。真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢制作游戏，搞Data Mining的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。 前面说了这么多，本文主要关注奇异值的一些特性，另外还会稍稍提及奇异值的计算，不过本文不准备在如何计算奇异值上展开太多。另外，本文里面有部分不算太深的线性代数的知识，如果完全忘记了线性代数，看本文可能会有些困难。 一、奇异值与特征值基础知识： 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 1）特征值： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式：

矩阵的奇异值分解

§2 矩阵的奇异值分解 定义 设A 是秩为r 的m n ?复矩阵，T A A 的特征值为 1210r r n λλλ>λλ+≥≥ ≥===. 则称i σ=(1,2, ,)i n =为A 的奇异值. 易见，零矩阵的奇异值都是零，矩阵A 的奇异值的个数等于A 的列数，A 的非零奇异值的个数等于其秩. 矩阵的奇异值具有如下性质： （1）A 为正规矩阵时，A 的奇异值是A 的特征值的模； （2）A 为半正定的Hermite 矩阵时，A 的奇异值是A 的特征值； （3）若存在酉矩阵,m m n n ??∈∈U V C C ，矩阵m n ?∈B C ，使=UAV B ，则称A 和B 酉等价.酉等价的矩阵A 和B 有相同的奇异值. 奇异值分解定理 设A 是秩为r (0)r >的m n ?复矩阵，则存在m 阶酉矩阵U 与n 阶酉矩阵V ，使得 H ?? ==?? ?? O U AV O O ∑?. ① 其中12diag(,,,)r σσσ=∑，i σ(1,2,,)i r =为矩阵A 的全部非零奇异值. 证明 设Hermite 矩阵H A A 的n 个特征值按大小排列为 1210r r n λλλ>λλ+≥≥ ≥===. 则存在n 阶酉矩阵V ，使得 1 2 H H ()n λλ???? ??==??? ??? ??? ? O V A A V O O ∑. ②

将V 分块为 12()=V V V ， 其中1V ，2V 分别是V 的前r 列与后n r -列. 并改写②式为 2 H ??=? ??? O A AV V O O ∑. 则有 H 2H 112==A AV V A AV O ， ∑. ③ 由③的第一式可得 H H 2H 1111()()r ==V A AV AV AV E ， 或者∑∑∑. 由③的第二式可得 H 222()() ==AV AV O AV O 或者. 令111-=U AV ∑，则H 11r =U U E ，即1U 的r 个列是两两正交的单位向量.记作112(,,,)r =U u u u ， 因此可将12,,,r u u u 扩充成m C 的标准正交基， 记增添的向量为1, ,r m +u u ，并构造矩阵21(, ,)r m +=U u u ，则 12121(,)(,, ,,, ,)r r m +==U U U u u u u u 是m 阶酉矩阵,且有 H H 1121 r ==U U E U U O ，. 于是可得 H H H 1 121H 2()()????===???? ???? O U U AV U AV AV U O O O U ，，∑∑. 由①式可得 H H H H 111222r r r σσσ??==+++???? O A U V u v u v u v O O ∑. ④ 称④式为矩阵A 的奇异值分解. 值得注意的是：在奇异值分解中121,, ,,, ,r r m +u u u u u 是H AA 的特征 向量，而V 的列向量是H A A 的特征向量，并且H AA 与H A A 的非零特征值

奇异值分解及其应用

PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing） 奇异值与特征值基础知识 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 特征值

如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。比如说下面的一个矩阵： 它其实对应的线性变换是下面的形式： 因为这个矩阵M乘以一个向量(x,y)的结果是：

矩阵的奇异值分解及数值实现

矩阵的奇异值分解及数值实现 1.引言 矩阵的奇异值分解是数学研究中一种重要的方法, 除了其理论价值外,在工程领域中的应用也很普遍。例如: 在最优化问题、特征值问题、广义逆矩阵计算、高质量的统计计算、信号和图像处理、系统辨识、滤波器设计、谱估计、时间序列分析、控制理论和酉不变范数理论等领域, 奇异值分解都占有极其重要的作用同时它在求线性方程组的数组时也经常使用。它的核心在于在求出矩阵的有效秩的同时不改变矩阵的有关度量特性, 这对统计和检测数据的处理有很重要的作用。但矩阵奇异值分解的严重不足之处在于速度慢、计算量和存储量相当大, 并且到现在仍然没有计算矩阵的奇异值分解的快速算法。因此研究奇异值分解的快速算法,在理论上和工程实际中都有重要意义。 2.矩阵的奇异值分解 在数值分析中,矩阵的奇异值分解具有相当重要的作用, 因此在求矩阵的奇异值分解时, 必须掌握矩阵的奇异值分解的理论及相关概念。 2.1 矩阵的奇异值相关定义 定义2.1.1对于任一个mn阶复(实)矩阵A,设AH(AT)为A的共轭转置矩阵，则AHA的n个特征值的非负平方根称为A的奇异值,也就是A共有n个奇异值，且全部》0。AHA是一个半正定矩

阵,所以它的特征值》0。 设A?HYCmn(r>0),AHA的特征值 为？％d1>?%d夢…》?%dr>?%dr+1=- =?%dn=0则 称？％li=(i=1,2,…,n)为A的奇异值。 从定义可以看出以下性质: (1)mn 矩阵的奇异值的个数等于列数; (2)AHA和AAH的非零特征值相同,A的非零奇异值的个数等 于r?%ZnkA。 定义2。1。2设A为复数域C上的n阶矩阵,如果存在 数？％d?HY(和非零的n维向量x,使得Ax=?%dx就称？％d是矩阵A 的特征值,x是A的属于(或对应于)特征值？％d的特征向量。 定义2。1。3 设mn矩阵A?HYCmn,r?%ZnkA=r(r>0),则AHA 和AAH的特征值都是非负实数。 3.矩阵奇异值分解的性质 既然矩阵奇异值分解在计算中有如此重要的作用, 当然它就具有一些重要的性质, 并且这些性质的应用也相当广泛。 性质3.1 A的奇异值由A惟一确定，但酉矩阵U和V不惟一，故矩阵A的奇异值分解一般不惟一。 性质 3.2 奇异值分解可以计算出矩阵的条件数。 设A?HYCmn且存在可逆矩阵P使得 P- 1AP=di?%Zg(?%d1 …,？％dn),则称？UP-1?U|| PII 为矩阵A关于特征值问题的条件数, 记为k(P) 。

矩阵的奇异值分解在数字图像处理的应用

矩阵的奇异值分解 在数字图像处理的应用浅析 学院：··· 专业：·· 姓名：·· 学号：·· 2011年11月6日

目录 一、绪论 ................................................................................................................................. - 1 - 二、数字图像处理简介 ............................................................................................................. - 2 - 三、矩阵的奇异值分解原理 ..................................................................................................... - 4 - 3.1 矩阵的奇异值 ............................................................................................................. - 4 - 3.2 矩阵的奇异值分解（SVD） ....................................................................................... - 4 - 四、奇异值分解的图像性质 ..................................................................................................... - 5 - 五、图像的奇异值分解压缩方法 ............................................................................................. - 7 - 5.1 奇异值分解压缩原理分析 ......................................................................................... - 7 - 5.2 奇异值分解压缩应用过程 ......................................................................................... - 8 - 六、小结 ................................................................................................................................. - 9 -