1.定义：
设有随机过程{},n X n T ∈若对任意的整数n T ∈和任意的121,,...,n i i i I +∈,条件概率满足()()111111,...,n n n n n n n n p x i x i x i p x i x i ++++======则称其为马尔科夫链。 2.马尔科夫链的统计特性完全有条件概率()11n n n n p x i x i ++==决定。 3.一步转移概率
称条件概率()()
1p x
j
x i n ij n n p ==+=为马尔科夫链{},n X n T ∈在时刻n 的一步转
移概率。,i j I ∈,若()ij p n 与n 无关，则称马尔科夫链为齐次的。
();0;1;,ij ij ij ij j I
p n p p p j i I ∈=>==∈∑
4.n 步转移概率
称()
()n p x j x i m m n ij
p ==+=,i j I ∈0,1m n >=>=为马尔科夫链{},n X n T ∈的n
步转移概率。()
()
0;1;,n n ij
ij
j I
p p j i I ∈>==∈∑
5.n 步转移矩阵。 ()
()
()
n n ij
P p =；()
()()10
11;0;;;ij ij
ij i p p P P j p i j
=?=?≠==?
6.()
n p ij
具有如下性质：
设{},n X n T ∈为马尔科夫链，则对任意整数n>=0,1= () ()()11112........n n i k I k I l n l n p p p p p p ij ik kj ik k k I k k j --∈∈-=∑∈= ∑∑ ； () ()1n n n P P PP -== 7初始概率：()0i p p X i == 8.初始概率向量：()()120,....T P p p = 9.初始分布：{},i p i I ∈ 10绝对概率：()()j n p n p X j == 11绝对概率向量：()()()()12,....T P n p n p n = 12绝对分布：(){} ,j p n j I ∈ 13性质如下：()()()()10; n T T T P n P n P P P =-=()() ()1;n j i ij i ij i I i I p n p p p n p ∈∈==-∑∑ 14马氏链的有限维分布： 设{},n X n T ∈为马氏链，则对任意的12,,...,;1n i i i I n ∈≤有 {}11....11,....,n n i I p p p i ii i i n n p X i X i ∈-===∑完全有初始概率和一步转移概率决定。 15状态i 的周期d 【决定状态是否为周期的】 ()() {} ..:0,0n ii d d i G C D n n p ==≤>； 如果d>1,则称状态为周期的； 如果d=1则其为非周期的。 16首达概率： () ( ),11,/,1n i j m v j m n m f p X v n X j X i n + ≠+=≤≤- ==≤为质点有i 出发，经过n 步首次到达j 的概率，称为首达概率。 记()1 n ij ij n f f =∞ =∑；规定()0 0ij f =为质点有i 出发，经过有限步到达j 的概率。 【决定是否为常返的】 若ii f =1，则称状态i 为常反的；常返的充要条件()0 n ii n p =∞ =∞∑；当i 为常反时，返回i 的次数是无限多次。 若ii f <1,则称状态i 为非常反的（瞬时状态）。 ()0 1 1n ii ii n p f ∞ == -∑；当i 为非常反时，返回i 的次数只能是有限多次。若状态i 为非常反的，则以概率1ii f -不再返回到i.; 17平均首次返回时间：【决定是为正还是零】 对于常返态i,() { } ,1n ii f n ≤构成一概率分布，此分布的期望值() 1 n nf i ii n μ=∞=∑表示为由i 出发再返回到i 的平均返回时间。 若i μ<∞,则称常返态i 为正常返的。若i μ=∞则称常返态i 为零常返的。非周期的正常返态称为遍历状态。 18()() ,n n p f ij ij 关系 对于任意状态i,j 及1n ≤<∞有() ()()()() 10 n n k n k n k k n p f p f p ij ij jj ij j k j k -=-=∑∑==； ()()()()11 n k n k n n f p f p ij ij ij jj k --=-∑= ()()()()()()()()()122 1;;33122f p f p f p ij ij ij ij ij jj f p f p f p ij ij ij jj ij jj ==-=-- () ( ) 1n n P P P -=；() {}(){} ..:0,0..:0,0n n ii ii G C D n n p G C D n n f ≤>=≤> 19平均次数： ()1 n n jj p =∞ ∑表示有j 出发再返回j 的平均次数。 当j 是常返态时，返回的次数是无限多次。 当j 为非常反时，返回j 的次数只能是有限多次。 20超限概率 ()()()01/n i n i n m n m g p ij n X j X i p n X j p X j ∞∞===?? ======?? ?? 有无限多个使有无限多个使 对任意状态i 有,0f j ij g ij j ??=???如是常返 如非常返 ， 状态i 常返当且仅当1ii g =状态i 非常返当且仅当0ii g = 21. 设i 常返且有周期d,则()lim nd d p ii n i μ= →∞ ，其中i μ为i 的平均返回时间。当i μ=∞时， 0i d μ= 设i 常返则若i 零常返()lim 0nd p ii n ?=→∞ ；若i 遍历()1lim 0nd p ii n i μ? =>→∞ 22状态的可达与互通： 状态i 可达状态j,i j →：存在0n >使() 0n ij p >； 状态i 与状态j 互通，i j ?：i jandi j →← 可达与互通都具有传递性：即：,,i j j k i k i j j k i k →→→???则；则 如果i j ?则：ij 同为常返或非常返，如为常返，则同时为正常返或零常返；两者具有相同的周期。互通关系的状态为同一类型。 23状态空间的分解： 状态空间I 的子集C 称为闭集{闭集是不可约的【不可约的充要条件对,i k C ∈都有 ()0n p ik >，n>0】，闭集的充要条件：;i C k C ∈?都有()0n p ik =，n>0。} 如果：1ii p =则称状态i 为吸收的，等价于单点集{}i 为闭集。一个吸收状态构成的闭集是最小的；整个状态空间构成的闭集是最大的闭集；状态空间I 中所有常返态组成一闭集C. 不可约的马尔科夫链() ,m ,P n m n ??≤中无零元?任何两个状态都互通?没有常返 状态或没有非常返状态 任一马尔科夫链的状态空间I ，可唯一的分解成有限个或可列个互不相交的子集 12,,...D C C 之和，使得：每一个n C 是常返态组成的不可约闭集；n C 中的状态同类型，或全 是正常返或全是零常返，它们有相同的周期，1ik f =，,n i k C ∈；D 是全体非常返态组成，自n C 中的状态不能达到D 中的状态。12....n I D C C C = 24分解定理说明： 状态分为非常返态D 与常返态C ，C 又可按互通关系分为有限个互不相交的基本常返闭集12,...C C 从D 出发，或一直停留在D 中，或在某一时刻进入i C ，一旦进入。永不离开。 从某一i C 出发：停留在这一常返闭集中。 25不可约马尔科夫链的分解： 周期为d 的不可约马尔科夫链，其状态空间C 可唯一的分解为d 个互不相交的子集之和即1 ;,d r r s r C G G G r s φ-== =≠ 且使得从r G 中任意状态出发经一步转移必进入1r G +中， 0d G G =，任意取定一状态i ，对每一0,1,...,1r d =-，定义集 ( ) { } :,0nd r r ij G j n p +=≤>对某个0。马氏链如果其状态空间不可约，则称其不可约的。 如果只在0，d,2d...上考虑{}n X ，记得一新马氏链{}nd X ，其转移矩阵() ( ) ( )d d ij P p =。 对于新链，每一r G 是不可约闭集且r G 中的状态是非周期的。 如果原链常返，则新链宜常返； 26有限马氏链的性质 不可能全是非常返态 没有零常返态 必有正常返态 不可约的有限马氏链只有正常返态 27渐进性质 如j 非常返或零常返则() lim 0n p ij n =→∞ i I ?∈ 有限状态的马氏链不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必是正常返。 如果马氏链有一个零常返态，则必有无限多个零常返态。 如果j 正常返，周期为d 对任意的i 及01r d ≤≤-有 ()() ()( ) lim ,ij md r ij ij m j nd r p ij n d f r f r f μ∞ +=+→∞==∑ 设不可约、正常返、周期d 的马氏链，其状态空间为C ，则对一切 i,j C ∈()s lim ;i.0;j j nd p ij n d fouze μ→∞ ??=??? 同属于子集G 如果j 为遍历的，d=1: () ()()() lim 1 0,0ij md ij ij m j n p ij n f f f μ∞ =→∞==∑ ;() ( ) 1 lim 1 m ij m j n p ij n f μ∞ =→∞ = ∑ 对任意状态i,j ()0,j 1lim ,1n k f p ij ij n j n k j μ =∑→∞=?????非常返或零常返 正常返 如{}n X 不可约、常返，则对任意状态i,j ()1lim 11 = j n k p ij n n k μ∑→∞= 28平稳分布 设{},0n X n ≤为齐次马尔科夫链，状态空间为I ，转移概率为ij p 。 概率分布{} ,j j I π∈为马尔科夫链平稳分布,他满足： ,1;0j i i j i I j j j I p ππππ∈∈?=??=≤??∑∑注：若初始概率分布为平稳分布，则()()1...j j j p p p n ===；平稳 分布的矩阵形式() () () ()().n n n j ij P P p ππππ=== 不可约非周期马氏链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 1,j j I μ??∈ ? ??? 有限状态的不可约非周期马氏链必存在平稳分布； 不可约马氏链的所有状态是非常返或零常返，则不存在平稳分布。 {},j j I π ∈为不可约非周期马尔科夫链平稳分布,则()lim 1 =j j p j n n πμ →∞= 对于马氏链： ?= 平稳分布不存在Cφ 平稳分布唯一存在?只有一个基本正常返闭集C C 平稳分布有多个?多个不可约的常返闭集 i
相关主题
文本预览