第十三章 卡尔曼滤波
在本章中，我们介绍一种被称为卡尔曼滤波的十分有用的工具。卡尔曼滤波的基本思想是将动态系统表示成为一种称为状态空间表示的特殊情形。卡尔曼滤波是对系统线性投影进行序列更新的算法。除了一般的优点以外，这种算法对计算确切的有限样本预测、计算Gauss ARMA 模型的确切似然函数、估计具有时变参数的自回归模型等，都提供了重要方法。
§13.1 动态系统的状态空间表示
我们已经介绍过一些随机过程的动态表示方法，下面我们在以前的假设基础上，继续分析动态系统的表示方法。
13.1.1 继续使用的假设
假设表示时刻观测到的n 维随机向量，一类非常丰富的描述动态性的模型可以利用一些可能无法观测的被称为状态向量(state vector)的r 维向量表示，因此表示动态性的状态空间表示(state-space representation)由下列方程系统给出：
状态方程(state model) (13.1) 量测方程(observation model) (13.2)
这里，和分别是阶数为，和的参数矩阵，是的外生或者前定变量。方程(13.1)被称为状态方程(state model)，方程(13.2)被称为量测方程(observation model)，维向量和维向量都是向量白噪声，满足：
(13.3) (13.4)
这里和是和阶矩阵。假设扰动项和对于所有阶滞后都是不相关的，即对所有和，有： (13.5)
t x 是外生或者前定变量的假定意味着，在除了包含在121,,,y y y --t t 内的信息以外，t
x 没有为s t +ξ和s t +w ( ,2,1,0=s )提供任何新的信息。例如，t x 可以包括t y 的滞后值，也可以包括与τξ和τw (任意τ)不相关的变量。
方程系统中方程(13.1)至方程(13.5)可以表示有限观测值的序列},,,{21T y y y ，这时需要状态向量初始值1ξ。假设1ξ与t v 和t w 的任何实现都不相关：
0ξv =')(1
t E ，对任意T t ,,2,1 = (13.6) 0ξw =')(1
t E ，对任意T t ,,2,1 = (13.7) 状态方程(13.1)表明，t ξ可以表示成为},,,,{321t v v v ξ 的线性函数：
1122221ξF v F v F v F v ξ----+++++=t t t t t t ，T t ,,3,2 = (13.8)
因此，方程(13.6)和方程(13.3)意味着t v 与所有ξ的滞后值都是不相关的：
0ξv =')(τ
t E ，1,,2,1 --=t t τ (13.9) 类似地，可以得到：
0ξw =')(τ
t E ，T ,,2,1 =τ (13.10) 0w ξH x A w y w t ='+'+'='])([)(t t t t E E τ
，1,,2,1 --=t t τ (13.11)
0y v =')(τt E ，1,,2,1 --=t t τ (13.12)
上述系统是相当灵活的，它的一些结论也可以推广到t v 与t w 相关的系统中，而且系数矩阵),,,,(R H A Q F 也可以是时间的函数。如果我们仅仅关注到上述系统的基本形式，则下面的论述将是十分清晰的。
13.1.2 状态空间表示的例子 考虑一元)(p AR 过程：
111211)()()(++--++-++-+-=-t p t p t t t y y y y εμφμφμφμ
?
?
?≠==ττ
σεετt t E t ,0,)(2 这个)(p AR 过程可以表示成为下面的状态空间模型形式：
状态方程(p r =)
?
???????????+??????????????---???
????
?
????????=??????
????????---++---+-+00010
00010000111112
1
21
t p t t t p p p t t t y y y y y y εμμμφφφφμμμ (13.13) 量测方程：
??????
?
???????---+=+--μμμμ11]001[p t t t t y y y y (13.14) 对应地，我们指定：
??????????????---=+--μμμ11p t t t t y y y ξ，???
????
?
???
?????=-01000010000112
1 p p φφφφF ，?
???
????????=00 t t εv ，?
?
??
?
??
????
???=000000
002 σQ
这里变量和参数矩阵对应为：
t t y =y ，μ='A ，1=t x ，[]001 ='H ，0=t w ，0=R
注意到这里的状态方程只是一个一阶向量自回归方程，量测方程只是一个简单的等式。因此，我们已经看到，状态空间表示只是总结)(p AR 过程的另外一种方式。将)(p AR 过程表示成为这种方式的原因在于，这样可以获得归纳)(p AR 过程动态性的合适方式，这是我们对任何系统状态空间表示感兴趣的基本原因。
另外一个例子是，我们考虑一元)1(MA 过程：
1-++=t t t y εθεμ
对应地，它可以表示成为状态空间模型形式为： 状态方程(2=r )：
??????+???????????
?=??????+-+00100111t t t t t εεεεε
量测方程(1=n )： []???
???+=+t t t y εεθμ11
这里：
??????=-1t t t εεξ，??????=0100F ，???
???=+01t t εv ，??
?
???=0002σQ t t y =y ，μ='A ，1=t x ，[]θ1='H ，0=t w ，0=R 将给定系统表示成为状态方程的方式有多种。例如，可以将)1(MA 过程表示成为下面类
型的状态空间模型：
状态方程(2=r )：
??????+??????+??????=??????+++-++111110010t t t t t t t t εθεεθεθεεθεθε
量测方程(1=n )：
[]??
?
???++=-t t t t y εθεθεμ101 显然上面的)1(MA 过程、两种状态空间模型表示都是具有相同特征的过程表示，这三种表示都具有相同的预测和相同的似然函数值，也就无须讨论哪一种方式更为合适。
更一般地，一元),(q p ARMA 模型可以通过定义}1,max {+≡q p r 进行状态空间模型表示：
1
122112211)
()()(+-------+++++-++-+-=-r t r t t t r t r t t t y y y y εθεθεθεμφμφμφμ (13.15)
这里的参数约束是：当p j >时，0=j φ；当q j >时，0=j θ。
考虑下列状态空间模型表示为： 状态方程(}1,max {+≡q p r )：
?
????
?
??????+???
??
??
?
???
??
???=+-+0001000010000111211
t t r r t εφφφφξξ (13.16) 量测方程(1=n )：
[]t r t y ξ1211-+=θθθμ (13.15)
为了验证方程(13.16)和方程(13.17)表示了系统与方程(13.15)一致，假设t j ξ表示向量t
ξ的第j 个元素，因此状态方程的第2行表示：
t t 112ξξ=+
第3行表明： 11213-+==t t t ξξξ 更一般地，第j 行表示：
1111+-+=t j t j L ξξ
因此状态方程的第1行意味着：
1,1123211,1)(+-++++++=t t r r t L L L εξφφφφξ
或者：
11,1221)1(++=----t t r r L L L εξφφφ (13.18)
量测方程表明：
t r r t L L L y ,111221)1(ξ--+++++=θθθμ (13.19) 在方程(13.19)两端乘以算子多项式)1(221r r L L L φφφ---- ，并利用方程(13.18)，可以得到：
t
r r t r r L
L L y L L L εθθθμφφφ)1()()1(1
1221221--++++=
-----
这就是原来的),(q p ARMA 模型，即方程(13.15)。
状态空间形式是描述随机过程的和，或者测量误差结果的模型的非常合适的方式。例如，Fama 和Gibbons (1982)开始着手研究事前实际利率(ex ante real interest rate )行为 (事前实际利率是名义利率t i 减去预期通货膨胀率e t π)。由于经济计量学家通过证券市场推断的预期通货膨胀率的数据，因此这个变量不是可以观测的。因此在这种应用中状态变量是一个标量，即：μπξ--=e t t t i ，这里μ表示平均事前实际利率。Fama 和Gibbons (1982)假设事前实际利率服从)1(AR 过程：
11+++=t t t v ξφξ (13.20)
经济计量学家可以观测到事后实际利率(名义利率t i 减去真实通货膨胀率t π)，这可以表示为：
t t t t e t e t t t t w i i ++=-+-=-ξμππππ)()( (13.21)
这里)(t e t t w ππ-≡是人们预测通货膨胀率时的误差。如果人们以最优的方式形成通货膨胀率预测，则t w 与自身的滞后值和事前实际利率是无关的。因此方程(13.20)和方程(13.21)是状态空间模型，这里1==n r ，φ=F ，t t t i y π-=，μ='t x A ，1=H ，t e t t ππ-=w 。
状态空间模型框架的另外一个有趣例子是Stock 和Waston (1991)的研究，他们假设存在表示经济周期状态的不可观测变量t C 。假设),,,(21nt t t y y y 是n 个可以观测的宏观经济变量，每个都受到经济周期的影响，并且具有与i j y jt ≠,中移动不相关的奇异成分(表示为
t i χ)。如果经济周期和每个奇异成分可以利用一元)1(AR 过程描述，则]1)1[(?+n 维状态向
量是：
?????
??
?
????????=t n t t t t C χχχ 21ξ (13.22)
该状态变量具有的状态方程为： ????????????????+????????????????????????????????=????????????????++++++++112111,21112111000000000000t n t t t C t n t t t C C C C t n t t t v v v v C C χχχφφφφχχχ (13.23) 量测方程为： ??
?
??
?
?
?
????????????????????????+????????????????=????????????????t n t t t n
n t n t t t C y y y y χχχγγγγμμμμ 21321321321100000010001 (13.24)
因此，参数i γ描述第i 个序列对经济周期反应的敏感性。为了出现和描述p 阶动态性，
Stock 和Waston (1991)将方程(13.22)中的t C 和t i χ替换为)1(?p 阶向量),,,(11'+--p t t t C C C 和),,,(11'+--p t i t i t i χχχ ，这时t ξ是]1)1[(?+p n 维向量。这时方程(13.23)中的标量i φ需要利用)(p p ?阶矩i F 阵替换，该矩阵结构与方程(13.13)类似。还需要在量测方程(13.24)中H '的列中加入阶数为)]1(([-?p n 的零子块。
§13.2 卡尔曼滤波的推导
卡尔曼滤波是估计状态空间模型的重要方法，也是应用广泛的参数估计方法。下面我们介绍卡尔曼滤波的有关公式。
13.2.1 卡尔曼滤波的回顾 Overview of the Kalman Filter
考虑上述讨论的状态空间模型的一般形式，为了方便，我们将使用的一些关键方程在这里重复表示如下： )
1()
1()()1(1
1????+=++r r r r r t t t v ξF
ξ
(1)()(1)()(1)(1)
t t t
n n k k n r r n ''=++??????t y A x H ξw
?????≠=='?τ
ττ
t t E r r t ,,)(0v v Q ， ?????≠=='?τ
ττt t E n n t ,,)(0w w R 假设我们已经得到了观测值T y y y ,,,21 ，T x x x ,,,21 ；一个最终目标是基于这些观
测值估计系统的所有未知参数。但是，目前我们暂时假设参数矩阵),,,,(R H A Q F 的特定数值都是确定性已知的。如何估计这些参数在后面的内容中讨论。
卡尔曼滤波具有多种应用。它的基本动因是作为一种计算状态向量基于时刻t 观测到的数据进行最小二乘预测的算法。
)|(??1|1t t t t E Υξξ++≡ (13.25)
这里：
1111
{,,,,,,,}t t t t t --'''''''Y =y y y x x x 这里)|(?1t t E Υξ+表示1+t ξ基于t
Υ和常数的线性投影。卡尔曼滤波是采用叠代算法计算这些预测的，按顺序分别产生0|1?ξ，1|2?ξ，……，1|?-T T ξ。与这些预测有关的是均方误差矩
阵，可以由一个r r ?阶矩阵表示：
])?)(?([|11|11|1'--≡+++++t t t t t t t t E ξξξξP (13.26)
13.2.2 叠代的开始
叠代首先从0|1?ξ开始，0
|1?ξ表示在没有y 和x 观测值的基础上对1ξ的预测。这就是1ξ的无条件均值：
)(?1
0|1ξξE = 与此相关的MSE 为：
])()((([1111|1'--=ξξξξP E E E t
例如，对)1(MA 系统的状态空间表示，状态向量为：
??
????=-1t t t εεξ
这时有：
?
?
????=??????=-00?10|1t t E εεξ []?????
?=???? ????????=220101|100σσεεεεE t P ，)(2
2t E εσ= 更一般地，如果矩阵F 的特征根都落在单位圆内，则状态方程表示的过程}{t ξ是协方
差平稳的。因此，对状态方程两端取无条件数学期望，可以得到：
)()(1t t E E ξF ξ=+
由于过程}{t ξ是协方差平稳的，则有：
0ξF I =-)()(t r E
由于矩阵F 没有单位根，因此矩阵)(F I -r 是非奇异的，因此这个方程存在唯一零解，也就是有：0ξ=)(t E 。则}{t ξ的无条件方差也可以类似地得到，取矩阵的转置并取数学期
望，可以得到(由于存在正交性，下面的交叉项的数学期望为零)：
)()()])([()(111111++++++'+''='+''+='t t t t t t t t t t E E E E v v F ξξF v F ξv ξF ξξ
假设矩阵Σ表示}{t ξ的协方差矩阵，则有：
Q F ΣF Σ+'=
这个方程的解可以表示为：
)vec()]([)vec(12Q F F I Σ-?-=r
因此，一般情况下，如果矩阵F 的特征根都落在单位圆内，因此卡尔曼滤波的叠代可以
从0ξ=0
|1?和0|1P 开始，这里的0|1P 表示成为列向量可以从下式得到： )vec()]([)vec(10|12Q F F I P -?-=r
如果矩阵F 的部分特征根落在单位圆上或者单位圆外，或者1ξ无法从状态方程中获得，
这时0
|1?ξ可以利用分析者对初始1ξ的最优猜测来替代，而0|1P 是归纳这种预测置信区间的正定矩阵。0|1P 中对角线上比较大的数值对应着对1ξ真实取值较高的非确定性。
13.2.3 预测t y
给定开始的初值0|1?ξ和0|1P ，下一步是计算下一个时期类似的数量1|2?ξ和1|2P 。由于计算对T t ,,3,2 =都具有相同的形式，因此我们讨论在时刻t 的一般形式。给定1|?-t t ξ和1|-t t P ，目的是计算t t |1?+ξ和t t |1+P 。
首先，我们需要注意到，我们假设除了包含在1-Y t 内的信息以外，t x 不再包含关于t ξ的信息，因此有：
1|11?)|(?),|(?---==t t t t t t t E E ξΥξΥx ξ
下面我们考虑对t y 的预测：
),|(??1
1|--≡t t t t t E Υx y y 注意到根据状态方程，可以得到：
t
t t t t E ξH x A ξx y '+'=),|(? 因此，根据投影的叠代定律，有：
1|11|?),|(??---'+'='+'=t t t t t t t t t E ξH x A Υx ξH x A y
这个预测的误差为：
t t t t t t t t t t t t t w ξξH ξH x A w ξH x A y y +-'='-'-+'+'=----)?(??1|1|1|
因此预测的MSE 为：
][])?()?([])?)(?[(1|1|1|1|t
t t t t t t t t t t t t t E E E w w H ξξξξH y y y y '+'--'='------ 由于0ξξw ='--])?([1
|t t t t E ，因此上式中交叉项为零。这个正交条件需要根据假设和投影性质加以验证。这时可以将MSE 表示为：
R H P H y y y
y +'='-----]])?)(?[(1|1|1|t t t t t t t t E 13.2.4 关于t ξ推断的更新
给定开始的初值0|1?ξ和0|1P ，下一步是计算下一个时期类似的数量1
|2?ξ和1|2P 。由于计算对
13.2.5 产生1+t ξ的预测
给定开始的初值0|1?ξ和0|1P ，下一步是计算下一个时期类似的数量1
|2?ξ和1|2P 。由于计算对
13.2.6 归纳和注释
给定开始的初值0|1?ξ和0|1P ，下一步是计算下一个时期类似的数量1
|2?ξ和1|2P 。由于计算对
§13.3 基于状态空间表示的预测 Forecasts Based on the State-Space Representation §13.4 参数的极大似然估计 Maximum Likelihood Estimation of Parameters §13.5 稳态卡尔曼滤波 The Steady-State Kalman Filter 13.5.1 卡尔曼滤波的收敛性 §13.6 光滑 Smoothing
§13.7 利用卡尔曼滤波的统计推断 Statistical Inference with Kalman Filter 我们已经介绍过一些随机过程的动态表示方法，下面我们在以前的假设基础上，继续分析动
§13.8 时变参数 Time Varying Parameter
我们已经介绍过一些随机过程的动态表示方法，下面我们在以前的假设基础上，继续分析动
青海民族大学 毕业论文 论文题目：时间序列分析方法及应用—以青海省GDP 增长为例研究 学生姓名：学号： 指导教师：职称： 院系：数学与统计学院 专业班级：统计学 二○一五年月日
时间序列分析方法及应用——以青海省GDP增长为例研究 摘要: 人们的一切活动，其根本目的无不在于认识和改造世界，让自己的生活过得更理想。时间序列是指同一空间、不同时间点上某一现象的相同统计指标的不同数值，按时间先后顺序形成的一组动态序列。时间序列分析则是指通过时间序列的历史数据，揭示现象随时间变化的规律，并基于这种规律，对未来此现象做较为有效的延伸及预测。时间序列分析不仅可以从数量上揭示某一现象的发展变化规律或从动态的角度刻画某一现象与其他现象之间的内在数量关系及其变化规律性，达到认识客观世界的目的。而且运用时间序列模型还可以预测和控制现象的未来行为，由于时间序列数据之间的相关关系（即历史数据对未来的发展有一定的影响），修正或重新设计系统以达到利用和改造客观的目的。从统计学的内容来看，统计所研究和处理的是一批有“实际背景”的数据，尽管数据的背景和类型各不相同，但从数据的形成来看，无非是横截面数据和纵截面数据两类。本论文主要研究纵截面数据，它反映的是现象以及现象之间的关系发展变化规律性。在取得一组观测数据之后，首先要判断它的平稳性，通过平稳性检验，可以把时间序列分为平稳序列和非平稳序列两大类。主要采用的统计方法是时间序列分析，主要运用的数学软件为Eviews软件。大学四年在青海省上学，基于此，对青海省的GDP十分关注。本论文关于对1978年到2014年以来的中国的青海省GDP（总共37个数据）进行时间序列分析，并且对未来的三年中国的青海省GDP进行较为有效的预测。希望对青海省的发展有所贡献。 关键词: 青海省GDP 时间序列白噪声预测
一个应用实例详解卡尔曼滤波及其算法实现 标签：算法filtermatlabalgorithm优化工作 2012-05-14 10:48 75511人阅读评论(25) 收藏举报分类： 数据结构及其算法（4） 为了可以更加容易的理解卡尔曼滤波器，这里会应用形象的描述方法来讲解，而不是像大多数参考书那样罗列一大堆的数学公式和数学符号。但是，他的5条公式是其核心内容。结合现代的计算机，其实卡尔曼的程序相当的简单，只要你理解了他的那5条公式。 在介绍他的5条公式之前，先让我们来根据下面的例子一步一步的探索。 假设我们要研究的对象是一个房间的温度。根据你的经验判断，这个房间的温度是恒定的，也就是下一分钟的温度等于现在这一分钟的温度（假设我们用一分钟来做时间单位）。假设你对你的经验不是100%的相信，可能会有上下偏差几度。 我们把这些偏差看成是高斯白噪声（White Gaussian Noise），也就是这些偏差跟前后时间是没有关系的而且符合高斯分配（Gaussian Distribution）。另外，我们在房间里放一个温度计，但是这个温度计也不准确的，测量值会比实际值偏差。我们也把这些偏差看成是高斯白噪声。 好了，现在对于某一分钟我们有两个有关于该房间的温度值：你根据经验的预测值（系统的预测值）和温度计的值（测量值）。下面我们要用这两个值结合他们各自的噪声来估算出房间的实际温度值。 假如我们要估算k时刻的是实际温度值。首先你要根据k-1时刻的温度值，来预测k时刻的温度。因为你相信温度是恒定的，所以你会得到k时刻的温度预测值是跟k-1时刻一样的，假设是23度，同时该值的高斯噪声的偏差是5度（5是这样得到的：如果k-1时刻估算出的最优温度值的偏差是3，你对自己预测的不确定度是4度，他们平方相加再开方，就是5）。然后，你从温度计那里得到了k时刻的温度值，假设是25度，同时该值的偏差是4度。 由于我们用于估算k时刻的实际温度有两个温度值，分别是23 度和25度。究竟实际温度是多少呢？相信自己还是相信温度计呢？究竟相信谁多一点，我们可以用他们的covariance（协方差）来判断。因为Kg^2=5^2/(5^2+4^2)，所以Kg=0.78，我们可以估算出k时刻的实际温度值是：23+0.78*(25-23)=24.56度。 可以看出，因为温度计的covariance比较小（比较相信温度计），所以估算出的最优温度值偏向温度计的值。 现在我们已经得到k时刻的最优温度值了，下一步就是要进入k+1时刻，进行新的最优估算。到现在为止，好像还没看到什么自回归的东西出现。对了，在进入k+1时刻之前，我们还要算出k时刻那个最优值（24.56 度）的偏差。算法如下：((1-Kg)*5^2)^0.5=2.35。这里的5就是上面的k时刻你预测的那个23度
《时间序列分析》案例案例名 称：时间序列分析在经济预测中的应用内容要 求：确定性与随机性时间序列之比较设计作 者：许启发，王艳明 设计时 间：2003年8月
案例四：时间序列分析在经济预测中的应用 一、案例简介 为了配合《统计学》课程时间序列分析部分的课堂教学，提高学生运用统计分析方法解决实际问题的能力，我们组织了一次案例教学，其内容是：对烟台市的未来经济发展状况作一预测分析，数据取烟台市1949—1998年国内生产总值（GDP）的年度数据，并以此为依据建立预测模型，对1999年和2000年的国内生产总值作出预测并检验其预测效果。国内生产总值是指一个国家或地区所有常住单位在一定时期内生产活动的最终成果，是反映国民经济活动最重要的经济指标之一，科学地预测该指标，对制定经济发展目标以及与之相配套的方针政策具有重要的理论与实际意义。在组织实施时，我们首先将数据资料印发给学生，并讲清本案例的教学目的与要求，明确案例所涉及的教学内容；然后给学生一段时间，由学生根据资料，运用不同的方法进行预测分析，并确定具体的讨论日期；在课堂讨论时让学生自由发言，阐述自己的观点；最后，由主持教师作点评发言，取得了良好的教学效果。 经济预测是研究客观经济过程未来一定时期的发展变化趋势，其目的在于通过对客观经济现象历史规律的探讨和现状的研究，求得对未来经济活动的了解，以确定社会经济活动的发展水平，为决策提供依据。 时间序列分析预测法，首先将预测目标的历史数据按照时间的先后顺序排列，然后分析它随时间的变化趋势及自身的统计规律，外推得到预测目标的未来取值。它与回归分析预测法的最大区别在于：该方法可以根据单个变量的取值对其自身的变动进行预测，无须添加任何的辅助信息。 本案例的最大特色在于：它汇集了统计学原理中的时间序列分析这一章节的所有知识点，通过本案例的教学，可以把不同的时间序列分析方法进行综合的比较，便于学生更好地掌握本章的内容。 二、案例的目的与要求 （一）教学目的 1．通过本案例的教学，使学生认识到时间序列分析方法在实际工作中应用的必要性和可能性； 2．本案例将时间序列分析中的水平指标、速度指标、长期趋势的测定等内容有机的结合在一起，以巩固学生所学的课本知识，深化学生对课本知识的理解； 3．本案例是对烟台市的国内生产总值数据进行预测，通过对实证结果的比较和分析，使学生认识到对同一问题的解决，可以采取不同的方法，根据约束条件，从中选择一种合适的预测方法； 4．通过本案例的教学，让学生掌握EXCEL软件在时间序列分析中的应用，对统计、计量分析软件SPSS或Eviews等有一个初步的了解； 5．通过本案例的教学，有助于提高学生运用所学知识和方法分析解决问题的能力、合作共事的能力和沟通交流的能力。 （二）教学要求 1．学生必须具备相应的时间序列分析的基本理论知识； 2．学生必须熟悉相应的预测方法和具备一定的数据处理能力； 3．学生以主角身份积极地参与到案例分析中来，主动地分析和解决案例中的问题； 4．在提出解决问题的方案之前，学生可以根据提供的样本数据，自己选择不同的统计分析方法，对这一案例进行预测，比较不同预测方法的异同，提出若干可供选择的方案； 5．学生必须提交完整的分析报告。分析报告的内容应包括：选题的目的及意义、使用数据的特征及其说明、采用的预测方法及其优劣、预测结果及其评价、有待于进一步改进的思路或需要进一步研究的问题。 三、数据搜集与处理 时间序列数据按照不同的分类标准可以划分为不同的类型，最常见的有：年度数据、季度数据、月度数据。本案例主要讨论对年度数据如何进行预测分析。考虑到案例设计时的侧重点，本案例只是对烟
2017 年秋季学期研究生课程考核 （读书报告、研究报告） 考核科目:雷达系统导论 学生所在（系）:电子与信息工程学院 学生所在学科:电子与同学工程 学生姓名: 学号: 学生类别: 考核结果阅卷人 第 1 页（共页）
几种非线性滤波算法的介绍与性能分析 作者姓名：学号： 专业院系：电信学院电子工程系 电子邮件： 摘要—非线性滤波算法在雷达目标跟踪中有着重要的应用，对雷达的跟踪性能有着至关重要的影响。好的滤波算法有利于目标航迹的建立及保持，能够得到较精确的目标位置，为发现目标后的后续工作提供可靠的数据依据。本文重点介绍了雷达数据处理中的几种非线性滤波算法：扩展卡尔曼滤波（EKF）、不敏卡尔曼滤波（UKF）、粒子滤波（PF），并且给出了一个利用这三种算法进行数据处理的一个实例，通过这个实例对比分析了这三种算法的性能以及优劣。 关键字—非线性滤波算法；扩展卡尔曼滤波；不敏卡尔曼滤波；粒子滤波； I.概述（一级表题格式） 在雷达对目标进行跟踪前要先对目标进行检测。对于满足检测条件的目标就需要进行跟踪，在跟踪的过程中可以利用新获得的数据完成对目标的进一步检测比如去除虚假目标等，同时利用跟踪获得数据可以进一步完成对目标动态特性的检测和识别。因此对目标进行准确的跟踪是雷达性能的一个重要指标。在检测到满足条件的目标后，根据目标运动状态建立目标运动模型，然后对目标跟踪算法进行设计，这是雷达目标跟踪中的核心部分。 目前主要的跟踪算法包括线性自回归滤波，两点外推滤波、维纳滤波、- αβ滤波、加权最小二乘滤波、维纳滤波和卡尔曼滤波[1]。对于线性系统而言最优滤波的方法就是卡尔曼滤波，卡尔曼滤波是线性高斯模型下的最优状态估计算法。但是实际问题中目标的运动模型往往不是线性的，因此卡尔曼滤波具有很大的局限性。目前主要用的非线性滤波算法可以分为高斯滤波和粒子滤波[2]。不敏卡尔曼滤波和扩展卡尔曼滤波就是高斯滤波中的典型代表，也是应用相对较为广泛的。粒子滤波的应用范围比高斯滤波的适用范围要广，对于系统状态非线性，观测模型非高斯等问题都有很好的适用性。本文具体分析阐述了扩展卡尔曼滤波算法，不敏卡尔曼滤波算法，粒子滤波算法，并且通过一个实例利用仿真的方法分析了这三种算法在滤波性能上的优劣，最后对这三种算法做了一定的总结。 我本科毕业设计题目为《基于历史数据的路径生成算法研究》，由于我是跨专业保研到电信学院，该课题所研究内容不属于雷达系统研究范围，是一种城市路网最快路径生成算法。 II.几种非线性滤波算法 A.扩展卡尔曼滤波 扩展卡尔曼滤波是将非线性系统转换为近似的线性系统的一种方法，其核心思想是围绕滤波值将非线性函数展开成泰勒级数并略去二阶及以上的项，得到一个近似的线性化模型，然后应用卡尔曼滤波完成状态估计。 扩展卡尔曼滤波状态空间模型： k k k w x f+ = + ) ( x 1 状态方程 k k k v x h+ =) ( z观测方程 其中(.) f和(.) h为非线性函数 在扩展卡尔曼滤波中，状态的预测以及观测值的预测由非线性函数计算得出，线性卡尔曼滤波中的状态转移矩阵A阵和观测矩阵H阵由f和h函数的雅克比矩阵代替。 对 (.) f和(.) h Taylor展开，只保留一次项有： ) ? ( ) ?( ) ( k k k k k x x A x f x f- + ≈ ) ? ( ) ?( ) ( k k k k k x x H x h x h- + ≈ 其中： k k x x k k dx df A ?= =为f对 1- k x求导的雅克比矩阵 k k x x k k dx dh H ?= =为h对 1- k x求导的雅克比矩阵 ) ?( ? 1-k k x f x=，于是可以得出： k k k k k k k w x A x f x A x+ - + ≈ + ) ? ) ?( ( 1 k k k k k k k v x H x h x H z+ - + ≈ + ) ? ) ?( ( 1 通过以上变换，将非线性问题线性化。接下来EKF 滤波过程同线性卡尔曼滤波相同，公式如下: )) | (?( ) |1 ( X?k k X f k k= + ) ( ) ( ) | ( ) ( ) |1 (P k Q k k k P k k k+ Φ' Φ = + )1 ( )1 ( ) |1 ( )1 ( )1 (S+ + + ' + + = +k R k H k k P k H k )1 ( )1 ( ) |1 ( )1 ( K1+ + ' + = +-k S k H k k P k
Kalman_Filter(float Gyro,float Accel) { Angle+=(Gyro - Q_bias) * dt; Pdot[0]=Q_angle - PP[0][1] - PP[1][0]; Pdot[1]= - PP[1][1]; Pdot[2]= - PP[1][1]; Pdot[3]=Q_gyro; PP[0][0] += Pdot[0] * dt; PP[0][1] += Pdot[1] * dt; PP[1][0] += Pdot[2] * dt; PP[1][1] += Pdot[3] * dt; Angle_err = Accel - Angle; PCt_0 = C_0 * PP[0][0]; PCt_1 = C_0 * PP[1][0]; E = R_angle + C_0 * PCt_0; K_0 = PCt_0 / E; K_1 = PCt_1 / E; t_0 = PCt_0; t_1 = C_0 * PP[0][1]; PP[0][0] -= K_0 * t_0; PP[0][1] -= K_0 * t_1; PP[1][0] -= K_1 * t_0; PP[1][1] -= K_1 * t_1; Angle += K_0 * Angle_err; Q_bias += K_1 * Angle_err; Gyro_x = Gyro - Q_bias; } 首先是卡尔曼滤波的5个方程： -=--+（1）先验估计 X k k AX k k Bu k (|1)(1|1)() -=--+（2）协方差矩阵的预测(|1)(1|1)' P k k AP k k A Q
【时间简“识”】 说明：本文摘自于经管之家(原人大经济论坛) 作者：胖胖小龟宝。原版请到经管之家(原人大经济论坛) 查看。 1.带你看看时间序列的简史 现在前面的话—— 时间序列作为一门统计学，经济学相结合的学科，在我们论坛，特别是五区计量经济学中是热门讨论话题。本月楼主推出新的系列专题——时间简“识”，旨在对时间序列方面进行知识扫盲（扫盲，仅仅扫盲而已……），同时也想借此吸引一些专业人士能够协助讨论和帮助大家解疑答惑。 在统计学的必修课里，时间序列估计是遭吐槽的重点科目了，其理论性强，虽然应用领域十分广泛，但往往在实际操作中会遇到很多“令人发指”的问题。所以本帖就从基础开始，为大家絮叨絮叨那些关于“时间”的故事！ Long long ago，有多long估计大概7000年前吧，古埃及人把尼罗河涨落的情况逐天记录下来，这一记录也就被我们称作所谓的时间序列。记录这个河流涨落有什么意义当时的人们并不是随手一记，而是对这个时间序列进行了长期的观察。结果，他们发现尼罗河的涨落非常有规律。掌握了尼罗河泛滥的规律，这帮助了古埃及对农耕和居所有了规划，使农业迅速发展，从而创建了埃及灿烂的史前文明。
好~~从上面那个故事我们看到了 1、时间序列的定义——按照时间的顺序把随机事件变化发展的过程记录下来就构成了一个时间序列。 2、时间序列分析的定义——对时间序列进行观察、研究，找寻它变化发展的规律，预测它将来的走势就是时间序列分析。 既然有了序列，那怎么拿来分析呢 时间序列分析方法分为描述性时序分析和统计时序分析。 1、描述性时序分析——通过直观的数据比较或绘图观测，寻找序列中蕴含的发展规律，这种分析方法就称为描述性时序分析 描述性时序分析方法具有操作简单、直观有效的特点，它通常是人们进行统计时序分析的第一步。 2、统计时序分析 （1）频域分析方法 原理：假设任何一种无趋势的时间序列都可以分解成若干不同频率的周期波动 发展过程： 1）早期的频域分析方法借助富里埃分析从频率的角度揭示时间序列的规律 2）后来借助了傅里叶变换，用正弦、余弦项之和来逼近某个函数 3）20世纪60年代，引入最大熵谱估计理论，进入现代谱分析阶段 特点：非常有用的动态数据分析方法，但是由于分析方法复杂，结果抽象，有一定的使用局限性 （2）时域分析方法
第十三章 卡尔曼滤波 在本章中，我们介绍一种被称为卡尔曼滤波的十分有用的工具。卡尔曼滤波的基本思想是将动态系统表示成为一种称为状态空间表示的特殊情形。卡尔曼滤波是对系统线性投影进行序列更新的算法。除了一般的优点以外，这种算法对计算确切的有限样本预测、计算Gauss ARMA 模型的确切似然函数、估计具有时变参数的自回归模型等，都提供了重要方法。 §13.1 动态系统的状态空间表示 我们已经介绍过一些随机过程的动态表示方法，下面我们在以前的假设基础上，继续分析动态系统的表示方法。 13.1.1 继续使用的假设 假设表示时刻观测到的n 维随机向量，一类非常丰富的描述动态性的模型可以利用一些可能无法观测的被称为状态向量(state vector)的r 维向量表示，因此表示动态性的状态空间表示(state-space representation)由下列方程系统给出： 状态方程(state model) (13.1) 量测方程(observation model) (13.2) 这里，和分别是阶数为，和的参数矩阵，是的外生或者前定变量。方程(13.1)被称为状态方程(state model)，方程(13.2)被称为量测方程(observation model)，维向量和维向量都是向量白噪声，满足： (13.3) (13.4) 这里和是和阶矩阵。假设扰动项和对于所有阶滞后都是不相关的，即对所有和，有： (13.5) t x 是外生或者前定变量的假定意味着，在除了包含在121,,,y y y t t 内的信息以外，t x 没有为s t ξ和s t w ( ,2,1,0 s )提供任何新的信息。例如，t x 可以包括t y 的滞后值，也可以包括与 ξ和 w (任意 )不相关的变量。 方程系统中方程(13.1)至方程(13.5)可以表示有限观测值的序列},,,{21T y y y ，这时需要状态向量初始值1ξ。假设1ξ与t v 和t w 的任何实现都不相关：
季节性时间序列分析方 法 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第七章季节性时间序列分析方法 由于季节性时间序列在经济生活中大量存在，故将季节时间序列从非平稳序列中抽出来，单独作为一章加以研究，具有较强的现实意义。本章共分四节：简单随机时间序列模型、乘积季节模型、季节型时间序列模型的建立、季节调整方法X-11程序。 本章的学习重点是季节模型的一般形式和建模。 §1 简单随机时序模型 在许多实际问题中，经济时间序列的变化包含很多明显的周期性规律。比如：建筑施工在冬季的月份当中将减少，旅游人数将在夏季达到高峰，等等，这种规律是由于季节性（seasonality）变化或周期性变化所引起的。对于这各时间数列我们可以说，变量同它上一年同一月（季度，周等）的值的关系可能比它同前一月的值的相关更密切。 一、季节性时间序列 1．含义：在一个序列中，若经过S个时间间隔后呈现出相似性，我们说该序列具有以S为周期的周期性特性。具有周期特性的序列就称为季节性时间序列，这里S为周期长度。 注：①在经济领域中，季节性的数据几乎无处不在，在许多场合，我们往往可以从直观的背景及物理变化规律得知季节性的周期，如季度数据（周期为4）、月度数据（周期为12）、周数据（周期为7）；②有的时间序列也可能包含长度不同的若干种周期，如客运量数据（S=12，S=7） 2．处理办法： （1）建立组合模型； （1）将原序列分解成S个子序列（Buys-Ballot 1847）
对于这样每一个子序列都可以给它拟合ARIMA 模型，同时认为各个序列之间是相互独立的。但是这种做法不可取，原因有二：（1）S 个子序列事实上并不相互独立，硬性划分这样的子序列不能反映序列{}t x 的总体特征；（2）子序列的划分要求原序列的样本足够大。 启发意义：如果把每一时刻的观察值与上年同期相应的观察值相减，是否能将原序列的周期性变化消除（ 或实现平稳化），在经济上，就是考查与前期相比的净增值，用数学语言来描述就是定义季节差分算子。 定义：季节差分可以表示为S t t t S t S t X X X B X W --=-=?=)1(。 二、 随机季节模型 1．含义：随机季节模型，是对季节性随机序列中不同周期的同一周期点之间的相关关系的一种拟合。 AR （1）：t t S t S t t e W B e W W =-?+=-)1(11??，可以还原为：t t S S e X B =?-)1(1?。 MA （1）：t S t S t t t e B W e e W )1(11θθ-=?-=-，可以还原为：t S t S e B X )1(1θ-=?。 2．形式：广而言之，季节型模型的ARMA 表达形式为 t S t S e B V W B U )()(= （1） 这里，?? ? ??----=----=?=qS q S S S pS P S S S t d S t B V B V B V B V B U B U B U B U X W 2212211)(1)()(平稳。 注：（1）残差t e 的内容；（2）残差t e 的性质。 §2 乘积季节模型 一、 乘积季节模型的一般形式 由于t e 不独立，不妨设),,(~m d n ARIMA e t ，则有
自适应卡尔曼滤波 卡尔曼滤波发散的原因 如果卡尔曼滤波是稳定的，随着滤波的推进，卡尔曼滤波估计的精度应该越来越高，滤波误差方差阵也应趋于稳定值或有界值。但在实际应用中，随着量测值数目的增加，由于估计误差的均值和估计误差协方差可能越来越大，使滤波逐渐失去准确估计的作用，这种现象称为卡尔曼滤波发散。 引起滤波器发散的主要原因有两点： （1）描述系统动力学特性的数学模型和噪声估计模型不准确，不能直接真实地反映物理过程，使得模型与获得的量测值不匹配而导致滤波发散。这种由于模型建立过于粗糙或失真所引起的发散称为滤波发散。 （2）由于卡尔曼滤波是递推过程，随着滤波步数的增加，舍入误差将逐渐积累。如果计算机字长不够长，这种积累误差很有可能使估计误差方差阵失去非负定性甚至失去对称性，使滤波增益矩阵逐渐失去合适的加权作用而导致发散。这种由于计算舍入误差所引起的发散称为计算发散。 针对上述卡尔曼滤波发散的原因，目前已经出现了几种有效抑制滤波发散的方法，常用的有衰减记忆滤波、限定记忆滤波、扩充状态滤波、有限下界滤波、平方根滤波、和自适应滤波等。这些方法本质上都是以牺牲滤波器的最优性为代价来抑制滤波发散，也就是说，多数都是次优滤波方法。 自适应滤波 在很多实际系统中，系统过程噪声方差矩阵Q和量测误差方差阵R事先是不知道的，有时甚至连状态转移矩阵 或量测矩阵H也不能确切建立。如果所建立的模型与实际模型不符可能回引起滤波发散。自适应滤波就是这样一种具有抑制滤波发散作用的滤波方法。在滤波过程中，自适应滤波一方面利用量测值修正预测值，同时也对未知的或不确切的系统模型参数和噪声统计参数进行估计修正。自适应滤波的方法很多，包括贝叶斯法、极大似然法、相关法与协方差匹配法，其中最基本也是最重要的是相关法，而相关法可分为输出相关法和新息相关法。 在这里只讨论系统模型参数已知，而噪声统计参数Q和R未知情况下的自适应滤波。由于Q和R等参数最终是通过增益矩阵K影响滤波值的，因此进行自适应滤波时，也可以不去估计Q和R等参数而直接根据量测数据调整K就可以了。
1. 卡尔曼全名Rudolf Emil Kalman ，匈牙利数学家，1930年出生于匈牙利首都布达佩斯。1953，1954年于麻省理工学院分别获得电机工程学士及硕士学位。1957年于哥伦比亚大学获得博士学位。我们现在要学习的卡尔曼滤波器，正是源于他的博士论文和1960年发表的论文《A New Approach to Linear Filtering and Prediction Problems 》（线性滤波与预测问题的新方法）。 基于状态空间描述对混有噪声的信号进行滤波的方法，简称卡尔曼滤波。这种方法是R.E.卡尔曼和R.S.布什于1960和1961年提出的。卡尔曼滤波是一种切实可行和便于应用的滤波方法，其计算过程通常需要在计算机上实现。实现卡尔曼滤波的装置或软件称为卡尔曼滤波器。 卡尔曼滤波器（Kalman Filter ）是在克服以往滤波方法局限性的基础上提出来的，是一个最优化自回归数据处理算法（optimal recursive data processing algorithm ）。它是针对系统的部分状态或是部分状态的线性组合，且量测值中有随机误差（常称为量测噪声）。将仅与部分状态有关的测量进行处理，得出从某种统计意义上讲误差最小的更多状态的估值，从而将混有噪声（干扰）的信号中噪声滤除、提取有用信号。 卡尔曼滤波是一种递推线性最小方差估计，以最小均方误差为估计的最佳准则，来寻求一套递推估计的算法，其基本思想是：采用信号与噪声的状态空间模型，利用前一时刻地估计值和现时刻的观测值来更新对状态变量的估计，求出现时刻的估计值。 现设线性时变系统的离散状态方程和观测方程为： ()()()()()X k+1F k X k G k u k ()w k =?++ ()()()()k+1H k+1X k+1k+1Y v =?+ 其中 ()k X 和()k Y 分别是k 时刻的状态矩阵和测量矩阵 ()k F 为状态转移矩阵 ()k G 为系统控制项矩阵 ()k u 为k 时刻对系统的控制量 ()k w 为k 时刻动态噪声，其协方差()Q k ()k H 为k 时刻观测矩阵 ()k v 为k 时刻测量噪声, 其协方差()R k 则卡尔曼滤波的算法流程为： 状态的一步预估计()()()()()??X k+1k F k X k k G k u k |=?|+ 一步预估计协方差矩阵 ()()()()()C k+1k F k C k k F k Q k '|=?|+' 计算卡尔曼增益矩阵
卡尔曼滤波的原理以及应用 滤波，实质上就是信号处理与变换的过程。目的是去除或减弱不想要成分，增强所需成分。卡尔曼滤波的这种去除与增强过程是基于状态量的估计值和实际值之间的均方误差最小准则来实现的，基于这种准则，使得状态量的估计值越来越接近实际想要的值。而状态量和信号量之间有转换的关系，所以估计出状态量，等价于估计出信号量。所以不同于维纳滤波等滤波方式，卡尔曼滤波是把状态空间理论引入到对物理系统的数学建模过程中来，用递归方法解决离散数据线性滤波的问题，它不需要知道全部过去的数据，而是用前一个估计值和最近一个观察数据来估计信号的当前值，从而它具有运用计算机计算方便，而且可用于平稳和不平稳的随机过程(信号)，非时变和时变的系统的优越性。 卡尔曼滤波属于一种软件滤波方法，概括来说其基本思想是：以最小均方误差为最佳估计准则，采用信号与噪声的状态空间模型，利用前一时刻的估计值和当前时刻的观测值来更新对状态变量的估计，求出当前时刻的估计值，算法根据建立的系统方程和观测方程对需要处理的信号做出满足最小均方误差的估计。其所得到的解是以估计值的形式给出的。 卡尔曼滤波过程简单来说主要包括两个步骤：状态变量的预估以及状态变量的校正。预估过程是不考虑过程噪声和量测噪声，只是基于系统本身性质并依靠前一时刻的估计值以及系统控制输入的一种估计；校正过程是用量测值与预估量测值之间的误差乘以一个与过程
噪声和量测噪声相关的增益因子来对预估值进行校正的，其中增益因子的确定与状态量的均方误差有关，用到了使均方误差最小的准则。而这一过程中体现出来的递归思想即是：对于当前时刻的状态量估计值以及均方误差预估值实时进行更新，以便用于下一时刻的估计，使得系统在停止运行之前能够源源不断地进行下去。 下面对于其数学建模过程进行详细说明。 1.状态量的预估 （1）由前一时刻的估计值和送给系统的可控制输入来预估计当前时刻状态量。 X(k|k-1)=A X(k-1|k-1)+B U(k) 其中，X(k-1|k-1)表示前一时刻的估计值，U(k)表示系统的控制输入，X(k|k-1)表示由前一时刻估计出来的状态量的预估计值，A表示由k-1时刻过渡到k时刻的状态转移矩阵，B表示控制输入量与状态量之间的一种转换因子，这两个都是由系统性质来决定的。 （2）由前一时刻的均方误差阵来预估计当前时刻的均方误差阵。 P(k|k-1)=A P(k-1|k-1)A’+Q 其中，P(k-1|k-1)是前一时刻的均方误差估计值，A’代表矩阵A 的转置，Q代表过程噪声的均方误差矩阵。该表达式具体推导过程如下： P(k|k-1)=E{[Xs(k|k)-X(k|k-1)][Xs(k|k)-X(k|k-1)]’}------ 其中Xs(k|k)=A Xs(k-1|k-1)+B U(k)+W(k-1)表示当前时刻的实际值，Xs(k-1|k-1)表示前一时刻的实际值，可以看出与当前时刻的预估计值
时间序列分析法原理及步骤 ----目标变量随决策变量随时间序列变化系统 一、认识时间序列变动特征 认识时间序列所具有的变动特征, 以便在系统预测时选择采用不同的方法 1》随机性:均匀分布、无规则分布,可能符合某统计分布(用因变量的散点图和直方图及其包含的正态分布检验随机性, 大多服从正态分布 2》平稳性:样本序列的自相关函数在某一固定水平线附近摆动, 即方差和数学期望稳定为常数 识别序列特征可利用函数 ACF :其中是的 k 阶自 协方差,且 平稳过程的自相关系数和偏自相关系数都会以某种方式衰减趋于 0, 前者测度当前序列与先前序列之间简单和常规的相关程度, 后者是在控制其它先前序列的影响后,测度当前序列与某一先前序列之间的相关程度。实际上, 预测模型大都难以满足这些条件, 现实的经济、金融、商业等序列都是非稳定的,但通过数据处理可以变换为平稳的。 二、选择模型形式和参数检验 1》自回归 AR(p模型
模型意义仅通过时间序列变量的自身历史观测值来反映有关因素对预测目标的影响和作用,不受模型变量互相独立的假设条件约束,所构成的模型可以消除普通回归预测方法中由于自变量选择、多重共线性的比你更造成的困难用 PACF 函数判别 (从 p 阶开始的所有偏自相关系数均为 0 2》移动平均 MA(q模型 识别条件
平稳时间序列的偏相关系数和自相关系数均不截尾,但较快收敛到 0, 则该时间序列可能是 ARMA(p,q模型。实际问题中,多数要用此模型。因此建模解模的主要工作时求解 p,q 和φ、θ的值,检验和的值。 模型阶数 实际应用中 p,q 一般不超过 2. 3》自回归综合移动平均 ARIMA(p,d,q模型 模型含义 模型形式类似 ARMA(p,q模型, 但数据必须经过特殊处理。特别当线性时间序列非平稳时,不能直接利用 ARMA(p,q模型,但可以利用有限阶差分使非平稳时间序列平稳化,实际应用中 d (差分次数一般不超过 2. 模型识别 平稳时间序列的偏相关系数和自相关系数均不截尾,且缓慢衰减收敛,则该时间序列可能是 ARIMA(p,d,q模型。若时间序列存在周期性波动, 则可按时间周期进
卡尔曼滤波器Kalman Filter (zz) 关键词：卡尔曼滤波器Kalman Filter 在学习卡尔曼滤波器之前，首先看看为什么叫“卡尔曼”。跟其他著名的理论（例如傅立叶变换，泰勒级数等等）一样，卡尔曼也是一个人的名字，而跟他们不同的是，他是个现代人！ 卡尔曼全名Rudolf Emil Kalman，匈牙利数学家，1930年出生于匈牙利首都布达佩斯。1953，1954年于麻省理工学院分别获得电机工程学士及硕士学位。1957年于哥伦比亚大学获得博士学位。我们现在要学习的卡尔曼滤波器，正是源于他的博士论文和1960年发表的论文《A New Approach to Linear Filtering and Predict ion Problems》（线性滤波与预测问题的新方法）。如果对这编论文有兴趣，可以到这里的地址下载： https://www.doczj.com/doc/f115390459.html,/~welch/kalman/media/pdf/Kalman1960.pdf 简单来说，卡尔曼滤波器是一个“optimal recursive data processing algorithm（最优化自回归数据处理算法）”。对于解决很大部分的问题，他是最优，效率最高甚至是最有用的。他的广泛应用已经超过30年，包括机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等等。近年来更被应用于计算机图像处理，例如头脸识别，图像分割，图像边缘检测等等。 2．卡尔曼滤波器的介绍 （Introduction to the Kalman Filter） 为了可以更加容易的理解卡尔曼滤波器，这里会应用形象的描述方法来讲解，而不是像大多数参考书那样罗列一大堆的数学公式和数学符号。但是，他的5条公式是其核心内容。结合现代的计算机，其实卡尔曼的程序相当的简单，只要你理解了他的那5条公式。 在介绍他的5条公式之前，先让我们来根据下面的例子一步一步的探索。 假设我们要研究的对象是一个房间的温度。根据你的经验判断，这个房间的温度是恒定的，也就是下一分钟的温度等于现在这一分钟的温度（假设我们用一分钟来做时间单位）。假设你对你的经验不是100%的相信，可能会有上下偏差几度。我们把这些偏差看成是高斯白噪声（White Gaussian Noise），也就是这些偏差跟前后
第四章 预 测 在本章当中我们讨论预测的一般概念和方法，然后分析利用),(q p ARMA 模型进行预测的问题。 §4.1 预期原理 利用各种条件对某个变量下一个时点或者时间阶段内取值的判断是预测的重要情形。为此，需要了解如何确定预测值和度量预测的精度。 4.1.1 基于条件预期的预测 假设我们可以观察到一组随机变量t X 的样本值，然后利用这些数据预测随机变量1+t Y 的值。特别地，一个最为简单的情形就是利用t Y 的前m 个样本值预测1+t Y ，此时t X 可以描述为： 假设*|1t t Y +表示根据t X 对于1+t Y 做出的预测。那么如何度量预测效果呢？通常情况下，我们利用损失函数来度量预测效果的优劣。假设预测值与真实值之间的偏离作为损失，则简单的二次损失函数可以表示为(该度量也称为预测的均方误差)： 定理4.1 使得预测均方误差达到最小的预测是给定t X 时，对1 +t Y 的条件数学期望，即： 证明：假设基于t X 对1+t Y 的任意预测值为： 则此预测的均方误差为： 对上式均方误差进行分解，可以得到： 其中交叉项的数学期望为(利用数学期望的叠代法则)： 因此均方误差为： 为了使得均方误差达到最小，则有： 此时最优预测的均方误差为： 211*|1)]|([)(t t t t t X Y E Y E Y MSE +++-= End 我们以后经常使用条件数学期望作为随机变量的预测值。 4.1.2 基于线性投影的预测 由于上述条件数学期望比较难以确定，因此将预测函数的范围限制在线性函数当中，我们考虑下述线性预测： 如此预测的选取是所有预测变量的线性组合，预测的优劣则体现在系数向量的选择上。 定义4.1 如果我们可以求出一个系数向量值α，使得预测误差)(1t t X Y α'-+与t X 不相关： 则称预测t X α'为1+t Y 基于t X 的线性投影。 定理4.2 在所有线性预测当中，线性投影预测具有最小的均方误差。
卡尔曼滤波算法 卡尔曼滤波器是一个“最优化自回归数据处理算法”。对于解决大部分的问题，它是最优，效率最高甚至是最有用的。其广泛应用已经超过30年，包括机器人导航，控制，传感器数据融合甚至在军事方面的雷达系统以及导弹追踪等。近年来更被应用于计算机图像处理，列入，面部识别，图像分割，图像边缘检测等方面。 卡尔曼滤波原理 首先要引入一个离散控制过程的系统，该系统可用一个线性随机微分方程来秒速： X（k）=AX（k-1）+BU（k）+W（k）（1）再加上系统的测量值： Z（k）=HX（k）+V（k）（2）上两式子中，X（k）是k时刻的系统状态，U（k）是k时刻对系统的控制量。A和B 是系统参数，对于多模型系统，它们为矩阵。Z（k）是k时刻的测量值，H是测量系统的参数，对于多测量系统，H为矩阵。W（k）和V(k)分别表示过程和测量的噪声。它们被假设成高斯白噪声，其协方差分别是Q,R,这里假设它们不随系统状态变化而变化。 由于满足上面的条件（线性随机微分系统，过程和测量都是高斯白噪声），卡尔曼滤波器是最优的信息处理器。下面来估算系统的最优化输出。 首先利用系统的过程模型预测下个状态的系统。假设现在的系统状态是k，根据系统的模型，可以基于系统的上一状态而预测出现在状态： X（k|k-1）=AX（k-1|k-1）+BU（k）（3）式（3）中，X（k|k-1）是利用上一个状态预测的结果，X（k-1|k-1）是上一个状态最优的结果，U（k）为现在状态的控制量，如果没有控制量，它可以为0. 到现在为止，系统结果已经更新了，可是对应于X(k|k-1)的协方差还没有更新。用P 表示协方差： P（k|k-1）=AP（k|k-1）A’+Q（4）式子（4）中P（k|k-1）是X（k|k-1）对应的协方差，P（k-1|k-1）是X（k-1|k-1）对应的协方差，A’表示A的转置矩阵，Q时系统过程的协方差。式（3），式（4）就是卡尔曼滤波器5个公式当中的前两个，也就是对系统的预测。 有了现在状态的预测结果，再收集现在状态的测量值。结合预测值和测量值，可以得到现在状态（k）的最优化估算值X（k|k）： X（k|k）=X（k|k-1）+Kg（k）（Z（k）-HX（k|k-1））（5）其中Kg为卡尔曼增益： Kg(k)=P(k|k-1)H’|(HP(k|k-1)H’+R) （6）到此为止，已经得到了k状态下最优的估算值X（k|k）。但是，为了要令卡尔曼滤波器不断地运行下去，直到系统过程结束，还要更新k状态下X（k|k）的covariance: P（k|k）=（I-Kg(k)H）P(k|k-1) （7）其中I为1的矩阵，对于单模型单测量，I=1。当系统进入式（k+1）状态时，P(k|k)就是式（4）中的P（k-1|k-1）。这样，算法就可以自回归地运算下去。 卡尔曼滤波器的原理基本描述了，式（3），（4），（5），（6），（7）是5个基本公式。根据这5个公式，可以很容易地实现计算机程序。
时间序列分析方法第章 谱分析 HEN system office room 【HEN16H-HENS2AHENS8Q8-HENH1688】
第六章 谱分析 Spectral Analysis 到目前为止，t 时刻变量t Y 的数值一般都表示成为一系列随机扰动的函数形式，一般的模型形式为： 我们研究的重点在于，这个结构对不同时点t 和τ上的变量t Y 和τ Y 的协方差具有什么样的启示。这种方法被称为在时间域(time domain)上分析时间序列+∞∞-}{t Y 的性质。 在本章中，我们讨论如何利用型如)cos(t ω和)sin(t ω的周期函数的加权组合来描述时间序列t Y 数值的方法，这里ω表示特定的频率，表示形式为： 上述分析的目的在于判断不同频率的周期在解释时间序列+∞∞ -}{t Y 性质时所发挥的重要程度如何。如此方法被称为频域分析(frequency domain analysis)或者谱分析(spectral analysis)。我们将要看到，时域分析和频域分析之间不是相互排斥的，任何协方差平稳过程既有时域表示，也有频域表示，由一种表示可以描述的任何数据性质，都可以利用另一种表示来加以体现。对某些性质来说，时域表示可能简单一些；而对另外一些性质，可能频域表示更为简单。 § 母体谱 我们首先介绍母体谱，然后讨论它的性质。 6.1.1 母体谱及性质 假设+∞∞-}{t Y 是一个具有均值μ的协方差平稳过程，第j 个自协方差为： 假设这些自协方差函数是绝对可加的，则自协方差生成函数为： 这里z 表示复变量。将上述函数除以π2，并将复数z 表示成为指数虚数形式)ex p(ωi z -=，1-=i ，则得到的结果(表达式)称为变量Y 的母体谱： 注意到谱是ω的函数：给定任何特定的ω值和自协方差j γ的序列+∞∞-}{j γ，原则上都可以计算)(ωY s 的数值。 利用De Moivre 定理，我们可以将j i e ω-表示成为： 因此，谱函数可以等价地表示成为： 注意到对于协方差平稳过程而言，有：j j -=γγ，因此上述谱函数化简为： 利用三角函数的奇偶性，可以得到： 假设自协方差序列+∞∞-}{j γ是绝对可加的，则可以证明上述谱函数
2015.12.12 void Kalman_Filter(float Gyro,float Accel) { Angle+=(Gyro - Q_bias) * dt; Pdot[0]=Q_angle - PP[0][1] - PP[1][0]; Pdot[1]= - PP[1][1]; Pdot[2]= - PP[1][1]; Pdot[3]=Q_gyro; PP[0][0] += Pdot[0] * dt; PP[0][1] += Pdot[1] * dt; PP[1][0] += Pdot[2] * dt; PP[1][1] += Pdot[3] * dt; Angle_err = Accel - Angle; PCt_0 = C_0 * PP[0][0]; PCt_1 = C_0 * PP[1][0]; E = R_angle + C_0 * PCt_0; K_0 = PCt_0 / E; K_1 = PCt_1 / E; t_0 = PCt_0; t_1 = C_0 * PP[0][1]; PP[0][0] -= K_0 * t_0; PP[0][1] -= K_0 * t_1; PP[1][0] -= K_1 * t_0; PP[1][1] -= K_1 * t_1; Angle += K_0 * Angle_err; Q_bias += K_1 * Angle_err; Gyro_x = Gyro - Q_bias; }
首先是卡尔曼滤波的5个方程： (|1)(1|1)()X k k AX k k Bu k -=--+（1）先验估计 (|1)(1|1)'P k k AP k k A Q -=--+（2）协方差矩阵的预测 ()(|1)'/(|1)') Kg k P k k H HP k k H R =--+（3）计算卡尔曼增益 (|)(|1)()(()(|1)) X k k X k k Kg k Z k HX k k =-+--（4）进行修正 5个式子比较抽象，现在直接用实例来说： 一、卡尔曼滤波第一个式子 对于角度来说，我们认为此时的角度可以近似认为是上一时刻的角度值加上上一时刻陀螺仪测得的角加速度值乘以时间，因为d dt θω=?，角度微分等于时间的微分乘以角速度。但是陀螺仪有个静态漂移（而且还是变化的），静态漂移就是静止了没有角速度然后陀螺仪也会输出一个值，这个值肯定是没有意义的，计算时要把它减去。 由此我们得到了当前角度的预测值Angle Angle=Angle+(Gyro - Q_bias) * dt; 其中等号左边Angle 为此时的角度，等号右边Angle 为上一时刻的角度，Gyro 为陀螺仪测的角速度的值，dt 是两次滤波之间的时间间隔，我们的运行周期是4ms 或者6ms 。 同时 Q_bias 也是一个变化的量。 但是就预测来说认为现在的漂移跟上一时刻是相同的，即 Q_bias=Q_bias 将上面两个式子写成矩阵的形式 1_01_0 Angle dt Angle dt Q bias Q bia o s Gyr -=+ 得到上式，这个式子对应于卡尔曼滤波的第一个式子 (|1)(1|1)()X k k AX k k Bu k -=--+ ()|1X k k -为2维列向量 _Angle Q bias ，A 为2维方阵101dt -，()|-11X k k -为2维列向量_Angle Q bias ，B 为2维列向量0dt ， ()u k 为Gyro (|)(|1) P k k I Kg k H P k k =--（（））（5）更新协方差阵