指数分布随机图的进步(p *)模型应用到一个大型社交网络
史蒂文·m·Goodreau华盛顿大学人类学和中心的部门研究人口与生态
文摘
最近的进步统计网络分析基于指数分布随机图的家庭
(ERG)模型进行推理的能力有了很大的提高在大社会的依赖
2002年2002年网络(Snijders,帕蒂森和知更鸟,Handcock 2002 Handcock 2003 Snijders et al。
2006年,猎人et al . 2005年,Goodreau et al .,2005年以前的论文这个问题)。本文应用
先进的模型参数化和计算算法的考试结构中观察到一个青少年的友谊从纵向网络1681年的演员青少年健康研究(AddHealth)。ERG的社会网络结构模型适合使用R包statnet及其充分性通过比较模型的预测与评估高阶网络统计观测数据。这种友谊网络的常用的马尔可夫模型的依赖导致的问题简并度的讨论Handcock(2002、2003)。另一方面,模型参数化介绍Snijders et al(2006)和猎人和Handcock(2006)避免退化和提供
合理的适合的数据。只是程度模型无法很好地捕捉观察网络结构;
那些做得最好包括条款都对外源性属性(等级和异构混合
自我报告的种族)以及内生集群。网络模拟模型
很大程度上符合观测网络在多个高阶网络统计数据,包括
三角形的数量,规模最大的组件,整体可达性、分布
测地距离、程度分布和共享伙伴分布。适应的能力
这样的模型对下属大型数据集以及推理过程生成
网络是一个重大进步领域的统计网络分析。
指数分布随机图(ERG)类第一次被提出作为一个社会方法模型网络结构几乎二十年前(1986年弗兰克和施特劳斯),基于工作空间统计(Besag 1974)。建模类非常一般,因此在理论上能够捕捉各种经验的结构网络,允许进行统计推断的结构。然而,大多数从事这个领域的工作
都集中在一个小的模型规范,最常见的马尔可夫图吗，弗兰克和施特劳斯(1986)。最近的研究表明,这些常用的模型规范事实上并不适合捕捉过程潜在的许多经验网络,由于模型退化的问题(Handcock 2002,2002)。简并度可以被描述在短暂的现象似乎可以合理的模型
是这样一个坏mis-specification观测数据集作为观测数据几乎呈现
不可能在模型。相反,社会进程模型封装的产量网络(如全部或空图,定性相异的观察
数据和事实上实质上无趣的。简并可以更详细的讨论在知更鸟et al .(2006 b)。
它是合适的,它可能没有证明这样进步的障碍。在其他
领域,差拟合模型通常可以帮助完善知识的数据,分析的
模型成功地获取观测数据和失败可以帮助点的方法
后续的改进模型。ERG的模型,但是,最大的可能性
估计模型参数配合使用马尔可夫链蒙特卡罗(采样程序,
和简并事实上经常阻止模型估计融合在有限的参数
估计。使用近似替代技术,如MPLE估计(施特劳斯
和1990年Ikeda)不解决这个问题,而只是隐藏它。缺乏这一事实
收敛性还可以获得各种特性的模型拟合结果算法不能帮助
很重要。总的来说,这些问题解释ERG的缓慢的应用模型来实证
网络分析到目前为止,尽管他们的潜力。
以前的论文这个问题提供了一个介绍ERG建模方法
(罗宾斯et al . 2006年),研究更深入地退化,阻碍了背后的问题
这些模型的应用(罗宾斯et al . 2006 b),并提供可能的解决方案
(罗宾斯et al . 2006 b,亨特2006)在本文中,我们的目标是应用这些发展一大组(> 1600年演员)的网络数据展示他们在进行实际应用
推理在复杂的依赖关系结构。
数据集:添加卫生学校组42
我们这里分析的数据集是一个集从纵向研究的学校
青少年健康(AddHealth)。AddHealth是一个分层校本的样本
7 - 12年级的学生。以广泛的问卷调查对个人特征,如
在友谊网络模块。学生们提供了一个清单所有学生名单
在学校的名字和独特的ID号,并要求列出五个最好的ID
男性和5个等级次序最好的女性朋友。学生们自由提名少于五个
的。他们也可以提名的朋友没有在学校(通过一个特殊的
代码)或在学校,但不包括在名单上。这里的数据集包含两个
独立学校,大型公立学校多种族城市南部,一个包含
高中生(我们称之为高中)和包含成绩7 - 9日(另一所学校
初中),担任高中的支线。每个学校的学生
提供的花名册,并允许可供选择。进一步的信息
的设计研究中可以找到Resnick et al。(1997)和尤迪Bearman(1998) 和https://www.doczj.com/doc/bd10480217.html,/projects/addhealth。
这一分析,我们认为只有那些演员都完成了调查,
名单(n = 1681)。一个额外的489名学生的名单,但没有调查,
在参加调查的158名学生,但没有在名单或不当他们填写
自己的身份号码等方式不匹配的名单。独特的总数
的学生在学校因此2328(更可能存在,但如果他们发现不了的
都没有采取调查名单)。这个数据集的1681名学生
占72%,这一水平类似AddHealth学校一般(d . Schruth个人
沟通)。尽管我们无法知道失踪学生的结构
关系是类似于在这项研究中,我们可以确定学生的平均入度
没有采取调查(3.3)和(3.9)来间接数据原始的性。
我们认为mutualized数据,包括优势只有两个演员提名另一个。相互化进行实质性原因(双重提名领带作为一种验证关系)和一个实际的(一些网络之一
下面的统计数据,我们认为迄今为止只被定义和实现
间接关系)。的数量在1236年产生的间接网络边缘,
暗示密度0.00087(1236/1412040演员对)和平均度1.47。这些
1236年边缘代表2472弧的原始数据,或35%的6985个提名
学生在总,另外的65%没有回报。解释mutualized
数据可能是复杂的,学生只能提名固定数量
朋友;更多的关系可能会出现相互学生被允许
提名任意数量。这种效应是抑制的事实,53%(895/1681)
受访者不到提名最多的女性朋友和54%(916/1681)
提名不到最大的雄性。外源性演员属性我们考虑等级,种族和性别。学生了调查是自由离开这些空白,他们希望;为所有属性除了成绩
我们保留了空白的反应,考虑所有这些反应对于一个给定的属性
构成一个单因素水平属性在任何相关的分析。级应用于
一套更广泛的网络比其他属性数据;因为这些统计数据不允许
对于缺失值,失踪的成绩被估算。有十个学生1681人
离开他们的年级空白。四的学生透露,至少有一个共同的朋友,和在每种情况下
他们的整个一年级的朋友。这四个学生被分配的品位
他们的朋友。剩下的6个,四个年龄中回答了这个问题,并被分配
模态年级的年龄(12岁= 7年级,13岁= 8年级,等等)。剩下的两个,
谁没有可用的信息,被随机分配分数与概率
与年级的大小成正比。我们种族”这个术语的变量是取自两个问题
在自认为种族和拉美裔血统。拉美裔血统被认为是主要的;也就是说,
那些标识为拉美裔是归类为拉美裔不论种族,所有其他种族
类别代表西班牙血统。我们都崩溃的答案除了白色,黑色
西班牙到一个类别其他在这些数据并没有考虑到他们的小
对某些类别的类内关系,从而防止收敛到有限的参数
对于一些模型。
外源性演员属性我们考虑等级,种族和性别。学生了
调查是自由离开这些空白,他们希望;为所有属性除了成绩
我们保留了空白的反应,考虑所有这些反应对于一个给定的属性
构成一个单因素水平属性在任何相关的分析。级应用于
一套更广泛的网络比其他属性数据;因为这些统计数据不允许
对于缺失值,失踪的成绩被估算。有十个学生1681人
离开他们的年级空白。四的学生透露,至少有一个共同的朋友,和在每种情况下他们的整个一年级的朋友。这四个学生被分配的品位
他们的朋友。剩下的6个,四个年龄中回答了这个问题,并被分配
模态年级的年龄(12岁= 7年级,13岁= 8年级,等等)。剩下的两个,
谁没有可用的信息,被随机分配分数与概率
与年级的大小成正比。我们种族”这个术语的变量是取自两个问题
在自认为种族和拉美裔血统。拉美裔血统被认为是主要的;也就是说,
那些标识为拉美裔是归类为拉美裔不论种族,所有其他种族
类别代表西班牙血统。我们都崩溃的答案除了白色,黑色
西班牙到一个类别其他在这些数据并没有考虑到他们的小
对某些类别的类内关系,从而防止收敛到有限的参数
对于一些模型。
方法
ERG建模类定义的概率与给定组演员n网络:
gA的符号(y)代表任何可能的网络统计,在多个索引
统计数据包括在模型向量g(y);在下一节我们将看到大量的例子。
ηA表示这些术语的系数;他们的价值反映了有条件的变化
日志的领带在gA每个单元的增加,领带将创建。κ代表了
规范不变,经验值的总和(ΣAηAgA(y))与n演员在所有可能的网络。
除了最小的网络或简单的模型,这个常数禁止正常化
直接评估的概率为一个特定的网络通过矢量g(y)和η。它还
抑制计算参数的最大似然值向量的η
观察到网络。施特劳斯和Ikeda(1990)讨论使用逻辑回归计算
最大pseudolikelihood估计(MPLE),虽然这是估计的质量
真正的最大似然可能贫穷与强劲的全球模型(Besag的依赖
1986年,Handcock 2003)。相当的和汤普森(1992)另一方面,提供方法
采用马尔可夫链蒙特卡罗(采样)作为一个通用评估工具的问题
类型和Snijders(2002)讨论了社交网络的使用。获得的最大
η参数似然估计(标定),我们使用逻辑回归二的
独立模式(因为结果MPLE估计是与真正的标定)
采样的二元模型的依赖。间接网络,二价的独立
模型被定义为那些在P(Yij = Yij)独立于P(Ykl = Ykl)?(i,j)≠(k,l)
演员属性条件;这样的模型通常由一个边缘的术语和组
条款计算的实例数量的边缘在演员与不同的属性
组合。二进位依赖模型的例子包括那些涉及三角形、星形花
或学位的条款。
所有模型拟合和评估发生在statnet包,一组统计网络
分析R环境中的例程(Handcock等2004)。这个包包含了
新模型规范讨论了早些时候论文这个问题以及许多
算法,优化发展迅速,数据拟合模型的过程
准确。这些特性包括R的使用用户界面和数据操作
但对复杂的内存密集型计算;C更有效的稀疏存储方法
网络;使用混合算法,实现快速运动对初速
很远的地方和更精确的细化一旦关闭;使用建议的算法速度
链的数量级的混合物在常用简单的双肘。
访问计划和更详细的信息可以找到它的特性和使用
https://www.doczj.com/doc/bd10480217.html,/statnet。
摘要MCMC-based估计过程,我们选择的连锁老化
100000年100000切换,采样样本大小和连续样本之间的时间间隔1000切换。链始于MPLE值η向量通过
逻辑回归。链运行上面的长度(100000 + 10000 * 1000 = 10.1
百万的步骤),新估计的η从链使用相当的和获得的
汤普森(1992)算法。当时reinitiated链从这个更新的起点;
这个循环重复了五次获得的最终估计η为每个模型。
模型方面
ERG模型类一般;它包括无限的潜在网络统计数据。
这里我们关注统计中常见的文学(包括许多讨论
在早期的论文在这版),理论上这些间接相关的友谊
数据,哪些是可行的计算网络的大小~ 1600演员。重点是
相对“本地”统计(那些直接依赖于给定的概率优势
只有少量的另一对图)1,希望这些可以捕获
全球网络的结构。
等社交网络通常包含多个模型来捕获各种条款
工作流程同时在建立社会关系。两个将军
选择特定的组合统计方法存在考虑社会
网络,在下一节中,我们使用。第一个涉及的推导
组条件假设依赖的性质,往往通过Hammersley)
Clifford定理(Besag 1974)。这种方法的优点是,的确切性质
基础模型是显式的依赖。一个常见的例子就是马尔可夫
依赖模型,弗兰克和施特劳斯(1986),在其齐次形式导致的条件
边缘、三角形和一组恒星(,或等价于学位)。另一个原因是部分
有条件的独立模型首先在帕蒂森解释说,知更鸟(2002)和扩展
经Snijders et al。(2006)和讨论这个问题(罗宾斯et al . 2006 b)。这项工作
认为“意识到”的一种形式依赖一步比马尔可夫;包括马尔可夫
术语以及套术语的三角形和k-twopaths。包括全套k-star、ktriangle
收益率和k-twopath术语大量参数和可能导致的问题
简并和难以解释。相反,Snijders et al。(2006)提出这些分布参数形式(“交替k-triangle”、“交替k-star”,和“交替
k-twopath”统计数据),减少了参数空间。前两个条件
相当于几何加权(GWESP)和dyad-wise扁共享伙伴
共享合作伙伴(GWDSP)方面探索亨特(2006)。第三股类似
关系几何加权程度(GWD)亨特(2006),尽管在这里
小reparameterization涉及的关系而不是完全等价。
另一种方法是考虑统计和观察的许多可能的组合
这组合经验产生最适合一个给定的数据集。这类似于各种
线性回归或其他形式的迭代模型选择广义线性模型。这
方法允许极大的灵活性比较模型基于观察到对于一个给定的数据集
结构。然而,考虑到复杂的交互的一些高阶术语,和
非线性的影响,一般的方法一个合身的模型通过能力
迭代添加或删除条款还不是很清楚。例如,两个不同的术语
与反补贴的影响可能需要避免退化;添加任何一种可能
不能提供洞察包含两种模型的适用性。然而,这种方法
可以,当结合理论基础和反复试验,取得成功
在模型适合一些大型、复杂网络(猎人et al . 2005年,Goodreau et al . 2005年)。
下面我们定义的每个组成部分条款出现任何模型。模型
表达式是陷害一个对称矩阵的假设下给出我们的非指导性
数据。我们首先定义一组变量:
?十六:演员我属性的属性值
?Xva酒店:设置所有演员有价值的属性
?:我的演员
?:共享合作伙伴对于演员的数量我和j的数量邻居他们的共同点
?统计:k-edgewise共享伙伴
?统计:k-dyadwise共享伙伴
我{ }是指标函数,等于1如果附上声明是真的如果虚假和0。
考虑到这些,我们有以下网络统计我们考虑进入
我们的z(y)矢量不同的模型:
?:边缘统计
?:三角统计
?:k-degree统计
?:k-star统计
?:边缘统计属性v级
?:微分属性v级同质性统计
?v:均匀同质性统计属性
?v:绝对差统计属性
?:几何加权统计
具有参数θ1
?几何加权沿边共享
θ2伙伴统计参数
?几何加权dyad-wise共享
θ3伙伴统计参数
L(y)、T(y),Dk(y)和Sk(y)长期以来的网络文学和历史
熟悉。Mv(y),高压(y),紫外线(y)和Av(y)把具体条款,捕捉的方式
演员的属性结构关系。(y)模型主要影响Mv,允许每个级别
的一个属性,形成边缘有不同的倾向。高压(y)模型一个单独的倾向
为每个属性水平形成关系成员在类属性,而紫外线(y)模型
单这样的群体内对所有群体的偏好。Av(y)模型的趋势领带
概率改变单调的不同属性值的绝对值
增加两个演员,这个词只是为价值或序数属性定义。
统计u(y,θ1),v(y,θ2)和w(y,θ3)表示参数的高阶术语
Snijders et al。(2006),re-parameterized猎人和Handcock(2006)和猎人(2006年,这个问题:方程式。14日,25日和26日)。几何加权程度
u(y,θ1)代表一种参数的分布程度;v(y,θ2)代表一个参数
形式的集群,相当于交替的三角形。最后,w(y,θ3)可以认为
的程度的结构等效参数形式(不解释
文献中讨论),因为它认为演员可能会或可能不会被束缚在一个
另一个,但与各种数字相同的其他演员。这学期是相当于
交替k-twopaths Snijders et al。(2006)。
注意,所有三个θ条件可以采取任何积极的价值。看看这个范围
代表,考虑v(y,θ2)。随着θ2值接近无穷大,v(y,θ2)统计
方法三次图中三角形的数量。2θ2接近0,v(y,θ2)
方法的边缘图中的数量是至少有一个三角形的一部分。后一种
统计还包含二进位的依赖,但在一种强烈限制,一旦一对
演员在一个三角形,他们没有特别倾向于形式。θ2可以设置
之间的任何值获取集群的规模和大小;θ2的价值
最大化模型也可以估计可能性的猎人和使用方法
Handcock亨特(2006)和(这个问题),尽管这可以显著增加必要的
计算时间。θ1θ3同样可以估计和被认为是固定的。在分析
下面我们采用一个固定的值为0.5时为所有三个θ条件。这是基于探索工作对于一些可能性降低模型(本和其它规模较小的学校)在多个水平
θ条件,确定表面可能性相当持平在0.25 - 1,和
最大的通常是接近0.5。没有使用Free-varyingθ值,这种方法
所有这里给出模型不收敛。
理论上推导上述条款的组合,我们认为包括
齐次马尔可夫模型,弗兰克和施特劳斯(1986),包括统计数据
L(y)、T(y)和Sk(y)k∈{ 2…n - 1 } 3。我们还研究了降低一般马尔可夫模型检查网络文学(例如知更鸟等,2006),仅包含L(y),T(y),
S2(y)和S3(y)。鉴于目前的兴趣只是程度的模型在某些分支网络
文学,我们也配合模型包含条款Dn(y)的分布
完全在一个完全饱和的非参数的形式捕捉,看看这个模型适合
网络的总体结构。这个公式表示的非直接模拟
,讨论了Snijders和van法新社(2002)。饱和程度模型不一定适合
分布一样好或者比任何程度的各种参数化程度
目前分布在文学讨论。
我们也采用的方法将每一组提出的条款添加到当前的模型中,
看到收益率最适合改善模型,并选择添加到模型中
在开始下一个迭代模型建立。其中的一些条款的功能
其他人(例如紫外线(y)是高压的总和(y)所有),包含一个消除了
考虑在随后的回合。在每一个模型对我们提出的列表
统计太广泛,和考试的数据表明,一些术语
显然根本;我们开始只有这些方面明显的核心重要性
减少的数量模型来适应,如所示。
模型选择和拟合优度
为了检验拟合优度模型,我们使用三个一般方法。
1。检查退化和模型收敛:最低要求一个模型
适合是参数估计收敛在有限的参数值。它
还必须由,不把所有的概率质量几
网络完全不同于观察到的网络,如一个完整的或空的网络。
2。模型之间的比较Akaike信息准则(AIC)。的模型,
表现出二元独立可以符合标准逻辑回归,收益率(殖利率)
的可能性度量模型。这些模型二的依赖必须
符合采样,也收益可能性的估计。这些可能性
价值观只是近似AddHealth因为并非所有图形都是可能的
数据集;限制数据收集十的程度,例如,
这样的一个形式的限制。我们忽略这种影响,使用给定的可能性另类投资会议为了比较计算模型,较低的AIC意味着意义重大增加模型。注意,模型变得越来越复杂和
包括更多的二进位的依赖条件,近似的可能性
越来越不准确(在当前方法),和额外的方法模型
选择必须找到。为更多信息使用AIC ERGM模型
健康,看到猎人et al。(2005)。
3。拟合优度高阶统计绘图。这种方法是详细描述
在猎人et al。(2005)。根据需要生成新网络的逻辑
概率分布所隐含的合适模型。因为正常化常数
合适的模型仍然存在,这样做必须使用相同的采样方法
在估计过程。然后计算感兴趣的统计
最初的网络和网络生成自模型,而这些
是比较的策划。如果原始网络与网络不一致
产生的模型,这表明网络的结构不同
这些预测的模型,该模型不是很健康。可以将多个数据
比较直观地提供详细信息系统的方式
数据和模型的预测有所不同。
对于这种方法,网络统计我们比较包括度分布(在所有
演员),共享合作伙伴分布(所有边缘)和测地距离分布
(所有双)。学位和测地距离是众所周知的在网络文学;
共享合作伙伴,另一方面,是一个相对较新的概念捕捉的集群模式在一个网络。共享合作伙伴价值优势(spij统计前面定义)
的演员两个演员在数量挂钩。这个发行版在所有关系
不仅提供了一个照片级的聚类也是它发生的尺度。
这些条件为log-odds为了更大的可视性的规模
覆盖范围的值。尽管我们选择分布三个统计数据比较,
更一般的方法,任何感兴趣的数据可能被认为是在图形、和
选择这样的统计数据可能是由网络理论和一个的组合
调查员的个人目标。
结果
我们开始与伯努利模型(模型1),只有一个词来捕获密度
的网络。这个模型是表1中列出的AIC;参数估计在表
2(连同他们的标准错误估计使用的方法相当的1994),和
拟合优度图如图1所示。毫不奇怪,这个简单的模型并没有捕捉到
大数据的原始网络相比拟合优度的情节。
我们接下来考虑标准的马尔可夫模型(模型2)。该模型不收敛
有限的参数估计;在多个运行在不同条件下三角的价值
参数跑到正无穷大和其他条款负无穷大;真正的最大值
可能发生在无限的参数,或观察到的网络下不太可能
有限的最大似然参数模型,该模型拟合过程不能
趋同。模型3中,减少了马尔可夫模型,收益率相同的结果。模型4,
均匀的realization-dependent Snijders et al .(2006)模型,提供了很多更好的结果,其参数估计都包含在表1和图的拟合优度
统计图1 b所示。模型收敛,很大程度上是能够捕捉
分布的程度和共享的合作伙伴,网络特性,它是使用一个简单的建模
参数化的形式。然而,该模型的高阶结构路径的能力
长度是有限的。一个完全的模型参数化程度分布模型(5)
但不包含其他方面抓住了度分布完全(我们会惹上麻烦
如果它没有);但我们也完全了集群和测地线(图1 c);
测地线的长度,它是进一步从比伯努利源数据模型。甚至
捕捉度完美很少会告诉一个其他相对当地(共享的合作伙伴
分布)和全球网络结构(网格状分布)。
既然没有一均匀模型捕获所有的网络结构
考虑,我们求助于迭代添加条款取决于他们的过程
改进模型。我们回到伯努利模型作为起点。混合
矩阵的伙伴关系由种族和等级(图中未显示)显示withinrace的强烈倾向和within-grade友谊。无疑是一个强大的元素混合在这些属性
在网络的形成,从而可能被包括在任何准确的模型
捕获网络生成过程。因此,首先我们只考虑相关的六个模型
这两个数据:
模型6:g(y)= { Mrace L(y),(y)}的∈{黑人,西班牙裔,其他}与白色
参考类别
模型7:g(y)= { Mgrade L(y),(y)}的∈{ 8、9、10、11、12 } 7年级作为参考类别
模型8:g(y)= { Hrace L(y),(y)}的∈{白人,黑人,西班牙裔,其他}
模型9:g(y)= { Hgrade L(y),(y)}的∈{ 7,8,9,10,11,12 }
模型10:g(y)= { L(y),Urace(y)}
模型11:g(y)= { L(y),Ugrade(y)}
所有这六个模型是独立的模型,也就是说,企业可以发现使用物流
回归。另类投资会议上的每个模型的影响如表1所示。我们注意到微分同质性的年级(六Hgrade集(y)统计)最大的效果,和包括这些
条件在所有后续模型;然后我们考虑四种模式,包括L(y),
Hgrade(y)和一个额外的术语集。请注意,不需要考虑模型g(y)
L = {(y),Hgrade(y),Ugrade(y)};一旦Hgrade,(y)计算模型中,该Ugrade(y) 是冗余的。所有这四种模型,所产生的大量减少AIC,L(y),Hgrade,(y), Hrace(y)产生最大的。我们继续这个过程(图中未显示)和发现的事实
最大的模型
模型12:g(y)= { Hgrade L(y),(y),Hrace,(y),Mgrade,(y),Mrace,一个(y)}
比任何更好的拟合模型以AIC,条款吗
进入上面的顺序。我们称之为“种族/年级基础模型,所有后续
模型包括这组条件,包括其功能在表2和图2。从
表2我们看到每个年级展品显著水平的类内同质性,一样
白人,黑人,和“其他”的种族(H参数)。此外,我们看到了越来越多
基线关系形成的水平随着年级与年级7,拉美裔美国人
“其他”种族的和学生有显著提高,和黑人显著降低,基线
比白人关系形成的影响。此时我们可能希望重新考虑的标准
马尔可夫模型(模型2)和马尔可夫模型(模型3),结合每个种族/
年级方面(分别为13和14模型)来确定这些的存在
异构混合有助于消除模型的non-convergence条款。它不;
三角形参数继续运行到无穷大。
与我们的基本模型,我们现在开放过程探索更广泛的各种各样的条件。
这些包括:
模型15:g(y)= {种族/年级基础模型、T(y)}
模型16:g(y)= {种族/年级基础模型、Dk(y)}为k∈{ 1:8 }
模型17:g(y)= {种族/年级基础模型、Sk(y)}为k∈{ 8 }
模型18:g(y)= { Msex,种族/年级基础模型(y)}的∈{女性,N / a },与男性
作为参考类别
模型19:g(y)= {种族/年级基础模型、Usex(y)}
模型20:g(y)= {种族/年级基础模型、Ubuilding(y)},即初中和高中
模型21:g(y)= {种族/年级基础模型、Av(y)}的品位
模型22:g(y)= {种族/年级基础模型、EPk(y)}为k∈{ 0:3 }
模型23:g(y)= {种族/年级基础模型、u(y,0.5)}
模型24:g(y)= {种族/年级基础模型、v(y,0.5)}
模型25:g(y)= {种族/年级基础模型、w(y,0.5)}
第一轮,添加这些条款或条款,收益率模型适合在表3。
标准的马尔可夫的三角形和个人又导致了nonconverging明星参数
模型。也会收敛,所有代表AIC的改善。的
添加集群来看v(y)是迄今为止最强大的这些(AIC = 11242.0),一个
饱和程度分布的非参数版本Dk(y)排在第二位(AIC =
12104.5)。我们将v(y)添加到模型中,并包括这个新模型的参数表
2和图2 b中拟合优度的阴谋。
注意,当上面的模型是重复运行,loglikelihood的估计
v(y)和Dk(y)模型差异很大(101年的),尽管估计
的参数值是高度一致的。v(y)的值总是低,证明
它的选择提出额外的术语;然而,用于逼近的方法
可能性的价值开始失去精度此时模型复杂性;随后
模型比较单独使用拟合优度的阴谋。
我们现在提出模型,模型24捕获大部分高阶网络的特性
结构。包括扁共享伙伴分布,这或许并不令人意外
模型包含一个学期以来,尽管这并不是单一参数模型
保证符合整个分布。分布程度在很大程度上是合适的,例外
最低的术语(0 - 2),仍略。大多数的网格状分布,
虽然观察到分布的尾端发散,从模型预测。请注意,
然而,这些图对数标尺,所以这些低概率的视觉效果
事件大大提高。log-odds -12代表在这个网络更多的只有8双
超过140万双的,所以只有一个非常小的一部分数据都包含在这个尾巴。然而,一个完整的模型会捕获原始数据的这一特性
以及任何其他特性。
下一轮,我们重新考虑所有的条件,没有进入最后一轮,排除
三角统计T(y)和个人沿边共享伙伴统计EPk(y)
前面的v(y,θ2)。模型包含个人明星Sk(y)再次
退化;拟合优度情节的所有剩余图3所示。
添加参数条件分布程度(26)模型并解决我们的问题
先前的模型不准确预测0和1度。然而,在这个过程中它造成了
破坏大地分布;也就是说,它提高了但是misspecifies适合当地的结构全球结构的过程。拟合优度目视检查的情节,
提高最为健康的模型,包括边缘统计性的不同的值
模型属性(27)。注意,实际上有三个值对性的数据(男,女,
加上N / A的学生让空白的问题),这样一个术语性增加了两个边缘
统计模型(女,N / A,以男性为参考类别)。这些术语了
事实上,女学生有更多共同的朋友这些数据比男性
(即Msex,女(y)是重要的和积极的),而学生性别不明的中间。
这个简单的组件的扩展范围的测地线
分布书评;在前面提出的模型(模型24),数据和
模型网格长度16周围似乎有分歧,而分歧开始在这个模型
大约24。
我们有必要只选择一个简短的列表观察之间的网络统计数据比较
数据和模型预测。一个可以选择比较其他。作为例子,我们
提供两个额外的统计情节图4:三角形的总数
网络(图4)和规模最大的组件(图4 b)。这些统计数据
代表的是单一的测量图上的而不是分布在元素内
图,因此可以用这些比较简单的直方图。对统计数据
观测数据(157年157个三角形,演员最大的组件)下降到的质量
的预测模型27日为模型提供了进一步的证据。
额外的迭代模型建立的这组条件,使用模型27为基础,没有
似乎进一步推进模型适合,没有显示。
讨论
早些时候讨论的进展论文这个问题的广义统计
依赖模型的推理在大型社交网络比已经站稳脚跟
之前存在。将这些模型应用到过程中友谊网络
纸,我们已经获得了一些洞察底层社会过程(或可能
)产生的友谊。首先,似乎是两个外生(attributebased)
和内源性(共享合作伙伴)过程的朋友选择在这些工作
学生,也仅能够捕获网络结构的各个方面。我们可以
使用参数的值(代表log-odds比率领带),偏见
对within-grade关系普遍强于within-race关系,尽管这两种类型
是强大的和重要的。的大小参数v(y,θ2)是不容易比较
直接与他人给予共享合作伙伴制定的复杂性;然而,这
效果是显著的。术语似乎并没有为模型适合包括贡献显著
(参数或非参数)和程度dyadwise共享合作伙伴。在
短,捕捉这些友谊,最全球结构只需要相对
当地phenomena-attribute混合和模式的共享合作伙伴或三角形。信息属性的混合可以从本地网络获得的研究使用标准技术
抽样调查对象。信息共享模式的合作伙伴可以获得
从问受访者有多少合作伙伴与他们的合作伙伴的共同点
(可能或可能不可靠),或通过一步联系跟踪,这两种
相对更容易和更便宜的比一个完整的人口普查对于大多数实际网络
人群。如果这里的结果发现,全球的结构
在这些本地或网络确定semi-local水平,那么这个发现预示着
未来的实证分析社会网络结构,以及它的决定因素和影响,
利用采样数据以自我为中心。
除了对这个友谊在这所学校学习,我们也了解
ERG的各种参数化模型。这里的结果与最近的工作协议
显示常用的马尔可夫模型退化为经验网络
不是非常小。提出的替代形式Snijders et al .(2006)和猎人Handcock(2006)也有类似的潜在解释更健壮的属性,
不仅避免退化,但作为实证验证有用。这些参数化,
结合先进的计算算法,现在让我们进行一般
统计推断在网络上一到两个数量级较大的比
社交网络分析人士长期以来一直用于考虑。虽然很多
细化无疑还在,看来统计的期待已久的承诺
网络分析可能终于到来。
介绍了指数随机图（P *）社交网络模型 （加里·罗宾斯，皮普派特森，尤瓦尔·卡利什，院长Lusher） 心理学系，行为科学，墨尔本大学商学院。 3010，澳大利亚 摘要： 本文提供的介绍总结，制定和应用指数随机的图模型的社交网络。网络的 各个节点之间的可能的关系被认为是随机的变量和假设，这些随机的领带变量 之间的依赖关系确定，一般形式的指数随机图模型的网络。不同的相关性假设 的例子及其相关的模型，给出了包括伯努利，对子无关，马尔可夫随机图模型。在社会选择机型演员的加入属性也被审查。更新，更复杂依赖的假设进行了简 要介绍。估计程序进行了讨论，其中包括新的方法蒙特卡罗最大似然估计。我 们预示着在其它组织了讨论论文在这款特别版：弗兰克和施特劳斯的马氏随机 图模型[弗兰克，澳，施特劳斯，D.，1986年马氏图。杂志美国统计协会81，832-842]不适合于许多观察到的网络，而Snijders等人的新的模型参数。[Snijders，TAB，派特森，P.，罗宾斯，GL，Handock，M.新规范指数随机图模型。社会学方法论，在记者]提供实质性的改善。 关键词：指数随机图模型;统计模型的社交网络; P *模型 在最近几年，出现了在指数随机图模型对于越来越大的兴趣社交网络，通常称为P *类车型（弗兰克和施特劳斯，1986;派特森和沃瑟曼，1999;罗宾斯等人，1999;沃瑟曼和帕蒂森，1996年）。这些概率模型对一组给定的演员网络 允许泛化超越了早期的P1模型类（荷兰和Leinhardt，1981年）的限制二元独立性假设。因此，它们允许模型从社会行为的结构基础的一个更为现实的构建。这些模型车的研究多层次，multitheoretical假说的有效性一直在强调（例如，承包商等，2006）。 已经有一些自Anderson等重大理论和技术的发展。（1999）介绍了他们对 P *型号知名底漆。我们总结了本文上述的进步。特别是，我们认为重要的是在概念上从依赖假设的衍生地，这些模型，模型的基本依据，然后作出了明确， 并与有关（不可观察）社会进程底层网络的形成假说更容易联系。正是通过新 的模式，可以开发一个有原则的方式，包括结合了演员的属性模型这样的做法。在模型规范和估计最近的发展需要注意的是，因为这样做就设置结构和部分新 技术的步骤依赖的假设，不仅扩大了级车型，但具有重要意义的概念。特别是，我们现在有一个更好的了解马尔可夫随机图，和有前途的新规格的性能已经提 出来克服他们的一些不足之处。 本文介绍了模型，并总结当前方法的发展与扩展概念的阐述（更多技术总 结最近被沃瑟曼和罗宾斯，2005年定;知更鸟和派特森，2005; Snijders等人，出版。）我们首先简要介绍理分析社交网络的统计模型（第1节）。然后，我 们提供指数随机图模型的基本逻辑进行了概述，并概述我们框架模型构建（第 2节）。在第3节中，我们讨论的重要概念一个依赖假设的建模方法的心脏。 在第4节中，我们提出了一系列不同的相关性假设和模型。对于模型估计（第 5章），我们简单总结伪似然估计（PLE）的方法，并检讨最近的事态发展蒙特 卡罗马尔可夫链最大似然估计方法。在第6节中，我们提出拟合模型，网络数
软件学报ISSN 1000-9825, CODEN RUXUEW E-mail: jos@https://www.doczj.com/doc/bd10480217.html, Journal of Software,2013,24(11):2476?2497 [doi: 10.3724/SP.J.1001.2013.04486] https://www.doczj.com/doc/bd10480217.html, +86-10-62562563 ?中国科学院软件研究所版权所有. Tel/Fax: ? 概率图模型研究进展综述 张宏毅1,2, 王立威1,2, 陈瑜希1,2 1(机器感知与智能教育部重点实验室(北京大学),北京 100871) 2(北京大学信息科学技术学院智能科学系,北京 100871) 通讯作者: 张宏毅, E-mail: hongyi.zhang.pku@https://www.doczj.com/doc/bd10480217.html, 摘要: 概率图模型作为一类有力的工具,能够简洁地表示复杂的概率分布,有效地(近似)计算边缘分布和条件分 布,方便地学习概率模型中的参数和超参数.因此,它作为一种处理不确定性的形式化方法,被广泛应用于需要进行 自动的概率推理的场合,例如计算机视觉、自然语言处理.回顾了有关概率图模型的表示、推理和学习的基本概念 和主要结果,并详细介绍了这些方法在两种重要的概率模型中的应用.还回顾了在加速经典近似推理算法方面的新 进展.最后讨论了相关方向的研究前景. 关键词: 概率图模型;概率推理;机器学习 中图法分类号: TP181文献标识码: A 中文引用格式: 张宏毅,王立威,陈瑜希.概率图模型研究进展综述.软件学报,2013,24(11):2476?2497.https://www.doczj.com/doc/bd10480217.html,/ 1000-9825/4486.htm 英文引用格式: Zhang HY, Wang LW, Chen YX. Research progress of probabilistic graphical models: A survey. Ruan Jian Xue Bao/Journal of Software, 2013,24(11):2476?2497 (in Chinese).https://www.doczj.com/doc/bd10480217.html,/1000-9825/4486.htm Research Progress of Probabilistic Graphical Models: A Survey ZHANG Hong-Yi1,2, WANG Li-Wei1,2, CHEN Yu-Xi1,2 1(Key Laboratory of Machine Perception (Peking University), Ministry of Education, Beijing 100871, China) 2(Department of Machine Intelligence, School of Electronics Engineering and Computer Science, Peking University, Beijing 100871, China) Corresponding author: ZHANG Hong-Yi, E-mail: hongyi.zhang.pku@https://www.doczj.com/doc/bd10480217.html, Abstract: Probabilistic graphical models are powerful tools for compactly representing complex probability distributions, efficiently computing (approximate) marginal and conditional distributions, and conveniently learning parameters and hyperparameters in probabilistic models. As a result, they have been widely used in applications that require some sort of automated probabilistic reasoning, such as computer vision and natural language processing, as a formal approach to deal with uncertainty. This paper surveys the basic concepts and key results of representation, inference and learning in probabilistic graphical models, and demonstrates their uses in two important probabilistic models. It also reviews some recent advances in speeding up classic approximate inference algorithms, followed by a discussion of promising research directions. Key words: probabilistic graphical model; probabilistic reasoning; machine learning 我们工作和生活中的许多问题都需要通过推理来解决.通过推理,我们综合已有的信息,对我们感兴趣的未 知量做出估计,或者决定采取某种行动.例如,程序员通过观察程序在测试中的输出判断程序是否有错误以及需 要进一步调试的代码位置,医生通过患者的自我报告、患者体征、医学检测结果和流行病爆发的状态判断患者 可能罹患的疾病.一直以来,计算机科学都在努力将推理自动化,例如,编写能够自动对程序进行测试并且诊断 ?基金项目: 国家自然科学基金(61222307, 61075003) 收稿时间:2013-07-17; 修改时间: 2013-08-02; 定稿时间: 2013-08-27
读懂概率图模型：你需要从基本概念和参数估计开始 选自statsbot作者：Prasoon Goyal机器之心编译参与：Panda 概率图模型是人工智能领域内一大主要研究方向。近日，Statsbot 团队邀请数据科学家Prasoon Goyal 在其博客上分两部分发表了一篇有关概率图模型的基础性介绍文章。文章从基础的概念开始谈起，并加入了基础的应用示例来帮助初学者理解概率图模型的实用价值。机器之心对该文章进行了编译介绍。 第一部分：基本术语和问题设定 机器学习领域内很多常见问题都涉及到对彼此相互独立的 孤立数据点进行分类。比如：预测给定图像中是否包含汽车或狗，或预测图像中的手写字符是0 到9 中的哪一个。 事实证明，很多问题都不在上述范围内。比如说，给定一个句子「I like machine learning」，然后标注每个词的词性（名词、代词、动词、形容词等）。正如这个简单例子所表现出的那样：我们不能通过单独处理每个词来解决这个任务——「learning」根据上下文的情况既可以是名词，也可以是动词。这个任务对很多关于文本的更为复杂的任务非常重要，比如从一种语言到另一种语言的翻译、文本转语音等。 使用标准的分类模型来处理这些问题并没有什么显而易见
的方法。概率图模型（PGM/probabilistic graphical model）是一种用于学习这些带有依赖（dependency）的模型的强大框架。这篇文章是Statsbot 团队邀请数据科学家Prasoon Goyal 为这一框架编写的一份教程。 在探讨如何将概率图模型用于机器学习问题之前，我们需要先理解PGM 框架。概率图模型（或简称图模型）在形式上是由图结构组成的。图的每个节点（node）都关联了一个随机变量，而图的边（edge）则被用于编码这些随机变量之间的关系。 根据图是有向的还是无向的，我们可以将图的模式分为两大类——贝叶斯网络（?Bayesian network）和马尔可夫网络（Markov networks）。 贝叶斯网络：有向图模型 贝叶斯网络的一个典型案例是所谓的「学生网络（student network）」，它看起来像是这样： 这个图描述了某个学生注册某个大学课程的设定。该图中有5 个随机变量：课程的难度（Difficulty）：可取两个值，0 表示低难度，1 表示高难度 学生的智力水平（Intelligence）：可取两个值，0 表示不聪明，1 表示聪明 学生的评级（Grade）：可取三个值，1 表示差，2 表示中，3 表示优
水平上下波动。本文简单介绍在折现现金流量模莲！！中采用 蒙特卡洛模拟方法对那些高风险或发展前景存在不确定性因素的公司进行决策。蒙特卡洛模拟的方法，对于财务 数据都是通过随机取样来确定的，客观地反映了市场的变化。而大量的数据模拟解释了一种概率的结果．这是人们 对收益法中采用财务预测产生怀疑的一个很好解释。 二、蒙特卡洛方法简介 蒙特卡洛模拟法Ｏ＇ｌｏｎｔｅＣａｒｌｏＳｉｍｕｌａｔｉｏｎ）３Ｌ称随机模拟法，其名７来源于摩纳哥著名赌城蒙特卡洛，它是计算机模拟的基础。该理论最早起源于法国科学家普丰在１７７７年提出的一种计算圆周率的方法——随机投针法．即著名 的普丰针实验。蒙特卡洛模拟建立在中心极限定理的基础 上，假设某个随机变量＇，的期望值Ｏ＝Ｅ『Ｙ１，那么我们假设可以产生与ｙ独立同分布的随机变量的值，每产生一次完 成一次模拟。假设进行了＆次模拟，产生了ｋ个值ｙ，，ｙ：， ｋ ｂ，…，ｙ＊，如果令ｙ＝乞Ｙ。／ｋ是它们的代数平均值，那么Ｙ ｌ＝ｌ 就可以看作０的一个估计值，并且我们可以证明在中心极 限定理的假设下，＾越大，越接近正态分布，那么ｙ也就是 ０的一个较好的估计量。这种估计期望值的方法就称为蒙 特卡洛模拟。 三、风险投资决策的蒙特卡洛模拟法 在企业价值评估中，常常采用收益法，把预测的盈利 流折现得出企业现在的价值。这种方法所用的增长率是平 均值，但是这个增长率忽视了预计因素变动的不确定性。 还有一种模型是Ｄｅｌｐｈｉ法，通过反复的大量调查取值来计算一个参数的平均值，该方法在实际运用中将会耗用大量成本。现实【吐界的情况是不确定因素很多并且服从不同的 概率分布，所以。把这种变化明确地表现到预测和模拟当 中是一种可以考虑的选择。本文介绍一种基于Ｅｘｃｅｌ加载宏的ＣｒｙｓｔａｌＢａｌｌ软件，来实现风险投资决策的仿真运算模型。 １．ＣｒｙｓｔａｌＢａｌｌ软件简介 ＣｒｙｓｔａｌＢａｌｌ软件是由美国Ｄｅｃｉｓｉｏｎｅｅｒｉｎｇ公司开发的，为Ｅｘｃｅｌ电子表格提供的功能强大的加载宏。它充分利 用微软视窗环境，提供了含有易学易用的图形包的高级模拟技术的独特组合。该软件包主要有计算机仿真模拟功能、时间序列数据生成预测和ＯｐｔＱｕｅｓｔ功能。使其可以在运行结果中自动搜索仿真模型的最优解。 ２．ＣｒｙｓｔａｌＢａｌｌ软件的使用步骤 （１）定义随机的输入单元格：加载ＣｒｙｓｔａｌＢａｌｌ到Ｅｘｃｅｌ中，并且建立一个工作表，将投资预测的相关变量输入电子表格中： （２）定义随机单元格的概率分布：利用软件的ＤｅｆｉｎｅＡｓｓｕｍｐｔｉｏｎ功能为相应变量设定概率分布，利用ＤｅｆｉｎｅＤｅｃｉｓｉｏｎ定义决策变量： （３）定义预测的输出单元格：利用ＤｅｆｉｎｅＦｏｒｅｃａｓｔ功 能定义输出变量的单元格； 金融与投资 （４）设定运行参数：在ＲｕｎＰｒｅｆｅｒｅｎｃｅ功能中定义模拟次数、敏感度分析等参数； （５）运行仿真：点击Ｒｕｎ进行模拟运算，分析模拟结果。 本文举出一个简化的例子说明预测因素不同水平的变化能够影响风险投资决策。在实际工作中采用蒙特卡洛模拟的方法比较复杂，而利用ＣｒｙｓｔａｌＢａｌｌ软件包进行模拟则很方便．不需要设计复杂的语言程序。 四、模拟案例 假设ＡＢＣ公司需要进行?项风险投资，其中年产量和巾‘场份额是两个不确定性变量，其概率分布见表１，争位价格和产品成本同年产量存在一定的线形函数关系，Ｅｘｃｅｌ表格设计见图１。 表１年产量和市场份额概率分布 产量的可能取值（件）１０００１１００１２００１３００ 相应概率Ｏ．２Ｏ．４０．２０．２ 市场份额的可能取值（％）１０４０２０３０ 相应概率０．１Ｏ．２０．３０．４ 选择年产量和市场份额作为随机变量，按照预计的概率分布。在Ｅｘｃｅｌ中利用ＣｒｙｓｔａｌＢａｌｌ软件设置随机单元格，选定运行参数为１００００次、置信区间为９５％和定义敏感度分析工具，然后进行仿真运算，可以得到图２的统计数据和图３的概率分布情况所示的仿真运算结果。 图１模型的Ｅｘｃｅｌ电子表格 分析图２的仿真运算结果可知．经过１００００次模拟运算后．该投资在１年之后的净现值的平均值为一１９５８＿５４元，即该投资的平均期望价值为一１９５８５４元，并且我们还可以得到关于数据模拟的中位数、众数、方差和峰度等参数值。利用图３还可以进行风险分析。这是ＣｒｙｓｔａｌＢａｌｌ软件提供的更有用的另一种方式，它增加了仿真运行结果的有用信息。决策者可以在图３中移动图形中的小三角形到任意位置．从而立刻估算出相应区问的投资收益净现值的获得概率（Ｃｅｒｔａｉｎｔｙ）。对于仿真结果的精确度分析，则可以利用图２中统计表底部的均值标准差ｍｅａｎｓｔａｎｄａｒｄｅｒｒｏｒ）提供的数据２１５５５元，真实值往往在抽样值的周围以一个数值波动。本案例中是在９５％的置信区间内波动，并且可以知道９５％的特有倍数是１．９６５。所以置信范围从 ＣＨＩＮＡＭＡＮＡＧＥＭＥＮＴ ＩＮＦＯＲＭＡＴＩＯＮＩＺＡＴＩＯＮ，５７
上证指数20年里涨跌大体相等回顾上海股市历史数据 2010年上证指数收盘点位是2808.08点，但是，在3个“发”没有给2011年股市带来好运，昨天上证指数报收2199.42点，2011年K线收出大阴线，这样，上海股市20年的历史上，年K线阴线达到10根。不过，总体上20年来上证指数上涨和下跌的年份大体相等，上涨的时候略多一点。 上证指数从1990年到2011年总共有22根年K线，其中，12根是阳线，10根是阴线，涨跌基本平衡，上涨略多一些。观察上证指数收阴线的10根年K线，大部分是连续2根，如1994年和1995年连续2年下跌，2001年和2002年连续2年下跌，2004年和2005年连续2年下跌。至今上证指数没有出现过连跌3年，2010年和2011年上证指数又是连跌2年，那么，明年是不是可能开阳线呢？ 再看跌幅，虽然20年来有10年是下跌的，但是，上证指数跌幅超过20%的也不过只有4次，跌幅最大的是2008年，上证指数下跌65.39%，1994年和2001年上证指数跌幅也超过20%，分别下跌22.3%和20.62%，然后就是今年下跌了21.68%，成为历史上第三大年跌幅。总体看，上海股市有10年是下跌的，但跌幅不算很大。 为了让读者了解20年来上海股市的涨跌情况，将上证指
数每年涨跌数据附在后面。 上证指数历史上年涨跌幅 ■1990年，开盘96.05点，最高127.61点，最低95.79点，收盘127.61点。 ■1991年，开盘127.61点，最高292.75点，最低104.96点，收盘292.75点，上涨129.41%。 ■1992年，开盘293.74点，最高1429.01点，最低292.76点，收盘780.39点，上涨166.57%。 ■1993年，开盘784.13点，最高1558.95点，最低750.46点，收盘833.8点，上涨6.84%。 ■1994年，开盘837.7点，最高1052.94点，最低325.89点，收盘647.87点，下跌22.3%。 ■1995年，开盘637.72点，最高926.41点，最低524.43点，收盘555.29点，下跌14.29%。 ■1996年，开盘550.26，最高1258.69点，最低512.83点，收盘917.02点，上涨65.14%。 ■1997年，开盘914.06点，最高1510.18点，最低870.18点，收盘1194.1点，上涨30.22%。 ■1998年，开盘1200.95点，最高1422.98点，最低1043.02点，收盘1146.7点，下跌3.97%。 ■1999年，开盘1144.89点，最高1756.18点，最低1047.83点，收盘1366.58点，上涨19.18%。
概率图模型介绍与计算 01 简单介绍 概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x)，即给定数据判定每种标签y的概率，最后选取最大的后验概率最大的标签作为预测结果。这个过程也称概率推理(probabilistic inference）。而有向图的应用也很广，有向图又称贝叶斯网络(bayes networks),说到贝叶斯就足以可以预见这个模型的应用范围咯，比如医疗诊断，绝大多数的机器学习等。但是它也有一些争议的地方，说到这就回到贝叶斯派和频率派几百年的争议这个大话题上去了，因为贝叶斯派假设了一些先验概率，而频率派认为这个先验有点主观，频率派认为模型的参数是客观存在的，假设先验分布就有点武断，用贝叶斯模型预测的结果就有点“水分”，不适用于比较严格的领域，比如精密制造，法律行业等。好吧，如果不遵循贝叶斯观点，前面讲的所有机器学习模型都可以dismiss咯，我们就通过大量数据统计先验来弥补这点“缺陷”吧。无向图和有向图的例子如（图一）所示： 图一(a)无向图（隐马尔科夫）(b)有向图 概率图模型吸取了图论和概率二者的长处，图论在许多计算领域中扮演着重要角色，比如组合优化，统计物理，经济等。图的每个节点都可看成一个变量，每个变量有N个状态（取值范围），节点之间的边表示变量之间的关系，它除了
19 无向图模型（马尔科夫随机场） 19.1 介绍 在第十章,我们讨论了图形化模型(DGMs),通常称为贝叶斯网。然而,对于某些域,需要选择一个方向的边即(DGM), 例如,考虑建模一个图像。我们可能会假设相邻像素的强度值是相关的。我们可以创建一个DAG模型的2D拓扑如图19.1所示。这就是所谓的因果MRF或马尔可夫网。然而,它的条件独立性通常不好。 另一种方法是使用anundirected图形化模型(UGM),也称为马尔可夫随机场(MRF)或马尔可夫网络。这些不需要我们指定边缘方向,在处理一些问题,如图像分析和空间统计数据时显得更自然。例如,一个无向二维点阵显示（如图19.1(b)）；现在每个节点的马尔科夫Blanket只是最近邻节点,正如我们在19.2节所示的那样。 粗略地讲,在建立在DGMs上的UGMs的主要优点是:(1)它们是对称的,因此对 某些领域更“自然”,如空间或关系数据；(2)Discriminativel UGMs(又名条件随机域,或CRFs),它定义了条件概率密度p(y|x),要比Discriminativel UGMs更好，我们在19.6.1节中解释原因。相比于DGMs，UGMs的主要缺点是:(1)参数是可很难解释及模块化程度较差,我们在19.3节解释原因;(2)参数估计计算代价更高,原因我们在19.5节解释。 19.2 UGMs的条件独立性 19.2.1 UGMs通过简单的图分离定义CI关系如下：对于节点集的A,B,C,我们说X A ⊥G X B | X C,如果从在图G中把A从B中分离出来。这意味着，当我们删除所有C 中的节,如果在A上没有任何连接的路径到B，那么CI 属性holds。这就是所谓的UGMs的全局马尔可夫性质。例如,在图19.2(b),有{ 1,2 }⊥{ 6、7 } | { 3、4、5 }。
概率图模型 过去的一段时间里，忙于考试、忙于完成实验室要求的任务、更忙于过年，很长时间没有以一种良好的心态来回忆、总结自己所学的东西了。这几天总在想，我应该怎么做。后来我才明白，应该想想我现在该做什么，所以我开始写这篇博客了。这将是对概率图模型的一个很基础的总结，主要参考了《PATTERN RECOGNITION and MACHINE LEARNING》。看这部分内容主要是因为LDPC码中涉及到了相关的知识。概率图模型本身是值得深究的，但我了解得不多，本文就纯当是介绍了，如有错误或不当之处还请多多指教。 0. 这是什么？ 很多事情是具有不确定性的。人们往往希望从不确定的东西里尽可能多的得到确定的知识、信息。为了达到这一目的，人们创建了概率理论来描述事物的不确定性。在这一基础上，人们希望能够通过已经知道的知识来推测出未知的事情，无论是现在、过去、还是将来。在这一过程中，模型往往是必须的，什么样的模型才是相对正确的？这又是我们需要解决的问题。这些问题出现在很多领域，包括模式识别、差错控制编码等。 概率图模型是解决这些问题的工具之一。从名字上可以看出，这是一种或是一类模型，同时运用了概率和图这两种数学工具来建立的模型。那么，很自然的有下一个问题 1. 为什么要引入概率图模型？ 对于一般的统计推断问题，概率模型能够很好的解决，那么引入概率图模型又能带来什么好处呢？ LDPC码的译码算法中的置信传播算法的提出早于因子图，这在一定程度上说明概率图模型不是一个从不能解决问题到解决问题的突破，而是采用概率图模型能够更好的解决问题。《模式识别和机器学习》这本书在图模型的开篇就阐明了在概率模型中运用图这一工具带来的一些好的性质，包括
教学大纲 统计推理和学习（Statistical Inference and Learning）是信号处理、模式识别、通信系统等工程应用中处理不确定性的一个重要方法。新兴的（概率）图模型是概率论与图论相结合的产物，为各种统计推理和学习提供了一个统一的灵活框架。 本课程介绍图模型基本理论，包括：图论相关知识，图模型上条件独立性，有向图模型（贝叶斯网络）、无向图模型（马尔可夫随机场），图模型的统计推理算法，图模型的学习算法（参数学习和结构学习）等，以及图模型在语音识别、图像处理、计算机视觉、通信信道编码（Turbo-coding）等应用中的具体实例。具体包括如下内容：第一章引言 统计推理和学习的概念 第二章图模型 图论相关知识（简介） 图模型上条件独立性（d-separation，Bayes ball） 有向图模型（贝叶斯网络），无向图模型（马尔可夫随机场） 在图模型框架下介绍： 多元高斯模型、 主成分分析（PCA）、 混合分布（Mixtures）、 因子分析（FA）、 隐马尔科夫模型（HMM） 第三章图模型上的推理（Inference） 图论知识深入：簇（Cliques）、可分解图（Decomposable graph），连接树（Junction tree），规范化（Moralization），三角化（Triangulation）等概念 Junction Tree算法 对HMM的前向-后向算法、Viterbi算法，线性动态系统的Kalman滤波的统一描述 1
第四章图模型的参数学习（Parameter Learning） 完整数据下的最大似然（ML）参数估计 不完整数据（Incomplete Data）下的ML参数估计（EM算法） 完整数据下的贝叶斯学习 不完整数据下的贝叶斯学习 第五章图模型的结构学习（Structure Learning） 模型选取准则，包括最小描述长度（Minimum Description Length，MDL），贝叶斯信息准则（Bayesian Information Criterion，BIC）等 结构EM算法（Structural EM） 结构的贝叶斯学习 第六章图模型的应用选讲 图模型在语音识别应用中的实例 图模型在图像处理应用中的实例 图模型在计算机视觉应用中的实例 图模型在通信信道编码（Turbo-coding）应用中的实例 （前面各章中配合理论的讲解，相应有应用实例的介绍。） 2
概率图模型介绍与计算． 概率图模型介绍与计算 01 简单介绍概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea
Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x)，即给定数据判定每种标签y的概率，最后选取最大的后验概率最大的标签作为预测结果。这个过程也称概率推理(probabilistic inference）。而有向图的应用也很广，有向图又称贝叶斯网络(bayes networks),说到贝叶斯就足以可以预见这个模型的应用范围咯，比如医疗诊断，绝大多数的机器学习等。但是它也有一些争议的地方，说到这就回到贝叶斯派和频率派几百年的争议这个大话题上去了，因为贝叶斯派假设了一些先验概率，而频率派认为这个先验有点主观，频率派认为模型的参数是客观存在的，假设先验分布就有点武断，用贝叶斯模型预测的结果就有点“水分”，不适用于比较严格的领域，比如精密制造，法律行业等。好吧，如果不遵循贝叶斯观点，前面讲的所有机器学习模型都可以dismiss咯，我们就通过大量数据统计先验来弥补这点“缺陷”吧。无向图和有向图的例子如（图一）所示：
图一 (a)无向图（隐马尔科夫） (b)有向图 概率图模型吸取了图论和概率二者的长处，图论在许多计算领域中扮演着重要角色，比如组合优化，统计物理，经济等。图的每个节点都可看成一个变量，个状态（取值范围），节点之间的边表示变量之间的关系，它除N每个变量有． 了可以作为构建模型的语言外，图还可以评价模型的复杂度和可行性，一个算法的运行时间或者错误界限的数量级可以用图的结构性质来分析，这句话说的范围很广，其实工程领域的很多问题都可以用图来表示，最终转换成一个搜索试问还有什么问题不是搜索问题？目标就是快速的定位到目标，或者查找问题，树是图，旅行商问题是基于图，染色问题更是基于图，他们具有不同的图的结 构性质。对于树的时间复杂度我们是可以估算出来的，而概率图模型的一开始
教学日历 上课时间：第四大节（15:20~16:55） 上课地点：六教6A403 大节课次内容 （1）9月13日第一章引言 统计推理和学习的概念 （2）9月20日第二章图模型 图论相关知识 有向图模型（贝叶斯网络） （3）9月27日图模型上条件独立性（d-separation，Bayes ball）无向图模型（马尔可夫随机场） （4） 10月4日 国庆放假 （5）10月11日在图模型框架下介绍： 多元高斯模型、 主成分分析（PCA）、 混合分布（Mixtures）、 （6）10月18日因子分析（FA）、 隐马尔科夫模型（HMM） （7）10月25日第三章图模型上的推理（Inference） 图论知识深入：簇（Cliques）、可分解图（Decomposable graph），连接树（Junction tree），规范化（Moralization），三角化（Triangulation）等 （8） 11月1日 图论知识深入（续） 1
（9） 11月8日 Junction Tree算法 （10） 11月15日 Junction Tree算法（续） （11） 11月22日 HMM的前向-后向算法、Viterbi算法 （12） 11月29日 线性动态系统的Kalman滤波 （13）12月6日第四章图模型的参数学习（Parameter Learning） 完整数据下的最大似然（ML）参数估计 不完整数据（Incomplete Data）下的ML参数估计（EM算法）完整数据下的贝叶斯学习 不完整数据下的贝叶斯学习 （14）12月13日第五章图模型的结构学习（Structure Learning） 模型选取准则，包括最小描述长度（Minimum Description Length，MDL），贝叶斯信息准则（Bayesian Information Criterion，BIC）等 结构EM算法（Structural EM） 结构的贝叶斯学习 （15）12月20日第六章图模型的应用选讲 图模型在语音识别应用中的实例 图模型在图像处理应用中的实例 （16）12月27日图模型在计算机视觉应用中的实例 图模型在通信信道编码（Turbo-coding）应用中的实例 2
Stanford概率图模型（Probabilistic Graphical Model）L2 Stanford概率图模型（Probabilistic Graphical Model）—第二讲Template Models and Structured CPDs概率图模型（Probabilistic Graphical Model）系列来自Stanford公开课Probabilistic Graphical Model中Daphne Koller 老师的讲解。（https://https://www.doczj.com/doc/bd10480217.html,/pgm-2012-002/class/index）主要内容包括（转载请注明原始出处https://www.doczj.com/doc/bd10480217.html,/yangliuy）1. 贝叶斯网络及马尔可夫网络的概率图模型表示及变形。2. Reasoning 及Inference 方法，包括exact inference(variable elimination, clique trees) 和approximate inference (belief propagation message passing, Markov chain Monte Carlo methods)。3. 概率图模型中参数及结构的learning方法。4. 使用概率图模型进行统计决策建模。第二讲. Template Models and Structured CPDs.1 Template Models模版图模型，是对图模型更加紧凑的描述方式。模版变量是图模型中多次重复出现的变量，例如多个学生的智商、多门课程的难度。而模版图模型描述了模版变量如何从模版中继承依赖关系，典型的TemplateModels有动态贝叶斯模型DBN、隐马尔科夫模型HMM及PlateModels。动态贝叶斯模型主要是在贝叶斯网络中引入了马尔科夫假设和时间不变性。这几个模型将在后面几讲中再深入介绍，下面看
第40卷第6期自动化学报Vol.40,No.6 2014年6月ACTA AUTOMATICA SINICA June,2014 概率图模型学习技术研究进展 刘建伟1黎海恩1罗雄麟1 摘要概率图模型能有效处理不确定性推理,从样本数据中准确高效地学习概率图模型是其在实际应用中的关键问题.概率图模型的表示由参数和结构两部分组成,其学习算法也相应分为参数学习与结构学习.本文详细介绍了基于概率图模型网络的参数学习与结构学习算法,并根据数据集是否完备而分别讨论各种情况下的参数学习算法,还针对结构学习算法特点的不同把结构学习算法归纳为基于约束的学习、基于评分搜索的学习、混合学习、动态规划结构学习、模型平均结构学习和不完备数据集的结构学习.并总结了马尔科夫网络的参数学习与结构学习算法.最后指出了概率图模型学习的开放性问题以及进一步的研究方向. 关键词概率图模型,贝叶斯网络,马尔科夫网络,参数学习,结构学习,不完备数据集 引用格式刘建伟,黎海恩,罗雄麟.概率图模型学习技术研究进展.自动化学报,2014,40(6):1025?1044 DOI10.3724/SP.J.1004.2014.01025 Learning Technique of Probabilistic Graphical Models:a Review LIU Jian-Wei1LI Hai-En1LUO Xiong-Lin1 Abstract Probabilistic graphical models are powerful techniques to deal with uncertainty inference e?ciently,and learning probabilistic graphical models exactly and e?ciently from data is the core problem to be solved for the application of graphical models.Since the representation of graphical models is composed of parameters and structure,their learning algorithms are divided into parameters learning and structure learning.In this paper,the parameters and structure learning algorithms of probabilistic graphical models are reviewed.In parameters learning,the dataset is complete or not is also considered.Structure learning algorithms are categorized into six principal classes according to their di?erent characteristics.The parameters and structure learning of Markov networks are also presented.Finally,the open problems and a discussion of the future trend of probabilistic graphical models are given. Key words Probabilistic graphical models,Bayesian network,Markov network,parameter learning,structure learning, incomplete dataset Citation Liu Jian-Wei,Li Hai-En,Luo Xiong-Lin.Learning technique of probabilistic graphical models:a review.Acta Automatica Sinica,2014,40(6):1025?1044 概率图模型能简洁有效地表示变量间的相互关系,为不确定性推理体系提供强有力的工具,近年来已成为人工智能和机器学习的热门研究领域.目前,概率图模型已在图像分析、生物医学和计算机科学等多个领域成功应用.在利用概率图模型进行不确定推理之前,需要先根据领域知识构造出概率图模型.过去,概率图模型的构造通常由领域专家利用专业知识进行人工构造,但是该过程耗时长而且实现 收稿日期2013-06-05录用日期2013-08-01 Manuscript received June5,2013;accepted August1,2013 国家重点基础研究发展计划(973计划)(2012CB720500),国家自然科学基金(21006127),中国石油大学(北京)基础学科研究基金(JCX K-2011-07)资助 Supported by National Basic Research Program of China(973 Program)(2012CB720500),National Natural Science Founda-tion of China(21006127),and Basic Subject Research Fund of China University of Petroleum(JCXK-2011-07) 本文责任编委刘成林 Recommended by Associate Editor LIU Cheng-Lin 1.中国石油大学(北京)自动化研究所北京102249 1.Research Institute of Automation,China University of Petroleum,Beijing102249过程复杂.在当今的信息时代,从样本数据中学习概率图模型已成为主要的构造手段. 目前,常用的概率图模型主要有贝叶斯网络(Bayesian network,BN)和马尔科夫网络(Markov network,MN).BN是有向图模型,而MN是无向图模型,两者的学习算法存在一定的区别.由于概率图模型的表示分参数表示和结构表示两个部分,因此学习算法也分为参数学习与结构学习两大类. BN的参数学习假设结构已知,然后从样本数据中学习每个变量的概率分布.概率分布的形式一般已预先指定,如多项式分布、高斯分布和泊松分布等,只需利用一定的策略估计这些分布的参数.学习过程中需要注意样本数据集的观测程度.若每一个样本都是所有随机变量的充分观测样例,则数据集为完备数据集;若样本中缺失某些变量的观测样例或者存在不可能被观测的隐变量,则数据集为不完备数据集.而不完备数据集的数据缺失假设有三种情况:随机缺失、完全随机缺失和非随机缺失.根据
概率图模型及求解方法 本文介绍概率图模型的定义和几个相关算法，概率图模型是贝叶斯统计和机器学习中的一个常用方法，在自然语言处理和生物信息中也有重要应用。关于概率图模型更详细全面的介绍参见[1],[6]。 1.1什么是概率图模型 概率图模型简单地说是用图作为数据结构来储存概率分布的模型。图中的节点表示概率分布中的随机变量，图中的边表示它连接的两个随机变量之间存在的某种关系（具体是什么关系将在后文提到）。概率图模型可以简洁的表示复杂的概率分布，并且可以利用图论中的算法来求解概率分布中的某些特性（条件独立性和边际概率），因此得到了广泛应用。 1.2有向图模型 1.2.1定义 概率图模型根据模型中的图是否为有向图分为有向图模型和无向图模型两种。有向图模型也叫贝叶斯网络。我们考虑的有向图模型中的图是有向无圈图，有向无圈图是指图中两点之间至多存在一条有向路径。我们可以对有向无圈图中的节点排序，使得图中的边都是从序号小的节点指向序号大的节点，这种排序称为拓扑排序。在有向图中，我们称存在有向边指向节点x 的节点为x 的父节点，节点x 的边指向的节点为x 的子节点。存在由节点x 到节点y 的一条有向路径，并且路径的方向指向节点y 的所有y 的集合称为x 的后代节点。容易看出，在拓扑排序下父节点的序号总是小于子节点的序号。如果图G 中存在有向圈，则节点x 可能既是节点y 的父节点又是节点的子节点，因此父节点、子节点只对有向无圈图有意义。 称概率分布P 可以由有向无圈图G 表出，如果概率分布可以分解为： 1 (x)(x |pa )k k K k P P == ∏ (1.1) 其中，pa k 表示x k 在图G 中所有父节点组成的集合。
上证指数历史 上证指数历史数据【1】 (2010-04-06 18:19:30) 转载 第一轮暴涨暴跌:100点——1429点——400点。 以1990年12月19日为基期，中国股市从100点起步，1992年5月26日【星期二、壬申乙巳壬寅，上证指数就狂飙至1429.01点，历时17个月，这是中国股市第一个大牛市的“顶峰”，上证指数【暴涨1329%】。随后股市便是迅猛而恐慌地回跌，暴跌5个月后，1992年11月17日【星期二、壬申辛亥丁酉二黑】，上证指数回落至386.85(400点下方)【跌幅72.9%】。 *1992年5月26日1429.01点【星期二、壬申乙巳壬寅八白】【涨幅1329%】NO.1。 *1992年11月17日386.85点【星期二、壬申辛亥丁酉二黑】【跌幅72.9%】NO.2。 第二轮暴涨暴跌:400点——1536点——333点。 上证指数从1992年底的400点低谷启航，开始了它的第二轮“大起大落”。这一次暴涨来得更为猛烈，从400点附近极速地窜至1993年2月16日1558.95点收盘(上证指数第一次站上1500点之上)，仅用了3个月的时间，上证指数上涨了1173点，【涨幅303%】。股指在1500 点上方站稳了4天之后，便调头持续下跌。这一次下跌基本上没遇上任何阻力，但下跌时间较上一轮要长，持续阴跌达17个月之久。1994年7月29日，上证指数跌至这一轮行情的最低点325.89点【跌幅79%】。
】*1993年2月16日1558.95点【星期二、癸酉甲寅戊辰八白】【涨幅 303%NO.3。 *1994年7月29日325.89点【星期五、甲戌辛未丙辰九紫】【跌幅79%】NO.1。 第三轮暴涨暴跌:333点——1053点——512点。 由于三大政策救市，1994年8月1日，新一轮行情再次启动，这一轮大牛行情来得更加猛烈而短暂，仅用一个多月时间，上证指数就猛窜至1994年9月13日的最高点1052.94点， 【涨幅为222%】。随后便展开了一轮更加漫长的熊市。直至1996年1月19日，上证指数跌至512.83点的最低点【跌幅51%】。这一轮下跌总计耗时16个月。 *1994年9月13日1052.94点【星期二、甲戌癸酉壬寅七赤】【涨幅222%】NO.4。 *1996年1月19日512.83点【星期五、乙亥戊子乙卯一白】【跌幅51%】NO.5。 第四轮暴涨暴跌:512点——1510点——1047点。 1996年初，这一波大牛市悄无声息地在常规年报披露中发起。上证指数从1996年1月19日的500点上方启动。1997年5月12日达1510.17点。4个月时间，大盘暴涨1000点，上证指数【涨幅195%】。自1997 ”【1997.9.23跌至此期间最低点年下半年股市开始了长达两年的“调整 1025.13跌幅32.1%为时4个月】，1999年5月17日跌至1047.83点【跌幅30.6%】。 *1997年5月12日1510.17点【星期一、丁丑乙巳甲寅二黑】【涨幅195%】NO.5。