第45卷第1期2005年1月
大连理工大学学报
Journal of Dalian University of Technology
Vol .45,No .1Jan .2005
文章编号:1000-8608(2005)01-0153-04
收稿日期:2003-12-25; 修回日期:2004-11-20.
基金项目:国家重点基础研究发展规划资助项目(G1999032805).
作者简介:李 华(1974-),女,博士;李兴斯*(1942-),男,教授,博士生导师.
证券投资组合中的熵优化模型研究
李 华1,2, 李兴斯*3
(1.大连理工大学应用数学系,辽宁大连 116024;2.鞍山科技大学经济管理学院,辽宁鞍山 114044;
3.大连理工大学工业装备结构分析国家重点实验室,辽宁大连 116024)
摘要:为了解决马科维茨(M arko witz)模型中以证券收益率的方差测度投资风险的局限性,
基于熵以及差熵的概念,在研究其均值方差模型的基础上,提出用熵和差熵来作为风险的度量方法,从而建立了几种关于熵的证券投资组合优化模型,使对证券投资组合模型的研究和应用更加合理、客观.
关键词:熵;差熵;投资组合中图分类号:F830.59
文献标识码:A
0 引 言
证券投资组合的起源要追溯到马科维茨1959年的工作[1],他运用线性规划理论分析了投资的收益问题,奠定了应用数理方法来确定最佳
资产组合投资的基本理论,使均值-方差模型成为人们进行投资组合理论研究和实际应用的基础.用方差度量风险有很多缺陷,鉴于此,目前有很多模型进行了这方面的分析[2～4]
,其中投资收益基本上都是用期望进行表示,但是风险的度量方法多种多样,这些方法在实际应用中都存在不同程度的缺陷.风险与不确定性是紧密相连的,基于熵和差熵的内涵是研究不确定性的特征,就此本文提出几种新的模型,试图从另一个角度来研究证券投资组合模型,从而尽量避免方差以及其他方法度量风险的局限性.
1 马科维茨的均值-方差模型
设一个证券投资组合具有n 种证券,其期望收益率分别为r 1,r 2,…,r n ,用随机向量表示为r =(r 1 r 2 … r n )T
.投资者面临的一个重要问题就是如何对每种证券分配一个适当的权重x i (i =1,2,…,n ),使投资者能够达到收益较高而同时风险较低的投资目标.期望值向量R i =E (r i )
反映了各种证券的期望收益率,随机向量r 的方差协方差矩阵用C 来表示,其通常用来表示投资的风险矩阵,向量X T CX 作为投资组合的期望风险,其中X =(x 1 x 2 … x n )T .
马科维茨证券投资组合理论认为,投资者进行投资决策时总希望在一定的风险条件下,获得尽可能大的收益,或在收益率一定的情况下,尽可能降低风险,即通过下面模型(A)或(B)来进行证券组合投资决策.
模型(A):
min X T
CX
s.t.
∑n i =1x i r
i
≥c
∑n i =1
x i =1;i =1,2,3,…,n
(1)
这个问题是一个二次规划问题,通过调节下界参数c 来进行求解,能够得到最优的或者有效的投资组合,即有效边界.
模型(B):
max
∑n
i =1x i r
i
s.t.X T CX ≤b
∑n
i =1
x i =1;i =1,2,3,…,n
(2)
这两个模型在意义上实际上是一致的.
令 2=X T CX 为证券投资组合的收益率的方
差,用来表示投资的风险;E (R )=
∑n
i =1
x i r i 为投资
者在某一阶段所投资n 种证券的预期收益率的期望值;x i 表示投资者投资在第i 种证券的比例;c 表示组合投资的预期收益总值.
2 熵以及差熵的定义与性质
2.1 熵的定义与性质
2.1.1 熵的基本定义 熵的概念最初来源于热力学,后来进一步发展到统计力学与信息论等学科.熵是一种不确定性的定量化度量.考虑一个具有n 个结果的概率试验,并设这些结果各自具有离散概率p i (i =1,2,…,n ),则熵为[5]
S =-
∑n
i =1
p i
ln p
i
(3)
式中:p i ≥0(i =1,2,…,n );
∑n
i =1
p
i
= 1.
2.1.2 熵的基本性质
(1)非负性:S n (p 1,p 2,…,p n )≥0;
(2)可加性:对于相互独立的状态,其熵的和等于和的熵;
(3)极值性:当状态为等概率的时候,其熵最大,即p i =1n (i =1,2,…,n )时,S n 1n ,1
n
,…,
1
n =ln n ;
(4)凹凸性:S n (p 1,p 2,…,p n )是一个关于所有变量的对称凹函数.
在证券投资组合中,根据各种收益发生的概率可以计算出一个熵,这个熵表示的就是收益的不确定性,当各种收益发生等概率时,熵最大,不确定性最大.
2.2 差熵的定义与性质
2.2.1 差熵的基本定义 考虑一个具有n 个结果的概率试验,并设这些结果各自具有离散概率p i (i =1,2,…,n ),还有一个先验概率分布q i (i =1,2,…,n ),则差熵为[5]
D (p ,q )=
∑n
i =1
p i
ln(p i
/q i
)
(4)
式中:p i ≥0(i =1,2,…,n );∑n i =1
p i =1;q i ≥0(i
=1,2,…,n );
∑n
i =1
q
i
= 1.
2.2.2 差熵的性质
(1)非负性:D (p ,q )≥0;
(2)极值性:当且仅当p =q 时,即p i =q i (i =1,2,…,n ),差熵最小,有D (p ,q )=0;
(3)凹凸性:D (p ,q )是一个关于所有变量的非对称连续凸函数.
在证券投资组合中,各种收益发生的结果已经有一个先验概率,本文认为所选的概率分布应当尽量靠近这个先验概率分布.
3 几种关于熵及差熵的新模型
投资者选择n 种证券组成投资组合进行投资,每种证券的投资比例为x i (i =1,2,…,n ),由于各种原因,经过一个阶段最后得到的收益是不确定的,假设投资收益总共有m 种结果, j 为第j (j =1,2,…,m )种收益结果出现的概率,当第j (j =1,2,…,m )种收益结果出现时,第i (i =1,2,…,n )种证券的收益率为r ij ,其期望收益率
r i =
∑m
j =1
j r
ij
;i =1,2,…,n (5)
投资组合的收益率用R j 表示,其期望收益率
用R -表示,则
R j =
∑n
i =1x i r
ij (6)
R -=
∑n
i =1
x i r -i =∑n
i =1
x i
∑m
j =1 j r
ij
=
∑m j =1
j ∑n i =1
x i r
ij
=
∑m
j =1
j
R
j
(7)
3.1 最大熵优化模型
在马科维茨的均值方差模型中用方差表示风险,方差就是偏离均值的一种波动性.最小化方差就是求偏离均值最小的波动,最接近均值,风险最小.最大化熵是求一种最接近均匀分布的一种分布,而且熵表示不确定性的风险比方差更具有动态意义,不必计算方差协方差矩阵,相对简单,从最大熵的意义来考虑,可以最大化如下的目标函数:
m ax S =-∑m
j =1
P j
ln P
j
(8)
约束条件为
∑m
j =1 j
R
j
=const tan t
∑n
i =1
x
i
=1;x i ≥0,i =1,2,…,n
(9)
而
154
大连理工大学学报
第45卷
-
∑m
j =1
P j
ln P
j
=-
∑
m
j =1 j R j
∑m
k =1
k
R
k
ln
j R j
∑m
k =1
k
R
k
=
-∑m
j =1 j R j R -ln
j R j R
-=ln R --1R -∑m
j =1
j R j ln( j R j )
R -是均值,所以max S =-∑m
j =1
P j
ln P
j
就等价
于max -∑m
j =1
j
R j
ln( j
R j
)
.从而可以建立均
值熵模型:
max -∑m
j =1 j
R j
ln( j
R j
)
s.t.
∑m
j =1 j
R
j
=const tan t
∑n
i =1
x
i
=1;x i ≥0;i =1,2,…,n
(10)
3.2 最小差熵优化模型
为了使R j (j =1,2,…,m )尽可能相等,从差熵的角度来讲,可以选取投资比例x i (i =1,2,…,n ),从而最小化如下的目标函数
min D (p : )=
∑
m
j =1
j R j
R
-ln R j R =1R -∑m
j =1
j R j ln R j -ln R -(11)
或者
min D ( :p )=
∑m
j =1
j
ln
j
j R j /R
-=ln R --∑m
j =1
j
ln R
j
(12)
其中
=( 1 2 … m )p =(p 1 p 2 … p m )
约束:
∑m
j =1
j
(x 1r
1j
+x 2r 2j +…+x n r nj )=const tan t
x 1+x 2+…+x n =1;x i ≥0,i =1,2,…,n
(13)
从而建立如下的模型:
min
∑m
j =1
j
(x 1r
1j
+x 2r 2j +…+x n r nj )ln(x 1r 1j +
x 2r 2j +…+x n r nj )
s.t.
∑m
j =1
j
(x 1r
1j
+x 2r 2j +…+x n r nj )=const tan t
x 1+x 2+…+x n =1;x i ≥0,i =1,2,…,n
(14)
或者
min
∑m
j =1
j
ln(x
1r 1j
+x 2r 2j +…+x n r nj )
s.t.
∑m
j =1
j
(x 1r
1j
+x 2r 2j +…+x n r nj )=const tan t
x 1+x 2+…+x n =1;x i ≥0,i =1,2,…,n
(15)
另一方面,一般来讲高收益伴随着高风险,即投资者进行证券组合投资的时候,由不同的投资比例产生的投资结果中,高收益出现的概率比较少,而低收益出现的概率相对较高,对投资者而
言,希望获得高额的投资回报.出于这样的目的,可以使R j 在所有的收益当中出现的概率Q j =
R j
∑m
j =1
R j
尽可能接近 j
(j =
1,2,…,m ),从差熵
的内涵出发,本文可以最小化如下的目标函数:D (Q : )=
∑
m
j =1R j
∑m
k =1
R k
ln
R j
j ∑m k =1R k
=-ln ∑m
j =1
R j +
1
∑m
j =1
R
j ∑m
j =1
R j
ln R
j
-
1
∑m
j =1
R
j
∑m
j =1
R j
ln
j
(16)
或者D ( :Q )=
∑m
j =1 j ln j
R j ∑m
k =1
R k =ln ∑m
j =1
R j +
∑m
j =1
j
ln j
-∑m
j =1
j
ln R
j
(17)
其中Q =(Q 1 Q 2 … Q m ),约束为式(11).
用模型可以表示为
min -ln
∑m
j =1
R
j
+
1
∑m
j =1R
j
∑m
j =1
R j
ln R
j
-
1
∑m
j =1
R
j ∑m
j =1R j
ln
j
s.t.
∑m
j =1
j
(x 1r
1j
+x 2r 2j +…+x n r nj )=c onst tan t
x 1+x 2+…+x n =1;x i ≥0,i =1,2,…,n
(18)
或者
+
∑m
j
=1
j
ln j
-∑m
j =1
155
第1期
李 华等:证券投资组合中的熵优化模型研究
s.t.
∑m
j =1
j
(x 1r
1j
+x 2r 2j +…+x n r nj )=const tan t
x 1+x 2+…+x n =1;x i ≥0,i =1,2,…,n
(19)
3.3 马科维茨模型中引入熵优化产生的模型
投资者投资实际得到的收益往往与决策时期望的收益不一致,即存在投资风险.这里,风险就是指未来收益的不确定性及其发生的概率.从熵的内涵看,它是一种不确定性程度的度量.它的值越大,意味着对所解问题知道得越少.因为风险是与不确定性紧密相连的,而熵在本质上是不确定性的体现,从而基于熵的内涵可以用熵来作为对方差度量风险的一种补偿.建立模型如下:
min X ′CX + ∑n
i =1
x i ln x i
s.t.
∑n
i =1x i r
i
=E ∑n i =1
x i =1,i =1,2,…,n
(20)
其中X =(x 1 x 2 … x n )T
为投资比例向量;C
=( ij )n ×n =( i j
ij )n ×n 表示n 种证券收益率的方差协方差矩阵;E 是投资者经过投资组合之后经
过一个阶段期望达到的收益.通过调节参数 的大小可以求解如上的非线性规划.
4 结 语
在借鉴和应用现代投资组合理论的过程中,必须要有一个合适的模型来正确度量投资者的收益和风险.不同于马科维茨的均值方差模型,本文从证券投资组合理论的风险度量方面着手,以尽可能分散投资风险为原则,从熵和差熵的定义出发,建立了几种新的投资组合模型,使对证券投资组合模型的应用和研究更客观合理.
参考文献:
[1]M A RK O WIT Z H M .Portf olio Selection :Ef ficient
Diversif ication of Investments [M ].N ew Y or k:John Wiley ,1959.26-30.[2]F A NG
Shu-cheng.
Entropy
Optimizat ion
and
Mathematical Programming [M ].L o ndon:Kluwer
A cademic P ublisher s,1997.34-48.
[3]孙一啸.风险测度、证券组合与资产定价模型[J].预
测,1995(3):16-19.[4]LU Jiang.
A discussion o n the intr oduct ion of
entr opy into economics [J].J of Syst Sci and Eng ,1994(2):18-24.
[5]M AR T IN N F G ,EN G LA N D J W.Mathematical
Theory of Entropy [M ].Lo ndo n:A ddiso n-Wesley Publishing Com pany ,1981.
Research on entropy optimization models in securities ′portfolio selection
LI H ua 1,2, LI Xing -si
*3
(1.Dept .of Appl .Math .,Dalian Univ .of Technol .,Dali an 116024,China ;
2.School of Econ .&M anage .,Anshan Univ .of Sci .&Technol .,Anshan 114044,China ;
3.State Key Lab .of Str uct .Anal .for Ind .Equip .,Dalian U ni v .of Technol .,Dal ian 116024,China )
Abstract :To solv e the limitations of the variance of m ar ketable securities ′revenue rate as the
inv estm ent risk m easured in M arkow itz ′s model (M V),based on the concepts of entropy and cr oss-entropy,the m easur em ent method of risk is put fo rw ar d w ith entropy and cross-entropy on the basis of studying the M V model.So some new optimization models of portfo lio are proposed,w hich make the study and application o f por tfolio mor e reasonable and objectiv e.Key words :entro py ;cross-entropy;portfo lio
156
大连理工大学学报
第45卷
最大熵算法笔记 最大熵，就是要保留全部的不确定性，将风险降到最小，从信息论的角度讲，就是保留了最大的不确定性。 最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫"最大熵模型"。 匈牙利著名数学家、信息论最高奖香农奖得主希萨（Csiszar）证明，对任何一组不自相矛盾的信息，这个最大熵模型不仅存在，而且是唯一的。而且它们都有同一个非常简单的形式-- 指数函数。 我们已经知道所有的最大熵模型都是指数函数的形式，现在只需要确定指数函数的参数就可以了，这个过程称为模型的训练。 最原始的最大熵模型的训练方法是一种称为通用迭代算法GIS (generalized iterative scaling) 的迭代算法。GIS 的原理并不复杂，大致可以概括为以下几个步骤： 1. 假定第零次迭代的初始模型为等概率的均匀分布。 2. 用第N 次迭代的模型来估算每种信息特征在训练数据中的分布，如果超过了实际的，就把相应的模型参数变小；否则，将它们便大。 3. 重复步骤2 直到收敛。 GIS 最早是由Darroch 和Ratcliff 在七十年代提出的。但是，这两人没有能对这种算法的物理含义进行很好地解释。后来是由数学家希萨（Csiszar) 解释清楚的，因此，人们在谈到这个算法时，总是同时引用Darroch 和Ratcliff 以及希萨的两篇论文。GIS 算法每
次迭代的时间都很长，需要迭代很多次才能收敛，而且不太稳定，即使在64 位计算机上都会出现溢出。因此，在实际应用中很少有人真正使用GIS。大家只是通过它来了解最大熵模型的算法。 八十年代，很有天才的孪生兄弟的达拉皮垂(Della Pietra) 在IBM 对GIS 算法进行了两方面的改进，提出了改进迭代算法IIS （improved iterative scaling）。这使得最大熵模型的训练时间缩短了一到两个数量级。这样最大熵模型才有可能变得实用。即使如此，在当时也只有IBM 有条件是用最大熵模型。 由于最大熵模型在数学上十分完美，对科学家们有很大的诱惑力，因此不少研究者试图把自己的问题用一个类似最大熵的近似模型去套。谁知这一近似，最大熵模型就变得不完美了，结果可想而知，比打补丁的凑合的方法也好不了多少。于是，不少热心人又放弃了这种方法。第一个在实际信息处理应用中验证了最大熵模型的优势的，是宾夕法尼亚大学马库斯的另一个高徒原IBM 现微软的研究员拉纳帕提(Adwait Ratnaparkhi)。拉纳帕提的聪明之处在于他没有对最大熵模型进行近似，而是找到了几个最适合用最大熵模型、而计算量相对不太大的自然语言处理问题，比如词性标注和句法分析。拉纳帕提成功地将上下文信息、词性（名词、动词和形容词等）、句子成分（主谓宾）通过最大熵模型结合起来，做出了当时世界上最好的词性标识系统和句法分析器。拉纳帕提的论文发表后让人们耳目一新。拉纳帕提的词性标注系统，至今仍然是使用单一方法最好的系统。科学家们从拉纳帕提的成就中，又看到了用最大熵模型解决复杂的文字信息处理的希望。
最大熵模型在股票投资中的应用 在股票投资中由于各种不确定性因素的影响，投资的收益可大可小，甚至遭受损失，这种收益的不确定性及其发生的概率就是风险。一般而言，预期收益越大的股票其风险越高。投资风险也越大。为了避免或分散较大的投资风险，追求“安全，高效率，低风险”，许多学者利用熵的特性图来全面描述和度量风险。有学者考虑到嫡仅仅是对概率分布的形状做出描述，与其位置无关；而投资风险取决于人们对收益的感知，所以许多学者在研究这个问题时，把对证券收益率做为一种权数加到对嫡度量投资风险模型中，比如效用风险嫡模型，考虑了随机事件客观状态的不确定性和结果价值两方面的因素；期望效用一嫡决策模型，把风险行动的风险度量与决策者的偏好结合起来，但这个模型只是按这种风险度量方法把行动方案排序，最后还是利用马科维茨的模型给出最优解；还有把收益最大和嫡量度的风险最小做为两个目标的多目标决策模型；还有利用嫡的最大嫡原理改变组合投资的目标函数建立的模型。根据单一指数模型的假设，把影响收益率波动的因素分为微观因素和宏观因素，并假设受宏观因素和微观因素的影响的误差项和市场收益率两者互不相关。我们可以利用这一假设把证券收益的不确定性拆分，把证券收益的不确定性分为微观因素的影响的误差项不确定性以及受宏观因素影响的市场收益率的不确定性来分析，从而可以计算整个行动方案的风险。首先，我们考虑如何在上述思想下计算投资一支证券的行动风险。在单一指数模型中，假设误差项与市场收益率是无关的，由于ε月和r分别受宏观因素和微观
因素的影响，两者互不相关，无论市场收益率发生多大变化，都不会对气产生影响。所以它们的嫡值又是可加的。那么我们就把对一支证券投资这个风险行动分解为两个相互独立的风险行动，则原来的风险行动的嫡值应为相应的各个行动的嫡值的加权和。 其次，我们考虑如何度量整个证券组合的行动风险。由市场收益率爪变动引起的各资产的收益率变动是相关的，所以在整个证券投资组合中，它们的嫡值是不能直接相加的。单一指数模型认为p 值可以反映了个别资产价格相对于市场总体水平波动的程度。同时也有研究结果表明，资产的期望收益和市场p 之间的线性关系是显著的，那么可以考虑用p 值作为一种对市场收益率的嫡的权数引入到对投资资产 A 的风险计算中去，来反映单个资产收益率的不确定性受市场总体收益率不确定性影响的程度。这样，用p 值乘以市场收益率的嫡可以反映单个资产收益率受宏观因素影响的程度，而对于整个投资组合来说，对同一个市场收益率的嫡值也就不存在直接相加而相关的问题了。 这样，我们就可以从影响收益率波动的因素分为微观因素和宏观因素对风险进行一个全面的综合度量，同时可以得出了合理地对整个证券投资组合的风险度量方法。下面基于上述思考的过程，给出具体的证券投资风险的嫡度量的数学定义。 考察对某一支股票投资方案X 在未来环境状态下的收益情况，设其收益为R，根据单一指数模型的假设，设市场收益率为r误差项
熵模型 1、数据。。。 计算第i 个教练第j 种指标下的权值 12 1 ,(1,230;1,26) ij ij ij i x p i j x == ==∑ 计算第j 种指标的熵值（公式） 6 1 1 ln(),0,,0ln(12)j ij ij j i e k p p k k e ==->= ≥∑其中 表2.2各种指标的熵值 第j 种指标的系数。 差别越大或是离散度越大,其在评价指标中占的影响位置越重要,其熵值也较小。定义差异系 数: 66 1 1 1,,01,1 j j e j j j j j e e g E e g g m E ==-= =≤≤=-∑∑式中 表2.3各种指标的差异系数:: 最大熵模型的优缺点 优点： （1）建模时，试验者只需集中精力选择特征，而不需要花费精力考虑如何使用这些特征。 （2）特征选择灵活，且不需要额外的独立假定或者内在约束。 （3）模型应用在不同领域时的可移植性强。 （4）可结合更丰富的信息。 缺点： （1）时空开销大 （2）数据稀疏问题严重 （3）对语料库的依赖性较强 层次分析法的优缺点 优点 1. 系统性的分析方法 层次分析法把研究对象作为一个系统，按照分解、比较判断、综合的思维方式进行决策，成为继机理分析、统计分析之后发展起来的系统分析的重要工具。系统的思想在于不割断各个因素对结果的影响，而层次分析法中每一层的权重设置最后都会直接或间接影响到结果，而且在每个层次中的每个因素对结果的影响程度都是量化的，非常清晰、明确。这种方法尤其可用于对无结构特性的系统评价以及多目标、多准则、多时期等的系统评价。 1234561.3816 1.3696 0.8472 1.3523 1.373 1.373 1g 2g 3g 4g 5g 6g 0.1498 0.1512 0.2444 0.1531 0.1508 0.1508
基于最大熵模型的中文词与句情感分析研究* 董喜双，关毅，李本阳，陈志杰，李生 哈尔滨工业大学，哈尔滨，150001 dongxishuang@https://www.doczj.com/doc/ce2658658.html,, guanyi@https://www.doczj.com/doc/ce2658658.html,, libenyang012566@https://www.doczj.com/doc/ce2658658.html,, ruoyu_928@https://www.doczj.com/doc/ce2658658.html,, lisheng@https://www.doczj.com/doc/ce2658658.html, 摘要：本文将研究焦点对准喜、怒、哀、惧四类情感分析问题，重点解决中文词、句的情感分析问题。将词的情感分析处理为候选词情感分类问题。首先通过词性过滤获得候选词，进而根据特征模板获取候选词情感特征，然后应用最大熵模型判断候选词情感类别，最后应用中性词典、倾向性词典、复句词表、否定词表过滤候选情感词分类错误得到情感词集合。句的情感分析首先根据情感词典和倾向词典提取词特征，并采用规则提取词序列特征，然后采用最大熵模型对句子进行情感分类。在COAE2009评测中词与句情感分析取得较好结果。 关键词：情感分析；情感极性；最大熵；分类； Sentiment Analysis on Chinese Words and Sentences Based on Maximum Entropy Model Dong Xi-Shuang, Guan Yi, Li Ben-Yang, Chen Zhi-Jie, Li Sheng Harbin Institute of Technology, Harbin 150001 dongxishuang@https://www.doczj.com/doc/ce2658658.html,, guanyi@https://www.doczj.com/doc/ce2658658.html,, libenyang012566@https://www.doczj.com/doc/ce2658658.html,, ruoyu_928@https://www.doczj.com/doc/ce2658658.html,, lisheng@https://www.doczj.com/doc/ce2658658.html, Abstract: This paper presents a method to analyze sentiments on Chinese words and sentences, where the sentiments include happy, angry, sad, and fear. In the case of words, sentiment analysis was processed as the sentiment classification of candidate words. The candidate words were firstly obtained by POS filtering, then Maximum Entropy (ME) model was adopted to judge sentiment categories of the words, which sentiment features were gained with feature templates. Finally, errors in the word classification would be removed through filtering with a neutral lexicon, a sentiment polarity lexicon, a connective word list of complex sentences, and a negative word list. In the case of sentences, word features in sentences were extracted on the basic of the sentiment lexicon and the sentiment polarity lexicon, and word sequence features were extracted by rules while processing sentiment analysis on sentences, then ME model was used to classify the sentences. Good performance of sentiment analysis was gained in COAE 2009. Keywords: Sentiment Analysis, Sentiment Polarity, Maximum Entropy, Classification 1 引言 情感分析的主要任务为识别文本对某一事物的观点[1]。情感包含两方面信息：情感极性与情感强度。情感极性指情感要素（词、短语、句子以及篇章）表达的情感倾向。情感强度指情感要素表达情感的强弱程度。情感分析包含四方面研究内容：词级情感分析、短语级情感分析、句级情感分析以及篇章级情感分析。词级情感分析包括识别候选情感词、判断候选情感词情感极性与强度以及构建情感字典[2]。短语级情感分析为根据情感词识别 *董喜双，1981年出生，男，黑龙江省哈尔滨市，博士研究生。本项研究受到国家自然科学基金项目支持，项目批准号：60975077，60736044
第五节最大熵模型 最大熵模型（Entropy Model）也是随机概率模型之一。典型的最大熵模型有Wilson模型和佐佐木(Sasaki)模型，以下分别讲述。 1．Wilson模型 Wilson模型是由A.G.Wilson提出的方法，它以英国为中心，在区域科学方面的应用例较多，其模型如下式所示。 (4-5-1) 式中，T：对象地区的生成交通量。即，OD交通量的组合数由求E的最大得到。 例：发生小区Ｏ，吸引区AB，出行生成量为4。能够发生的OD交通量状态如下。 OD交通量状态情况1 情况2 情况3 情况4情况5 组合数E： ,,,, 发生概率：1/16, 4/16, 6/16, 4/16, 1/16 16为可能发生的组合数。 从上述情况看,组合数为6的组合发生的概率最大,因此可以视为最容易发生。 Wilson模型的约束条件为： （4-5-2）
（4-5-3） (4-5-4) 式中，的交通费用；总交通费用。 最大熵模型一般用以下对数拉格朗日方法求解。 (4-5-5) 式中，，，为拉格朗日系数。 应用Stirling公式近似，得， (4-5-6) 代入（4-5-5）式，并对求导数，得， 令，得， (4-5-7)
∵ ∴(4-5-8) 同样，(4-5-9) 这里，令，则（4-5-7）为： (4-5-10）可以看出，式(4-5-10）为重力模型。 Wilson模型的特点： (1)能表现出行者的微观行动； (2)总交通费用是出行行为选择的结果，对其进行约束脱离现实； (3)各微观状态的概率相等，即各目的地的选择概率相等的假设没有考虑距离和行驶时间等因素。 计算步骤： 第1步给出 第2步给出，求出 第3步用求出的，求出 第4步如果，非收敛，则返第2步；反之执行第5步。 第5步将，，代入式（4-5-7)求出，这时，如果总用条件（ 4-5-4）满足，则结束计算，反之，更新值返回第1步。
第45卷第1期2005年1月 大连理工大学学报 Journal of Dalian University of Technology Vol .45,No .1Jan .2005 文章编号:1000-8608(2005)01-0153-04 收稿日期:2003-12-25; 修回日期:2004-11-20. 基金项目:国家重点基础研究发展规划资助项目(G1999032805). 作者简介:李 华(1974-),女,博士;李兴斯*(1942-),男,教授,博士生导师. 证券投资组合中的熵优化模型研究 李 华1,2, 李兴斯*3 (1.大连理工大学应用数学系,辽宁大连 116024;2.鞍山科技大学经济管理学院,辽宁鞍山 114044; 3.大连理工大学工业装备结构分析国家重点实验室,辽宁大连 116024) 摘要:为了解决马科维茨(M arko witz)模型中以证券收益率的方差测度投资风险的局限性, 基于熵以及差熵的概念,在研究其均值方差模型的基础上,提出用熵和差熵来作为风险的度量方法,从而建立了几种关于熵的证券投资组合优化模型,使对证券投资组合模型的研究和应用更加合理、客观. 关键词:熵;差熵;投资组合中图分类号:F830.59 文献标识码:A 0 引 言 证券投资组合的起源要追溯到马科维茨1959年的工作[1],他运用线性规划理论分析了投资的收益问题,奠定了应用数理方法来确定最佳 资产组合投资的基本理论,使均值-方差模型成为人们进行投资组合理论研究和实际应用的基础.用方差度量风险有很多缺陷,鉴于此,目前有很多模型进行了这方面的分析[2～4] ,其中投资收益基本上都是用期望进行表示,但是风险的度量方法多种多样,这些方法在实际应用中都存在不同程度的缺陷.风险与不确定性是紧密相连的,基于熵和差熵的内涵是研究不确定性的特征,就此本文提出几种新的模型,试图从另一个角度来研究证券投资组合模型,从而尽量避免方差以及其他方法度量风险的局限性. 1 马科维茨的均值-方差模型 设一个证券投资组合具有n 种证券,其期望收益率分别为r 1,r 2,…,r n ,用随机向量表示为r =(r 1 r 2 … r n )T .投资者面临的一个重要问题就是如何对每种证券分配一个适当的权重x i (i =1,2,…,n ),使投资者能够达到收益较高而同时风险较低的投资目标.期望值向量R i =E (r i ) 反映了各种证券的期望收益率,随机向量r 的方差协方差矩阵用C 来表示,其通常用来表示投资的风险矩阵,向量X T CX 作为投资组合的期望风险,其中X =(x 1 x 2 … x n )T . 马科维茨证券投资组合理论认为,投资者进行投资决策时总希望在一定的风险条件下,获得尽可能大的收益,或在收益率一定的情况下,尽可能降低风险,即通过下面模型(A)或(B)来进行证券组合投资决策. 模型(A): min X T CX s.t. ∑n i =1x i r i ≥c ∑n i =1 x i =1;i =1,2,3,…,n (1) 这个问题是一个二次规划问题,通过调节下界参数c 来进行求解,能够得到最优的或者有效的投资组合,即有效边界. 模型(B): max ∑n i =1x i r i s.t.X T CX ≤b ∑n i =1 x i =1;i =1,2,3,…,n (2)
最大熵模型中的数学推导 https://www.doczj.com/doc/ce2658658.html,/article/v_JULY_v/100349.html0 引言写完SVM之后，一直想继续写机器学习的系列，无奈一直时间不稳定且对各个模型算法的理解尚不够，所以导致迟迟未动笔。无独有偶，重写KMP得益于今年4月个人组织的算法班，而动笔继续写这个机器学习系列，正得益于今年10月组织的机器学习班。10月26日机器学习班第6次课，身为讲师之一的邹博讲最大熵模型，他从熵的概念，讲到为何要最大熵、最大熵的推导，以及求解参数的IIS方法，整个过程讲得非常流畅，特别是其中的数学推导。晚上我把他的PPT 在微博上公开分享了出来，但对于没有上过课的朋友直接看PPT 会感到非常跳跃，因此我打算针对机器学习班的某些次课写一系列博客，刚好也算继续博客中未完的机器学习系列。综上，本文结合邹博最大熵模型的PPT和其它相关资料写就，可以看成是课程笔记或学习心得，着重推导。有何建议或意见，欢迎随时于本文评论下指出，thanks。 1 何谓熵？从名字上来看，熵给人一种很玄乎，不知道是啥的感觉。其实，熵的定义很简单，即用来表示随机变量的不确定性。之所以给人玄乎的感觉，大概是因为为何要取
这样的名字，以及怎么用。熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。在信息论里面，熵是对不确定性的测量。1.1 熵的引入事实上，熵的英文原文为entropy，最初由德国物理学家鲁道夫·克劳修斯提出，其表达式为：它表示一个系系统在不受外部干扰时，其内部最稳定的状态。后来一中国学者翻译entropy时，考虑到entropy是能量Q跟温度T的商，且跟火有关，便把entropy 形象的翻译成“熵”。我们知道，任何粒子的常态都是随机运动，也就是"无序运动"，如果让粒子呈现"有序化"，必须耗费能量。所以，温度（热能）可以被看作"有序化"的一种度量，而"熵"可以看作是"无序化"的度量。如果没有外部能量输入，封闭系统趋向越来越混乱（熵越来越大）。比如，如果房间无人打扫，不可能越来越干净（有序化），只可能越来越乱（无序化）。而要让一个系统变得更有序，必须有外部能量的输入。1948年，香农Claude E. Shannon 引入信息（熵），将其定义为离散随机事件的出现概率。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以说，信息熵可以被认为是系统有序化程度的一个度量。 若无特别指出，下文中所有提到的熵均为信息熵。 1.2 熵的定义下面分别给出熵、联合熵、条件熵、相对熵、互信息的定义。熵：如果一个随机变量X的可能取