《最优化方法》（研究生）期末考试练习题答案
二.简答题
1．;
0, ,843 ,2 2-
,3 34 s.t. ,95- min 2121212121≤=--≥+≥++y y y y y y y y y y 2．,06
5 61
43≥+x x （以1x 为源行生成的割平面方程） 注意：在1x 为整数的情况下，因为3x ,04≥x ，该方程自然满足，这是割平面的退化情形
,2
1
41 41 43≥+x x （以2x 为源行生成的割平面方程）
3．
6648
.31854.1*2)854.1()(2131.01146.1*2)146.1()(854.13*618.00)(618.0146
.13*382.00)(382.03
,031311111111111=+-==+-==+=-+==+=-+===μ?λ?μλa b a a b a b a 0.927.2
1.854
0]1.8540[854.1,0)()(,*2211=+=
==≤x b a 近似的最优解：。，初始的保留区间为即：。
所以，不经计算也可以看出
事实上μ?λ?
4．令
1
.01.0)(4
.04.0)(11)(7
.27.2)(222
222221)2(*111)
1(*111)0(*121)1(*11-=-=-=-=-=-=-=-=-------x x x x x x x e x e x x f e
x e
x x f x e x x f e x e x x f
拟合问题等价于求解下列最小二乘问题：∑=4
1
2
))
((min
i i
x f
三.计算题
1．分别用最速下降方法和修正的牛顿法求解无约束问题 2
22
14)(min x x x f +=。 取初始点()
()T
x 2,21=，.1.0=ε
()
().
1641642,2821121???
?
??--=?
??
?
??=?=???
?
??=?d f x x x f T
方向为：从而最速下降法的搜索，在初始点，
解：
()()()
()直至满足精度。
继续迭代方向为：从而最速下降法的搜索，
，在从而
求解得到：其中
满足最优步长,.
48/6565/19248/65-65/19265/6,65/96)65/6,65/96((-4,-16)*130/172,2 130,/17.
)162(4)42()162,42()()
(min )(122221)1(1)1(1*)1(*???
?
??-=???
? ??=?-=-=+==-+-=--=++=+d f x x f d x f d x f d x f T
T
T T
λλλλλλλλλλ
()()
2-2- 1648/1002/1 8/1002/1,8002 2,2111
1???
?
??=???? ?????? ??-=?-=?
??
? ??=???? ??==--f G d G G x T
索方向为：
从而修正的牛顿法的搜，
在初始点
()()()()即为所求的极小点。正定，显然满足精度。
，，在从而易见：满足
最优步长)2(x
2
2221)1(1)1(1*)1(*8002000,0)0,0(22,22 1,.)22(5)22,22()()
(min )((2)x f f x x f d x f d x f d x f T
T
T
???
? ??=????
? ??=?==--==-=--=++=+λλλλλλλλλλλ
(1分)
2．讨论约束极值问题
???
????≥≥≤-≤++--+=000
4s.t.
8
66)(min
2121
21212
221x x x x x x x x x x x f 的Kuhn-Tucker 点。
T x x x f ]62,62[)(21--=?
,4)(211-+=x x x g T x g ]1,1[)(1=? ,)(212x x x g -= T x g ]1,1[)(2-=?
。T x g x x g ]0,1[)( ,)(313-=?-=
????????
??
??
???????≥≤-≤-≤-≤-+=-=-=-=-+=???? ??-+???? ??-+???? ??-+????
??+???? ??--0
,,,000
040
00)(0
)4(0100111116262T ucker -Kuhn 4321212
1
2124132122
1
143212
1λλλλλλλλλλλλx x x x x x x x x x x x x x 条件为
所以该约束问题的 矛盾。
从而代入第一个式子得到。
从而则若,060
6060 0,44,0,042423212121<--==---=-+-=<-=-+==λλλλλλλx x x x
T
x g x x g ]1,0[)( ,)(424-=?-=
矛盾。
与从而代入第一个式子得到从而又由于。从而则若0,0,02662,60
62060
,000,0,03232323112314222121≥>=+=++-+==+-=-+-=≠=≠-≠=λλλλλλλλλλx x x x x x x x x
矛盾。
与从而代入第一个式子得到则则若0,0,02662,60
60620
,00,0,0414141414111322121≥>=+=++-+==-+-=+-==≠-=≠λλλλλλλλλλx x x x x x x x
矛盾。
与从而代入第一个式子得到从而又由于。则且若0,0
62062
0, 0,0,000,0,021211211432122121≠-==+-=+-==≠≠=≠-≠≠x x x x x x x x x x x x λλλλλ
.
T ucker Kuhn )2,2(,
4,0,
0,,4,3,
062062
0, 0,0,004,,0,02121212121222143211212121点为该问题的一个从而我们可以得出结论讨论了所有的情况后矛盾。
这与从而代入第一个式子得到从而又由于。则但若-==≠≠<+====--=+-==≠≠=<+=≠≠x x x x x x x x x x x x x x x x x x λλλλλλλ
3．构造増广函数
为原问题的最优解。
从而
的解，这是对于固定的从而，可得由则
若矛盾与，可得由则
若若若)2,0(22 0
211
lim
lim .)(min 2
211
.211,200)2(2)3(2)2(2)1(2)(,02.02,3,100)3(2)1(2)(,0202
)3()1(0
2)2()3()1()(*12121122122112121212121212
221212
212221k k 2
==+==+=++=+=+=???
?
??=???? ??-++--++-=?≤-+≤-+==???
?
??=???? ??--=?≤-+?????≤-+-+->-+-++-+-=∞→∞
→∈x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x k
k R
x k k k k k k k k k λ?λλλλλ??λ?λλ
4．用内点法求解非线性规划
03)( 03)( s.t. 296)(min 22112
12
1≥-=≥-=++-=x x g x x g x x x x f
构造増广函数
为原问题的最优解。
从而
的解，这是对于固定的，可得由)3,3(32
3lim lim 3
2
3lim lim .)(min 2
32300)3(2)3(62)()3
1
31(
296)(*0
10
3
10
23
122211212121k k k k 2
==+
==+=+
=+=???? ??=?
????? ??
-----=?-+-+++-=→→→→∈x x x x x x x x x x x x x x x x k
k k R
x k k
k
k k k k k μμ?μμμμμ?μ?μμμμ
(4分)
(2分)
(4分)
(4分)
(2分)
(4分)
5. 构造増广函数
为原问题的最优解。
从而
是一个数注意的解，这是对于固定的从而，可得由)4
3
,41(43
3)
(41
812lim
lim .)(min 81)
3(2.812,300)1(231)1(2)()1()1(6
121)(*12121122
12211221212
221k k 2
==
==
+-=+-=
+-==????
??=????
? ??-+++-+++=?-++-+++=
∞→∞
→∈x x x v v x x v x v x x x x x v x x x v x x x x x x v x x x k k
k k k R
x k k
k k k k k k k k k k k k k μμ?μμμμμμμ?μ?μμ
6．解：首先化成标准形式
以1x 为换入变量，根据最小比值原则确定7x 为换出变量。
(4分)
(2分)
(4分)
?????
?
?≥=+--=+--=+++++---=0
,,,,,,,34623min 86327531
432187321x x x x x x x x x x x x x x x x x x x x Mx Mx x x x Z
以2x 为换入变量，根据最小比值原则确定4x 为换出变量。
检验数全部为正，但人工变量没有完全换出，说明此优化问题没有可行解（可以验证原问题中包含矛盾的条件），此最优单纯形表的最优基是
????? ??==101010011),,(812p p p B ，????
? ??--=-1110100111
B
四.应用题
解：设21,x x 分别为该厂生产甲乙两种产品的数量。该问题的目标规划模型为： )52(min 4332211-
-+-+++=d d P d P d P z
240030121121=-+++-d d x x
20022221=-+++
-d d x x
60331=-++-d d x 80442=-++-d d x
(2分)
(3分)
(5分)
)4,3,2,1(0
,,,21=≥+-i d d x x i i
其中在P3级目标中，因甲产品的利润与乙产品利润的比值为2：5，故取权系数为2：5. 求解过程见图.
满足P1,P2目标的解空间为三角形ABC 区域，考虑P3的目标要求时，因-
3d 的权系数小于-4d 的权系数，故先取04=-d ，这时解空间为ACD 区域，在此区域中，只有D 点使-3d 取
值最小，故取D 点为满意解，其坐标为（40,80），即该厂每年应生产甲产品40个单位，乙产品80个单位.
(5分)
(5分)
《最优化方法》复习题(含答案)
附录5 《最优化方法》复习题 1、设n n A R ?∈是对称矩阵，,n b R c R ∈∈，求1()2 T T f x x Ax b x c =++在任意点x 处的梯度和Hesse 矩阵． 解 2(),()f x Ax b f x A ?=+?=． 2、设()()t f x td ?=+，其中:n f R R →二阶可导，,,n n x R d R t R ∈∈∈，试求()t ?''． 解 2()(),()()T T t f x td d t d f x td d ??'''=?+=?+． 3、设方向n d R ∈是函数()f x 在点x 处的下降方向，令 ()()()()() T T T T dd f x f x H I d f x f x f x ??=--???， 其中I 为单位矩阵，证明方向()p H f x =-?也是函数()f x 在点x 处的下降方向． 证明 由于方向d 是函数()f x 在点x 处的下降方向，因此()0T f x d ?<，从而 ()()()T T f x p f x H f x ?=-?? ()()()()()()()() T T T T T dd f x f x f x I f x d f x f x f x ??=-?--???? ()()()0T T f x f x f x d =-??+?<， 所以，方向p 是函数()f x 在点x 处的下降方向． 4、n S R ?是凸集的充分必要条件是12122,,,,,,,,m m m x x x S x x x ?≥?∈L L 的一切凸组合都属于S ． 证明 充分性显然．下证必要性．设S 是凸集，对m 用归纳法证明．当2m =时，由凸集的定义知结论成立，下面考虑1m k =+时的情形．令1 1k i i i x x λ+==∑， 其中,0,1,2,,1i i x S i k λ∈≥=+L ，且1 1 1k i i λ+==∑．不妨设11k λ+≠（不然1k x x S +=∈， 结论成立），记11 1k i i i k y x λλ=+=-∑ ，有111(1)k k k x y x λλ+++=-+，
习题二包括题目：P36页5（1）（4） 5（4）
习题三 包括题目：P61页1(1)(2); 3; 5; 6; 14；15(1) 1(1)(2)的解如下 3题的解如下
5,6题 14题解如下 14. 设22121212()(6)(233)f x x x x x x x =+++---, 求点在(4,6)T -处的牛顿方向。 解：已知 (1) (4,6)T x =-，由题意得 121212212121212(6)2(233)(3)()2(6)2(233)(3)x x x x x x x f x x x x x x x x +++-----?? ?= ?+++-----?? ∴ (1)1344()56g f x -?? =?= ??? 21212122211212122(3)22(3)(3)2(233)()22(3)(3)2(233)22(3)x x x x x x x f x x x x x x x x +--+--------? ??= ? +--------+--?? ∴ (1)2(1)1656()()564G x f x --?? =?= ?-?? (1)1 1/8007/400()7/4001/200G x --?? = ?--?? ∴ (1)(1)11141/100()574/100d G x g -?? =-= ?-?? 15（1）解如下 15. 用DFP 方法求下列问题的极小点 （1）22 121212min 353x x x x x x ++++ 解：取 (0) (1,1)T x =，0H I =时，DFP 法的第一步与最速下降法相同 2112352()156x x f x x x ++???= ?++??， (0)(1,1)T x =，(0) 10()12f x ???= ??? (1)0.07800.2936x -??= ?-??， (1) 1.3760() 1.1516f x ???= ?-?? 以下作第二次迭代 (1)(0) 1 1.07801.2936x x δ-??=-= ?-??， (1)(0) 18.6240()()13.1516f x f x γ-??=?-?= ?-?? 0110 111011101 T T T T H H H H H γγδδδγγγ=+-
北航最优化方法大作业参考
1 流量工程问题 1.1 问题重述 定义一个有向网络G=(N,E)，其中N是节点集，E是弧集。令A是网络G的点弧关联矩阵，即N×E阶矩阵，且第l列与弧里(I,j)对应，仅第i行元素为1，第j行元素为-1，其余元素为0。再令b m=(b m1,…,b mN)T，f m=(f m1,…,f mE)T，则可将等式约束表示成： Af m=b m 本算例为一经典TE算例。算例网络有7个节点和13条弧，每条弧的容量是5个单位。此外有四个需求量均为4个单位的源一目的对，具体的源节点、目的节点信息如图所示。这里为了简单，省区了未用到的弧。此外，弧上的数字表示弧的编号。此时，c=((5,5…,5)1 )T， ×13 根据上述四个约束条件，分别求得四个情况下的最优决策变量x=((x12,x13,…,x75)1× )。 13 图 1 网络拓扑和流量需求
1.2 7节点算例求解 1.2.1 算例1（b1=[4;-4;0;0;0;0;0]T） 转化为线性规划问题： Minimize c T x1 Subject to Ax1=b1 x1>=0 利用Matlab编写对偶单纯形法程序，可求得: 最优解为x1*=[4 0 0 0 0 0 0 0 0 0 0 0 0]T 对应的最优值c T x1=20 1.2.2 算例2（b2=[4;0;-4;0;0;0;0]T） Minimize c T x2 Subject to Ax2=b2 X2>=0 利用Matlab编写对偶单纯形法程序，可求得: 最优解为x2*=[0 4 0 0 0 0 0 0 0 0 0 0 0]T 对应的最优值c T x2=20 1.2.3 算例3（b3=[0;-4;4;0;0;0;0]T） Minimize c T x3 Subject to Ax3=b3 X3>=0 利用Matlab编写对偶单纯形法程序，可求得: 最优解为x3*=[4 0 0 0 4 0 0 0 0 0 0 0 0]T 对应的最优值c T x3=40
最优化练习题 1．设A 为m n ?阶矩阵，n b R ∈，试证集合{|,,0}n S x x R Ax b x =∈=≥为凸集。 2．试证平面上椭圆22 221x y a b +=所包围的区域为凸集。 3．判断下列函数为凸函数或凹函数或严格凸函数或严格凹函数： （1）2 2 1212(,)23f x x x x =+；（2）2 2 2 1231231231(,,)22712f x x x x x x x x x x =+++--+ 4．设()f x 为定义在凸集D 上的凸函数，试证()f x 的任何局部极小点同时也必为全局极小点。 5．设n 阶矩阵0T Q Q =>，非零向量12,,,()n n p p p R m n ∈≤ 为Q 共轭的，证明： （1）12,,,n p p p 线性无关；（2）若n 维向量x 和12,,,n p p p 为Q 共轭的，则x=0。 6．设()T T f x x Ax b x =-，2112A ??=? ? ?? ，(3,3)T b =，取1(0,0)T x =，1(1,0)T p =，2(1,2)T p =-，试证由共轭方向法产生的3x 为()f x 的最优解。 7．设1()2 T T f x x Qx b x c = ++，0T Q Q =>，试证由精确线搜索的共轭梯度法中，有 T k k k T k k g d d Qd λ=- 8．取初始点0(0,0)T x =，并且设定净度误差0.01ε=，试利用最速下降法求解下面的优化 问题：2 22 112212min 243x R x x x x x x ∈-++- 9．考虑极小化问题1min ()2 n T T x R f x x Ax b x ∈=+，其中0T A A =>，n b R ∈。记函数()() g x f x Ax b =?=+。设从k x 点出发，利用精确搜索的最速下降法求出改进点1k x +， 证明： （1）最速下降法的迭代公式形如1T k k k k k T k k g g x x g g Ag +=-，其中()k k g g x =； （2）一步迭代中引起目标函数的下降量为2 1()()()2T k k k k T k k g g f x f x g Ag +-=。 10．研究形如1T k k k k k H H Z Z α+=+的迭代校正公式，使之满足拟牛顿方程，
练习题一 1、建立优化模型应考虑哪些要素? 答：决策变量、目标函数和约束条件。 2、讨论优化模型最优解的存在性、迭代算法的收敛性及停止准则。 答：针对一般优化模型()()min () .. 0,1,2, 0,1, ,i j f x s t g x i m h x j p ≥===，讨论解的可行域D ，若存在一点*X D ∈，对于X D ?∈ 均有*()()f X f X ≤则称*X 为优化模型最优解，最优解存在；迭代算法的收敛性是指迭代所得到的序列(1)(2)() ,, ,K X X X ，满足(1)()()()K K f X f X +≤，则迭代法收敛；收敛的停止准则有 (1)()k k x x ε+-<，(1)() () k k k x x x ε+-<，()()(1)()k k f x f x ε+-<， ()()() (1)()()k k k f x f x f x ε+-<，()()k f x ε?<等 等。 练习题二 1、某公司看中了例2.1中厂家所拥有的3种资源R 1、R 2、和R 3，欲出价收购（可能用于生产附加值更高的产品）。如果你是该公司的决策者，对这3种资源的收购报价是多少？（该问题称为例2.1的对偶问题）。 解：确定决策变量 对3种资源报价123,,y y y 作为本问题的决策变量。 确定目标函数 问题的目标很清楚——“收购价最小”。 确定约束条件 资源的报价至少应该高于原生产产品的利润，这样原厂家才可能卖。 因此有如下线性规划问题：123min 170100150w y y y =++ 123123123 5210 ..23518,,0y y y s t y y y y y y ++≥??++≥??≥? *2、研究线性规划的对偶理论和方法（包括对偶规划模型形式、对偶理论和对偶单纯形法）。 答：略。 3、用单纯形法求解下列线性规划问题：
基于粒子群算法的神经网络在电液伺服系统中的应用 摘要：由于人工神经网络在解决具有非线性、不确定性等系统的控制问题上具有极大的潜力，因而在控制领域正引起人们的极大关注，并且已在一些响应较慢的过程控制中获得成功应用。由于电液伺服系统属 于非线性系统，因此本文利用神经网络控制电液伺服系统，并利用粒子群优化算法训练该神经网络的 权值。通过对神经网络的优化实现对电液伺服系统的控制。 关键词：神经网络电液伺服系统粒子群算法优化 近年来，由于神经网络具有大规模并行性、冗余性、容错性、本质的非线性及自组织自学习自适应能力，所以已成功地应用于众多领域。但在具有复杂非线性特性的机电设备的实时控制方面，虽然也有一些神经网络技术的应用研究，但距实用仍有一段距离。电液伺服系统就属于这类设备[1]。 神经网路在用于实时控制时，主要是利用了网络所具有的其输人——输出间的非线性映射能力。它实际上是通过学习来逼近控制对象的动、静态特性。也就是构造实际系统的神经网络模型[2]。本文利用神经网络控制一电液伺服系统，并利用粒子群优化算法训练该神经网络的权值，将结果与BP神经网络控制该系统的结果进行比较。从而得在电液伺服系统中引入神经网络是可行的。 1、粒子群算法 粒子群优化算法(Particle Swarm optimization, PSO)是一种进化计算技术, 由Eberhart博士和kennedy博士发明, 源于对鸟群捕食的行为研究, 粒子群优化算法的基本思想是通过群体中个体之间的协作和信息共享来寻找最优解[3]。算法最初受到飞鸟和鱼类集群活动的规律性启发，利用群体智能建立了一个简化模型，用组织社会行为代替了进化算法的自然选择机制，通过种群间个体协作来实现对问题最优解的搜索[4]。 在找到这两个最优值时, 粒子根据如下的公式来更新自己的速度和新的位置 v[]=v[]+c1*rand()*(pbest[]-present[]) + c2*rand()*(gbest[]-present[]) present[]=persent[]+v[] 式中ω为惯性权重，ω取大值可使算法具有较强的全局搜索能力，ω取小值则算法倾向于局部搜索。一般的做法是将ω初始取0.9并使其随迭代次数的增加而线性递减至0.4，这样就可以先侧重于全局搜索，使搜索空间快速收敛于某一区域，然后采用局部精细搜索以获得高精度的解；c1、c2为两个学习因子，一般取为2；randl和rand2为两个均匀分布在(0，l)之间的随机数；i=1，2，?，m；k=1，2，?，d。另外，粒子在每一维的速度Vi都被一个最大速度Vmax所限制。如果当前粒子的加速度导致它在某一维的速度 超过该维上的最大速度Vmax，则该维的速度被限制为最大速度[5]。 粒子群算法流程如下： (一)初始化粒子群。设群体规模为m，在允许的范围内随机设置粒子的初始位置和速 度。 (二)评价每个粒子的适应值。 (三)调整每一个粒子的位置和速度。 (四)如果达到最大迭代次数genmax或误差达到最初设定数值终止迭代，否则返回(2)。 2、神经网络 神经网络一般由输入层、隐含层、输出层组成。对于输入信号，先向前传播到隐节点，经过节点作用函数后，再把隐节点的输出信息传播到输出节点，最后输出结果。节点的作用函数通常选取S 型函数f（x）=1/（1+e-x）。神经网络算法的学习过程分为正
1.用薄钢板制造一体积5m 3，长度不小于4m ，无上盖的货箱，要求钢板耗量最小。确定货箱的长x 1、宽x 2和高x 3。试列出问题的数学模型。 解：min 32312122x x x x x x z ++= s.t 5321=x x x 41≥x 0,,321≥x x x 2.将下面的线性规划问题表示为标准型并用单纯形法求解 max f=x 1+2x 2+x 3 s ．t ．2x 1+x 2-x 3≤2 -2x 1+x 2-5x 3≥-6 4x 1+x 2+x 3≤6 x i ≥0 i=1，2，3 解：先化标准形： Min 321x x x z -+= 224321=+-+x x x x 6525321=++-x x x x 646321=+++x x x x 列成表格：
1 2 1 610011460105122001112----- 可见此表已具备1°，2°，3°三个特点，可采用单纯形法。首先从底行中选元素-1，由2/2,6/2,6/4最小者决定选第一行第一列的元素2，标以记号，迭代一次得 1 2 1 2102310401162010021212 11-------- 再从底行中选元素-2/3，和第二列正元素1/2，迭代一次得 1 2 12 32 30 210231040116201002121211- ------ 再从底行中选元素-3，和第二列正元素2，迭代一次得 4 2 3 3 410120280114042001112--- 再迭代一次得 10 2 30 2 10 6 221023 1010213000421021013-- 选取最优解：
武工院你们懂的 1.用薄钢板制造一体积5m 3，长度不小于4m ，无上盖的货箱，要求钢板耗量最小。确定货箱的长x 1、宽x 2和高x 3。试列出问题的数学模型。 解：min 32312122x x x x x x z ++= s.t 5321=x x x 41≥x 0,,321≥x x x 2.将下面的线性规划问题表示为标准型并用单纯形法求解 max f=x 1+2x 2+x 3 s ．t ．2x 1+x 2-x 3≤2 -2x 1+x 2-5x 3≥-6 4x 1+x 2+x 3≤6 x i ≥0 i=1，2，3 解：先化标准形： Min 321x x x z -+= 224321=+-+x x x x 6525321=++-x x x x 646321=+++x x x x
列成表格： 00001216 100114 60105122001112----- 可见此表已具备1°，2°，3°三个特点，可采用单纯形法。首先从底行中选元素-1，由2/2,6/2,6/4最小者决定选第一行第一列的元素2，标以记号，迭代一次得 0000 1 2 121023 10 40116201002 1 21 211-------- 再从底行中选元素-2/3，和第二列正元素1/2，迭代一次得 1 002 1232 30210231 040116201002121211-- ----- 再从底行中选元素-3，和第二列正元素2，迭代一次得 4002 3 03410120280114042001112--- 再迭代一次得
10 23021 062 21023 1010 213 000421 2 10 13- - 选取最优解： 01=x 42=x 23=x 3. 试用DFP 变尺度法求解下列无约束优化问题。 min f （X ）=4（x 1-5）2+（x 2-6）2 取初始点X=（8，9）T ，梯度精度ε=0.01。 解：取I H =0,初始点()T X 9,8= 2221)6()5(4)(-+-=x x x f ??????--=?122408)(21x x x f ???? ??=?624)() 0(x f T x f d )6,24()()0()0(--=-?= )0(0)0()1(d x x α+= T )69,248(00αα--= ])669()5248(4min[)(min 2020)0(0)0(--+--?=+αααd x f )6()63(2)24()2458(8) (00)0(0)0(=-?-+-?--=+ααααd d x df 13077.013017 0≈= α ???? ??=???? ??--?+???? ??=21538.886153.462413077.098)1(x
x zD 天津大学《最优化方法》复习题(含答案) 第一章 概述(包括凸规划) 判断与填空题 arg max f(x)二 arg min 以儿 “ max(x): x D 二 R n 』=-min(x): x D 二 R n ； 设f : D 5 R n > R.若x ： R n ，对于一切R n 恒有f(x”)^f(x)，则称x”为 设f : D 5 R n >R.若x ” ? D ,存在x ”的某邻域N ；(x”)，使得对一切 x ?N .(x)恒有f(x”)：：： f (x)，则称x”为最优化问题 min f (x)的严格局部最 优解? 给定一个最优化问题，那么它的最优值是一个定值 ? V 非空集合D R n 为凸集当且仅当 D 中任意两点连线段上任一点属于 D . V 非空集合D R n 为凸集当且仅当D 中任意有限个点的凸组合仍属于 D . V 任意两个凸集的并集为凸集? 函数f:D R n >R 为凸集D 上的凸函数当且仅当 -f 为D 上的凹函数? V 设f : D R n >R 为凸集D 上的可微凸函数，X ：D ?则对-D ,有 f (x) - f(x )乞 f (x )T (X —X )? 若c(x)是凹函数，则 D={x^R n C(x)启0}是凸集。 V f(x)的算法A 产生的迭代序列，假设算法 A 为下降算法, 则对-k ? 5,1, 2,…匚恒有 ________________ f(x k1)乞 f(x k ) ______________ ? 算法迭代时的终止准则(写出三种) ： ___________________________________________________ 凸规划的全体极小点组成的集合是凸集。 V 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
发动机空燃比控制器 引言：我主要从事自动化相关研究。这里介绍我曾经接触过的发动机空燃比控制器设计中的优化问题。 发动机空燃比控制器设计中的最优化问题 AFR =a f m m && (1) 空燃比由方程（1）定义，在发动机运行过程中如果控制AFR 稳定在14.7可以获 得最好的动力性能和排放性能。如果假设进入气缸的空气流量a m &可以由相关单元检测得到，则可以通过控制进入气缸的燃油流量f m &来实现空燃比的精确控制。由于实际发动机的燃油喷嘴并不是直接对气缸喷燃油，而是通过进气歧管喷燃油，这么做会在进 气歧管壁上液化形成油膜，因此不仅是喷嘴喷出的未液化部分燃油会进入气缸，油膜 蒸发部分燃油也会进入气缸，如方程（2）。这样如何更好的喷射燃油成为了一个问题。 1110101122211ττττ?? ?? -?? ??????????=+????????-????????????-???? ? ??? ?? ????????? ?f f f v X x x u x x X x y =x && (2) 其中12、,==ff fv x m x m &&=f y m &,=fi u m &这里面，表示油膜蒸发量ff m &、fv m &表示为液化部分燃油、fi m &表示喷嘴喷射的燃油，在τf 、τv 、X 都已知的情况下，由现代控制理论知识，根据系统的增广状态空间模型方程（3） 0000001 1 011011114.70ττττ????-?? ??????????=-+-??????????????? ??????????????? ?? ??=?????? f f v v a X X u +q q m y q x x x &&& (3) 其中()0 14.7?t a q = y -m &。由极点配置方法，只要设计控制器方程（4），就可以 使得y 无差的跟踪阶跃输入，那么y 也能较好的跟踪AFR *a m /&。 12-- u =K q K x (4) 这里面的12、K K 确定，可由主导极点概念降维成两个参数12C ,C ，虽然都是最终稳态无差，但是目标是使得瞬态过程中y 和阶跃输入y r 的差异尽可能的小。所以原问
1 2 ( ( 最优化方法部分课后习题解答 1.一直优化问题的数学模型为： 习题一 min f (x ) = (x ? 3)2 + (x ? 4)2 ? g (x ) = x ? x ? 5 ≥ ? 1 1 2 2 ? 试用图解法求出： s .t . ?g 2 (x ) = ?x 1 ? x 2 + 5 ≥ 0 ?g (x ) = x ≥ 0 ? 3 1 ??g 4 (x ) = x 2 ≥ 0 （1） 无约束最优点，并求出最优值。 （2） 约束最优点，并求出其最优值。 （3） 如果加一个等式约束 h (x ) = x 1 ? x 2 = 0 ，其约束最优解是什么？ * 解 ：（1）在无约束条件下， f (x ) 的可行域在整个 x 1 0x 2 平面上，不难看出，当 x =（3，4） 时， f (x ) 取最小值，即，最优点为 x * =（3，4）：且最优值为： f (x * ) =0 （2）在约束条件下， f (x ) 的可行域为图中阴影部分所示，此时，求该问题的最优点就是 在约束集合即可行域中找一点 (x 1 , x 2 ) ，使其落在半径最小的同心圆上，显然，从图示中可 以看出，当 x * = 15 , 5 ) 时， f (x ) 所在的圆的半径最小。 4 4 ?g (x ) = x ? x ? 5 = 0 ? 15 ?x 1 = 其中：点为 g 1 (x ) 和 g 2 (x ) 的交点，令 ? 1 1 2 ? 2 求解得到： ? 4 5 即最优点为 x * = ? ?g 2 (x ) = ?x 1 ? x 2 + 5 = 0 15 , 5 ) ：最优值为： f (x * ) = 65 ?x = ?? 2 4 4 4 8 （3）.若增加一个等式约束，则由图可知，可行域为空集，即此时最优解不存在。 2.一个矩形无盖油箱的外部总面积限定为 S ，怎样设计可使油箱的容量最大？试列出这个优 化问题的数学模型，并回答这属于几维的优化问题. 解：列出这个优化问题的数学模型为： max f (x ) = x 1x 2 x 3 ?x 1x 2 + 2x 2 x 3 + 2x 1x 3 ≤ S
function [x,dk,k]=fjqx(x,s) flag=0; a=0; b=0; k=0; d=1; while(flag==0) [p,q]=getpq(x,d,s); if (p<0) b=d; d=(d+a)/2; end if(p>=0)&&(q>=0) dk=d; x=x+d*s; flag=1; end k=k+1;
if(p>=0)&&(q<0) a=d; d=min{2*d,(d+b)/2}; end end %定义求函数值的函数fun，当输入为x0=（x1，x2）时，输出为f function f=fun(x) f=(x(2)-x(1)^2)^2+(1-x(1))^2; function gf=gfun(x) gf=[-4*x(1)*(x(2)-x(1)^2)+2*(x(1)-1),2*(x(2)-x(1)^2)]; function [p,q]=getpq(x,d,s) p=fun(x)-fun(x+d*s)+0.20*d*gfun(x)*s'; q=gfun(x+d*s)*s'-0.60*gfun(x)*s'; 结果： x=[0,1]; s=[-1,1]; [x,dk,k]=fjqx(x,s) x =-0.0000 1.0000 dk =1.1102e-016 k =54
function f= fun( X ) %所求问题目标函数 f=X(1)^2-2*X(1)*X(2)+2*X(2)^2+X(3)^2+ X(4)^2- X(2)*X(3)+2*X(1)+3*X(2)-X(3); end function g= gfun( X ) %所求问题目标函数梯度 g=[2*X(1)-2*X(2)+2,-2*X(1)+4*X(2)-X(3)+3,2*X(3)-X(2)-1,2*X(4)]; end function [ x,val,k ] = frcg( fun,gfun,x0 ) %功能：用FR共轭梯度法求无约束问题最小值 %输入：x0是初始点，fun和gfun分别是目标函数和梯度 %输出：x、val分别是最优点和最优值，k是迭代次数 maxk=5000;%最大迭代次数 rho=0.5;sigma=0.4;
《最优化方法》复习题 第一章 概述(包括凸规划) 一、 判断与填空题 1 )].([arg )(arg min max x f x f n n R x R x -=∈∈ √ 2 {}{}.:)(min :)(max n n R D x x f R D x x f ?∈-=? ∈ ? 3 设.:R R D f n →? 若n R x ∈*，对于一切n R x ∈恒有)()(x f x f ≤*，则称*x 为 最优化问题)(min x f D x ∈的全局最优解. ? 4 设.:R R D f n →? 若D x ∈*，存在*x 的某邻域)(* x N ε，使得对一切 )(*∈x N x ε恒有)()(x f x f <*，则称* x 为最优化问题)(min x f D x ∈的严格局部最 优解. ? 5 给定一个最优化问题，那么它的最优值是一个定值. √ 6 非空集合n R D ?为凸集当且仅当D 中任意两点连线段上任一点属于D . √ 7 非空集合n R D ?为凸集当且仅当D 中任意有限个点的凸组合仍属于D . √ 8 任意两个凸集的并集为凸集. ? 9 函数R R D f n →?:为凸集D 上的凸函数当且仅当f -为D 上的凹函数. √ 10 设R R D f n →?:为凸集D 上的可微凸函数，D x ∈* . 则对D x ∈?，有 ).()()()(* **-?≤-x x x f x f x f T ? 11 若)(x c 是凹函数，则}0)( {≥∈=x c R x D n 是凸集。 √ 12 设{}k x 为由求解)(min x f D x ∈的算法A 产生的迭代序列，假设算法A 为下降算法， 则对{} ,2,1,0∈?k ，恒有 )()(1k k x f x f ≤+ .
习题二包括题目： P36页 5（1）（4） 5（4） 习题三 包括题目：P61页 1(1)(2); 3; 5; 6; 14；15(1) 1(1)(2)的解如下 3题的解如下
5,6题 14题解如下 14. 设22121212()(6)(233)f x x x x x x x =+++---, 求点在(4,6)T -处的牛顿方向。 解：已知 (1) (4,6)T x =-，由题意得 121212212121212(6)2(233)(3)()2(6)2(233)(3)x x x x x x x f x x x x x x x x +++-----?? ?= ?+++-----?? ∴ (1)1344()56g f x -?? =?= ??? 21212122211212122(3)22(3)(3)2(233)()22(3)(3)2(233)22(3)x x x x x x x f x x x x x x x x +--+--------? ??= ? +--------+--?? ∴ (1)2(1)1656()()564G x f x --?? =?= ?-?? (1)11/8007/400()7/4001/200G x --?? = ?--?? ∴ (1)(1)11141/100()574/100d G x g -?? =-= ?-?? 15（1）解如下 15. 用DFP 方法求下列问题的极小点 （1）22 121212min 353x x x x x x ++++ 解：取 (0) (1,1)T x =，0H I =时，DFP 法的第一步与最速下降法相同 2112352()156x x f x x x ++???= ? ++??， (0)(1,1)T x =，(0) 10()12f x ???= ??? (1)0.07800.2936x -??= ?-??， (1) 1.3760() 1.1516f x ???= ?-?? 以下作第二次迭代 (1)(0)1 1.07801.2936x x δ-??=-= ?-??， (1)(0) 18.6240()()13.1516f x f x γ-?? =?-?= ?-??
习题一 一、考虑二次函数f(x)= x x x x x x 212 2212132+-++ 1) 写出它的矩阵—向量形式: f(x)=x Qx b x T T +2 1 2) 矩阵Q 是不是奇异的? 3) 证明: f(x)是正定的 4) f(x)是凸的吗? 5) 写出f(x)在点x =) 1,2(T 处的支撑超平面(即切平面)方程 解:1) f(x)= x x x x x x 212 2212 132+-++ =???? ??x x 2121???? ??6222???? ??x x 21+??? ? ??-1 1T ??? ? ??x x 21 其中 x=? ?? ? ??x x 21 ,Q=???? ??6222 , b=???? ??-11 2) 因为Q=??? ? ??6222 ,所以 |Q|=6222=8>0 即可知Q 是非奇异的 3) 因为|2|>0, 6 22 2=8>0 ,所以Q 是正定的,故f(x)是正定的 4) 因为 )(2 x f ? =??? ? ??6222,所以|)(2 x f ?|=8>0,故推出)(2 x f ? 是正定的,即 )(2 x f ? 是凸的 5) 因为)(x f ? = 1) x 6x 1,2-x 2x (22121+++T ,所以)(x f ?=(5,11) 所以 f(x)在点x 处的切线方程为5( 21-x )+11(12 -x )=0 二、 求下列函数的梯度问题和Hesse 矩阵 1) f(x)=2 x 12 +x x x x x 2392 312 1 +++x x x 2322+ 2) f(x)=ln( x 1 2 + x x x 22 21+) 解: 1) )(x f ?= (,94 3 2 1 x x x ++ 263 2 1 +++x x x , x x 2 1 9+)
最优化方法大作业 ---------用优化算法求解函数最值问题
摘要 最优化(optimization) 是应用数学的重要研究领域.它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。最优化问题一般包括最小化问题和最大化问题，而最大化问题可以通过简单的转化使之成最最小化问题。最小化问题分为两类，即约束最小化和无约束最小化问题。在此报告中，前两个问题属于无约束最小化问题的求解，报告中分别使用了“牛顿法”和“共轭梯度法”。后两个问题属于有约束最小化问题的求解，报告中分别用“外点法”和“内点法”求解。虽然命名不一样，其实质都是构造“惩罚函数”或者“障碍函数”，通过拉格朗日乘子法将有约束问题转化为无约束问题进行求解。再此报告中，“外点法”和“内点法”分别用了直接求导和调用“牛顿法”来求解无约束优化问题。 在此实验中，用“共轭梯度法”对“牛顿法”所解函数进行求解时出现错误，报告中另取一函数用“共轭梯度法”求解得到正确的结果。此实验中所有的函数其理论值都是显见的，分析计算结果可知程序正确，所求结果误差处于可接受范围内。 报告中对所用到的四种方法在其使用以前都有理论说明，对“外点法”中惩罚函数和“内点法”中障碍函数的选择也有相应的说明，另外，对此次试验中的收获也在报告的三部分给出。 本报告中所用程序代码一律用MATLAB编写。 【关键字】函数最优化牛顿法共轭梯度法内点法外点法 MATLAB
一，问题描述 1， 分别用共轭梯度发法和牛顿法来求解一下优化问题 ()()()()()4 41432243221102510min x x x x x x x x x f -+-+-++= 2， 分别用外点法和内点发求解一下优化问题 ?? ?≥-++0 1.min 212 231x x t s x x 二、问题求解 用牛顿法求解 ()()()()()4 414 322 432 21102510min x x x x x x x x x f -+-+-++= 1.1.1问题分析： 取步长为1而沿着牛顿方向迭代的方法称为牛顿法，在牛顿法中，初始点的取值随意，在以后的每次迭代中，()[] ()k k k k x f x f x x ??-=-+1 21，直到终止条件成立时停止。 1.1.2 问题求解 注：本程序编程语言为MATLAB ，终止条件为()162 110-≤?x f ，初始取值为 [10 10 10 10] M 文件（求解函数）如下： function s=newton1(f,c,eps) %c 是初值，eps 为允许误差值 if nargin==2 eps=; elseif nargin<1 error('') % return end syms x1 x2 x3 x4
2016年大连理工大学优化 方法上机大作业 -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
2016年大连理工大学优化方法上机大作业学院： 专业： 班级： 学号： 姓名： 上机大作业1： 1.最速下降法：
function f = fun(x) f = (1-x(1))^2 + 100*(x(2)-x(1)^2)^2; end function g = grad(x) g = zeros(2,1); g(1)=2*(x(1)-1)+400*x(1)*(x(1)^2-x(2)); g(2) = 200*(x(2)-x(1)^2); end function x_star = steepest(x0,eps) gk = grad(x0); res = norm(gk); k = 0; while res > eps && k<=1000 dk = -gk;
ak =1; f0 = fun(x0); f1 = fun(x0+ak*dk); slope = dot(gk,dk); while f1 > f0 + 0.1*ak*slope ak = ak/4; xk = x0 + ak*dk; f1 = fun(xk); end k = k+1; x0 = xk; gk = grad(xk); res = norm(gk); fprintf('--The %d-th iter, the residual is %f\n',k,res); end x_star = xk; end >> clear >> x0=[0,0]'; >> eps=1e-4; >> x=steepest(x0,eps)
最优化大作业 -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
最优化方法大作业 ---------用优化算法求解函数最值问题
摘要 最优化(optimization) 是应用数学的重要研究领域.它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。最优化问题一般包括最小化问题和最大化问题，而最大化问题可以通过简单的转化使之成最最小化问题。最小化问题分为两类，即约束最小化和无约束最小化问题。在此报告中，前两个问题属于无约束最小化问题的求解，报告中分别使用了“牛顿法”和“共轭梯度法”。后两个问题属于有约束最小化问题的求解，报告中分别用“外点法”和“内点法”求解。虽然命名不一样，其实质都是构造“惩罚函数”或者“障碍函数”，通过拉格朗日乘子法将有约束问题转化为无约束问题进行求解。再此报告中，“外点法”和“内点法”分别用了直接求导和调用“牛顿法”来求解无约束优化问题。 在此实验中，用“共轭梯度法”对“牛顿法”所解函数进行求解时出现错误，报告中另取一函数用“共轭梯度法”求解得到正确的结果。此实验中所有的函数其理论值都是显见的，分析计算结果可知程序正确，所求结果误差处于可接受范围内。 报告中对所用到的四种方法在其使用以前都有理论说明，对“外点法”中惩罚函数和“内点法”中障碍函数的选择也有相应的说明，另外，对此次试验中的收获也在报告的三部分给出。 本报告中所用程序代码一律用MATLAB编写。 【关键字】函数最优化牛顿法共轭梯度法内点法外点法 MATLAB
一，问题描述 1， 分别用共轭梯度发法和牛顿法来求解一下优化问题 ()()()()()4 41432243221102510min x x x x x x x x x f -+-+-++= 2， 分别用外点法和内点发求解一下优化问题 ?? ?≥-++0 1.min 212 231x x t s x x 二、问题求解 1.1 用牛顿法求解 ()()()()()4 414 322 432 21102510min x x x x x x x x x f -+-+-++= 1.1.1问题分析： 取步长为1而沿着牛顿方向迭代的方法称为牛顿法，在牛顿法中，初始点的取值随意，在以后的每次迭代中，()[] ()k k k k x f x f x x ??-=-+1 21，直到终止条件成立时停止。 1.1.2 问题求解 注：本程序编程语言为MATLAB ，终止条件为()162 110-≤?x f ，初始取值为[10 10 10 10] M 文件（求解函数）如下： function s=newton1(f,c,eps) %c 是初值，eps 为允许误差值 if nargin==2 eps=1.0e-16; elseif nargin<1 error('')
1流量工程问题 1.1问题重述 定义一个有向网络G=(N,E)，其中N是节点集，E是弧集。令A是网络G的点弧关联矩阵，即N×E阶矩阵，且第l列与弧里(I,j)对应，仅第i行元素为1，第j行元素为-1， 其余元素为0。再令b m =(b m1 ,…,b mN )T，f m =(f m1 ,…,f mE )T，则可将等式约束表示成： Af m=b m 本算例为一经典TE算例。算例网络有7个节点和13条弧，每条弧的容量是5个单位。此外有四个需求量均为4个单位的源一目的对，具体的源节点、目的节点信息如图所示。这里为了简单，省区了未用到的弧。此外，弧上的数字表示弧的编号。此时，c=((5,5 (5) 1×13 )T， 根据上述四个约束条件，分别求得四个情况下的最优决策变量x=((x 12,x 13 ,…,x 75 ) 1×13 )。 图 1 网络拓扑和流量需求
1.27节点算例求解 1.2.1\ T） 1.2.2算例1（b1=[4;-4;0;0;0;0;0] 转化为线性规划问题： Minimize c T x1 Subject to Ax1=b1 x1>=0利用Matlab编写对偶单纯形法程序，可求得: 最优解为x1*=[4 0 0 0 0 0 0 0 0 0 0 0 0]T 对应的最优值c T x1=20 1.2.3算例2（b2=[4;0;-4;0;0;0;0]T） Minimize c T x2 Subject to Ax2=b2 \ X2>=0利用Matlab编写对偶单纯形法程序，可求得: 最优解为x2*=[0 4 0 0 0 0 0 0 0 0 0 0 0]T 对应的最优值c T x2=20 1.2.4算例3（b3=[0;-4;4;0;0;0;0]T） Minimize c T x3 Subject to Ax3=b3 X3>=0利用Matlab编写对偶单纯形法程序，可求得: 最优解为x3*=[4 0 0 0 4 0 0 0 0 0 0 0 0]T