凸优化和机器学习

(1) 如果中任意两点之间的线段任在中，那么集合被称为凸集。即对任意和满足的都有

(2) 函数是凸函数，则是凸集，且对于任意在任

下有

的问题，其中为凸函数。也就是说，凸优化问题是指需要最小化的函数（代价函数）是凸函数，而且定义域为凸集的问题。

3.凸优化问题的一般求解方法

有些凸优化问题比较简单，是可以直接求解的，譬如二次规划，这里不做说明。求解凸优化问题，就要利用该问题的“凸”性——只要我一直朝着代价函数减小的方向去，那么我一定不会走错！这就是下降方法的基本思想。

《convex optimization》这本书中，将凸优化问题分为无约束优化、等式约束优化和不等式约束优化分别介绍了其算法，然其本质并无区别。下降方法即产生一优化点列其中

并且。此处表示迭代的步长（比例因子），表示的是搜索方向（搜索步径）。下降方法指只要不是最优点，成立。以下内容均来自Stephen Boyd 的《convex optimization》及其中文译本。

搜索步径

一旦确定了搜索方向，那么我们可以通过求解得到搜索步径，当求解该问题成本较低时，可以采用该方法。该方法称为精确直线搜索。

然而实践中一般采用非精确直线搜索方法，譬如回溯直线搜索。算法如下图：

下降方向

在各个领域都广为应用的LMS算法也称为随机梯度算法（LMS算法和这里算法的区别和联系应该会另写一篇）。用负梯度作为下降的方向是一种和自然的选择，此外还有Newton方法。而最速下降方法是定义出的在某一特定范数下的方法。梯度下降和Netwon方法分别是二次范数和Hessian 范数下的最速下降方法。算法的收敛性和Hessian矩阵有关，此处不详细说明。

等式约束

对于标准的凸优化问题，等式约束是仿射的，这也就意味着该优化问题的定义域是一个向量子空间。一个自然的想法是在这个空间内进行下降，这种想法被证明是可行的。根据初始迭代点的兴致，可以分为两类。

(1)初始点可行：在可行域内迭代

(2)初始点不可行：迭代过程中逐步靠近可行域

不等式约束

如果我们不能解决一个问题，那么就消除这个问题。

采用示性函数可以将不等式约束隐含在代价函数中，这里带来的问题是——代价函数非凸。障碍方法被引入以解决这个问题。（内点法）这样，不等式约束就变成了等式约束或是无约束的情况了。

如果，我不知道该怎么选择搜索方向？

面临一个凸优化问题，直接采用下降方法是一个不明智的选择——很有可能你还在迭代，别人已经把结果求出来了。或者，别人把原问题转换成为一个更容易求得的问题。KKT条件是最优点需要满足的条件,如下所示

前两个条件是约束给出的，后三个条件涉及到（拉格朗日）对偶函数。对偶函数定义了最优值得下界。

定义对偶问题的最优解为，原问题的最优解为，如果，则强对偶性成立。这个时候对偶函数才起到了左右。（要不然求个下界没什么用处）当凸优化问题满足Slater条件时，强对偶性是成立的。

由此可以导出KKT条件的后三个式子——不等式约束Lagrange乘子大于等于0，强对偶性成立，对偶函数梯度为0。

5.机器学习算法举例

支持向量机（SVM）

对于线性可分的两类而言，SVM的目的是找出最优的分离面。这个最优的判断准则是和点的距离最远。这个问题可以表示为如下形式

SVM算法火了很多很多年了，博客JerryLead里用5篇写了SVM的基本方法和理论，可以去看他的。支持向量机中涉及到了KKT条件（Slater约束），以及和坐标下降法有一定关系的SMO算法。主分量分析（PCA）

主分量分析是无监督学习。主分量分析是统计模式识别和信号处理中进行数据压缩的一种标准方法。

特征选择的过程中，理论上“数据空间”到“特征空间”这一个线性变化的过程不会改变数据的维数。在需要对数据进行维数压缩的情况下，我们希望截断x后，在均方误差意义下最优。principal components 的意思就是，将数据投影到特征空间后，留下的分量是最主要的。

主成分中的“主要”指的是含有原信号的最多信息，信息在这里采用的是方差来描述。（信息熵难以计算，而方差作为二阶统计信息，在一定程度上可以表示其包含的信息）PCA中采用了一组正交基来表示，所以各个向量是两两正交的，并且方差和向量的范数有关，所以限定方向向量的范数为1（采用欧几里德范数）。在以上假设下，求解凸优化问题就能得到PCA的解析解。

在以上假设下，首先考虑输出是一维的情况，假设输入为且均值为0，输出满足

那么输出的方差表示为

那么，优化问题可表示为

显然，这是一个凸优化问题，利用KKT条件有

这就意味着，当取对应的最大特征值的特征向量时，输出具有最大的方差。同理，当输出为多维时，可以采用数学归纳法求得各个分量。对应第分量，需要求解的优化问题是

易知第n分量对应的向量为第n大特征值的特征向量，这里仅用了KKT条件就求得了对输入进行主分量分析的方法。

独立分量分析（ICA）

……

6.总结

前段时间我问自己一个问题“人是如何确定世界最高峰的”，这显然不是一个凸优化问题。或许在最初的时候，生活在平原上的人们发现了一处高地，他们爬了上去，认为这就是“世界最高峰”。

但很遗憾的是，这并不是一个凸优化问题。后来，人们走到了更多的地方，发现有更高的山，不断的修改自己的认知。世界是非凸的，没有那么美妙的性质可以利用，我们必须不断修正自己的认知，扩展自己的见识，才能站在更高的地方，领略不一样的风景。

机械优化设计实验指导书

机械优化设计实验指导 书 Document number【AA80KGB-AA98YT-AAT8CB-2A6UT-A18GG】

《机械优化设计》 实验指导书 武秋敏编写 院系：印刷包装工程学院 专业：印刷机械 西安理工大学 二00七年九月 上机实验说明 【实验环境】 操作系统： Microsoft Windows XP 应用软件：Visual C++或TC。 【实验要求】 1、每次实验前，熟悉实验目的、实验内容及相关的基本理论知识。 2、无特殊要求，原则上实验为1人1组，必须独立完成。 3、实验所用机器最好固定，以便更好地实现实验之间的延续性和相关性，并便于检查。 4、按要求认真做好实验过程及结果记录。 【实验项目及学时分配】 【实验报告和考核】 1、实验报告必需采用统一的实验报告纸，撰写符合一定的规范，详见实验报告撰写格式及规范。

（一）预习准备部分 1. 预习本次实验指导书中一、二、三部分内容。 2. 按照程序框图试写出汇编程序。 （二）实验过程部分 1. 写出经过上机调试后正确的程序，并说明程序的功能、结构。 2. 记录4000～40FFH内容在执行程序前后的数据结果。 3. 调试说明，包括上机调试的情况、上机调试步骤、调试所遇到的问题是如何解决的，并对调试过程中的问题进行分析，对执行结果进行分析。 （三）实验总结部分

实验（一） 【实验题目】 一维搜索方法 【实验目的】 1．熟悉一维搜索的方法－黄金分割法，掌握其基本原理和迭代过程； 2．利用计算语言（C语言）编制优化迭代程序，并用给定实例进行迭代验证。 【实验内容】 1．根据黄金分割算法的原理，画出计算框图； 2．应用黄金分割算法，计算：函数F(x)=x2+2x，在搜索区间-3≤x≤5时，求解其极小点X*。 【思考题】 说明两种常用的一维搜索方法，并简要说明其算法的基本思想。 【实验报告要求】 1．预习准备部分：给出实验目的、实验内容，并绘制程序框图； 2．实验过程部分：编写上机程序并将重点语句进行注释；详细描述程序的调过程（包括上机调试的情况、上机调试步骤、调试所遇到的问题是如何解决的，并对调试过程中的问题进行分析。 3．实验总结部分：对本次实验进行归纳总结，给出求解结果。要求给出6重迭代中a、x1、x2、b、y1和y2的值，并将结果与手工计算结果进行比较。 4.回答思考题。

机械优化设计论文(基于MATLAB工具箱的机械优化设计)

基于MATLAB工具箱的机械优化设计 长江大学机械工程学院机械11005班刘刚 摘要：机械优化设计是一种非常重要的现代设计方法，能从众多的设计方案中找出最佳方案，从而大大提高设计效率和质量。本文系统介绍了机械优化设计的研究内容及常规数学模型建立的方法，同时本文通过应用实例列举出了MATLAB 在工程上的应用。 关键词：机械优化设计；应用实例；MATLAB工具箱；优化目标 优化设计是20世纪60年代随计算机技术发展起来的一门新学科, 是构成和推进现代设计方法产生与发展的重要内容。机械优化设计是综合性和实用性都很强的理论和技术, 为机械设计提供了一种可靠、高效的科学设计方法, 使设计者由被动地分析、校核进入主动设计, 能节约原材料, 降低成本, 缩短设计周期, 提高设计效率和水平, 提升企业竞争力、经济效益与社会效益。国内外相关学者和科研人员对优化设计理论方法及其应用研究十分重视, 并开展了大量工作, 其基本理论和求解手段已逐渐成熟。 国内优化设计起步较晚, 但在众多学者和科研人员的不懈努力下, 机械优化设计发展迅猛, 在理论上和工程应用中都取得了很大进步和丰硕成果, 但与国外先进优化技术相比还存在一定差距, 在实际工程中发挥效益的优化设计方案或设计结果所占比例不大。计算机等辅助设备性能的提高、科技与市场的双重驱动, 使得优化技术在机械设计和制造中的应用得到了长足发展, 遗传算法、神经网络、粒子群法等智能优化方法也在优化设计中得到了成功应用。目前, 优化设计已成为航空航天、汽车制造等很多行业生产过程的一个必须且至关重要的环节。 一、机械优化设计研究内容概述 机械优化设计是一种现代、科学的设计方法, 集思考、绘图、计算、实验于一体, 其结果不仅“可行”, 而且“最优”。该“最优”是相对的, 随着科技的发展以及设计条件的改变, 最优标准也将发生变化。优化设计反映了人们对客观世界认识的深化, 要求人们根据事物的客观规律, 在一定的物质基和技术条件下充分发挥人的主观能动性, 得出最优的设计方案。 优化设计的思想是最优设计, 利用数学手段建立满足设计要求优化模型; 方法是优化方法, 使方案参数沿着方案更好的方向自动调整, 以从众多可行设计方案中选出最优方案; 手段是计算机, 计算机运算速度极快, 能够从大量方案中选出“最优方案“。尽管建模时需作适当简化, 可能使结果不一定完全可行或实际最优, 但其基于客观规律和数据, 又不需要太多费用, 因此具有经验类比或试验手段无可比拟的优点, 如果再辅之以适当经验和试验, 就能得到一个较圆满的优化设计结果。 传统设计也追求最优结果, 通常在调查分析基础上, 根据设计要求和实践

罗默《高级宏观经济学》(第3版)课后习题详解(第2章 无限期界与世代交叠模型)

罗默《高级宏观经济学》（第3版）第2章 无限期界与世代交叠模型 跨考网独家整理最全经济学考研真题，经济学考研课后习题解析资料库，您可以在这里 查阅历年经济学考研真题，经济学考研课后习题，经济学考研参考书等内容，更有跨考考研历年辅导的经济学学哥学姐的经济学考研经验，从前辈中获得的经验对初学者来说是宝贵的财富，这或许能帮你少走弯路，躲开一些陷阱。 以下内容为跨考网独家整理，如您还需更多考研资料，可选择经济学一对一在线咨询进行咨询。 2.1 考虑N 个厂商，每个厂商具有规模报酬不变的生产函数()Y F K AL =，，或者（利用密集形式）()Y ALf k =。设()·0f '>，()()* ** 1c s f k =-。设所有厂商以工资wA 雇用工人，以成本r 租借资本，并且拥有相同的A 值。 （a ）考虑一位厂商试图以最小成本生产Y 单位产出的问题。证明k 的成本最小化水平 () ()()**1001t t t f c c k cs f k n g k L n L αδ*+??"==-=++=+ ??? ＜唯一地被确定并独立于Y ，所有厂商因此选择相同的k 值。 （b ）证明N 个成本最小化厂商的总产出等于具有相同生产函数的一个单个厂商利用N 个厂商所拥有的全部劳动与资本所生产的产出。 证明：（a ）题目的要求是厂商选择资本K 和有效劳动AL 以最小化成本rK wAL +，同时厂商受到生产函数()Y ALf k =的约束。这是一个典型的最优化问题。 () .mi . n s t w Y ALf k AL rK = + 本题使用拉格朗日方法求解，构造拉格朗日函数： 求一阶条件： 用第一个结果除以第二个结果： 上式潜在地决定了最佳资本k 的选择。很明显，k 的选择独立于Y 。 上式表明，资本和有效劳动的边际产品之比必须等于两种要素的价格之比，这便是成本最小化条件。 （b ）因为每个厂商拥有同样的k 和A ，下面是N 个成本最小化厂商的总产量关系式：

机器学习常用模型及优化

第一章模型建立 1.1回归模型： 条件： 1.数据 2?假设的模型 结果： 用模型对数据学习，预测新数据 1.1.1 一元线性回归模型（最小二乘法） 它通过最小化误差的平方和寻找数据的最佳函数匹配 我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归 假设从总体中获取了n组观察值（X1，Y1 ），（X2，丫2），…，（Xn，Yn）平方损失函数

根槪薮学如说我卄］怖遇，曲誥的粧值点为繼牛为0的点° 厂”工龙：一近尤）2 6 一丫并。;—工疣和; ' “工疋一（工尤）' 1.1.2逻辑回归模型 L 1 +e _f 或者： 加3)-]” expf-lFx) 其他的思路和想法与线性回归一样，所以说逻辑回归的模型是一个非线性模 型，但是它本质上又是一个线性回归模型 损失函数（误差函数）为： — m 刀剳⑴ log 加（能）+ （1 - t/^）log （l -畑（*））） 1.1.3 softmax 回归 它是逻辑回归的扩展 从分类的角度来说，逻辑回归只能将东西分成两类（ 成多类 逻辑回归中，模型函数（系统函数）为： 隔何 — 14 exp （— Softmax 回归中，模型函数（系统函数）为: 将线性回归中的一次模型变成逻辑回归函数，即 sigmoid 函数。 0,1）， softmax 可以分

机械优化设计复习总结.doc

1. 优化设计问题的求解方法:解析解法和数值近似解法。解析解法是指优化对象用数学方程（数学模型）描述，用 数学 解析方法的求解方法。解析法的局限性：数学描述复杂，不便于或不可能用解析方法求解。数值解法：优 化对象无法用数学方程描述，只能通过大量的试验数据或拟合方法构造近似函数式，求其优化解；以数学原理 为指导，通过试验逐步改进得到优化解。数值解法可用于复杂函数的优化解，也可用于没有数学解析表达式的 优化问题。但不能把所有设计参数都完全考虑并表达，只是一个近似的数学描述。数值解法的基本思路：先确 定极小点所在的搜索区间，然后根据区间消去原理不断缩小此区间，从而获得极小点的数值近似解。 2. 优化的数学模型包含的三个基本要素：设计变量、约束条件（等式约束和不等式约束）、目标函数（一般使得目 标 函数达到极小值）。 3. 机械优化设计中，两类设计方法：优化准则法和数学规划法。 优化准则法：x ;+, = c k x k （为一对角矩阵） 数学规划法：X k+x =x k a k d k {a k \d k 分别为适当步长\某一搜索方向一一数学规划法的核心） 4. 机械优化设计问题一般是非线性规划问题，实质上是多元非线性函数的极小化问题。重点知识点：等式约束优 化问 题的极值问题和不等式约束优化问题的极值条件。 5. 对于二元以上的函数，方向导数为某一方向的偏导数。 函数沿某一方向的方向导数等于函数在该点处的梯度与这一方向单位向量的内积。梯度方向是函数值变化最快的方 向（最速上升方向），建议用单位向暈表示，而梯度的模是函数变化率的最大值。 6. 多元函数的泰勒展开。 7. 极值条件是指目标函数取得极小值吋极值点应满足的条件。某点取得极值，在此点函数的一阶导数为零，极值 点的 必要条件：极值点必在驻点处取得。用函数的二阶倒数来检验驻点是否为极值点。二阶倒数大于冬，取得 极小值。二阶导数等于零时，判断开始不为零的导数阶数如果是偶次，则为极值点，奇次则为拐点。二元函数 在某点取得极值的充分条件是在该点岀的海赛矩阵正定。极值点反映函数在某点附近的局部性质。 8. 凸集、凸函数、凸规划。凸规划问题的任何局部最优解也就是全局最优点。凸集是指一个点集或一个区域内， 连接 英中任意两点的线段上的所有元素都包含在该集合内。性质：凸集乘上某实数、两凸集相加、两凸集的交 集仍是凸集。凸函数：连接凸集定义域内任意两点的线段上，函数值总小于或等于用任意两点函数值做线性内 插所得的值。数学表达:/[^+（l-a ）x 2]

机械优化设计方法论文

浅析机械优化设计方法基本理论 【摘要】在机械优化设计的实践中，机械优化设计是一种非常重要的现代设计方法，能从众多的设计方案中找出最佳方案，从而大大提高设计的效率和质量。每一种优化方法都是针对某一种问题而产生的，都有各自的特点和各自的应用领城。在综合大量文献的基础上，总结机械优化设计的特点，着重分析常用的机械优化设计方法，包括无约束优化设计方法、约束优化设计方法、基因遗传算方法等并提出评判的主 要性能指标。 【关键词】机械；优化设计；方法特点；评价指标 一、机械优化概述 机械优化设计是适应生产现代化要求发展起来的一门科学，它包括机械优化设计、机械零部件优化设计、机械结构参数和形状的优化设计等诸多内容。该领域的研究和应用进展非常迅速，并且取得了可观的经济效益，在科技发达国家已将优化设计列为科技人员的基本职业训练项目。随着科技的发展，现代化机械优化设计方法主要以数学规划为核心，以计算机为工具，向着多变量、多目标、高效率、高精度方向发展。]1[ 优化设计方法的分类优化设计的类别很多，从不同的角度出发，可以做出各种不同的分类。按目标函数的多少，可分为单目标优化设计方法和多目标优化设计方法按维数，可分为一维优化设计方法和多维优化设计方法按约束情况，可分为无约束优化设计方法和约束优化设计方法按寻优途径，可分为数值法、解析法、图解法、实验法和情况研究法按优化设计问题能否用数学模型表达，可分为能用数学模型表达的优化设计问题其寻优途径为数学方法，如数学规划法、最优控制法等。 1.1 设计变量 设计变量是指在设计过程中进行选择并最终必须确定的各项独立参数，在优化过程中，这些参数就是自变量，一旦设计变量全部确定，设计方案也就完全确定了。设计变量的数目确定优化设计的维数，设计变量数目越多，设计空间的维数越大。优化设计工作越复杂，同时效益也越显著，因此在选择设计变量时。必须兼顾优化效果的显著性和优化过程的复杂性。

技术研究总结报告-最终版

《高频数据线缆偏心在线检测装置技术的研究》 技术研究开发总结报告 东莞岳丰电子科技有限公司 电子科技大学 2013年9月

目录 1.采用的详细技术路线，技术原理及主要技术特征 (3) 1.1 非接触式高精度偏心在线检测技术 (3) 1.2 测试原理研究 (4) 1.2.1 激励源DDS信号发生器 (5) 1.2.2 系统的硬件设计 (7) 1.2.3 系统的软件设计 (7) 1.3 生产信息数字化传输技术 (8) 1.4 信号滤波处理技术 (8) 2.项目研究的目的及意义 (10) 3.主要技术经济指标 (11) 1）项目预期实现的技术指标 (11) 4.技术创新点，技术的新颖性、先进性、实用性和成熟度，主要技术指标与国内外同类技术先进水平的比较，对社会经济发展和科技进步的作用意义 (12) 4.1生产过程的偏心在线实时检测 (12) 4.2线缆制造过程监控管理 (14) 5.成果转化和推广应用的条件及前景 (16) 6.存在的主要问题、改进意见及进一步深入研究的设想等 (17)

1.采用的详细技术路线，技术原理及主要技术特征 项目以需求为研发导向，重点突破面向制造装备的可重组的开放式数字化平台的检测、控制及设计技术，开发满足特殊工艺要求的关键技术（在线检测工艺流程示意如图1所示），使之能适应各类生产制造装备的检测与控制，进而实现数字化线缆生产线的技术升级。 上位机 张力监测速度检测 外径检测 外径检测 偏心检测图1 生产过程在线实时检测工艺流程 1.1 非接触式高精度偏心在线检测技术 目前高频数据线缆生产中除了开机初期可以靠熟练工人采用人工剥切凭经验检测外，其他时段则只有无损检测方法可行。这种方法就是对线缆成品进行切割，在线缆截面上通过千分尺测量和人的肉眼观察的方法判断线缆是否发生了偏心。这种检测方法的缺点在于无法实现线缆偏心度的在线实时检测，检测精度较低，而且属于破坏性检验，造成了材料的浪费。本项目提出了一种基于电涡流非接触式检测方法。电涡流产生的磁场与检测线圈产生的交变磁场相互作用，导致

机械优化设计考试重点

机械优化设计复习点 判断题，分析题，计算题 一，优化问题的基本解法（简答填空题）p27 （1）画图法找最小点 （2）解析解法 （3）数值的近似解法 二，数学基础（简答题） （1）方向导数和梯度（概念，关系）p31 p32 （2）泰勒展开的物理含义及表达式p35 物理含义：泰勒展开在优化方法中十分重要，许多方法及其收敛性证明都是从泰勒出发的，是把方程g(x)=0的解，写成曲线方程的形式看看和x轴有什么交点。泰勒公式的应用一般有三个方面： 1、利用泰勒展开式做代换求函数的极限。 2、利用泰勒展开式证明一些等式或者不等式。 3、应用拉格朗日余项,可以估值,求近似值。 表达式：矩阵形式和线性代数形式 p35 （3）极值条件 在什么条件下判断找到最优解（极值条件）？ p38 无约束优化问题：通过莫干函数求导等于0，等式约束：通过拉格朗日参数法求无约束优化物理含义：课件上(暂无） 线性组合概念：课件上(暂无） 不等式约束的基本条件： 通过一个双次（？）变量转换成等式约束，再利用拉格朗日来求极值条件。导数的kt条件和kuhn-taker条件 p46 不等式的表达条件和物理含义： 三，一维搜索方法（计算题为主） （1）一维搜入优化方法：p59 （2）计算题（书上和课件上题型） 模拟计算机计算流程，把一两个迭代步，计算过程写出来 （3）黄金分割法的原理及迭代的步骤 （4）二次插值法算法推导及原理 四，无约束的优化方法（最重点） （1）最速下降法，牛顿法，共轭方向法，变尺度法（大概）p69-p83 （2）牛顿法和最速下降法的区别p70-p74 最速下降法的优点是算法简单，每次迭代计算量小，占用内存量小，且对初始点要求不高，即使从一个不好的初始点出发，往往也能收敛到局部极小点，但它有一个严重缺点就是收敛速度慢，特别是当椭圆比较扁平时，最速下降法的收敛速度越慢牛顿法收敛速度非常快，具有二次收敛的优点，但它存在下面四个严重的

机器学习中常见的几种优化方法

机器学习中常见的几种优化方法 阅读目录 1. 梯度下降法（Gradient Descent） 2. 牛顿法和拟牛顿法（Newton's method & Quasi-Newton Methods） 3. 共轭梯度法（Conjugate Gradient） 4. 启发式优化方法 5. 解决约束优化问题——拉格朗日乘数法 我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法，大部分的机器学习算法的本质都是建立优化模型，通过最优化方法对目标函数（或损失函数）进行优化，从而训练出最好的模型。常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯

度法等等。 回到顶部 1. 梯度下降法（Gradient Descent） 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向，所以也被称为是”最速下降法“。最速下 降法越接近目标值，步长越小，前进越慢。梯度下降法的搜索迭代示意图如下图所示： 牛顿法的缺点： （1）靠近极小值时收敛速度减慢，如下图所示； （2）直线搜索时可能会产生一些问题； （3）可能会“之字形”地下降。 从上图可以看出，梯度下降法在接近最优解的区域收敛速度明显变慢，利用梯度下降法求解需要很多次的迭代。 在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。

优化设计实验指导书(完整版)

优化设计实验指导书 潍坊学院机电工程学院 2008年10月 目录

实验一黄金分割法 (2) 实验二二次插值法 (5) 实验三 Powell法 (8) 实验四复合形法 (12) 实验五惩罚函数法 (19)

实验一黄金分割法 一、实验目的 1、加深对黄金分割法的基本理论和算法框图及步骤的理解。 2、培养学生独立编制、调试黄金分割法C语言程序的能力。 3、掌握常用优化方法程序的使用方法。 4、培养学生灵活运用优化设计方法解决工程实际问题的能力。 二、实验内容 1、编制调试黄金分割法C语言程序。 2、利用调试好的C语言程序进行实例计算。 3、根据实验结果写实验报告 三、实验设备及工作原理 1、设备简介 装有Windows系统及C语言系统程序的微型计算机，每人一台。 2、黄金分割法(0.618法)原理 0.618法适用于区间上任何单峰函数求极小点的问题。对函数除“单峰”外不作 其它要求，甚至可以不连续。因此此法适用面相当广。 0.618法采用了区间消去法的基本原理，在搜索区间内适当插入两点和，它们把 分为三段，通过比较和点处的函数值，就可以消去最左段或最右段，即完成一次迭代。 然后再在保留下来的区间上作同样处理，反复迭代，可将极小点所在区间无限缩小。 现在的问题是：在每次迭代中如何设置插入点的位置，才能保证简捷而迅速地找到极小点。 在0.618法中，每次迭代后留下区间内包含一个插入点，该点函数值已计算过，因此以后的每次迭代只需插入一个新点，计算出新点的函数值就可以进行比较。 设初始区间[a,b]的长为L。为了迅速缩短区间，应考虑下述两个原则：（1）等比收缩原理——使区间每一项的缩小率不变，用表示(0<λ<1)。 （2）对称原理——使两插入点x1和x2，在[a,b]中位置对称，即消去任何一边区间[a,x1]或[x2,b]，都剩下等长区间。 即有 ax1=x2b 如图4-7所示，这里用ax1表示区间的长，余类同。若第一次收缩，如消去[x2,b]区间，则有：λ=(ax2)/(ab)=λL/L 若第二次收缩，插入新点x3，如消去区间[x1,x2]，则有λ=(ax1)/(ax2)=(1-λ)L/λL

机械优化设计复习总结

10. 1. 优化设计问题的求解方法：解析解法和数值近似解法。解析解法是指优化对象用数学方程（数学模型）描述，用数学解析 方法的求解方法。解析法的局限性：数学描述复杂，不便于或不可能用解析方法求解。数值解法：优化对象无法用数学 方程描述，只能通过大量的试验数据或拟合方法构造近似函数式，求其优化解；以数学原理为指导，通过试验逐步改进 得到优化解。数值解法可用于复 杂函数的优化解，也可用于没有数学解析表达式的优化问题。但不能把所有设计参数都 完全考虑并表达，只是一个近似的数学描述。数值解法的基本思路：先确定极小点所在的搜索区间，然后根据区间消去 原理不断缩小此区间，从而获得极小点的数值近似解。 2. 优化的数学模型包含的三个基本要素：设计变量、约束条件（等式约束和不等式约束）、目标函数（一般使得目标函 数达到极小值）。 3. 机械优化设计中， 两类设计方法：优化准则法和数学规划法。 k 1 k k 优化准则法：X c X （为一对角矩阵） k 1 数学规划法：X k 1 k k k X k d （ k d 分别为适当步长某一搜索方向一一数学规划法的核心） 4. 机械优化设计问题一般是非线性规划问题， 实质上是多元非线性函数的极小化问题。 的极值问题和不等式约束优化问题的极值条件。 5. 对于二元以上的函数，方向导数为某一方向的偏导数。 重点知识点：等式约束优化问题 f | X o *kCOS i d i 1 X i 函数沿某一方向的方向导数等于函数在该点处的梯度与这一方向单位向量的内积。 速上升方向），建议用 单位向量 表示，而梯度的模是函数变化率的最大值。 6. 梯度方向是函数值变化最快的方向 （最 7. 8. 9. 多元函数的泰勒展开。 f X f x 0 T f X o -X T G X o 2 f X o f X i f X 2 X , X 2 1 2 X1 X 2 2f 2f 为X 2 2 f X 1 X 2 X 1 2 f X 2 -- 2 X 2 海赛矩阵: x o 2 f ~2 X 1 2 f 2 f X l X 2 X 1 X 2 2 f 2 X 2 （对称方 阵） 极值条件是指目标函数取得极小值时极值点应满足的条件。 某点取得极值, 要条件：极值点必在驻点处取得。用函数的二阶倒数来检验驻点是否为极值点。 导数等于零时，判断开始不为零的导数阶数如果是偶次，则为极值点， 在此点函数的一阶导数为零， 极值点的必 二阶倒数大于零，取得极小值 。二阶 奇次 则为拐点。二元函数在某点取得极值的充 分条件是在该点岀的海赛矩阵正定。 极值点反映函数在某点附近的局部性质 凸集、凸函数、凸规划。 凸规划问题的任何局部最优解也就是全局最优点 中任意两点 的线段上的所有元素都包含在该集合内。 凸函数：连接凸集定义域内任意两点的线段上， 。凸集是指一个点集或一个区域内，连接其 性质： 凸集乘上某实数、两凸集相加、两凸集的交集仍是凸集。 函数值总小于或等于用任意两点函数值做线性内插所得的值。 数学表 达：f ax, 1 a x 2 f X i f X 2 0 1，若两式均去掉等号，则 f X 称作严格凸函数。凸 函数同样满足倍乘， 加法和倍乘加仍为凸函数的三条基本性质。 优化问题。 等式约束优化问题的极值条件。两种处理方法：消元法和拉格朗日乘子法。也分别称作降维法和升维法。消元法 等式约束条件的一个变量表示成另一个变量的函数。减少了变量的个数。拉格朗日乘子法是通过增加变量 约束优化问题变成无约束优化问题，增加了变量的个数。 不等式约束优化问题的极值条件。不等式约束的多元函数极值的必要条件为库恩塔克条件。库恩塔克条件： 凸规划针对目标函数和约束条件均为凸函数是的约束 :将 将等式

机械优化设计方法基本理论

机械优化设计方法基本理论 一、机械优化概述 机械优化设计是适应生产现代化要求发展起来的一门科学，它包括机械优化设计、机械零部件优化设计、机械结构参数和形状的优化设计等诸多内容。该领域的研究和应用进展非常迅速，并且取得了可观的经济效益，在科技发达国家已将优化设计列为科技人员的基本职业训练项目。随着科技的发展，现代化机械优化设计方法主要以数学规划为核心，以计算机为工具，向着多变量、多目标、高效率、高精度方向发展。]1[ 优化设计方法的分类优化设计的类别很多，从不同的角度出发，可以做出各种不同的分类。按目标函数的多少，可分为单目标优化设计方法和多目标优化设计方法按维数，可分为一维优化设计方法和多维优化设计方法按约束情况，可分为无约束优化设计方法和约束优化设计方法按寻优途径，可分为数值法、解析法、图解法、实验法和情况研究法按优化设计问题能否用数学模型表达，可分为能用数学模型表达的优化设计问题其寻优途径为数学方法，如数学规划法、最优控制法等 1.1 设计变量 设计变量是指在设计过程中进行选择并最终必须确定的各项独立参数，在优化过程中，这些参数就是自变量，一旦设计变量全部确定，设计方案也就完全确定了。设计变量的数目确定优化设计的维数，设计变量数目越多，设计空间的维数越大。优化设计工作越复杂，同时效益也越显著，因此在选择设计变量时。必须兼顾优化效果的显著性和优化过程的复杂性。 1.2 约束条件 约束条件是设计变量间或设计变量本身应该遵循的限制条件，按表达方式可分为等式约束和不等式约束。按性质分为性能约束和边界约束，按作用可分为起作用约束和不起作用约束。针对优化设计设计数学模型要素的不同情况，可将优化设计方法分类如下。约束条件的形式有显约束和隐约束两种，前者是对某个或某组设计变量的直接限制，后者则是对某个或某组变量的间接限制。等式约束对设计变量的约束严格，起着降低设计变量自由度的作用。优化设计的过程就是在设计变量的允许范围内，找出一组优化的设计变量值，使得目标函数达到最优值。

罗默《高级宏观经济学》第版课后习题详解第章索洛增长模型

罗默《高级宏观经济学》（第3版）第1章 索洛增长模型 跨考网独家整理最全经济学考研真题，经济学考研课后习题解析资料库，您可以在这里查阅历年经济学考研真题，经济学考研课后习题，经济学考研参考书等内容，更有跨考考研历年辅导的经济学学哥学姐的经济学考研经验，从前辈中获得的经验对初学者来说是宝贵的财富，这或许能帮你少走弯路，躲开一些陷阱。 以下内容为跨考网独家整理，如您还需更多考研资料，可选择经济学一对一在线咨询进行咨询。 增长率的基本性质。利用一个变量的增长率等于其对数的时间导数的事实证明： （a ）两个变量乘积的增长率等于其增长率的和，即若()()()Z t X t Y t =，则 （b ）两变量的比率的增长率等于其增长率的差，即若()()()Z t X t t =，则 （c ）如果()()Z t X t α=，则()()()()//Z t Z t X t X t α=g g 证明：（a ）因为一个变量的增长率等于对该变量取对数后再对时间求导，那么可得下式： 因为两个变量的积的对数等于两个变量各自对数之和，所以有下式： 再简化为下面的结果： 则得到（a ）的结果。 （b ）因为一个变量的增长率等于对该变量取对数后再对时间求导，那么可得下式： 因为两个变量的比率的对数等于两个变量各自对数之差，所以有下式： 再简化为下面的结果: 则得到（b ）的结果。 （c ）因为一个变量的增长率等于对该变量取对数后再对时间求导，那么可得下式： 又由于()()ln ln X t X t αα??=??，其中α是常数，有下面的结果： 则得到（c ）的结果。 假设某变量X 的增长率为常数且在10~t 时刻等于0a >，在1t 时刻下降为0，在12~t t 时刻逐渐由0上升到a ，在2t 时刻之后不变且等于a 。 （a ）画出作为时间函数的X 的增长率的图形。 （b ）画出作为时间函数的ln X 的图形。 答：（a ）根据题目的规定，X 的增长率的图形如图1-1所示。 从0时刻到1t 时刻X 的增长率为常数且等于a （0a >），为图形中的第一段。X 的增长率从0上升到a ，对应于图中的第二段。从2t 时刻之后，X 的增长率再次变为a 。 图1-1 时间函数X 的增长率 （b ）注意到ln X 关于时间t 的导数（即ln X 的斜率）等于X 的增长率，即： 因此，ln X 关于时间的图形如图1-2所示：从0时刻到1t 时刻，ln X 的斜率为a （0a >），在1t 时刻，()X t 的增长率出现不连续的变化，因此ln X 的斜率出现扭曲，在1t 时刻至2t 时刻，ln X 的斜率由0逐渐变为a ；从2t 时刻之后，ln X 的斜率再次变为a （0a >）。 图1-2 ln X 关于时间的图形

公路线形优化设计总结

公路线形优化设计总结 公路线形是车辆运行的直接载体，一旦确定，无论优劣，都很难改变，高速公路尤其如此。这就要求公路设计者应特别重视线形设计质量，任何一个不安全的指标、一个不良的组合设计都可能形成交通安全隐患，设计者必须认识到所绘制的每条线不仅是几何线，还是经济线、能源线、环境线，更是生命线。 以往，我们已经认识到长直线接小半径等不利线形组合是车辆运行安全的隐患，但受设计车速体系制约，该问题一直无法定量化。运行车速理论提供了解释和解决该类问题的方法。有关研究显示，大量的公路交通事故是由相邻路段较大的运行车速差导致，当相邻路段运行车速差超过某一限值时，路段存在运行安全隐患，而运行车速理论的核心就是通过改善相邻路段指标组合，降低容许运行车速差，从而消除安全隐患。 运行速度作为公路安全设计的主要指标，将指导我国公路设计工作更加关注“以人为本，注重安全”等新理念，以期在设计阶段就消除隐含的一些安全隐患，体现动态设计、考虑驾驶行为。所以根据基本的平、纵、横设计数据，进行运行速度测算分析；以分析结果指导路线设计与优化，将逐渐成为我国公路设计工作（流程）中不可或缺的重要一环。 01 运行速度的定义及路段划分

运行车速是在单元路段上车辆的实际行驶速度。因不同车辆在行驶过程中可能采用不同车速，通常按统计学中测定的从高速到低速排列第85个百分点对应的车辆行驶速度作为运行车速。有别于设计车速的人为规定，运行车速是一个统计学指标，是单元路段车辆实际行驶速度。因此，运行速度的定义：是指在特定路段（无横向干扰等）上，在干净、潮湿条件下，在自由流的情况下，85%的驾驶员行车不会超过的行驶速度，简称V85。 运行车速计算之前，首先要对路线进行单元路段划分，通过《公路项目安全性评价指南》中的预测模型公式计算出单元路段 ），然后根据各单元路段特征点的运行速特征点的运行速度（v 85 ）进行评价，最后按评价结果指导路线线形最优设度之差（△v 85 计。 路线单元路段通常划分为直线段、纵坡段、小半径组合段、弯坡组合段、短直线段等路段类型。 直线段是指路线纵坡小于3%的直线段或曲线半径大于1000m 且纵坡小于3%的曲线段。 小半径组合段是指曲线半径小于等于1000m且纵坡小于3%的曲线段。 纵坡段是指路线纵坡大于等于3%的直线段或曲线半径大于1000m且纵坡大于等于3%的曲线段。 弯坡组合段是指路线曲线半径小于等于1000m且纵坡大于等于3%的曲线段。

30586机械优化设计考纲

高纲1513 江苏省高等教育自学考试大纲 30586 机械优化设计 南京理工大学编 江苏省高等教育自学考试委员会办公室 Ⅰ课程性质与课程目标 一、课程性质和特点 《机械优化设计》是高等工科院校中机械设计制造及其自动化专业现代设计方法模块的一门选修课程，它综合运用先修课程所学到的数学、计算机编程和机械等方面知识与理论，来解决机械工程领域内有关机构、机械零部件、机械结构及机械系统的优化设计问题及机械工程领域的其他优化问题。通过课程的学习可以培养学生运用现代设计理论与方法来更好地解决机械工程设计问题的能力。为进一步深入学习现代机械设计的理论与方法及更好地从事机械工程方面的设计、制造和管理等相关工作打下良好的基础。本课程的特点是数学基础理论与计算机编程语言与机械设计专业知识高度结合的综合课程。 二、课程目标 本门课程通过授课、练习和上机实践等教学环节，使学生树立机械优化设计的基本思想，了解机械优化设计的基本概念，初步掌握建立优化数学模型的基本方法和要求，了解和掌握一维搜索、无约束优化和约束优化中的一些基本算法及各种基本优化方法的特点和相关优化参数的选用原则，具有一定的编制和使用优化软件工具的能力，并具备一定的将机械工程问题转化为最优化问题并求解的应用能力。 三、与相关课程的联系与区别 本课程教学需要的先修课程：高等数学、理论力学、材料力学、机械原理、机械设计、机械制造装备设计、计算机编程语言。 本门课程要利用高等数学中有关偏导数、函数、极值、线性代数和矩阵等知识来

构建优化的方法；利用力学、机械设计和机械制造等方面的专业知识将工程问题转化成规范的优化设计数学模型，并利用计算机编程语言将优化方法和数学模型转化成可以执行的计算机程序，从而得到优化问题的解。因此，它既区别于基础的数学、力学课程和计算机编程语言课，又不同于机械设计和机械制造等机械专业课程，是利用数学方法和编程语言来解决机械工程设计问题的综合性课程。需要培养学生综合应用各选修课程知识解决工程设计问题的能力。 四、课程的重点和难点 本课程的重点内容：机械优化设计的基本概念、一维搜索优化方法、基本的无约束优化方法和约束优化方法。 本课程的次重点内容：机械优化数学模型建立方法和原则、优化设计的数学基础、线性规划方法、多目标和离散变量的优化方法。 本课程的的难点内容：约束优化方法、优化方法在机械工程设计中的实际应用。 Ⅱ考核目标 本大纲在考核目标中，按照识记、领会和应用三个层次规定其应达到的能力层次要求。三个能力层次是递升的关系，后者必须建立在前者的基础上。各能力层次的含义是： 识记（Ⅰ）：要求考生能够识别和记忆本课程中有关优化设计数学模型和各种基本优化方法基本概念、基本原理、算法特点、算法步骤等主要内容并能够根据考核的不同要求，做正确的表述、选择和判断。 领会（Ⅱ）：要求考生能够领悟和理解本课程中有关优化问题数学建模、求解及各种基本优化方法的概念及原理的内涵及外延，理解各种优化方法的数学基础和求解步骤的确切含义，掌握每种方法的适用条件和优化参数选用原则；理解相关知识的区别和联系，做出正确的判断、解释和说明。 应用（Ⅲ）：要求考生能够根据所学的方法，对简单的优化问题求解，得出正确的结论或做出正确的判断。能够针对具体、实际的工程情况发现问题，并能探究解决问题的方法，建立合理的数学模型，用所学的优化方法进行求解，并学会编程或利用现有优化软件求解优化问题。 Ⅲ课程内容与考核要求 绪论 一、学习目的与要求 了解机械优化设计的特点、发展概况以及本课程的主要内容。 二、课程内容 传统设计和优化设计的特点和区别，机械优化设计发展概况及本课程的主要内容。 三、考核知识点与考核要求 1. 传统设计和优化设计 识记：传统设计特点，传统设计流程； 领会：优化设计特点，现代设计流程。 2. 机械优化设计发展概况

机械优化设计习题及答案

机械优化设计习题及参考答案 1-1.简述优化设计问题数学模型的表达形式。 答：优化问题的数学模型是实际优化设计问题的数学抽象。在明确设计变量、约束条件、目标函数之后，优化设计问题就可以表示成一般数学形式。求设计变量向量[]12T n x x x x =L 使 ()min f x → 且满足约束条件 ()0 (1,2,)k h x k l ==L ()0 (1,2,)j g x j m ≤=L 2-1.何谓函数的梯度？梯度对优化设计有何意义？ 答：二元函数f(x 1,x 2)在x 0点处的方向导数的表达式可以改写成下面的形式：??? ?????????????=??+??= ??2cos 1cos 212cos 21cos 1θθθθxo x f x f xo x f xo x f xo d f ρ 令xo T x f x f x f x f x f ?? ????????=????=?21]21[)0(， 则称它为函数f （x 1，x 2）在x 0点处的梯度。 （1）梯度方向是函数值变化最快方向，梯度模是函数变化率的最大值。 （2）梯度与切线方向d 垂直，从而推得梯度方向为等值面的法线方向。梯度)0(x f ?方向为函数变化率最大方向，也就是最速上升方向。负梯度-)0(x f ?方向为函数变化率最小方向，即最速下降方向。 2-2.求二元函数f （x 1，x 2）=2x 12+x 22-2x 1+x 2在T x ]0,0[0=处函数变化率最 大的方向和数值。 解：由于函数变化率最大的方向就是梯度的方向，这里用单位向量p 表示，函数变化率最大和数值时梯度的模)0(x f ?。求f （x1，x2）在

机器人动力学汇总

机器人动力学研究的典型方法和应用 （燕山大学 机械工程学院） 摘 要：本文介绍了动力学分析的基础知识，总结了机器人动力学分析过程中比较常用的动力学分析的方法：牛顿—欧拉法、拉格朗日法、凯恩法、虚功原理法、微分几何原理法、旋量对偶数法、高斯方法等，并且介绍了各个方法的特点。并通过对PTl300型码垛机器人弹簧平衡机构动力学方法研究，详细分析了各个研究方法的优越性和方法的选择。 前 言：机器人动力学的目的是多方面的。机器人动力学主要是研究机器人机构的动力学。机器人机构包括机械结构和驱动装置，它是机器人的本体，也是机器人实现各种功能运动和操作任务的执行机构，同时也是机器人系统中被控制的对象。目前用计算机辅助方法建立和求解机器人机构的动力学模型是研究机器人动力学的主要方法。动力学研究的主要途径是建立和求解机器人的动力学模型。所谓动力学模指的是一组动力学方程（运动微分方程），把这样的模型作为研究力学和模拟运动的有效工具。 报告正文： （1）机器人动力学研究的方法 1）牛顿—欧拉法 应用牛顿—欧拉法来建立机器人机构的动力学方程，是指对质心的运动和转动分别用牛顿方程和欧拉方程。把机器人每个连杆（或称构件）看做一个刚体。如果已知连杆的表征质量分布和质心位置的惯量张量，那么，为了使连杆运动，必须使其加速或减速，这时所需的力和力矩是期望加速度和连杆质量及其分布的函数。牛顿—欧拉方程就表明力、力矩、惯性和加速度之间的相互关系。 若刚体的质量为m ，为使质心得到加速度a 所必须的作用在质心的力为F ，则按牛顿方程有：ma F = 为使刚体得到角速度ω、角加速度εω= 的转动，必须在刚体上作用一力矩M ， 则按欧拉方程有：εωI I M += 式中，F 、a 、M 、ω、ε都是三维矢量；I 为刚体相对于原点通过质心并与刚

机器学习常用模型及优化

机器学习常用模型及优化 回归模型：条件：1、数据2、假设的模型结果：用模型对数据学习，预测新数据1、1、1 一元线性回归模型（最小二乘法）它通过最小化误差的平方和寻找数据的最佳函数匹配我们以最简单的一元线性模型来解释最小二乘法。什么是一元线性模型呢？ 监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归假设从总体中获取了n组观察值（X1，Y1），（X2，Y2），…，（Xn，Yn）平方损失函数1、1、2 逻辑回归模型将线性回归中的一次模型变成逻辑回归函数，即sigmoid函数。或者：其他的思路和想法与线性回归一样，所以说逻辑回归的模型是一个非线性模型，但是它本质上又是一个线性回归模型损失函数（误差函数）为：1、1、3 softmax回归它是逻辑回归的扩展从分类的角度来说，逻辑回归只能将东西分成两类（0,1），softmax可以分成多类逻辑回归中，模型函数（系统函数）为：Softmax回归中，模型函数（系统函数）为：1、2 神经网络模型1、2、1 神经元首先来一个三输入单输出的神经元，输入输出都是二进制（0,1）。举例来说：X1表示天气是否好X2表示交通是否好X3表示是否有女朋友陪你Y表示你是否去电影院看电影要让这个神经元工作起来，需要引入权重，w1,w2,w3。这样就有了：

（1）W1表示”天气是否好”对你做决定的重要程度W2表示”交通是否好”对你做决定的重要程度W3表示”是否有女朋友陪你”对你做决定的重要程度Threshold越低表示你越想去看电影，风雨无阻你都想去。Threshold越高表示你越不想去看电影，天气再好也白搭。Threshold适中表示你去不去电影院要看情况，看心情。 1、2、2 神经网络现在扩展一下：这样就出现神经网络了，可以看出这是很多神经元组合成的。把上面的（1）式中的threshold用偏移量-b表示，并且移到不等式左边，出现下面（2）式：（2）例子就不举了，原文是实现与非门的一个例子，说明这个东西可以进行逻辑推理，它就很有潜力了，电脑就是靠逻辑加运算来实现各种功能。现在要用这个东西学习识别手写字体，我们的想法是这样的：举例来说，电脑错把9当成了8，那么我们希望通过自动调整w或b来对output进行调整，以达到正确的结果。这时网络会自己“学习”了。具体是这样的：其中是sigmoid函数：下面是sigmoid函数的图形它是阶梯函数的一个平滑：输出通过w和b进行微调的式子是这样的：这个式子比较抽象，它只是战略性的一个式子，下面引入cost函数来进行战术实践。Cost函数是评价模型准确与否的一个函数，它可能越大越好，也可能越小越好，看你怎么构造了。这里用均方误差来构造：这个函数越小越好，所以通过使这个函数变得最小来得到最好的w和b，也就是达到最好的学习效果。1、3 最大似然估计X