-构成推理的两个要素为：已知事实（证据）和知识。
第四章不确定性推理方法
-不确定性分为：知识不确定性和证据不确定性。
-可信度是根据经验对一个事物或现象为真的相信程度。
-可信度带有较大的主观性和经验性，其准确性难以把握。
-由于相应证据的出现增加结论H为真的可信度，则CF(H,E)>0，证据的出现越支持H为真，就使CF(H,E)的值越大；反之，CF(H,E)<0，证据的出现越是支持H为假，CF（H,E）的值就越小。
若证据的出现与否与H无关，则CF(H,E)=0。
-静态强度CF(H,E)：知识的强度，即当E所对应的证据为真时对H的影响程度；动态强度CF(E)：证据E当前的不确定性程度。
-概率分配函数与概率不同。
-模糊性：客观事实在性态与类属方面的不分明性。
-模糊集合完全由其隶属函数确定，即一个模糊集合与其隶属函数是等价的。
-模糊推理控制系统的功能结构：（输入）->模糊化->模糊规则库->推理方法->去模糊化（输出）
-模糊控制系统的核心是：模糊控制器。
-不确定性及其类型？
1.不确定性；
2.不确切性；
3.不完全性；
4.不一致性；
-在确定一种度量方法及其范围时，应当注意到哪几点？
1.度量要能充分表达相应知识及证据的不确定性程度；
2.度量范围的指定要便于领域专家及用户对不确定性的估计；
3.度量要便于对不确定性的传递进行计算，而且对结论算出的不确定性度量不能超出度量规定的范围；
4.度量的确定应当是直观的，同时要有相应的理论依据
-经典概率方法与逆概率方法的比较
经典概率方法的缺点：用于简单的不确定推理，只考虑了证据的“真”“假”情况；逆概率方法优点：较强的理论背景和良好的数学特征，当证据和结论都彼此独立时计算的复杂度较低；缺点：要求给出结论Hi的先验概率和证据的条件概率；
-主观Bayes方法的优缺点
优点：1.具有较坚强的理论基础；
2.知识的静态强度LS与LN是由领域专家根据实践经验得出的，推出的结论有较准确的确定性；
3.主观Bayes方法是一种比较实用且灵活的不确定性推理方法；
缺点：1.要求领域专家给出知识时同时给出H的先验概率；
2.Bayes定理中关于事件独立性的要求使此方法的应用受到了限制。
-求先验概率的方法主要包括：
1.根据大量实验样本分布得出的实验概率；
2.利用等可能性事件概率相等的原则得出古典概率；
3.基于人的主观感觉得出的主观概率。
第五章搜索求解策略
-搜索方向分为：数据驱动、目的驱动、双向搜索。
-只能按照预先规定的搜索控制策略进行搜索，没有任何中间信息来改变这些控制策略的搜索叫：盲目的图搜索策略。
-常用的盲目的图搜索策略方法有：广度优先搜索和深度优先搜索以及这两种搜索方法的改良方法。
-盲目的图搜索策略具有盲目性，效率不高，不便于复杂问题的求解。
-先扩展搜索树的当前边缘中最深的节点的搜索方法是：深度优先搜索。
-深度有限搜索：预先设定一个搜索深度l，缺点：增加了算法的不完备性。
-借助问题的特定知识来帮助选择搜索方向叫做启发式搜索，也称为有信息搜索。-在启发式搜索中估价函数是搜索成败的关键。
-贪婪搜索既不是完备的，也不是最优的。
-A*算法也具有完备性和最优性。（当h(n)<= h*(n) 时）
-遗传算法中，适应度函数值越大，解的质量越好。
-搜索过程中需要解决哪几个基本问题？
1.是否一定能找到一个解；
2.找到的解是否是最佳解；
3.时间与空间复杂性如何；
4.是否终止运行或是否会陷入一个死循环。
-宽度优先搜索的优缺点？
优点：1.完备性：如果问题有解，广度优先搜索总能够在有限步内找到目标节点；
2. 最优性：在不考虑路径成本的前提下，广度优先搜索总能够找到最浅的目标节点；缺点：遍历各个节点，搜索效率差，消耗大量内存和时间。
-深度优先搜索的优缺点？
优点：对内存需求比较少，如果一个节点的全部后代都被完全探索过，那么这个节点和它的全部后继都可以从内存(open表和closed表)中删掉了；
缺点：不完备，也不最优。
-回溯搜索策略与深度优先搜索的区别？
扩展一个节点时，每次只产生一个后继节点，而不是全部后继；
回溯策略只保存单一的解路径，占用内存空间很少，只需要一张表即可完成搜索。
-盲目搜索的算法评判？
(1)完备性
(2)最优性
(3)时间复杂度
(4)空间复杂度
(5)外显率：P=L/T
(6) 有效分枝因数
-遗传算法的特点？
遗传算法是一种成功的自适应方法，具有很好的健壮性，易于并处理；
遗传算法长于全局搜索, 它不受搜索空间的限制性假设的约束, 能以很大的概率从离散的、多极值的、含有噪声的复杂问题中找到全局最优解。
遗传欺骗：在遗传算法进化过程中，有时会产生一些超常的个体，因竞争力太突出而控制了选择运算过程，从而影响算法的全局优化性能，导致算法获得某个局部最优解。
第六章进化算法及其应用
-进化算法主要通过选择、重组和变异这三种操作实现优化问题的求解。
-进化算法是一个“算法簇”，包括遗传算法(GA)、遗传规划、进化策略和进化规划等。
-进化算法的基本框架是遗传算法所描述的框架。
-遗传算法的五个基本要素？
1.参数编码；
2.初始群体的设定；
3.适应度函数的设计；
4.遗传操作设计；
5.控制参数设定。
-编码
1.位串编码：（1）二进制编码（2）Gray编码。
2.实数编码。
-个体选择概率分配方法：
1.适应度比例方法；
2.排序方法（线性排序与非线性排序）
-选择个体方法：
1.转盘赌选择；
2.竞标赛选择；3……选择；4.Boltzmann锦标赛选择；5.最佳个体保存方法。
-基本的交叉算子
1.一点交叉；
2.二点交叉；
3.均匀交叉（一致交叉）
-实数编码的交叉方法
1.离散交叉；
2.算术交叉；
-整数编码的编译方法
1.位点变异；
2.逆转变异；
3.插入变异；
4.互换变异；
5.移动变异；
6.自适应变异
-实数编译的编译方法
1.均匀性变异；
2.正态性变异；
3.非一致性变异；
4.自适应变异
-遗传算法的一般步骤
（1）使用随机方法或者其它方法，产生一个有N个染色体的初始群体；
（2）计算群体中的每一个染色体适应值；
（3）若满足停止条件，则算法停止；否则，重新构建新种群；
（4）交叉产生新的染色体得到新的群体；
（5）使染色体的一个基因发生变异，形成新的群体。
-遗传算法的特点
1.可直接对结构对象进行操作。
2.利用随机技术指导对一个被编码的参数空间进行高效率搜索。
3.采用群体搜索策略，易于并行化。
4.仅用适应度函数值来评估个体，并在此基础上进行遗传操作，使种群中个体之间进行信息交换。
-双种群遗传算法的基本思想：
在遗传算法中使用多种群同时进化，并交换种群之间优秀个体所携带的遗传信息，以打破种群内的平衡态达到更高的平衡态，有利于算法跳出局部最优。
-差分进化算法的基本要素：
参数编码
初始群体的产生
适应度函数的设计
差分操作设计
控制参数设置
-适应度函数在遗传算法中的作用是什么？试举例说明如何构造适应度函数。
适应度函数：怎样根据目标函数构建适应度函数。
适应度函数(Fitness Function)的选取直接影响到遗传算法的收敛速度以及能否找到最优解,因为遗传算法在进化搜索中基本不利用外部信息,仅以适应度函数为依据,利用种群每个个体的适应度来进行搜索.因为适应度函数的复杂度是遗传算法复杂度的主要组成部分,所以适应度函数的设计应尽可能简单,使计算的时间复杂度最小。
第七章群智能算法及其应用
-粒子群优化算法的流程：
（1）初始化每个粒子，即在允许范围内随机设置每个粒子的初始位置和速度。（2）评价每个粒子的适应度，计算每个粒子的目标函数。
（3）设置每个粒子的Pi。对每个粒子，将其适应度与其经历过的最好位置进行比较，如果优于Pi，则将其作为该粒子的最好位置Pi 。
（4）设置全局最优值Pg。对每个粒子，将其适应度与群体经历过的最好位置Pg 进行比较，如果优于Pg，则将其作为当前群体的最好位置Pg。
（5）根据式（7.1）更新粒子的速度和位置。
（6）检查终止条件。如果未达到设定条件（预设误差或者迭代的次数），则返回
第（2）步。
-量子粒子群优化算法
（1）确定种群规模和粒子维数，初始化粒子群体。
（2）计算个体历史最优值(pbest)：根据适应度函数计算每一个微粒的适应度值，通过和个体的历史最优值比较，如果当前值优于个体历史最优值，则把当前值替换为个体最优值(pbest)，否则不替换。
（3）计算群体的历史最优值(gbest)：计算所有微粒的适应值，并与当前的全局最优值(gbest)比较，若当前值优于全局最优值，则把当前值替换为全局最优值(gbest) 。（4）计算所有粒子的重心(mbest)；根据公式(7.5)来更新所有粒子的重心(mbest) 。（5）根据量子粒子群进化方程(7.9)更新每个粒子的位置，产生新的种群。
（6
）粒子适应度满足收敛条件或者是达到最大迭代次数，则算法结束，否则跳转到步骤2继续迭代执行。
-PSO算法的参数
包括：群体规模m，惯性权重ω，加速度φ1，φ2，最大加速度Vmax，最大代数Gmax。
φ1=φ2=0：粒子将一直以当前的速度飞行，直至到达边界；由于它智能搜索有限的区域，所以很难找到好解。
ω=0：速度只取决于粒子当前位置和其历史最好位置Pi，Pg，速度本身没有记忆性。
φ1=0：粒子没有认知能力，“只有社会模型”；在粒子的互相作用下，有能力达到新的搜索空间，但对复杂问题，容易陷入局部最优解。
φ2=0：粒子间没有社会共享信息，也就是“只有认知模型”。因为个体间没有交互，一个规模为M的群体等价于M个单个粒子的运行，因而得到最优解的几率非常小。
-基本量子粒子群优化算法
优点：相对于粒子群优化算法具有更好的收敛性和全局搜索能力。
缺点：求解约束优化问题时
（1）会产生大量的不可行解；
（2）破坏种群的多样性；
（3）导致算法陷入局部极值。
-基本蚁群算法基本思想
信息素跟踪：按照一定的概率沿着信息素较强的路径觅食；
信息素遗留：走过的路上释放信息素，使得在一定的范围内的其他蚂蚁能够察觉到并由此影响他们的行为。
-自适应蚁群算法，判断是否发生局部收敛
当连续几代最优蚂蚁搜索得到的路径相同时，算法即陷入了局部收敛；
当连续几代的最优蚂蚁爬行路径总长度相同时算法陷入了局部最优。
第八章人工神经网络及其应用
-决定人工神经网络的三大因素
1.神经元的特性；
2.神经元之间相互连接的形式——拓扑结构；
3.为适应环境而改善性能的学习规则。
-神经网络的结构分为前馈型和反馈型。
-神经网络的工作方式分为同步方式和异步方式。
-BP神经网络的工作过程
1.第一阶段（网络训练阶段）；
2.第二阶段（工作阶段）。
-BP算法的计算机实现流程：
1.初始化：对所有连接权的阈值赋以随机任意小值；
2.从N组输入输出样本中取一组样本，把输入信息输入到BP网络中；
3.正向传播：计算各层节点的输出；
4.计算网络的实际输出与期望输出的误差；
5.反向传播：从输出层方向计算到第一个隐层，按连接权值修正公式向减小误差方向调整网络的各个连接权值；
6.让t+1->t，取出另一组样本重复（2）——（5），直到N组输入输出样本的误差达到要求时为止。
-BP算法的特点
1.BP网络：多层前向网络（输入层、隐层、输出层）。
2.连接权值：通过Delta学习算法进行修正。
3.神经元传输函数：S形函数。
4.学习算法：正向传播、反向传播。
5.层与层的连接是单向的，信息的传播是双向的。
-BP网络的优缺点
优点：很好的逼近特性、较强的泛化能力、较好的容错性；
缺点：收敛速度慢、局部极值、难以确定隐层和隐层结点的数目。
-离散Hopfield神经网络模型的工作过程
初态（记忆样本的部分信息）通过记忆联想到稳态（记忆样本）。
-网络的稳定性：从某一时刻开始，网络中所有的神经元的状态不再改变
-混沌的性质：随机性、普遍性、规律性。
-神经网络优化计算目前存在的问题：
（1）解的不稳定性。
（2）参数难以确定。
（3）能量函数存在大量局部极小值，难以保证最优解。
-卷积神经网络减少参数的方法有局部连接和权值共享。
-计算图像一个区域上的某个特定特征的平均值(或最大值)，这种聚合操作就叫做池化，有时采用平均池化或者最大池化方法。
-CNN的优缺点
优点：
1.隐式地从训练数据中进行学习，避免了显式的特征抽取；
2.同一特征映射面上的神经元共享权值，网络可以并行学习，降低了网络学习的复杂性；
3.采用时间或者空间的下采样结构，可以获得某种程度的位移、尺度、形变的鲁棒性；
4.输入信息和网络拓扑结构能很好地吻合，在语音识别和图像处理方面有着独特优势。
缺点：
https://www.doczj.com/doc/c813251370.html,N的结构参数，无论是卷积层、下采样层还是分类层，都有太多的随意性或试凑性，且不能保证拓扑结构参数收敛。
2.重点放在由细尺度特征到大尺度特征的层层提取，只有前馈没有反馈。已有的认知不能帮助当前视觉感知和认知，没有体现选择性注意。
3.要求海量训练样本，样本的均等性没有反映认知的积累性。
第九章机器学习
-机器学习的主要研究内容：学习机理、学习方法、学习系统。
-机器学习系统的条件和能力
（1）具有适当的学习环境
（2）具有一定的学习能力
（3）能应用学到的知识求解问题
（4）能提高系统的性能
-机器学习的分类
（1）按学习方法分类：机器式学习、指导式学习、示例学习、类比学习、解释学习；
（2）按学习能力分类：监督学习、强化学习、非监督学习；
（3）按推理方式分类：基于演绎的学习、基于归纳的学习；
（4）按综合属性分类：归纳学习、分析学习、连接学习以及遗传法等。
-连接学习：模拟人类较低级的神经活动
符号学习：模拟人类的高级思维活动
-机械式学习：通过直接记忆或者存储外部环境所提供的信息达到学习的目的，并在以后通过对知识库的检索得到相应的知识直接用来求解问题。
实质：用存储空间来换取处理时间。
-指导式学习：由外部环境向系统提供一般性的指示或建议，系统把它们具体转化为细节知识并送入知识库。在学习过程中反复地对形成的知识进行评价，使其不断完善。
1.征询指导者的指示或建议。
简单征询、复杂征询、被动征询、主动征询。
2.把侦讯意见转换为可执行的内部形式
3.加入知识库
4.评价
-归纳学习
1.枚举归纳；
2.联想归纳；
3.类比归纳；
4.逆推力归纳；
5.消除归纳；
演绎推理与归纳推理的比较
演绎推理：从一般到个别，必然性，结论不会超出前提所断定的范围，不能获取新知识；
归纳推理：从个别到一般，或然性，结论适用于更大的范围，可获取新知识。-示例学习
从外部环境中获取若干与某概念有关的例子，经归纳得出一般性概念。
-观察学习：用于对事例进行概念聚类，形成概念描述。
-发现学习：用于发现规律，产生定律或规则。
-知识发现的一般过程
数据准备、数据挖掘、结果的解释和评估
-知识发现的任务
数据总结、概念描述、分类、聚类、相关性分析、偏差分析、建模
-深度学习
一种基于无监督特征学习和特征层次结构的学习方法。
核心：使用一种通用的学习过程从数据中学习各层次的特征，而不是手工设计特征提取器。
机构：简单模块的多层栈，以及许多计算非线性输入输出的映射。
优点：通过学习一种深层非线性神经网络结构，实现复杂函数逼近，表征输入数据分布式表示。
3类深度神经网络：前馈深度网络，反馈深度网络，双向深度网络。
-神经学习vs神经网络
相同点：二者均采用分层结构，系统包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以及跨层节点之间相互无连接，每一层可以看作是一个logistic 回归模型。
不同点：
神经网络：采用BP算法调整参数，即采用迭代算法来训练整个网络。随机设定初值，计算当前网络的输出，然后根据当前输出和样本真实标签之间的差去改变前面各层的参数，直到收敛；
深度学习：采用逐层训练机制。采用该机制的原因在于如果采用BP机制，对于一个deep network（7层以上），残差传播到最前面的层将变得很小，出现所谓的gradient diffusion（梯度扩散）。
-深度学习不采用BP的原因
BP算法随机设定初始值，当初始值远离最优区域时易收敛至局部最小；
对于一个深度网络（7层以上），误差校正信号传播到最前面的层已经变得太小，出现所谓的梯度扩散（gradient diffusion）；
BP算法需要有标签数据来训练，但大部分数据是无标签的；
-自下而上的无监督学习——特征学习
自上而下的监督学习——调优
-深度学习存在的问题
1.缺乏理论支持；
2.缺乏推理能力；
3.缺乏短时记忆能力；
4.缺乏无监督学习的能力；
-深度学习在应用上的困难
1.深度神经网络模型复杂，训练数据多，计算量大
2.如何支持大模型
3.深度神经网络训练收敛难，需要反复多次实验。
-RBM的作用
对数据进行编码，然后由监督学习方法进行分类或回归。得到权重矩阵和偏移量，供BP神经网络初始化训练。
作为一个生成模型使用：估计联合概率
作为一个判别模型使用：计算条件概率