(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910371017.0
(22)申请日 2019.05.06
(71)申请人 南京邮电大学
地址 210003 江苏省南京市鼓楼区新模范
马路66号
(72)发明人 周律洋 李岳峰 陆立群 施明旻
童祎
(74)专利代理机构 南京苏科专利代理有限责任
公司 32102
代理人 姚姣阳
(51)Int.Cl.
G06K 9/00(2006.01)
G06N 3/04(2006.01)
G06N 3/063(2006.01)
(54)发明名称基于忆阻器神经网络的羊绒羊毛识别方法(57)摘要一种基于忆阻器神经网络的羊绒羊毛识别方法，包括如下步骤，步骤S1、输入原始图片，通过输入信号预处理电路对原始图片进行预处理，并将原始图片的的色彩信息按照忆阻器阵列规定信号源格式进行编码；步骤S2、忆阻器神经元卷积网络将编码好的信息按照训练好的神经网络进行卷积运算，获取期望值；步骤S3、期望值比对判断电路将忆阻器神经元卷积网络获取的期望值绘制成相和度曲线，并与其数据库中已有的数据曲线进行比对，获取识别结果。本发明可用于常规羊毛羊绒真假性检测及羊绒羊毛制品的成分分析。可解决人工视觉检测耗费时间长、准确率波动大的问题；同时，对于神经网络计算，忆阻器得益于其构造和计算方式，可以得出更加精确、分离间隔更小的卷积计算结果，极大的提高
了识别的准确性。权利要求书1页 说明书3页 附图2页CN 110378193 A 2019.10.25
C N 110378193
A
权 利 要 求 书1/1页CN 110378193 A
1.一种基于忆阻器神经网络的羊绒羊毛识别方法，其特征在于，包括如下步骤，
步骤S1、输入原始图片，通过输入信号预处理电路对原始图片进行预处理，并将原始图片的的色彩信息按照忆阻器阵列规定信号源格式进行编码；
步骤S2、忆阻器神经元卷积网络将编码好的信息按照训练好的神经网络进行卷积运算，获取期望值；
步骤S3、期望值比对判断电路将忆阻器神经元卷积网络获取的期望值绘制成相和度曲线，并与其数据库中已有的数据曲线进行比对，获取识别结果。
2.根据权利要求1所述的一种基于忆阻器神经网络的羊绒羊毛识别方法，其特征在于，所述步骤S1中，所述输入信号预处理电路对原始图片的信息进行二值化处理，包括色彩的灰度处理和边缘特征的提取，提取原始图片的特征值并描绘出其轮廓线条特征，再将原始图片的的色彩信息分割成符合忆阻器阵列分辨率的图像，并传输至所述忆阻器神经元卷积网络中。
3.根据权利要求1所述的一种基于忆阻器神经网络的羊绒羊毛识别方法，其特征在于，所述忆阻器神经元卷积网络中，忆阻器的每一个crossbar会通过第一次加电设置自身的阻值，并被固化，当编码好的信息被送达时，编码好的信息信号会被叠加在设置电压之上，造成crossbar的阻值变化，根据权值生成数据阵列，再通过对输出电流或电荷检测获取运算结果。
4.根据权利要求1所述的一种基于忆阻器神经网络的羊绒羊毛识别方法，其特征在于，所述步骤S3中，当忆阻器神经元卷积网络的卷积计算值被输出后，可以获取一系列像素块加权后的平均值，通过求和运算电路将平均值转化为概率分布曲线，通过曲线中各色位值的占比进行比较，从而进行识别。
2
无源电子器件忆阻器的特性分析及应用前景 摘要：忆阻器被认为是除电阻、电感、电容外的第四种基本电路元件，是一种有记忆功能的非线性电阻。本文分析了忆阻器电路学特性，并且展望了其在未来各方面的应用前景。 关键字：忆阻器；电路学特性；前景 Abstract ：Besides Resistors,Inductors and Capacitors ，which are three basic passive circuit elements ．Memristors are considered to be the fourth basic circuit element ．This element is a kind of non-1inear resistor which has the ability to remember ．This paper analyzed memristor’s circuit characteristics ，And its application foreground in all aspects of future are discussed ． Keywords ： Meristor ；memri stor’s circuit characteristics ；prospect 1 引言 2008年，Strokov [1]等成功实现了电路世界中的第四种基本无源二端电路元件----记忆电阻器，简称忆阻器(meristor)，证实了美国加州大学伯克利分校的华裔科学家蔡绍棠[2]于1971 年提出的忆阻器元件概念和1976年建立的忆阻器件与系统理论。 忆阻器是一种有记忆功能的非线性电阻，通过控制流过忆阻器的电流，可以改变其阻值。忆阻器被认为是除电阻、电感、电容外的第四种基本电路元件，是一种有记忆功能的非线性电阻。目前，忆阻器原理及其应用是国际电路学研究的热点和前沿问题之一。忆阻器的出现将可能从根本上改变传统电路格局，“具有引发电路革命的潜质”。 2 忆阻器的电路学特性 2.1忆阻器存在的对称性依据 忆阻器的发展经历了两个主要阶段，其中概念的提出与理论探索阶段是忆阻器发展的理论基础。这一阶段的发展经历了存在性预测、实验室有源模型搭建、理论电路特性、新奇应用的构想等主要步骤，之间环环相扣，前面的研究作为后面的基础。蔡绍棠在电路变量对称性得到了忆阻器存在的依据，为后续理论上的研究打下基础。 如图1所示，五种已知电路变量关系中，由法拉第电磁感应定律及楞次定律得到的关系 ()()t q t i d ττ-∞=? (1) ()()t t d ?νττ-∞ =? (2) 上述两式分别表示电荷()q t 是电流关于时间的积分，磁通量()t ?是电压关于时间的积分。其余三种关系是已知电路基本元件的定义式，即理想电阻、电容、电感分别满足 d Rdi ν= (3) dq Cd ν= (4) d Ldi ?= (5) 电流 电荷电压 磁通量 电阻 未知 电容 电感dt ??dt ??
基于BP神经网络的PID控制器的研究与 实现 课程名称：人工神经网络
目录 前言 (3) 一、BP神经网络 (4) 二、模拟PID控制系统 (5) 三、基于BP神经网络的PID控制器 (6) 四、仿真程序 (10) 五、运行结果 (17) 六、总结 (18) 参考文献 (19)
前言 人工神经网络是以一种简单神经元为节点，采用某种网络拓扑结构构成的活性网络，可以用来描述几乎任意的非线性系统。不仅如此，人工神经网络还具有学习能力、记忆能力、计算能力以及各种智能处理能力，在不同程度和层次上模仿人脑神经系统的信息处理、存储和检索的功能。不同领域的科学家，对人工神经网络有着不同的理解、不同的研究内容，并且采用不同的研究方法。对于控制领域的研究工作者来说，人工神经网络的魅力在于：①能够充分逼近任意复杂的非线性关系，从而形成非线性动力学系统，以表示某种被控对象的模型或控制器模型；②能够学习和适应不确定性系统的动态特性；③所有定量或定性的信息都分布储存于网络内的各神经单元，从而具有很强的容错性和鲁棒性；④采用信息的分布式并行处理，可以进行快速大量运算。对于长期困扰控制界的非线性系统和不确定性系统来说，人工神经网络无疑是一种解决问题的有效途径。正因为如此，把人工神经网络引入传统的PID 控制，将这两者结合，则可以在一定程度上解决传统PID 调节器不易在线实时整定参数、难于对一些复杂过程和参数慢时变系统进行有效控制的不足。
一、BP神经网络 BP神经网络是一种有隐含层的多层前馈网络，其结构如图1-1所示。如果把具有M个输入节点和L个输出节点的BP神经网络看成是从M维欧氏空间到L维欧氏空间的非线性映射，则对于具有一定非线性因数的工业过程被控对象，采用BP网络来描述，不失为一种好的选择。在BP神经网络中的神经元多采用S型函数作为活化函数，利用其连续可导性，便于引入最小二乘学习算法，即在网络学习过程中，使网络的输出与期望输出的误差边向后传播边修正加权系数，以期使误差均方值最小。BP神经网络的学习过程可分为前向网络计算和反向误差传播——连接加权系数修正两个部分，这两个部分是相继连续反复进行的，直至误差满足要求。不论学习过程是否已经结束，只要在网络的输入节点加入输入信号，则这些信号将一层一层向前传播；通过每一层时要根据当时的连接加权系数和节点的活化函数与阈值进行相应计算，所得的输出再继续向下一层传输。这个前向网络计算过程，既是网络学习过程的一部分，也是将来网络的工作模式。在学习过程结束之前，如果前向网络计算的输出和期望输出之间存在误差，则转入反向传播，将误差沿着原来的连接通路回送，作为修改加权系数的依据，目标是使误差减小。
Memristor Bridge Synapse-Based Neural Network and Its Learning · Act as nonvolatile analog memories, they are programmable, and scalable to nano dimensions
简要介绍&基础铺垫
神经网络的硬件实现问题 · 神经网络中用到的的BP算法成功应用于语音/手写/脸部识别以及机器人控制等 · 神经网络的硬件实现的成功与否，取决于accuracy,chip area, processing speed三者的权衡。· 优点：比起软件实现的神经网络 1.更快的processing speed 2.对chip area的更有效利用 · 缺点：1.limited accuracy due to spatial nonuniformity(空间的不均匀性) and nonideal responses 2.nonvolatile weight storage(非易失性存储)
硬件实现主要的两个困难 1.材料上的困难： In analog hardware implementations, the weights are usually stored in resistors, capacitors, and floating gate transistors(浮栅晶体管) Floating gate transistors has been used successfully as synapses(突触) in conjunction with analog multipliers, but it suffers from high nonlinearity(非线性) in synaptic weightings. 2.学习算法上的困难： 与BP算法的software实现相比，BP算法的hardware实现较为困难，并且这些困难会因电子元件的imperfections and mismatch而加剧。 注：BP算法是一种最有效的多层神经网络学习方法，其主要特点是信号前向传递，而误差后向传播，通过不断调节网络权重值，使得网络的最终输出与期望输出尽可能接近，以达到训练的目的。
3D 忆阻器混合芯片面世实现人工神经网络 在加利福尼亚大学伯克利分校举行的一次研讨会上，惠普实验室向我们展 示了首个三维忆阻器混合芯片。忆阻器技术在惠普实验室诞生以来取得了长足 的发展。 该忆阻器及忆阻系统研讨会是由加利福尼亚大学，美国半导体行业协会和美 国国家科学基金会共同举办。会上惠普实验室(位于加州的PaloAlto)提供了该 芯片原型的设计细节：该芯片是惠普实验室的研究人员QiangfeiXia 通过在一 块CMOS 逻辑芯片表面上堆叠忆阻器交叉开关矩阵记忆单元完成的。 惠普实验室的研究员，同时也是忆阻系统记忆技术发明者StanWilliams 表示：Xia 利用压印光刻技术将一个忆阻器交叉开关矩阵堆叠到一块CMOS 逻辑电路上，从而构建了一个晶体管和忆阻器的集成混合电路。Williams 和惠普的同 事GregSnider 早些时候就曾经提出通过将忆阻器交叉开关矩阵置于CMOS 晶 体管的上面来实现FPGA 中的配置位。 忆阻器交叉开关矩阵架构包括两个垂直的金属线阵列及该两个阵列之间的钛 氧化层。其中一个钛氧化层掺杂氧空位(oxygenvacancies)，使其成为一种半导体物质。相邻的一层则不掺杂任何物质，保持原始状态，使其作为一种绝缘体。 同时对底层和顶层的交叉开关矩阵金属线施加一个特定的电压，使交叉开关 矩阵的交叉点保持在一个固定电压，氧空位就会从掺杂质的钛氧化层流动到不 含杂质的那一层，从而使其开始传导，打开记忆位开关。通过改变电流方向， 将氧空位转移到含杂质的那一层，相当于关上记忆位开关。 Williams 表示惠普实验室研发出的基于忆阻器的FPGA 充分证明一个CMOS 晶圆厂可以在三维空间上实现忆阻器和晶体管的集成电路。
神经网络模型预测控制器 摘要：本文将神经网络控制器应用于受限非线性系统的优化模型预测控制中，控制规则用一个神经网络函数逼近器来表示，该网络是通过最小化一个与控制相关的代价函数来训练的。本文提出的方法可以用于构造任意结构的控制器，如减速优化控制器和分散控制器。 关键字：模型预测控制、神经网络、非线性控制 1.介绍 由于非线性控制问题的复杂性，通常用逼近方法来获得近似解。在本文中，提出了一种广泛应用的方法即模型预测控制（MPC），这可用于解决在线优化问题，另一种方法是函数逼近器，如人工神经网络，这可用于离线的优化控制规则。 在模型预测控制中，控制信号取决于在每个采样时刻时的想要在线最小化的代价函数，它已经广泛地应用于受限的多变量系统和非线性过程等工业控制中[3,11,22]。MPC方法一个潜在的弱点是优化问题必须能严格地按要求推算，尤其是在非线性系统中。模型预测控制已经广泛地应用于线性MPC问题中[5]，但为了减小在线计算时的计算量，该部分的计算为离线。一个非常强大的函数逼近器为神经网络，它能很好地用于表示非线性模型或控制器，如文献[4,13,14]。基于模型跟踪控制的方法已经普遍地应用在神经网络控制，这种方法的一个局限性是它不适合于不稳定地逆系统，基此本文研究了基于优化控制技术的方法。 许多基于神经网络的方法已经提出了应用在优化控制问题方面，该优化控制的目标是最小化一个与控制相关的代价函数。一个方法是用一个神经网络来逼近与优化控制问题相关联的动态程式方程的解[6]。一个更直接地方法是模仿MPC方法，用通过最小化预测代价函数来训练神经网络控制器。为了达到精确的MPC技术，用神经网络来逼近模型预测控制策略，且通过离线计算[1,7.9,19]。用一个交替且更直接的方法即直接最小化代价函数训练网络控制器代替通过训练一个神经网络来逼近一个优化模型预测控制策略。这种方法目前已有许多版本，Parisini[20]和Zoppoli[24]等人研究了随机优化控制问题，其中控制器作为神经网络逼近器的输入输出的一个函数。Seong和Widrow[23]研究了一个初始状态为随机分配的优化控制问题，控制器为反馈状态，用一个神经网络来表示。在以上的研究中，应用了一个随机逼近器算法来训练网络。Al-dajani[2]和Nayeri等人[15]提出了一种相似的方法，即用最速下降法来训练神经网络控制器。 在许多应用中，设计一个控制器都涉及到一个特殊的结构。对于复杂的系统如减速控制器或分散控制系统，都需要许多输入与输出。在模型预测控制中，模型是用于预测系统未来的运动轨迹，优化控制信号是系统模型的系统的函数。因此，模型预测控制不能用于定结构控制问题。不同的是，基于神经网络函数逼近器的控制器可以应用于优化定结构控制问题。 在本文中，主要研究的是应用于非线性优化控制问题的结构受限的MPC类型[20,2,24,23,15]。控制规则用神经网络逼近器表示，最小化一个与控制相关的代价函数来离线训练神经网络。通过将神经网络控制的输入适当特殊化来完成优化低阶控制器的设计，分散和其它定结构神经网络控制器是通过对网络结构加入合适的限制构成的。通过一个数据例子来评价神经网络控制器的性能并与优化模型预测控制器进行比较。 2.问题表述 考虑一个离散非线性控制系统： 其中为控制器的输出，为输入，为状态矢量。控制
太原科技大学研究生院 忆阻器应用于模糊控制的前景与展望 王元友 （太原科技大学研究生院，山西太原030024） 摘要：忆阻器理论的建立为电子电路设计带来了新的发展空间，而它的存在得到了证实，将为整个社会的科技进步谱写新的篇章。将对模糊控制领域的研究进程起到巨大的推动作用，本文介绍了忆阻器的主要特性和优势，以及展望了忆阻器在模糊控制理论中的一些应用以及发展前景。 关键词：忆阻器；模糊控制理论；电路设计；科技进步 Abstract:The establishment of the theory of meristor resistance have brings new development space for electronic circuit design,and they are confirmed, will advance of science and technology of the whole society to write a new chapter. Will of fuzzy control of research in the field of play a great role in promoting process, this paper introduces the main characteristics of yi resistance and advantages, and prospects the memories in the resistance fuzzy control theory of some of the application and development prospect. Keywords: Meristor; The fuzzy control theory; Circuit design; The progress of science and technology 中图分类号TU9 文献标识码B 0 引言 2008 年，Strokov等成功实现了电路世界中的第四种基本无源二端电路元件———记忆电阻器，简称忆阻器(meristor)，证实了美国加州大学伯克利分校的华裔科学家蔡少棠于1971 年提出的忆阻器元件概念和1976 年建立的忆阻器件与系统理论。忆阻器是一种有记忆功能的非线性电阻，通过控制流过忆阻器的电流，可以改变其阻值。如果把高阻值定义为“1”，低阻值定义为“0”，则这种电阻就可以实现存储数据的功能。 1.忆阻器的特性与新进展 上世纪70年代忆阻器作为一种电子元器件理论被提出。由于具体实物证明的稀缺而进展缓慢。2008年惠普实验室宣布成功制造出忆阻器，证明了忆阻器的存在，引起广泛的关注。 1.1忆阻器的特性 忆阻器具有以下特点： l)由于忆阻器是连续器件，因而存储的精度是无限的； 2)由于忆阻器在使用过程中其内部的结构发生变化，因而具有电不易失性； 3)由于忆阻器是基础元器件，可以方便的将忆阻器设计在电路中，获得混合型的电路，便于使用； 4)随着忆阻器内部变量变化方式的不同，可以实现数字与模拟两种状态。 2008年Nature发表了专题评述—“The Missing memeristor Found”。对Leon Chua教授所提出的“忆阻元件’捌的存在予以了明确证明。论文指出，根据对称性原理，目前存在的三种基本电子元件(电阻、电容、电感)并不能完全涵盖电流、电压、电量以及磁场之间的关系，必须补充上一个忆阻元件(Memeristor：memory resistor)才能使其对称性完备。忆阻值的变化与元件中电荷的迁移与重新分布有关。只有在电荷流为线性条件下，忆阻与电阻才是等价的。忆阻器是建立在电荷q与磁链 的基础之上的。
国内发展状况 忆阻器的理论是于1971年由美国华裔科学家蔡少堂提出，并且在2008年被HP公司发现。虽说有关忆阻器的发言权在西方国家，但是无论是最新理论创新方面还是忆阻器应用方面，我国在这方面的研究并不比他们落后多少。 早在上世纪九十年代（1991年），我国对气体放电灯的电压电流特性进行了深刻的研究，发现了气体放电灯的一些新性质，最后指出气体放电灯属于一种流控忆阻器，其特性不能用电路中的三个传统的基本元件来描述。同时，它们对气 体放电灯的一些忆阻特性进行了大篇幅的分析探讨[1]。在1995年，他们又在原来的基础上发表了论文[2]，这篇论文主要研究气体放电灯在音频段至射频段的电 压电流函数。他们采用了新型电子仪器设备，对气体放电灯在该频段的动态特性进行了实验测试，得到了一些新的实验结果，并且进一步说明了气体放电灯的流控忆阻器特性。借助于大量的实验，它们在音频段至射频段给出了气体放电灯的八组电压电流波形，波形显示，其形状如同一个分布在一三象限的八字形蝴蝶结，与惠普实验室的实验结果吻合的很好，这一发现比惠普实验室早了十多年，但是当时的科技发言权不再中国，使得我国的这一发现至今仍然鲜为人知。 2008年9月，我国清华大学校友陈怡然等人发表论文[3]，主要给出了基于 纳米电子自旋效应的三种电子自旋忆阻器，属于世界领先水平。电子自旋是原子中普遍存在的现象。这篇论文根据纳米电子自旋产生的磁性效应，给出了三种电子自旋忆阻器，这三种忆阻器的原理不同于惠普实验室的二氧化钛双极开关模型，这种新型电子自旋忆阻器可以在从皮秒量级到微秒量级等不同的速率下进行电阻值的转换，以满足不同应用的需要，相信在不久的将来，这种忆阻器将会得到广泛的应用。 国外发展状况 早在1995年，惠普实验室接到了科研上层的任务，即：研究纳米级的电子器件。经过多年的研究与实验，在2006年就发现了用二氧化钛组成的忆阻器，并且在2008年第一个发表相关论文，同年5月份，惠普公司用两端纳米级电阻开关点阵器件实现了人工神经网络。 2008年6月1日，美国波士顿George Mason University研究生Victor Erokhin 和M.P.Fontana研制了一个聚合体忆阻器[4] 2008年7月15日，惠普实验室高级科研者Stanley Williams等人发表论 文[5]，主要讲到了纳米级金属/氧化物/金属开关的忆阻特性，揭示了它属于一个 双极开关，以及它的忆阻器开关特性与机制。 2008年8月26日，韩国三星公司在他们所研制的双层氧化物器件中发现了电流记忆特性，并且表明它也属于一种忆阻器，这个忆阻器的工作机理也与惠普实验室的有所不同。 2008年11月底，美国加州大学伯克利分校，美国半导体行业协会和美国国家科学基金会共同举办了忆阻器及忆阻系统研讨会，惠普实验室在会上展示了忆阻器的最新进展———世界首个3D忆阻器混合芯片。 2009年1月，Massimiliano Di Ventra,Yuriy V.Pershin,Leon O. Chua
神经网络的智能控制系统 摘要：介绍了神经网络的基本概念，论述了人工神经网络的产生与发展，以及人工神经网络在控制系统中的应用现状，分析了人工神经网络的特点和监视控制系统的原理，并阐述了几种基于神经网络的控制系统, 最后展望了基于神经网络控制的发展方向。 关键词：人工神经网络；控制系统；监视控制系统；智能控制； 1引言 基于神经网络的控制（NCC）.神经网络控制是一门崭新的智能信息处理学科，研究非程序的、适应性的、大脑风格的信息处理的本质和能力。它的发展对人工智能、计算机科学、信息科学、非线性科学、认识科学、自动控制、微电子、模式识别、脑神经科学等产生了重要影响。 人工神经网络是一门发展十分迅速的交叉学科，它是由大量处理单元组成的非线性大规模自适应动力系统，具有学习能力、记忆能力、计算能力以及智能处理能力，并在不同程度和层次上模仿人脑神经系统的信息处理、存储及检索功能。同时，人工神经网络具有非线性、非局域性、非定常性、非凸性等特点，因此在智能控制、模式识别、计算机视觉、自适应滤波和信号处理、非线性优化、自动目标识别、连续语音识别、声纳信号的处理、知识处理、智能传感技术与机器人、生物医学工程等方面都有了长足的发展。 神经网络控制是一种基本上不依赖于模型的控制方法，它适合于具有不确定性或高度非线性的控制对象，并具有较强的自适应和自学习功能，因此是智能控制的一个重要分支领域。人工神经网络利用物理器件来模拟生物神经网络的某些结构和功能，具有并行和分布式的信息处理网络结构，该结构一般由几个神经元组成，每一个神经元有一个单一的输出，但可通过连接的很多其它神经元，获得有多个连接通道的输入，每个连接通道对应一个连接权系数。 2人工神经网络的产生与发展 早在1943年，美国神经生物学家W.S.McCul-loch就与数学家W.Pitts合作，采用数理模型的方法研究脑细胞的动作和结构，以及生物神经元的一些基本生理特征，提出第一个神经计算模型，即神经元的阈值元件模型(MP模型)，并指出:即使是最简单的神经网络，从原则上讲也可以进行任意算术或逻辑函数的计算。1949年，D.O.Hebb提出了改变神经元连接强度的Hebb规则，其正确性30年后才得到证实，至今仍在各种神经网络模型中起着重要的作用。 1957年F.Rosenblatt提出并设计制作了著名的感知器(Perceptron)，从而掀起第一次研究神经网络的热潮。1960年B.Windrow和M.E.Hoff提出自适应线性单元(Adaline)网络，这与当时占主导地位的以顺序离散符号推理为基本特征的AI途径完全不同，因而引起人们的兴趣，同时也引起符号主义与连接主义的争论。1969年M.Minsky和S.Papert编写了影响很大的《Perceptron》一书。
忆阻多层神经网络的设计及其应用 人工神经网络理论发展至今,已经日趋成熟,其硬件上的实现有望构成非冯·诺伊曼结构的计算机系统。由于晶体管工艺的局限性,传统计算机系统中基于晶体管的集成电路体积已经缩小到了极限,很难再继续满足摩尔定律。用新型材料的电路设备取代晶体管已成为了研究热点。忆阻作为最有希望取代晶体管的新型设备之一,具有许多优良的性质,比如非易失性、高集成度、低功耗、良好的可扩展性等,被用于研发新型的存储器和神经计算系统。忆阻单层神经网络在芯片上的实现有望彻底改变计算机处理信息的方式,构建非冯·诺依曼计算机系统。而忆阻多层神经网络的设计仍然是一个难题,其应用前景十分广泛,可用于逻辑运算、图像处理、模式识别等领域。本论文首先根据某一特定材料制成的忆阻设备的测试结果,即忆阻真实设备两端施加正弦信号时电压电流变化的Ⅰ-Ⅴ曲线以及忆阻阻值在正负不同电压下随时间的变化曲线,以行为级建模为主,通过参数拟合的方式逼近忆阻真实设备所表现出来的特性。更进一步地,通过对相关模型参数的测试与优化,增加模型的兼容性使之可以模拟更多不同材料特性的忆阻设备。对单忆阻神经突触进行研究,用一个忆阻通过与固定的电阻连接到反相器,实现具有正负权值的神经突触。利用忆阻能通过控制所施加的脉冲数量来连续调整忆阻阻值的特性,突触权值由一个忆阻神经突触来表示并保存,在对突触权值调整过程中考虑到每一步的误差因素,构建对噪声容忍度高的忆阻神经网络电路。将对能用电路实现的忆阻神经网络算法进行研究,其中可以采用的算法有反
向传播(BP)算法、赢者通吃算法、随机调整算法等。根据不同的算法可以搭建不同的忆阻神经网络电路。根据具体电路设计基于忆阻的神经网络学习训练算法,使忆阻神经网络可以在硬件上实现相应的逻辑运算和模式识别功能。本文从四个方面对基于忆阻的多层神经网络的设计和应用进行了较深入的研究,主要的创新工作及研究成果如 下:(1)根据最新的忆阻真实设备的测试数据,建立一种新型的更加符合忆阻本质特性的忆阻数学模型和电路模型,该模型可以模拟多种不同材料的真实忆阻器设备;(2)充分利用忆阻的记忆特性和内在阻值 随施加电压变化而改变的特性,设计新型的忆阻神经元突触,该突触 电路体积更小、功耗更低、不受漏电流影响、能持续多次正确调整权值;(3)利用忆阻的非易失性、纳米级尺寸、以及功耗低等特性,设计一种新型的具有容错性好、稳定性强等优点的忆阻多层神经网络电路;(4)根据具体突触电路,设计新型的基于忆阻多层神经网络的算法,为忆阻多层神经网络的应用打下基础。将稳定的能够容忍噪声的忆阻多层神经网络应用到逻辑运算和模式识别功能中,在考虑误差因素的忆阻神经网络中实现学习训练功能,正确的完成相应的逻辑运算和模式识别功能,且设计的忆阻神经网络学习训练速度更快、误差更小、噪声容忍性更好。本文的研究成果可以为硬件实现更大规模的忆阻多层神经网络电路奠定基础,实现更加复杂更加具有实践意义的功能, 比如图像识别中的人脸识别功能。将机器学习和深度学习最近的算法理论应用到忆阻神经网络的硬件中去,实现计算机视觉、语音识别、自然语言处理等其他领域的相关功能。
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910371017.0 (22)申请日 2019.05.06 (71)申请人 南京邮电大学 地址 210003 江苏省南京市鼓楼区新模范 马路66号 (72)发明人 周律洋 李岳峰 陆立群 施明旻 童祎 (74)专利代理机构 南京苏科专利代理有限责任 公司 32102 代理人 姚姣阳 (51)Int.Cl. G06K 9/00(2006.01) G06N 3/04(2006.01) G06N 3/063(2006.01) (54)发明名称基于忆阻器神经网络的羊绒羊毛识别方法(57)摘要一种基于忆阻器神经网络的羊绒羊毛识别方法，包括如下步骤，步骤S1、输入原始图片，通过输入信号预处理电路对原始图片进行预处理，并将原始图片的的色彩信息按照忆阻器阵列规定信号源格式进行编码；步骤S2、忆阻器神经元卷积网络将编码好的信息按照训练好的神经网络进行卷积运算，获取期望值；步骤S3、期望值比对判断电路将忆阻器神经元卷积网络获取的期望值绘制成相和度曲线，并与其数据库中已有的数据曲线进行比对，获取识别结果。本发明可用于常规羊毛羊绒真假性检测及羊绒羊毛制品的成分分析。可解决人工视觉检测耗费时间长、准确率波动大的问题；同时，对于神经网络计算，忆阻器得益于其构造和计算方式，可以得出更加精确、分离间隔更小的卷积计算结果，极大的提高 了识别的准确性。权利要求书1页 说明书3页 附图2页CN 110378193 A 2019.10.25 C N 110378193 A
权 利 要 求 书1/1页CN 110378193 A 1.一种基于忆阻器神经网络的羊绒羊毛识别方法，其特征在于，包括如下步骤， 步骤S1、输入原始图片，通过输入信号预处理电路对原始图片进行预处理，并将原始图片的的色彩信息按照忆阻器阵列规定信号源格式进行编码； 步骤S2、忆阻器神经元卷积网络将编码好的信息按照训练好的神经网络进行卷积运算，获取期望值； 步骤S3、期望值比对判断电路将忆阻器神经元卷积网络获取的期望值绘制成相和度曲线，并与其数据库中已有的数据曲线进行比对，获取识别结果。 2.根据权利要求1所述的一种基于忆阻器神经网络的羊绒羊毛识别方法，其特征在于，所述步骤S1中，所述输入信号预处理电路对原始图片的信息进行二值化处理，包括色彩的灰度处理和边缘特征的提取，提取原始图片的特征值并描绘出其轮廓线条特征，再将原始图片的的色彩信息分割成符合忆阻器阵列分辨率的图像，并传输至所述忆阻器神经元卷积网络中。 3.根据权利要求1所述的一种基于忆阻器神经网络的羊绒羊毛识别方法，其特征在于，所述忆阻器神经元卷积网络中，忆阻器的每一个crossbar会通过第一次加电设置自身的阻值，并被固化，当编码好的信息被送达时，编码好的信息信号会被叠加在设置电压之上，造成crossbar的阻值变化，根据权值生成数据阵列，再通过对输出电流或电荷检测获取运算结果。 4.根据权利要求1所述的一种基于忆阻器神经网络的羊绒羊毛识别方法，其特征在于，所述步骤S3中，当忆阻器神经元卷积网络的卷积计算值被输出后，可以获取一系列像素块加权后的平均值，通过求和运算电路将平均值转化为概率分布曲线，通过曲线中各色位值的占比进行比较，从而进行识别。 2
基于BP神经网络语音识别方法研究 摘要：神经网络是近年来信息科学、脑科学、神经心理学等诸多学科共同关注和研究的热点。由于其具有良好的抽象分类特性,现已应用于语音识别系统的研究和开发，并成为解决识别相关问题的有效工具。文章在讲述语音识别过程的基础上重点讨论利用BP神经网络对语音进行识别,用MATLAB完成对神经网络的训练和测试,并获得满意的结果。 关键词：语音识别；模式识别；BP神经网络， 1 绪论 计算机的飞速发展，使人们的生活方式发生了根本性的改变，鼠标、键盘，这些传统的人机接口使人们体会到了生活的便利。科学技术日新月异，假如让“机器”能够听懂人的语言，并根据其信息去执行人的意图，那么这无疑是最理想的人机智能接口方式，因此语音识别作为一门极具吸引力的学科应运而生，很多专家都指出语音识别技术将是未来十年信息技术领域十大重要的科技发展技术之一。 1.1 研究背景及意义 语言在人类的智能组成中充当着很重要的角色，人与人之间的交流和沟通大部分是通过语言的方式有效的完成。作为人与人之问交流最方便、自然、快捷的手段，人们自然希望它成为人与计算机交流的媒介。随着数字信号处理及计算机科学的飞速发展，人们对实现人机对话产生越来越迫切的要求，使得语音识别技术近年来得到了迅速的发展，语音识别技术的研究进入了一个比较成熟的时期。语音识别是一门交叉科学，它综合了声学、语言学、语音学、生理科学、数字信号处理、通信理论、电子技术、计算机科学、模式识别和人工智能等众多学科。也是人机交互最重要的一步。 1.2 语音识别的国内外研究现状 通过语音传递信息是人类最重要，最有效，和最方便的交换信息的形式，语音识别主要指让机器转达人说的话，即在各种情况下，准确的识别出语音的内容，从而根据其信息，执行人的各种意图。 广义的语音识别包括说话人的识别和内容的识别两部分。这里所说的语音识别，是指内容识别方面。采用计算机进行语音识别到现在已经发展了50年。 从特征参数上改进，采用各种办法进行语音增强是一个研究方向，但是到目前为止，还没有一种办法能把语音信号完美地从噪音环境提取出来。语音识别有广泛的商业化运用前景，主要可以分为通用场合和专用场合两个方面。 1.3研究内容 本文研究的主要内容是结合模式识别的基本理论，研究BP神经网络孤立词语音识别的问
西安科技大学 毕业设计(论文) 开题报告 题目基于神经网络的车牌字符识别方法研究及仿真实现院、系(部) 通信与电子信息工程学院 专业及班级电子信息工程专业 姓名 学号 指导教师 日期
西安科技大学毕业设计(论文)开题报告
[7]陈振学,汪国有,刘成云. 一种新的车牌图像字符分割与识别算法[J]. 微电子学与计算机, 2007,(02) . [8]朱正礼. 基于三层BP 神经网络的字符识别系统的实现[J]. 现代计算机, 2006,(10) . [9]刘静,周静华,苏俊连,付佳. 基于模板匹配的车牌字符识别算法实现[J]. 科技信息(科学教研), 2007,(24) . [10]苏厚胜. 车牌识别系统的设计与实现[J]. 可编程控制器与工厂自动化, 2006,(03) . [11]胡振稳, 尹朝庆. 基于BP 神经网络的车牌字符识别的研究[J]. 电脑知识与技术(学术交流), 2007,(02) [12]蒋良孝, 李超群. 基于 BP 神经网络的函数逼近方法及其 MATLAB 实现[J]. 微型机与应用, 2004,(01) [13]崔屹. 数字图象处理技术与应用. 电子工业出版社. [14]董长虹. MATLAB 图象处理. 国防工业出版社. [15]董长虹. MATLAB 神经网络与应用国防工业出版社. [16]MATLAB6.5 辅助图象处理.飞思科技产品研发科技中心. [17]H. S. Kim et al, "Recognition of a car number plate by a neural network", Proc. of Korea Information Science Society(KISS) fill conference，Vol. 18, NO. 2, pp. 259-262，1991. [18]Jang-Hee You，Byung-Tae Chun and Dong-Pil Shin，“A Neural for Recognizing Characters Extracted form Moving Vehicles”，World Congress On Neural Network, pp162-166，1994. [19]M. Momozawa，M．N omua,T.Namai and K. Morisaki,"Accident Vehicle Automatic Detection System by Image Processing Technique”,pp.566-570, 2004..
突触的本质是一个两端器件，与忆阻器有惊人的相似之处，忆阻器的电导可以通过控制流过它的电荷和电流来改变。Jo等人描述了突触功能在纳米硅基忆阻器中的实现，特别是，他们证实了激励时间依赖的可塑性（STDP，一个重要的突触修饰竞争学习规则），可以在包含CMOS神经元和忆阻器突触的突触/神经元混合电路中实现。 Pershin等人利用忆阻器神经元模型的概念进行进一步的研究，其中忆阻器被用来模拟变形虫的学习行为。Pershin等人使变形虫经受温度的变化，发现变形虫会降低其在温度降低过程中的运动。接着，他们应用一个周期性的温度变化，其特征在于先将温度降低，然后返回正常状态。可以观察到，变形虫会学习温度变化时的频率，并且温度变化一旦停止，变形虫会在预期的降低温度下继续减缓其移动。一个简单的忆阻器电路可以用来建立变形虫学习行为的模型。在这种情况下，改变电压用来模拟温度的变化。有趣的是，实验表明如果温度变化不是周期性的，而是以某种方式被中断，变形虫（以基于忆阻器电路模型的变形虫）在刺激一旦停止的情况下不会预期到这种变化。 研究人员采用忆阻器“仿真器”建立了一个神经网络。仿真器包含数字电位器、模拟/数字(A/D)转换器和一个可编程的微控制器，以提供忆阻器的I-V特性。神经网络被用来描述联想学习，它包含三个神经元，每一个都可用来作为食物的视景、声音和流涎。这样设计，是为了刺激视觉神经元能够导致流涎神经元的激发。最初，刺激声觉神经元没有导致唾液分泌。本研究的目的是培养基于忆阻器电路，以便声音可以与食物的视觉联系并因此触发流涎神经元。这个结果表明这确实是可能的，很像Pavlov的狗，在电路调试之后，当声觉神经被刺激时，流涎神经元也被激发，从而证明了采用一个非常简单的忆阻器为基础的电路的联想学习功能。 3.电路器件设计 忆阻器以其独特的记忆性能和电路特性，在电路器件设计方面给人们提供了新的思路。如依赖其记忆性能的高密度非易失性存储器，基于忆阻器电学性能的参考接收机、调幅器。由于具有电阻转换功能，忆阻器也可能被用来制作多路信号分离器和复用器]。网状结构的忆阻器与互补金属氧化物（CMOS)的复合集成电路，即使在高缺陷度的情况下仍能够实现可重构逻辑功能，这将促成新型的晶体管-忆阻器复合电路结构的实现。此外，忆阻器也可用于组成具自降级、对内部变化自愈、高容错率等功能的适应性可重现网络。 3.4生物记忆行为仿真 对生物记忆行为的电路仿真，是忆阻器另一个极具吸引力的用途。忆阻器参与组成的电路己被Pershin等用于对多头绒泡菌对环境刺激学习行为的电路仿真，他们成功地用电路对外加激励的电学响应模仿了生物对外界环境刺激的响应行为。因为具有与神经系统中神经键行为类似，忆阻器可以用于对大脑部分功能的模仿，由它和晶体管、纳米线等组成的系统将在桥梁道路的实时监控系统得到应用。可以相信，此类结构在对生物记忆、学习行为的电路仿真中将发挥更加重要的作用。
神经网络系统辨识综述 目前，国内外有许多利用神经网络来模拟设备性能、预测负荷的成功例子。1993 年，美国的Mistry和Nair成功开发了一个用来决定预期平均满意率(PMV)和温湿度参数的神经网络模型。1994 年，Curtiss利用神经网络模型成功地模拟了一台往复压缩式的冷水机组和其它暖通空调设备的性能。随后，Darred和Curtiss利用神经网络模型成功地预测了冷水机组的冷负荷和耗电量。在国内，也有利用神经网络对暖通空调优化控制、对空调器进行仿真研究的成功例子。神经网络之所以能够在国内外得到如此广泛的应用是因为： a)神经网络具有模拟高度非线性系统的优点； b)神经网络具有较强的学习能力、容错能力和联想能力； c)神经网络具有较强的自适应能力。 例如可通过重新训练网络进行设备特性的动态校准功能，这也是它优于其它控制方法的主要特点。此外，神经网络模型还具有建模时间短、易于进行计算机模拟的优点。对于智能建筑，其热动力学参数模型本质上为分布参数系统，应用系统辨识也很难获得其精确的数学模型，控制效果可想而知，而人工神经网络允许在模型理论不完善的情况下，构成一种具有自学习、自适应的体系结构，在与外界信息的交互作用中，形成一种非线性映射或线性动力学系统，以正确反映输入和输出关系而不必预先知道这种关系的精确数学模型。 神经网络在线性系统辨识中的应用 自适应线性(Adaline-Mada Line)神经网络作为神经网络的初期模型与感知机模型相对应，是以连续线性模拟量为输入模式，在拓扑结构上与感知机网络十分相似的一种连续时间型线性神经网络。这种网络模型是美国学者Widrow和Hoff
第3期2019年2月No.3February，2019 人们在特定时刻的感觉在临床术语中被称为“情绪”。6种基本情绪被认为是快乐、悲伤、愤怒、恐惧、厌恶和惊讶，而其他已知的人类情感往往被视为这6种复杂社交情境的特殊化。研究人员从各种观点研究了情绪在人工智能中的作用：开发与人类更优雅互动的代理人和机器人，开发利用情绪模拟来辅助自己推理的系统，或创建更接近人体情感互动和学习的机器人。皮卡德指出：“智能复杂自适应系统中将会有功能，它们必须响应不可预测的复杂信息，这些信息起着情感在人们身上发挥作用的作用。”因此，对于计算机以实时方式响应复杂的情感信号，他们将需要像我们所拥有的系统，我们称之为情感。 人类的情感不仅是一种合乎逻辑的理性成分，它们与行为和感情紧密相连。人类情感系统在生存、社会互动和合作以及学习中起着至关重要的作用。机器需要一种情感—机器运动。因此，我们可以确定智能机器需要情绪，以便在学习复杂任务时以及在对人类的学习和决策制定进行建模时提高其表现。 情绪在人类决策过程中发挥着重要作用，因此，当我们试图模拟人类反应时，它们应该嵌入推理过程中。Bates 使用Ortony 等描述的模型提出了一个可信的代理人。该模型仅描述了基本情绪和先天反应；然而，它为构建计算机情感模拟提供了一个很好的起点。Kort 等提出了一个模型，他们的目的是概念化情绪对学习的影响，然后，建立一个工作的基于计算机的模型，将识别学习者的情感状态并对其作出适当的反应，以便学习将以最佳的速度进行。Poel 等引入了模拟混合神经网络架构，用于情绪学习。系统从注释数据中学习如何产生情绪状态以及由内部和外部刺激引起的变化。Clocksin 探讨了记忆中的问题，并结合可能的人工认知架构进行了研究。这项工作与人工智能研究中考虑记忆和情感的传统方式背道而驰，并且源于社会和发展心理学中出现的两种思想[1]。 本文提出了一种基于情绪反向传播学习算法的情绪神经网络。情绪神经网络具有两种模拟情绪，有助于网络学习和分类过程。这两种情绪是焦虑和自信。结合这些情绪参数的基本原理是它们对我们人类认知过程中的学习的影响。在实践中，两个情感参数意味着当情绪神经网络被训练时，一个是使用所有节点作为训练模式样本的输入平均值，另一个是某种程度上的增加惯性项用于在训练时期进展时修改从一种模式到下一种模式的变化水平。从数学的角度来看，当接 近成本函数的最小值时，我们不希望被单个模式的误差所左 右，其中一些模式可能是异常值。因此，我们关注最近学习步骤积累的“记忆”。 本文旨在研究这些额外的情绪参数对情绪神经网络在学习和决策中的表现的影响。我们使用脸部图像数据库，它已经在我们以前的作品中有效地使用。该数据库包括270个不同性别，种族和年龄的30人的图像，具有各种照明条件和对比度。面部图像的多样性旨在研究情绪神经网络的稳健性。 1 具有情绪参数的学习算法 反向传播学习算法是用于训练分层神经网络的广义delta 规则。自前人引入该算法以来，该算法已被广泛使用。在本节中，基于情绪反向传播学习算法的情绪神经网络学习算法，根据情绪神经网络内的信息流详细解释，该网络由3层组成：输入层（i ）神经元，具有（h ）神经元的隐藏层和具有（j ）神经元的输出层。1.1 输入层神经元 这些是非处理神经元；每个输入层神经元的输出定义为YIi =Xii 其中， XIi 和YIi 分别是输入和输出输入层中神经元i 的值。1.2 隐藏层神经元 这些是处理神经元，因此， S 形激活函数用于激活该层中的每个神经元。这里，假设有一个隐藏层。但是相同的过程可以应用于多个隐藏层。 其中XHh 和YHh 分别是隐藏层中神经元h 的输入和输出值。使用进入该神经元的所有输入值的总电位计算隐藏层神经元XHh 的输入。总电位是输入值的乘法和它们的相关权重的总和。 其中Whi 是隐藏神经元h 给予输入神经元i 的权重， YIi 是输入神经元i 的输出， r 是输入层神经元的最大数量。其中Whb 是由隐藏神经元h 给予隐藏层偏置神经元b 的权重， Xb 是偏置神经元的输入值。1.3 输出层神经元 这些也是处理神经元，因此， S 形激活函数用于激活该层中的每个神经元。 其中XJj 和YJj 分别是输出层中神经元j 的输入和输出值。除了偏置和情绪神经元之外，还使用从先前隐藏层馈送神经元的所有输入值的总电位来计算输出层神经元XJj 的输入。 作者简介：吴思楠（1997— ），女，辽宁丹东人，本科生；研究方向：计算机科学与技术。 摘 要：文章研究了情绪神经网络的效率，该网络使用改进的反向传播学习算法。实验结果表明，人工情绪可以成功建模并有 效实施，以改善神经网络的学习和普遍性。关键词：神经网络；反向传播算法；人工情感建模；面部识别基于神经网络的人脸识别技术方法研究 吴思楠 （辽宁师范大学海华学院，辽宁 沈阳 110167） 无线互联科技 Wireless Internet Technology