精神疲劳状态下大脑对称区域EEG信号的信源熵分析I
摘要
探讨脑电信号与生理性精神疲劳之间的关系,研究生理性精神疲劳状态下的EEG信号的信源熵特征。方法：对不同程度的精神疲劳进行分级，并且研究相对应的脑电图信号进行信源熵分析，探讨在精神疲劳状态下的大脑EEG信号的变化规律。利用现代数字信号的分析方法对大量非周期非线性的EEG信号进行数据的处理和分析，结果发现在不同精神疲劳状态下，EEG信号的信源熵均值以及信源熵的波动范围与人的疲劳状态密切相关，疲劳状态越严重，EEG信号均值越大，波动越不强烈，对比正常EEG信号信源熵显得更加的无序，反之亦成立。该方法为EEG信号与生理性精神疲劳状态之间的关系的测定提供了新思路和新工具,在医学、认知科学和心理学中有广阔的发展前景。
关键词：生理性精神疲劳，信号处理，疲劳评估，EEG信号
ABSTRACT
Investigate the the relationship between EEG signal and physiological mental fatigue,Study on physiological mental fatigue state of the EEG signal source entropy feature.Methods: classify different degrees of mental fatigue and Study on the corresponding EEG signal and analysis entropy of the source,Investigate the variation of the EEG signals in the state of mental https://www.doczj.com/doc/c8459289.html,ing the modern digital signal analysis method to proces and analysis a large number of non periodic and nonlinear EEG signals' data ,The results found that the source entropy of the EEG signal and the fluctuation range of the source entropy are closely related with the fatigue state in different mental fatigue states,the state of fatigue is the more serious the greater the mean of the EEG signal and the less strong of fluctuation,in contrast to normal EEG signal source of entropy,it appears more disordered,and vice versa.The method for the determination of the relationship between the EEG signals and physiological mental fatigue, provide new ideas and new tools,there are broad prospects for development in the medical, cognitive science and psychology.
Key words:Physiological mental fatigue, Signal processing，Fatigue assessment, EEG signal
目录
1绪论 (1)
1.1研究进展 (1)
1.2本课题的研究内容和思路 (2)
2 生理性精神疲劳 (4)
2.1 精神疲劳的介绍 (4)
2.2 精神疲劳的评定 (4)
2.3 精神疲劳的确定 (6)
3 脑电（EEG）信号 (8)
3.1 脑电（EEG）信号的介绍 (8)
3.1 EEG信号的现代分析方法 (11)
3.4脑电信号的特点 (12)
4 数据分析处理 (13)
4.1 信源熵 (13)
4.2 MATLAB简介 (13)
4.3 信号的预处理 (14)
5 数据的处理分析 (15)
5.1 状态1下EEG信号的信源熵 (16)
5.2 状态2下EEG信号的信源熵 (18)
5.3 状态3下EEG信号的信源熵 (20)
5.4 状态1和状态3下的对比分析 (22)
5.5成果分析和讨论 (24)
参考文献 (25)
致谢 (27)
精神疲劳状态下大脑对称区域EEG信号的信源熵分析 1
1 绪论
生理性精神疲劳作为现在社会中一些人的普遍现象，已经开始严重影响了人们的身心健康。在现代工种作业中，尤其是实况监控、车辆驾驶、航空工程、高风险工种等行业，很多事故的发生都与生理性精神疲劳相关。所以，认知到生理性精神疲劳的本质以及对精神疲劳程度进行分析和评估，有预防的对精神疲劳引其发生的事故是非常重要的，特别是科学技术水平的发展和人类科技水平的进步，体力劳动在现代生产中的百分比和强度都在不断下降，而脑力劳动和技术作业的百分比却在日益提高，可以看出，精神疲劳的隐患会愈加明显，所以，如何评测疲劳是一项非常重大而又具价值的课题。
本课题旨在对精神疲劳状态下的EEG信号的信源熵进行分析，从而能直观的表现出精神疲劳和EEG信号的关系。脑电图（EEG）信号是人类最早的一个可以评估疲劳指标的程度，也已成为公认的最可靠的生活标准之一。在这些研究中，其中大多数是通过监察精神疲劳的脑电信号来寻找直接关系。虽然脑电图早已被发现，其变化的程度可以用来评估精神疲劳，但这种变化实际上是建立在觉醒水平的变化的基础上，在觉醒之前的变化，认知能力下降已经存在，但却不能确定。目前，虽然许多研究人员使用和现代信号处理技术和信息理论的许多探索性分析脑电信号，但脑电波形的频率更深一层的意义仍然知之甚少，因此，这些结果与实际在线分析，仍有相当大的距离的应用需求。本课题拟探讨不同生理性精神疲劳状态下大脑对称区域EEG信号的信源熵的变化特征。
1.1研究进展
早年，脑功能研究偏重理论，研究神经活动的基本过程，如神经信号如何产生和调制，神经信号如何在神经元之间传递，神经信号如何编码和加工，神经元是如何生长发育的。后来，脑科学与人口和健康计划相衔接，研究脑疾病的发生、发展和治疗策略，并通过解析脑的高级认知功能和处理信息的独特机制。
目前，国内和国际的精神疲劳的研究仍处于起步阶段，即使是现在甚至心理疲劳的定义还不是很清楚。国内对精神的疲劳基础研究几乎是空白的，在这个阶段的我们国家在这方面的研究文章中是非常小的，只有零星的驾驶疲劳和运动性疲劳的一些分析文章。我国脑科学研究目前主要是把了解脑、保护脑和开发脑作为今后的研究内容，从而认识脑的原理和智能的起源，防治脑的疾病，开发智能和研制新型计算机。同时，由于脑功能的复杂性，不仅是神经科学家，还有很多其他学科的科学家，也正在利用不同手段和技术，从不同方面、不同层次，从分子细胞水平到系统整体行为水平进行深入研究。
但迄今，我们对脑的复杂高级认知功能的了解尚处在初始阶段。人脑是一个
非常复杂的非线性系统[3]，其外在的表现形式EEG则是一个复杂的时间序列。目前的研究结果表明，EEG信号具有混沌特性[4,5]，即脑电信号时间序列是一种非线性混沌时间序列。EEG并非随机信号，更接近于混沌系统的奇怪吸引子，而且是一个很不稳定的吸引子。近年来，有关复杂性测度的研究逐渐引起人们的兴趣，而复杂性测度在EEG分析中的应用所产生的有益、有趣的结果，为EEG分析提供了新的思路和新观点。
小波分析、神经网络、非线性动力学、独立分量等方法的出现，有力地推动了EEG分析方法的发展[6,7]。非线性处理方法有非线性动力学方法[8]、人工神经网络分析、独立分量分析；线性处理方法[9]有叠加平均法、自适应处理方法、参数模型法、短时傅里叶变换、小波变换。脑电信号分析已经渗透到与脑有关的各个领域。
1.2本课题的研究内容和思路
此次课题主要介绍了生理性精神的疲劳的特点和一些评定标准，着重对EEG 信号的信源熵进行分析与研究，旨在寻找出EEG信号的信源熵与疲劳程度的关系，其中也详细的阐述了对大量EEG信号的数据进行处理的方法和过程。
本次课题选取的是两种不同的精神疲劳状态进行实验并分析数据，分别是非疲劳状态的EEG信号和24小时睡眠剥夺后的疲劳状态的EEG信号。选取大脑皮层Fp1、Fp2两个通道进行实验，整个实验的模拟仿真是在MATLAB平台上完成的，运用MATLAB语言编写相关程序来进行EEG信号的信源熵分析。由于脑电信号的特殊性，我们还需要设计一个FIR带通滤波器对信号进行滤波去噪，与此同时，我们还需要对非线性，非周期的EEG信号进行平稳化处理，将其处理成可供分析的具有数学意义的数据，再对其进行信源熵的分析。将MATLAB输出的仿真图进行不同状态的对比来更加直观清晰地描述分析不同精神疲劳状态下的EEG信号的变化规律，这样使我们的实验更科学，更有说服力。
2 生理性精神疲劳
2.1 精神疲劳的介绍
人类的脑部有两大特征 : 1、大量的思想活动需要耗费大量的储存能量、氧气以及营养(葡萄糖) ; 2、脑组织的氧气和营养物质，有没有储备能力，供需是否及时，当供不应求时，大脑缺血，缺氧，缺乏营养，导致疲劳。精神紧张是能源密集，大量的脑细胞消耗的过程，使大脑的血液粘稠度增高，脑细胞活力的营养供给不足，很容易形成的生理心理疲劳。精神疲劳体现为等待处理或者刺激结合过多, 人开始本能的对刺激联结储存产生出不安、紧张和焦虑，紧张和焦虑的结合。从神经细胞的电生理活动的角度来看，是兴奋和抑制的相互作用和相互转化相互感应的过程。在某个意识状态下，或思考，或冥想，大脑神经都细胞处于兴奋状态的感觉，但如果很长一段时间的神经细胞的兴奋，它会感到困惑和遭受心理疲劳，这实际上是从神经细胞由兴奋到抑制兴奋，抑制状态是大脑的自我保护的一种表现。
人的思想变化和疲劳是心理疲劳的研究非常有趣的研究课题。一些科学家利用人体行动和EEG数据研讨精神性疲劳对思想活动的影响时发现，随着精神活动时间地延长，与思想活动有所联系的大脑的地方减少（额叶）。在一定的时间精神和体力劳动付出后，心理疲劳是保持一个适当的思维能力下降的特点，实验分析发现，经过几个小时不间断工作，工作，受试者保持相同的性能比的工作才刚刚开始付出更多的努力（劳动）。许多研究发现，精神疲劳一个重要的指标是人类行为的组织能力的下降。
研究人员通过大量的动物实验，发现当人们感到精神疲劳，大脑有一种高浓度的活性物质。这种物质所产生的效果和肌肉疲劳所产生的物质完全不一样，它只是导致精神疲劳。医学专家指出，一种消极的态度，精神焦虑，抑郁，内心冲突，抑郁，休息不好，人的精力折扣感到疲倦造成的心理疲劳，是不良的精神刺激或精神压力过大所产生精神疲劳的根源。当一个人厌倦了，因为疲劳或缺乏睡眠，疾病，或疗效，中毒或宿醉，此类危险的行为有可能会更严重。因此，找到刻理解精神疲劳的原因和影响，以确保人们的行为的有效性，防止事故的发生。
2.2 精神疲劳的评定
疲劳评估方法可分为主观评价法和客观评价方法。由于疲劳的非特异性和主观的，疲劳的研究几乎都是主观（疲劳度量表）。但主观评价方法不能避免的有效性和可靠性低的固有的缺点。并因此有了更深的理解和更精确的测量，生理指标的干预是非常必要的疲劳。随着技术的进步，研究疲劳，在这一领域的研究越
来越多的客观手段已逐渐成为在医学上的热门话题，认知科学和心理学[8]。
目前，由于客观地分析生理精神疲劳没有更好的方法，所以生理心理疲劳的测定没有绝对的度量表。传统的精神疲劳分析方法一般分为四类:1、基于表现的评估方法，评估工人根据工作表现，疲劳程度。操作人员的身体，感官，认知资源是有限的，在不同的生理精神疲劳程度的状态下，其疲劳程度将发生相应不同程度的变化。 2、主观评价方法，主要提到的是症状调查，主要是自我感觉疲劳上述诉测量。抱怨的症状到样精神病和神经的感觉症状身体不适症状等的三个方面的。最常用的检测和评估精神疲劳程度的方法是心理测试和临床判断。 3、生化方法分析经营者的血液，尿液，汗液和唾液中的液体组成的变化，以确定不同程度的生理精神疲劳。4、生理反应测试方法来确定通过测量某些刺激某些功能反应参数的精神疲惫的程度。测试的手段之一是健康膝反射功能的测试方法，两个刺激敏感的检测阈值，闪光频率值检查，连续彩色呼叫的测试方法，反应时间测试等等。比起传统的方法有2点不足：首先，测定疲劳进程的是不能与工作同一时间运作，因此它有很大的局限性，二是受主体的方法和条件的限制，很难要客观的人为定量。现代医学的飞速发展特别是信号检测与处理技术的发展，为为研究疲劳的确定提供了一个强大的工具。我们相信，有希望来弥补此类不足的是精神疲劳，生理参数，包括脑电图（EEG）信号，心电信号检测和分析技术测定，本文研究的脑电信号信源熵检测分析方法[17]。
随着现代信号检测与处理技术，医学信号检测与处理技术的发展取得了很大进展，心电图，脑电图，信号检测与分析技术，也使生理心理疲劳生理测定[2]。生理分析是分析程度的心理疲劳的生理信号变化的分析和测量，脑电信号的生理信号的主要组成部分之一。基于脑电信号的生理测量的突出优点: 要配备专门仪器脑电图，但不会干扰或破坏的操作过程，操作员的工作有没有影响，高时空分辨率的脑电信号，可以快速响应变化的心理疲劳，精神疲劳实时在线动态测试提供必要的数据支持; 现代信号检测与处理技术，现代科学的信息理论，信号检测与处理的计算机作为一种工具，提供了强大的生活一个合理的心理疲劳分析和研究的工具和手段。因此，基于上的生理性精神疲劳的的EEG信号分析中，被预计，以补偿为传统的方法的的不足之处。
大脑的变化，作为一个整体的大脑皮层神经元的活动，通过反映到大脑表面的脑容积导体，当大脑的表面（或头皮）放置电极，可以记录神经元在大脑皮层的变化。脑电图脑电图体积描记仪，大脑本身的微弱生物电放大记录成为图表，是脑细胞电生理活动在大脑皮层或头皮表面的总体反映人口，非侵入性，价格低廉，方便和有效的特点，正在成为大脑活跃，一个强大的工具，以确定大脑和临床使用的器质性病变分析。心理疲劳和中枢神经系统活动，主动控制主要是受大脑皮层。研究发现，脑电节律和人的精神有密切的关系占主导地位的节奏可能反
映人体的疲劳程度。因此，受试者脑电图和生理的生理性精神疲劳分析的程度之间的关系，通过学习的心理疲劳程度。系统的基本过程是：一些在记录脑电图通道，多通道脑电信号的高增益，高品质的生物放大器，数据采集卡输入到计算机系统的脑电信号，进入主题的宣传活动数字化脑电图信号，信号预处理，以消除眼，肌电，脑电数据分为多个数据段的闪烁实验神器;有效的特征提取方法提取数据特征信息;和主要特征选择方法，以进一步改善特征提取的有效性，将特征向量的分类和歧视，以确定受试者的疲劳程度，最终输出[3]。
2.3 精神疲劳的确定
疲劳肯定有没有绝对的定量范围，通常只能测量疲劳有关的现象或所谓的疲劳特性。许多研究人员认为可以透露疲劳，从三个特点：1，身体状况，特别是身体的变化发生。 2，开展具体的操作能力下降。 3，疲劳的经验。因此，疲劳的决心，应分为：生化，主观评价方法和生理参数的测定方法测定的生理反应。脑电图（EEG），心电图和其他信号检测和分析技术的发展与现代信号检测与处理技术，在医学信号检测与处理技术的发展已取得了显着的进展，也使生理性精神疲劳的生理测定成为可能[13]。
疲劳通常分为两种类型。肌肉疲劳和精神疲劳，肌肉疲劳是指在肌肉局部出现酸痛，一般只涉及到大脑皮层的局部地区。精神疲劳，是第二信号系统减少活动的特征。在这个阶段，人们更多关注的是精神疲劳，精神疲劳往往和以下密切相关以下：
1)工作质量的下降或意识模糊；
2)自我感觉精神状态不佳，有疲劳的感觉，没精神；
3)生理和心理状态出现了变化；
4)睡眠比较不足。
本课题采用疲劳中的第四种睡眠不足特征，选定睡眠剥夺的精神疲劳状态进行研究。睡眠剥夺是指由于各种原因引起的睡眠不足的状态变化，并引起情绪，学习和记忆，免疫功能的变化。让实验者带上实验仪器，24小时不间断的睡眠剥夺实验，学习，工作给予刺激，不让其睡眠，测试和记录下实验者的脑电信号数据
脑电节律和精神有密切相关，其祝节律可反映对人体的疲劳程度。因此，通过受试者脑电图和生理性精神疲劳程度之间的分析，可以用来判定精神疲劳程度。系统的基本过程是：一些在记录脑电图通道，多通道脑电信号的高增益，高品质的生物放大器，数据采集卡输入到计算机系统的脑电信号，获得数字化脑电图信号，通过信号预处理，以消除眨眼，肌电等干扰，并将脑电数据分成几个数
据段；利用有效的特征提取方法来提取各个数据段的信息；并通过特征选择方法用来更进一步的提高特征提取的效率性；将得到的特征数据分类并进行判断，确定受试者得精神疲劳程度，最后输出实验结果[20]。
脑电信号是一个复杂的非平稳随机信号，信号弱，个体差异较大，如何有效地提取有用的信息是脑研究的棘手问题。大脑皮层的脑电不同的生理和病理条件下的大脑是不一样的。伯杰在1929年，第一次记录到的脑电图脑电图，经过多年的研究，分析脑电信号，已取得了巨大进步。 dietch首先使用1932年的傅里叶变换相应的脑电图脑电图分析，以后陆续的时域分析，频域分析。近年来，随着计算机技术，信号处理技术，时频分析，非线性分析的现代方法的快速发展，人工神经网络开始被用于分析脑电脑电图以上。按上述方法提取某些脑部疾病临床诊断的脑电信号的特点是基础和有效的治疗方法，具有重要的临床价值。
脑电图技术的发展近年来的检测和分析，生理性精神疲劳检测技术已经取得了很大进展。然而，目前的分析技术，主要是在时域和频域，利用经典统计信号处理方法和光谱分析技术;脑电图作为一个平稳的信号，因为难以确定的敏感特性。最近的研究表明，脑电图呈现出混沌的规则来确定系统。在近年来的混沌规律脑电信号信号处理技术来分析生理性神经疲劳，是EEG信号处理方法的新途径，更是被广泛应用于人工神经网络，小波熵，功率谱和非线性动力学的方法等。
3 脑电（EEG）信号
3.1 脑电（EEG）信号的介绍
脑电图（Electroencephalograph，EEG）是大脑中的电生理活动在大脑皮层或头皮表面的神经细胞的整体反映。临床实践表明，脑电图含有大量的生理和疾病的信息，通过脑电图，不仅为医生提供临床诊断的基础，也为某些脑部疾病（如癫痫，脑肿瘤，精神状态的处理等），以提供有效的治疗方法。广泛应用于临床诊断癫痫的脑部疾病，临床检查，脑电图还是中毒，注意力不集中，酒精，药物依赖，脑外伤，失眠，睡眠障碍和其他疾病的重要辅助手段。在工程应用中，人们尝试使用脑信号 - 计算机接口（BCI），使用人类大脑信号运动的感觉或认知活动不同的脑电图脑电特征的信息提取和分析有效地提取和分类，从而将起到一定作用，但这些方法的实际应用，一步步也最终为开发高性能的脑电信号处理和分析仪器提供了一个重要的资源的功能。通常被称为脑电图（EEG）测试，以观察大脑电活动的过程中，通过按一定规则放置在头皮上的电极。脑电图是大脑中的电生理活动在大脑皮层或头皮表面的神经细胞的整体反射。脑电图是脑细胞电生理活动在大脑皮层或头皮表面的整体反映在脑电图研究一直是生物医学领域非常困难和非常引人注目的任务。
在工作负荷的认知研究的最基本的问题也许是如何以实际测量。脑电图（EEG）仍然是临床评估睡眠障碍的脑功能监测方法的选择，麻醉和癫痫的等级。这种倾向反映脑电高敏感性变化的警觉性和注意力的条件，在不引人注目的情况下记录，同时只需低成本的技术要求。这些特点也表明，基于EEG的监测方法可能在人体工程学方面提供一个有用的工具。研究计划是基于神经电信号变化的基础研究方法，在高度控制任务中的变化要求。从这样的研究取得了的结果提供了一个基础的制定相应信号的处理方法，自动区分大脑活动的精神疲劳相关的变化，从人工方法衡量在不同的任务条件下的相对程度的精神疲劳。这些方法，然后在更自然利用计算机的情况下评估工从这些研究中取得的成果提供了初步证据使用基于EEG的监测方法的科学和技术上的可行性在人机交互的认知负荷。
虽然它被发现疲劳状态脑电图的变化，但这些变化实际上是建立在觉醒程度的基础上，通过EEG的觉醒水平的变化，只反映在觉醒变动前的觉醒疲劳过程的变化程度，事实上，一直认为认知能力下降的存在，脑电图是无能为力的。换句话说，疲劳的脑电反应只能是一个粗略的状态，不是一个敏感指标[1]。此外，脑电数据的个体差异是相当大的个人内部和外部的个性，性别和空间能力的因素。所以，如果你无法控制受试者的同质性，脑电图的研究得出的结论是难以令人信服的。另外,EEG对波形进行分类是按照频率的,所以这些波形更深层的含义我们
仍知道的不多。所有的一切都阻碍了EEG作为评价疲劳指标的下一步发展。
许多的数据表明，脑电图频谱分量在认知需求的任务中响应变化的预见方式各不相同。虽然这是一个基于EEG的监测发展的必要条件认知的工作量，它是不够的。其他一些问题也必须解决如果这些实验室观察过渡到实际脑电图监测的认知工作量具其中最重要的是脑电图神器的问题。也就是说，除了大脑的活动，在头皮记录到的信号包括污染潜力眼球运动和闪烁，肌肉活动，头部运动等生理神器的工具来源。这些污染物可以很容易地掩盖相互关系（巴洛1986年，Gevins 等人，1979年a，B，C，1980年）的脑电信号。在实验室人类专家的研究，可以用来积极物色在原始数据的文物和消除任何污染的脑电图段，以确保在分析中使用的数据代表实际的大脑活动。对于大量的数据，这是一项昂贵的的，劳动力密集型的过程，这本身就是主观和可变的。要切合实际在常规应用上下文这样的决定，必须算法。一个已针对自动化的问题做了大量的研究失真检测。在我们实验室以前的工作，我们已经制定和客观评估几代人的工件自动检测算法。
脑电图（EEG）的记录，通过电极脑电细胞群自发性，节律性电活动，其中包含大量的生理和病理资料，深入研究，以帮助医师提高损害的诊断和检测的可靠性和准确性越来越重要的作用，在临床诊断，比如以确定癫痫，脑肿瘤的早期发现，睡眠分析和深度麻醉监护脑电图次。脑电图是最早的指标，可以评估疲劳程度，一度被认为是最可靠的指标之一。在这些研究中，大多是通过脑电图监测疲劳的途径之一。在20世纪80年代和90年代，这种研究方法，流行一时，也有一些结论:精神疲劳时大脑的中部位的α波的活动能力会加强,持续时间为1到10 秒左右,同时还会还出现枕部α节律的降低。而且还察看到枕部的α波不见之后,颞区中后部会再出现几秒钟的α波。其他研究，如在对疲劳驾驶进行脑电波监测的同时也出现了相似的α波的变化情况,即枕叶和顶叶的α波会扩展到额叶位置,如大脑中前区已经颞区。1929年，伯杰第一次记录了人类的脑电波信号，经过多年的分析研究，脑电信号的分析研究已经获得了巨大的展获。1932年狄曲开始运用傅里叶变换对脑电信号进行了各种分析，之后慢慢就有了时域分析、频域分析等方法。近年来，随着计算机技术，信号处理技术，时频分析，非线性分析的现代方法的快速发展，人工神经网络开始被用于分析脑电脑电图上。按上述方法提取某些脑部疾病临床诊断的脑电信号来分析研究，具有重要的临床价值。
脑电图显示不同人的特点，通过不同的感官刺激，在相同的感官刺激大脑的不同强度的电活动的不同部分，不同类型的感官刺激大脑中的格局的形成。 1932年，狄曲第一次利用傅立叶变换的脑电分析。脑电分析技术，首次发现的指标可以评价精神疲劳程度是主导节奏的脑电波和大脑电活动的疲劳现象来解释的，通过分析脑电信号，可以监视司机的84％疲劳程度。近年来，研究者国家推出的脑电图信号处理方法的深入研究，在这一领域已经引进的频域分析，时域分析脑电
分析。频域分析方法是根据每个频带的功率，相干等，时域分析法分析的脑电波形的几何性质，如幅度，均值，方差，偏斜，峭度等，脑电图;小波分析，神经在脑电分析，混沌分析，网络分析等成为脑电分析方法的新进展。
脑电图的变化现在一个高度可预见的方式下回应持续变化的工作负荷以及完成任务所需要的精神力。出现的这种变化可以自动检测和使用结合参数的算法，测量脑电功率谱多元函数。这种方法可以有效在衡量认知工作量的变化施加高度控制实验室任务，并监测执行任务中所需要的精神力差异，哪些更接近于那些个人可能会遇到在现实世界中的工作环境。其结果将有利于从进一步推广，并且需要显著的细化。例如，所给出的数据在一个任务中突然失败，也就是说，数据只持续了一段时间。然而，认知的工作量指标，通过计算数据需要在短时间内经常更新。今后的工作将需要尝试找出如何认知的瞬间的工作量与特定的内部任务事件有何不同。使用脑电频谱的一种可能性评估针对特定任务事件的认知负荷的措施，是使用事件相关去同步化（ERD），比较刺激后电源的方法一个刺激前的基线测量和利用程度的变化，作为一个光谱负荷测定然而，过去的努力，以评估在某种程度上这种测量自然主义的任务发现，虽然有用ERD是单个任务，在多任务环境下的工作量变化不敏感（富尼耶等。1999年）这种故障可能反映了一个事实，在这样的背景下，工作量可能比较高，即使在刺激前的基线期，所以任何刺激脑电图谱的相关变化可能相当小。它是一个开放的问题，其他类型的基于EEG的方法是否可能会更在这种情况下，卓有成效的应用。未来改进的另一个领域是涉及到目前的单一性质认知工作量的方法。也就是说，心理结构的一些看法可分配的任务性能断定一个相对独立的资源与感性的认知过程和所涉及的资源加工和精神力表达。这种方法的未来发展，因此，应该探索生理指标的可能性可以区分一个装载或其他类型的神经资源系虽然这些未来改进的需要，是明确，目前的结果，然而，通过EEG人机交互认知工作量的技术创建对工作负荷的认知研究进行测量可行性提供了令人信服的初步证据。
自发脑电：人的大脑皮层有自发的电活动，其电位随时间发生变化，用电极将这种电位波形提取出来并加以记录就可以得到脑电图。
自发脑电波分类：
δ波：频率为1-3.5Hz，振幅为20-200μV，在睡眠、深度麻醉、缺氧或大脑有器质性病变时出现。
θ波：频率为4-7Hz，振幅约为10-50μV，在困倦时，中枢神经系统处于抑制状态时所记录的波形。
α波：频率8-13Hz，振幅20-100μV，可在头的枕部检测到，它是节律性脑电波中最明显的波。
β波：β波频率约为13—30Hz，振幅约为5-20μV,是一种快波，β波的出现
一般意味着大脑比较兴奋。
诱发脑电：如果给机体以某种刺激后经过一定的潜伏期，在脑的特定区域出现的电位反应，其特点是诱发电位与刺激信号之间有严格的时间关系。
脑电信号的基本参数：
幅度：0.1 ~ 100 V
频带: 0.5 ~ 3000 Hz
干扰信号：眼电干扰、肌电干扰、工频干扰、环境电磁噪声干扰等
信号源的内阻大，且具有时变性，所以对脑电信号的滤波是非常重要的。
3.1 EEG信号的现代分析方法
近期的研究结果发现，EEG 信号呈现出确定系统的混沌规律。近年来，基于EEG 信号混沌规律的信号处理技术提取生理性精神疲劳信号的特征是EEG 计算机处理的新途径，目前应用较为广泛的方法有人工神经网络、小波熵、功率谱和非线性动力学等。
（1）混沌分析：混沌理论是一个新的学科专门研究非线性系统的行为。其基本思路是：简单确定非线性系统可以很简单，以确定该行为，也可以产生不稳定，但有界的看似随意的不确定性现象。混沌系统的初始状态的极端敏感性，这是长期的预测。混沌理论表明，并非所有的复杂系统的看似随意的行为，筛选出许多过于复杂，看似随意的困难，处理信息，你可以使用简单的规则来加以解释。（2）人工神经网络（ANN）分析：脑电物质对大脑的神经细胞，神经细胞，包括神经元和神经胶质细胞。在神经网络电活动是在大脑信息处理的一个极其重要的形式，我们可以理解的信息处理和神经网络的机制的脑电图。
（3）小波变换：小波变换方法可分为重点对象的任何细节，多频道信号的信号是一个多分辨率分析方法。其突出特点是克服傅立叶变换的局限性，具有良好的定位性能，在时域和频域的时间宽度和带宽积是非常小的，非常集中的时间和频率，从而脑电信号的提取和处理继续成为人们的关注。
（4）魏格纳方法：Wigner分布（简称WD）是一个时间频率混合信号表示，时域和频域分析，并把两者结合起来。 WD的信号分析，不仅可以找到的时间和频率信号两个领域的地图，你也可以找到信号频率的变化，从而能更好地脑电图的分类和鉴定[19]。
（5）功率谱：功率谱密度谱是一种概率统计的方法，是一个随机变量的平均方值的措施。功率谱密度是指单位带“权力”（均方根值），一般采用随机分析。它是根据随机动态载荷激励统计的结构响应，是一种功率频谱密度 - 频率曲线。研究发现，有很强的相关性之间的重力脑电功率谱中心和功率谱熵和生理心理疲
劳的频率[10]。
（6）柯尔莫哥洛夫熵(Kolmogorov entropy，KE)：柯尔莫哥洛夫熵是一个重要的特征的混沌系统的数量。在不同类型的动力系统，KE值是不同的，所以它可以用来区分规则运动，混沌运动和随机运动。系统的随机运动，KE是无限的;经常运动系统，KE是零;在该系统的混沌运动，柯是大于零，柯越大，更大的信息损失率，更大的程度混沌系统，或系统更为复杂。研究结果[23]显示，精神疲劳的状态与脑电信号和KE值的波动范围之间有比较明显的关系，可通过分析EEG信号的波动范围对疲劳时的心理生理状态进行比较客观评定[11]。
3.4脑电信号的特点
1) 采集到的脑电信号背景噪声比较复杂，有50Hz的工频干扰，电极与皮肤的接触噪声以及电极与地之间的共模信号的干扰等等。
2) 非平稳性和随意性都很强。脑电图形成机制及其规律律还没有发现，有太多影响脑电图的因素在其中，所以很多规律只能从统计学的角度来看，在相同的时间进行分析，由于生理因素，产生的脑电图总是在变化的状态，由于各种外界的影响，使得脑电图表现出强烈的非平稳和敏感性。
3) 非线性。生物组织的调节和适应，势必会影响到与非线性特性的电生理信号的功能。传统的信号处理技术是建立砸线性系统理论分析的基础上的。值得注意的是，在脑电信号处理中的非线性误差是如何降低的问题。
4) 脑电图频域特性，与其他生理信号相比，比较明显突出，所以基于频谱分析的脑电分析方法占据了越来越重要的作用，。
5) 脑电图一般多渠道多电极测量信号，在各个联导的信号中间存在着十分重要的互信息。如何有效地揭示这些共同的信息，强调隐含在多通道的重要功能，是分析脑电图和脑电信号处理方法的评价的重要标准。
但是，但因为EEG信号是不具备各态历经性的非平稳以及随机性很强的信号，而且其干扰噪声非常强而信号自身却很弱小，所以脑电分析和处理一直是非常有吸引力的，也是相当大的难题，这是本研究的目的和意义。
4 数据分析处理
4.1 信源熵
信源熵：是信息论中用来衡量信源信息量有序化程度的一个概念。信源熵值与信源有序化程度成反比；有序度越高，信源熵值越低，反之亦成立。
E 平均信息量—信源熵：自信息的数学期望。
信源熵公式：
111()[log ]()log ()()n i i i i H x E p x p x p x ===∑ （4-1）
信息熵的单位：一般以2为底，其单位为比特/符号。
信息熵的意义：信源的信息熵H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，不同的信源因统计特性不同，其熵也不同。
信源熵有以下三种物理含义。
信源熵H(X)是表示信源输出后每个消息/符号所提供的平均信息量；
信源熵H(X)是表示信源输出前，信源的平均不确定性；
用信源熵H(X)来表征变量X 的随机性。
4.2 MATLAB 简介
本次信号处理出席所用的平台是MATLAB ，一下对MATLAB 做简单的介绍: MATLAB 是矩阵实验室（Matrix Laboratory ）的简称，是美国MathWorks 公司出品的商业数学软件，这是数学界，科学界和技术应用方面非常强大。MATLAB 矩阵运算，可以进行绘图功能和数据，算法，创建一个用户界面，和其他编程语言接轨，主要使用于工程工作的计算，控制设计，数字信号处理和通信技术，图像的处理，信号检测与处理，金融建立模，设计成果分析等领域。在MATLAB 的基本数据单位是矩阵，指令的表达，数学，编程语句使用的形式非常相似，所以使用MATLAB 来解决这个问题较之使用语言，如C ，FORTRAN 等完成同样的事情更简单，这是Matlab 软件的优势之一，在新版本中增加了对C ，FORTRAN 语言，
C + + JAVA 的支持。可以直接调用，用户也可以编写自己的所写的实用程序导入到MATLAB 库，以方便他们未来的调用，还有许多MATLAB 的使用者已经写了的一些经典的方案，用户都是可以直接下载处理的。
MATLAB 的使用应用范围非常的广泛，包括信号的处理和图像处理，通信系统，控制系统的设计，测试和测量，财务建模和分析，计算机生物学和其他许等等（单独提供专用MATLAB 函数集）扩展了MATLAB 环境，以解决这些应用领域内
特定类型的问题。
标准差（Standard Deviation ） ，也称均方差（mean square error ）， 其数据是平均偏离的平均距离是离平均差平方和平均平方根，a 表示。标准偏差是方差的平方根。标准偏差反映一组数据分散程度。相同的标准偏差的平均值，可能是不一样的。
2
1(1)n i i a n X X =-=-∑ （4-2）
标准差也被称为标准偏差，或者实验标标准差，在图中所示的公式。
简单来说，标准差是衡量一组值平均分散程度的概念。较大的标准差，代表大部分的价值之间的平均差异;一个较小的标准差，代表这些值是接近平均水平。例子：两组数的集合 {0, 8, 6, 14} 和 {5, 7, 7, 9} 其平均值都是 7 ，但第二个集合具有较小的标准差，证明数据离散程度小，也就是说数据波动比较小。
标准偏差是方差的平方根。标准偏差反映一组数据分散程度。相同的标准偏差平均未必一样，当标准差用来衡量一定值时，其平均指标的一组值之间的差异程度的统计。标准差被用来评估价格可能会改变或波动。标准差越大，就会有更大的波动，数据的离散性越强。
在MATLAB 软件中调用函数“std （h ）“估算样本的标准偏差。标准偏差反映相对于平均值 (mean) 的离散程度。
标准偏差为任何数量的含义不一定有不同的含义。要了解什么是标准差。从几何意义上的标准偏差：1、在一系列的离散数据，以确定一个数据的发展趋势，平均最低点对应的理想方程偏差的理想方程和离散数据点关闭，我们这个偏差标准偏差。2、设置一个理想的方程，大量实验的过程中，所获得的数据，这些数据是离散的。计算，那么这些离散数据点上的理想方程得到标准偏差。如果这种偏差超过人类规定的价值，使用离散数据证明过大，并删除一些从数据比较大的偏差，以降低标准的偏差。
4.3 信号的预处理
本研究课题的实验中，对两个信号通道进行分析，分别是Fp1、Fp2四个大脑皮层的脑电信号点。由于脑电信号的非平稳性以及背景噪声强等因素，先要对这四个通道的数据进行滤波。在实验过程中，有时候会不可避免伪差的混入，这些伪差是不直接反映大脑生物电活动性的无关过程，伪差的出现会给阅读、分析、判断脑电图造成困难。EEG 经常受到来自人体其他器官产生的生物电信号，如眼电(EOG)、肌电，心电等，这其中尤以眼电伪迹最为明显。EEG 信号非常微弱且
背景噪声很强。针对脑电信号中眼电噪声很强的特点，对记录的脑电进行了自适应滤波消噪处理，结果显示可有效滤除眼电伪迹。
4.3.1 信号的滤波
为去掉EEG信号中的噪声干扰，实验中选用带通为0.5～30 Hz的FIR滤波器，选取参数：阶数为17，采样频率为167Hz，时间间隔为6 ms。选取前1000个采样数据为基本数据,计算数据段长度的累加步进步长为34(即0. 2 s的采样数据)，开始逐段计算脑电信号的信源熵，并出具仿真图，同时计算Fp1、Fp2两个通道在不同状态的均值(mean)、标准差（Standard Deviation）。均值是表示一系列数据信源熵平均特征的值，标准差是反映数据波动的量（集中还是分散），标准差越大说明数据的波动越大，越不稳定，数值越小，说明数据的波动越校，就越稳定。
4.3.2 EEG信号的平稳化
我们都知道脑电（EEG）信号都是非周期非平稳的信号，讲其平稳的处理是我们分析研究EEG信号的关键所在，这次受图像的二值化原理启发，我们可以将大量的非平稳非周期的EEG信号多次取平均的方法，将其平稳化处理操作。
具体是取出一段数据，取均值，将其二值化，取出高于均值和低于均值的数据，在分别进行取均值，再进行二值化处理，这样进行多段数据处理之后，数据被分为00，01，10，11四个区间，这样就将非平稳非周期的信号转化为平稳的信号。通过多次测量求平均的方法，将一段非平稳的信号转化为平稳的信号。
5 数据的处理分析
我们把所测通道的数据提取出来，通过信号的滤波平稳化程序的处理进行信源熵的计算，再得出其信源熵均值以及标准差，并且输出仿真图形，以求能直观面对我们的实验结果，整个实验实在matlab平台上所进行的。
我们所采用的EEG信号的数据来自新加坡国立大学沈开泉教授，保证真实准确。
所取通道为FP1,FP2对称通道，所得数据分为3个状态：
?状态1：脑电图数据收集在早上后正常的睡眠（1级），
?状态2：一天工作之后（2级），
?状态3: 之后的一个晚上一夜睡眠剥夺（3级）。
为了所得结果的对比反差比较强烈，本次实验我们取的是状态1和状态3的EEG信号数据，即正常睡眠后的早上和一夜睡眠剥夺后的EEG信号分析不同精神疲劳程度状态下的EEG信号的信源熵与其均值，标准差，找出这几者之间的关系。
5.1 状态1下EEG信号的信源熵
1)FP1通道下的正常睡眠（状态1）的EEG信号信源熵
图5-1 正常睡眠下FP1通道EEG信号的信源熵
2)FP2通道下的正常睡眠（状态1）的EEG信号信源熵
图5-2 正常睡眠下FP2通道的EEG信号信源熵
表5-1 状态1下FP1,FP2通道EEG信号信源熵的参数值
通道参数
Fp1
（状态1）
Fp2
（状态1）
均值 1.6057 1.6382
标准差0.14330.1434
通过状态1下FP1，FP2通道EEG信号的信源熵仿真图以及其参数我们可以直观的看到在同一疲劳状态下，对称通道的EEG信号在信源熵均值以及波动范围上都处于差不多的水平，为对比的结果的正确性打下基础。
第二章： 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 《 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) ( 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) " 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 》 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
3.1 设有一离散无记忆信源，其概率空间为 ??? ? ??=====??????8/14/1324/18/310)(4321x x x x X P X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。 求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有14个0、13个1、12个2、6个3，因此消息发出的概率是： 6 2514814183?? ? ?????? ?????? ??=p 此消息的信息量是：bit p I 811.87log =-= (2) 此消息中平均每符号携带的信息量是：bit n I 951.145/811.87/== 3.2 某一无记忆信源的符号集为{0, 1}，已知信源的概率空间为 ???? ??=??????4/34/110 )(X P X (1) 求信息符号的平均熵； (2) 由100个符号构成的序列，求某一特定序列（例如有m 个“0”和（100 - m ）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) bit x p x p X H i i i 811.043log 4341log 41 )(log )()(=??? ??+-=-=∑ (2) bit m x p x I x p m i i m m m i 585.15.4143 log )(log )(4 34341)(100 100100 100100+=-=-==? ? ? ?????? ??=--- (3) bit X H X H 1.81811.0100)(100)(100=?== 3.5 某信源的消息符号集的概率分布和二进制代码如题表3.2所列。 题表 3.2
· 1 · 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13 =-=-==
实验一信息熵与图像熵计算（2 学时） 一、实验目的 1.复习MATLAB的基本命令，熟悉MATLAB下的基本函数； 2.复习信息熵基本定义,能够自学图像熵定义和基本概念。 二、实验内容 1.能够写出MATLAB源代码，求信源的信息熵； 2.根据图像熵基本知识，综合设计出MATLAB程序，求出给定图像的图像熵。 三、实验仪器、设备 1.计算机－系统最低配置256M内存、P4 CPU； 2.MATLAB编程软件。 四实验流程图 五实验数据及结果分析 四、实验原理 1.MATLAB中数据类型、矩阵运算、图像文件输入与输出知识复习。 2.利用信息论中信息熵概念，求出任意一个离散信源的熵（平均自信息量）。自信息是一个随机变量,它是指某一信源发出某一消息所含有的信息量。所发出的消息不
同，它们所含有的信息量也就不同。任何一个消息的自信息量都代表不了信源所包含的平均自信息量。不能作为整个信源的信息测度，因此定义自信息量的数学期望为信源的平均自信息量： 1( ) 1 ( ) [log ] ( ) log ( ) i n i i p a i H E p a p a X 信息熵的意义：信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其熵也不同。 3.学习图像熵基本概念，能够求出图像一维熵和二维熵。 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的一维熵表示图像中灰度分布的聚集特征所包含的信息量，令Pi表示图像中灰度值为i的像素所占的比例，则定义灰度图像的一元灰度熵为： 2550 log i ii p p H 图像的一维熵可以表示图像灰度分布的聚集特征，却不能反映图像灰度分布的空间特征，为了表征这种空间特征，可以在一维熵的基础上引入能够反映灰度分布空间特征的特征量来组成图像的二维熵。选择图像的邻域灰度均值作为灰度2
第四章信源编码 习题解答 1、一个信源由 1） 哪些是非奇异码？哪些是唯一可译码？哪些是即时码？ 2） 分别计算每个唯一可译码的平均码长和编码效率。 解：1）A 、B 、C 、D 、E 、F 是非奇异码。A 、B 、C 、F 是唯一可译码（E 不满足克拉夫特不等式）。A 、C 、F 是即时码（B 是续长码）。 3） 编码A ： 平均码长：3A L = 码元/消息 信源熵：111111 ()lb lb 4lb 222441616 H X =---?=比特/消息 编码效率：max ()/2/3 66.7%lb21 A H H X L H η====码码 编码B 和C ： 平均码长：111111 23456 2.1252416161616 B C L L ==+?+?+?+?+?= 码元/消息 编码效率：max ()/2/2.125 94.1%lb21 B C H H X L H ηη=====码码 编码F ： 平均码长：11 1234 2.524 16F L ??=? +?+?= ??? 码元/消息 编码效率：max ()/2/2.5 80%lb21 F H H X L H η====码码 2、离散无记忆信源X 的概率空间为：1 234567()0.200.190.180.170.150.100.01X x x x x x x x p X ????=???????? 1）对其进行费诺编码，并计算其编码效率； 2）对其进行哈夫曼编码，并将其编码效率与费诺编码相比较。
解：1）费诺编码： 平均码长：()()()0.20.1720.190.180.1530.10.014 2.74L =+?+++?++?=码元/符号 信源熵： ()0.20lb0.200.19lb0.190.18lb0.180.17lb0.170.15lb0.150.1lb0.10.01lb0.01 2.60/874H X =-------= 比特符号 编码后平均码元熵：() 2.60874 0.95212.74H X H L ===码比特/码元 编码效率：max 0.9521 95.21%lb2 H H η= ==码码 2）哈夫曼编码： 码长 码字 信源X p (X ) 2 10 x 1 2 11 x 2 3 000 x 3 3 001 x 4 3 010 x 5 4 0110 x 6 4 0111 x 7 平均码长：()()()0.20.1920.180.170.1530.10.014 2.72L =+?+++?++?=码元/符号 编码后平均码元熵：() 2.60874 0.95912.72H X H L ===码比特/码元 编码效率：max 0.9591 95.91%lb2 H H η= ==码码 与费诺编码相比，哈夫曼编码的编码效率要高于费诺编码。 一般情况下哈夫曼编码效率较高，但费诺编码如果每次划分概率很接近，则效率也很高。
信息论与编码实验一实验报告 学生姓名周群创 指导教师张祖平 学号0909110814 专业班级电子信息1101
实验一关于信源熵的实验 一、实验目的 1. 掌握离散信源熵的原理和计算方法。 2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。 3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具求解图像熵。 4. 掌握Excel 的绘图功能，使用Excel 绘制散点图、直方图。 二、实验原理 1. 离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。 随机事件的自信息量I（x i）为其对应的随机变量x i 出现概率对数的负值。即： I（x i）= -log2 p(x i) 随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量x i 出现概 率的数学期望，即：
H(X )=-∑p(x )I (x ) =-∑p(x ) log p(x ) 2. 二元信源的信息熵 设信源符号集X={0，1}，每个符号发生的概率分别为p(0)=p，p(1)=q， p+ q=1，即信源的概率空间为 则该二元信源的信源熵为： H(X) = - p log p –q log q = - p log p – (1- p) log (1- p) 即：H (p) = - p log p – (1- p) log (1- p) 其中0 ≤p ≤1 3. MATLAB 二维绘图 用matlab 中的命令plot(x, y)就可以自动绘制出二维图来。 例1-2，在matlab 上绘制余弦曲线图，y = cos x，其中0 ≤x ≤2。>>x=0:0.1:2*pi；%生成横坐标向量，使其为0，0.1，0.2，…，6.2 >>y=cos(x)；%计算余弦向量 >>plot(x,y) %绘制图形 4. MATLAB 求解离散信源熵 求解信息熵过程： 1) 输入一个离散信源，并检查该信源是否是完备集。 2) 去除信源中符号分布概率为零的元素。 3) 根据平均信息量公式，求出离散信源的熵。 5. 图像熵的相关知识 图像熵是一种特征的统计形式，它反映了图像中平均信息量的多少。图像的
第二章信源与信息熵 主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。 重点：离散/连续信源熵和互信息。 难点：离散序列有记忆信源熵。 说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。 作业： 2．1—2．7，2．10，2．12。 课时分配：10课时。 板书及讲解要点： 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2．1 信源的描述与分类 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。 信源的分类 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源：输出在时间和幅度上都是离散分布的消息。
消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 发出单个符号的无记忆信源 离散无记忆信源： 发出符号序列的无记忆信源 离散信源 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础： 无条件概率，条件概率和联合概率的性质和关系： （1） 非负性 0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性 111 1 11 ()1,()1,(/)1, (/)1,()1 n m n i j i j i j i m m n j i i j j j i p x p y p x y p y x p x y ===========∑∑∑∑∑∑ 1 1 ()(),()()n m i j j i j i i j p x y p y p x y p x ====∑∑ （3） 联合概率 ()()(/)()(/)()()()(/)()(/)() i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，， （4） 贝叶斯公式 1 1 () () (/)(/)() () i j i j i j j i n m i j i j i j p x y p x y p x y p y x p x y p x y === = ∑∑， 2.1.1 无记忆信源： 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。
实验报告 实验名称关于信源熵的实验课程名称信息论与编码 姓名xxx 成绩90 班级电子信息 1102学号0909112204 日期2013.11.22地点综合实验楼
实验一关于信源熵的实验 一、实验目的 1. 掌握离散信源熵的原理和计算方法。 2. 熟悉matlab 软件的基本操作，练习使用matlab 求解信源的信息熵。 3. 自学图像熵的相关概念，并应用所学知识，使用matlab 或其他开发工具 求解图像熵。 4. 掌握Excel的绘图功能，使用Excel绘制散点图、直方图。 二、实验原理 1. 离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。随机事件的自信息量I（xi）为其对应的随机变量xi 出现概率对数的负值。 即： I （xi ）= -log2p ( xi) 随机事件X 的平均不确定度（信源熵）H（X）为离散随机变量 xi 出现概 率的数学期望，即：
2.二元信源的信息熵 设信源符号集X={0，1} ，每个符号发生的概率分别为p(0)= p，p(1)= q， p+ q =1，即信源的概率空间为： 则该二元信源的信源熵为： H( X) = - plogp–qlogq = - plogp –(1 - p)log(1- p) 即：H (p) = - plogp –(1 - p)log(1- p) 其中 0 ≤ p ≤1 3. MATLAB二维绘图 用matlab 中的命令plot( x , y) 就可以自动绘制出二维图来。 例1-2，在matlab 上绘制余弦曲线图，y = cos x ，其中 0 ≤ x ≤2 >>x =0:0.1:2*pi； %生成横坐标向量，使其为 0，0.1，0.2，…， 6.2 >>y =cos(x )； %计算余弦向量 >>plot(x ,y ) %绘制图形 4. MATLAB求解离散信源熵 求解信息熵过程： 1) 输入一个离散信源，并检查该信源是否是完备集。
第二章 信源与信息度量 习题 1. 某大学设置五个学院，每个学院的学生数分别为 学院： 数学 物理 外语 外贸 医学 人数： 300 400 500 600 200 问“某学生王某是外语学院学生”这一消息提供的信息量是多少？ 2. 同时扔出两个正常的骰子，也就是各面呈现的概率都是1/6，求： （1） 事件“2和5同时呈现”的自信息量； （2） 事件“两个4同时呈现”的自信息量； （3） 事件“至少呈现一个1”的自信息量。 3. 字母“e ” 在英文中出现的概率是0.103，字母“c ”出现的概率为0.022，字母“x ”出现的概率是0.001，求这些字母各自的自信息量。 4. 某电子厂共能生产A 、B 、C 、D 四种仪器，其中A 因技术落后停产了，B 占全部产量的20%，C 占30%，D 占50%。有两个消息“现在完成1台仪器B ”，和“现在完成1台仪器C ”，试确定哪一种消息提供的信息量大些？其中有什么规律？ 5. 某地，35%的女孩上大学，65%的女大学生身高超过1.6米，而一个女孩身高超过1.6米的概率是50%，现有一条消息：说某一个身高超过1.6米的女孩是大学生，求这条消息的信息量。 6. 试求： （1） 在一付标准的扑克牌中抽出一张（每张牌均认为是不同的）的平均信息量。 （2） 若扑克牌仅按它的等级鉴定而不问它的花色(大、小王属同一等级)，重复上述计算。 7. 某地的天气预报为：晴（占4/8），多云（占2/8），雨（占1/8），雪（占1/8），冰雹（占0/8）；而当地老农对天气的预测只能做到：晴（占7/8），雨（占1/8）。试求两者对天气预报各自提供的平均信息量，并说明从中得到的规律。 8. 某离散无记忆平稳信源的概率空间为：12340123()3/81/41/41/8X x x x x p X ====????=????? ???，若某消息符号序列为：202 120 130 213 001 203 210 110 321 010 021 032 011 223 210，求： （1） 该消息的自信息量； （2） 该消息平均每个符号携带的信息量。 9. 若每帧电视图像由3×105 个像素组成，且像素是独立变化的。每个像素取128个不同的亮度电平，并设亮度电平等概率出现。
2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：bit x y p 75.0)/(11= 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15 .075.025.0log )()/()(log )/(log )/(11111111=?-=-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(=i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下：
第三章 信源及信源熵 ?信源的主要问题： 信源的描述（数学建模）； 信源输出信息能力的定量分析（信源熵）； 信源信息的有效表示（信息编码）。 编码器 信道 译码器 信宿 噪声源 信源
第三章 信源及信源熵 ?信源的主要问题： 信源的描述（数学建模）； 信源输出信息能力的定量分析（信源熵）； 信源信息的有效表示（信息编码）。 编码器 信道 译码器 信宿 噪声源 信源
第三章信源及信源熵 ?3.1 信源的分类及其数学模型?3.2 离散单符号信源 ?3.3 离散多符号信源 ?3.3.1 离散平稳信源 ?3.3.2 离散平稳无记忆信源 ?3.3.3 离散平稳有记忆信源 ?3.3.4 马尔可夫信源 ?3.4 信源的相关性和剩余度
3.1 信源的分类及其数学模型 ?信源的分类 分类1：根据信源输出的消息在时间和取值上是离散或连续分。时间（空间)取值信源种类举例数学描述 离散离散 离散信源 （数字信源） 文字、数据、 离散化图像 离散随机变量序列 离散连续连续信号跳远比赛的结果、 语音信号抽样以后 连续随机变量序列 连续连续 波形信源 （模拟信源） 语音、音乐、热噪 声、图形、图像 随机过程 连续离散不常见
3.1 信源的分类及其数学模型 分类2：根据各维随机变量的概率分布是否随时间的推移而变化分。 1）平稳信源 2）非平稳信源 分类3：根据随机变量间是否统计独立分。 1）有记忆信源 2）无记忆信源
3.1 信源的分类及其数学模型 实际信源分类： ()( ()1H NH X H H m ??=???????????∞????????+?? ?? ???? ?X 离散无记忆信源：）记忆长度无限长：离散平稳信源平稳信源离散有记忆信源记忆长度有限马尔可夫信源：连续平稳信源非平稳信源 信源
电子科技大学 实验报告 课程名称信息论与编码 实验名称信源编码 任课教师 姓名学号 时间2018 年11月28 日 一、实验目的和要求 1.掌握对信源变长编码定理的理解； 2.掌握信源编码技术，如香农编码，费诺编码，哈夫曼编码或其他无失真信源 编码技术； 3.对英文小说“Game of Thrones”中出现的26个英文字母和空格符号（一共 27个符号）进行信源编码。 4.至少对前两章“Prologue”和“Bran”中出现的符号进行统计。 5.任意选择一种编程平台，C++，Java，Python，Matlab等等。 6.运行程序后，能够在屏幕上显示每一个符号对应的码字，原始信源的熵，平 均码字长度，码字长度的方差，以及编码效率。
二、 实验内容 1. 对英文小说“Game of Thrones ”中出现的26个英文字母和空格符号（一共27个符号）进行信源编码。 2. 在屏幕上显示每一个符号对应的码字，原始信源的熵，平均码字长度，码字长度的方差，以及编码效率。 三、 实验原理 1. 采用哈夫曼编码完成实验要求 2.哈夫曼（Haveman ）编码算法是满足前缀条件的平均二进制码长最短的编-源输出符号，而将较短的编码码字分配给较大概率的信源输出。算法是：在信源符号集合中，首先将两个最小概率的信源输出合并为新的输出，其概率是两个相应输出符号概率之和。这一过程重复下去，直到只剩下一个合并输出为止，这个最后的合并输出符号的概率为1。这样就得到了一张树图，从树根开始，将编码符号1 和0 分配在同一节点的任意两分支上，这一分配过程重复直到树叶。从树根到树叶途经支路上的编码最后就构成了一组异前置码，就是霍夫曼编码输出。 离散无记忆信源： 例如 Uu 1u 2u 3u 4u 5 P (U ) = 0.4 0.2 0.2 0.1 0.1
英语信源、汉语信源及其信息熵的研究 摘要 英语信源和汉语信源是两种不同的自然语信源，而信息熵反映了信源的记忆长度，信源的记忆长度越长，熵就越小。只有当记忆长度为0，即信源符号间彼此没有任何依赖关系且等概率分布时，信源熵达到最大值。也就是说，信源符号相关性越强，所提供的平均信息量就越小。所以，研究这两种信源的信息熵，就可以得出每种信源中符号的相关性，和提供的平均信息量，量化的来比较两种语言。 关键词 英语信源 汉语信源 信息熵 正文 一、英语信源及其信息熵 英语字母有26个，加上空格，共27个符号。根据熵的性质，信源的最大熵 02log 27 4.76(/)H bit symbol == 但实际上，英语中的字母并非等概率出现，字母之间还有严格的依赖关系。如果我们对英语书中27个符号出现的概率加以统计，可得： 27个英语字符出现的概率 符号 概率 符号 概率 符号 概率 空格 0.2 S 0.052 Y,M 0.012 E 0.105 H 0.047 G 0.011 T 0.072 D 0.035 B 0.0105 O 0.0654 L 0.029 V 0.008 A 0.063 C 0.023 K 0.003 N 0.059 F,U 0.0225 X 0.002
I 0.055 M 0.021 J,Q 0.001 R 0.054 P 0.0175 Z 0.001 如果不考虑上述符号之间的依赖关系，即近似地认为信源是离散无记忆信源，根据离散上的定义可得 27121()log () 4.03(/) i i i H p a p a bit symbol ==-=∑ 按上述表格中的概率分布，随机选择英语字母排列起来，得到一个信源输出序列： AI_NGAE_ITE_NNR_ASAEV_OTE_BAINTHA_HYROO_POER_SE TRYGAIETRWCO … 可见，这些字母完全是随机排列，毫无相关性，却不是英语单词，所以我们应该考虑字母的依赖性。 为了进一步逼近实际情况，可把婴语信源近似地看作1阶，2阶，…，∞阶马尔可夫信源，求得相应的熵 2 3.32(/)H bit symbol = 3 3.1(/)H bit symbol = 异推出，马尔可夫信源阶数越高，输出的序列越接近实际情况。当依赖关系延伸到无穷远时，信源输出就是真正的英语。所以我们求马尔可夫信源的极限熵 1.4(/)H bit symbol ∞= 二、汉语信源及其信息熵
信息与通信工程学院实验报告 （软件仿真性实验） 课程名称：信息论基础 实验题目：绘制信源熵函数曲线指导教师：毛煜茹 班级：15050541学号：19 学生姓名：王宇 一、实验目的和任务 掌握离散信源熵的原理和计算方法。 熟悉matlab软件的基本操作，练习应用matlab软件进行信源熵函数曲线的绘制。 理解信源熵的物理意义，并能从信源熵函数曲线图上进行解释其物理意义。 二、实验内容及原理 2.1实验内容： 用matlab软件绘制二源信源熵函数曲线。根据曲线说明信源熵的物理意义。 2.2实验原理： （1）离散信源相关的基本概念、原理和计算公式 产生离散信息的信源称为离散信源。离散信源只能产生有限种符号。 假定X是一个离散随机变量，即它的取值范围R={x1，x2，x3，…}是有限或可数的。设第i个变量x i 发生的概率为p i=P{X=x i}。则： 定义一个随机事件的自信息量I(x i)为其对应的随机变量x i出现概率对数的负值。即： I(x i )= -log 2 p(x i ) 定义随机事件X的平均不确定度H(X)为离散随机变量x i出现概率的数学期望，即：
∑∑-==i i i i i i x p x p x I x p X H )(log )()()()( 单位为 比特/符号 或 比特/符号序列。 平均不确定度H （X ）的定义公式与热力学中熵的表示形式相同，所以又把平均不确定度H （X ）称为信源X 的信源熵。 必须注意以下几点： 某一信源，不管它是否输出符号，只有这些符号具有某些概率特性，必有信源的熵 值；这熵值是在总体平均上才有意义，因而是个确定值，一般写成H （X ），X 是指随机变量的整体（包括概率分布）。 信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给与信息者的 信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。 熵是在平均意义上来表征信源的总体特征的，信源熵是表征信源的平均不确定度， 平均自信息量是消除信源不确定度时所需要的信息的量度，即收到一个信源符号，全部解除了这个符号的不确定度。或者说获得这么大的信息量后，信源不确定度就被消除了。信源熵和平均自信息量两者在数值上相等，但含义不同。 当某一符号x i 的概率p (x i )为零时，p (x i )log p (x i ) 在熵公式中无意义，为此规定这 时的 p (x i )log p (x i ) 也为零。当信源X 中只含有一个符号x 时，必有p (x )=1，此时信源熵H （X ）为零。 例1-1，设信源符号集X ={0，1}，每个符号发生的概率分别为p (0)=p ，p (1)=q ，p+ q =1，即信源的概率空间为 ?? ????=?????? 1 0q p P X 则该二元信源的信源熵为： H (X ) = - p log p – q log q = - p log p – (1- p )log (1- p) 即：H (p) = - p log p – (1- p )log (1- p) 其中0 ≤ p ≤1
· 1 · 第二章： 2.1 试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？ 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量H(X 1) = log 2n = log 24 = 2 bit/symbol 八进制脉冲的平均信息量H(X 2) = log 2n = log 28 = 3 bit/symbol 二进制脉冲的平均信息量H(X 0) = log 2n = log 22 = 1 bit/symbol 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 0.25 0.75 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即：p(y 1/ x 1) = 0.75 求：身高160厘米以上的某女孩是大学生的信息量 即：bit y p x y p x p y x p y x I 415.15.075.025.0log )()/()(log )/(log )/(2111121111=??? ???-=? ? ????-=-= 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： bit x p x I i i 581.225!52log )(log )(2==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 2 213 52 13=-=-==
英语信源、汉语信源及其信息熵的研究 摘要英语信源和汉语信源是两种不同的自然语信源，而信息熵反映了信源的记忆长度，信源的记忆长度越长，熵就越小。只有当记忆长度为0，即信源符号间彼此没有任何依赖关系且等概率分布时，信源 符号概率符号概率符号概率 空格0.2 S 0.052 Y,M 0.012 E 0.105 H 0.047 G 0.011 T 0.072 D 0.035 B 0.0105 O 0.0654 L 0.029 V 0.008 0.023 K 0.003 A 0.063 C N 0.059 F,U 0.0225 X 0.002 I 0.055 M 0.021 J,Q 0.001
R 0.054 P 0.0175 Z 0.001 如果不考虑上述符号之间的依赖关系，即近似地认为信源是离散无记忆信源，根据离散上的定义可得 27121()log () 4.03(/) i i i H p a p a bit symbol ==-=∑ 1.4(/)H bit symbol ∞= 二、汉语信源及其信息熵 对于英语，字符数少，可轻松的计算出英语信源的信息熵，但是对于汉语这个中文字符极其庞大的信源，科学家们做出了大量的统计
与计算。方法同上面的英语信源信息熵的计算，不过计算量增加了非常多。下面是截取的一些统计资料。 CCL 语料库-现代汉语总字频数：307,317,060 总字种数：9711 字频表： 的:11523375 一:4140344 是:3291508 了:3059837 在:2933070 人:2827726 不:2733842 国:2645758 有:2507415 中:2182025 他:2029395 这:1968713 我:1940875 和:1872750 大:1832977 （ZIPF'S LAW）核算，汉字的容量极限是12366个汉字，汉字的平均信息量是9.65比特 三、英语信源和汉语信源的比较 显而易见，汉语信源的信源熵远远大于英语信源的信息熵，说明
实验报告 课程名称：信息论与编码姓名： 系： 专业： 年级： 学号： 指导教师： 职称： 年月日
实验一 信源熵值的计算 一、 实验目的 1 进一步熟悉信源熵值的计算 2熟悉 Matlab 编程 二、实验原理 熵（平均自信息）的计算公式 ∑∑=--==q i i i q i i i p p p p x H 1 212log 1 log )( MATLAB 实现：))(log *.(2x x sum HX -=；或者))((log *)(2i x i x h h -= 流程：第一步：打开一个名为“nan311”的TXT 文档，读入一篇英文文章存入一个数组temp ，为了程序准确性将所读内容转存到另一个数组S ，计算该数组中每个字母与空格的出现次数(遇到小写字母都将其转化为大写字母进行计数)，每出现一次该字符的计数器+1； 第二步：计算信源总大小计算出每个字母和空格出现的概率； 最后，通过统计数据和信息熵公式计算出所求信源熵值（本程序中单位为奈特nat ）。 程序流程图：
三、实验内容 1、写出计算自信息量的Matlab 程序 2、已知：信源符号为英文字母（不区分大小写）和空格。 输入：一篇英文的信源文档。 输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 四、实验环境 Microsoft Windows 7 Matlab 6.5 五、编码程序 #include"stdio.h" #include
试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍 解： 四进制脉冲可以表示4个不同的消息，例如：{0, 1, 2, 3} 八进制脉冲可以表示8个不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二进制脉冲可以表示2个不同的消息，例如：{0, 1} 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量symbol bit n X H / 24log log )(1=== 八进制脉冲的平均信息量symbol bit n X H / 38log log )(2=== 二进制脉冲的平均信息量symbol bit n X H / 12log log )(0=== 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的2倍和3倍。 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少 (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量 解： (1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： ! 521)(= i x p bit x p x I i i 581.225!52log )(log )(==-= (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： (a)p(x i )=52/52 * 48/51 * 44/50 * 40/49 * 36/48 * 32/47 * 28/46 * 24/45 * 20/44 * 16/43 * 12/42 * 8/41 * 4/40= (b)总样本：C 1352, 其中13点数不同的数量为4*4*4*…*4=413 。所以，抽取13张点数不同的牌的概率： bit C x p x I C x p i i i 208.134 log )(log )(4)(1352 13 13 52 13 =-=-== 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量 解： 设随机变量X 代表女孩子学历 X x 1（是大学生） x 2（不是大学生） P(X) 设随机变量Y 代表女孩子身高 Y y 1（身高>160cm ） y 2（身高<160cm ） P(Y) 已知：在女大学生中有75%是身高160厘米以上的
实验一.信源熵值计算 1.实验目的 进一步熟悉信源熵值的计算 掌握编程语言字符处理程序的设计和调试技术 2.实验要求 已知：信源符号为英文字母（不区分大小写）和空格。 输入：一篇英文的信源文档。 输出：给出该信源文档的中各个字母与空格的概率分布，以及该信源的熵。 3.程序流程 第一步：打开一个名为“guojia ”的TXT 文档，读入一篇英文文章存入一个数组temp ，为了程序准确性将所读内容转存到另一个数组S ，计算该数组中每个字母与空格的出现次数(遇到小写字母都将其转化为大写字母进行计数)，每出现一次该字符的计数器+1； 第二步：计算信源总大小计算出每个字母和空格出现的概率； 最后，通过统计数据和信息熵公式计算出所求信源熵值（本程序中单位为奈特nat ）。 程序流程图： ↓ 4.程序如下：
#include"stdio.h" #include