《信息论》课程介绍
【原创实用版】
目录
1.信息论的定义与重要性
2.信息论的发展历程
3.信息论的应用领域
4.《信息论》课程的主要内容
5.学习信息论的意义与价值
正文
1.信息论的定义与重要性
信息论是一门研究信息传输、存储、处理和利用的学科，它涉及数学、统计学、计算机科学、通信技术等多个领域。在信息时代，信息论为我们提供了理论基础和技术方法，以实现信息的高效、安全、可靠传输和处理。信息论在现代通信、计算机科学、数据挖掘、密码学等领域具有重要意义。
2.信息论的发展历程
信息论的发展始于 20 世纪 40 年代，美国数学家香农（Claude Shannon）发表了著名的《通信的数学理论》，奠定了信息论的理论基础。此后，信息论在通信技术、计算机科学等领域得到广泛应用和发展。如今，信息论已经成为一门重要的学科，吸引了众多学者和研究者。
3.信息论的应用领域
信息论在许多领域都有广泛的应用，例如通信技术、计算机科学、数据挖掘、密码学、机器学习等。在通信技术方面，信息论为无线通信、光纤通信等提供了理论支持；在计算机科学方面，信息论为数据压缩、数据加密等技术提供了理论依据；在数据挖掘方面，信息论为数据分析、知识发现等提供了有效方法。
4.《信息论》课程的主要内容
《信息论》课程主要涉及以下几个方面的内容：
（1）信息论的基本概念和定义，包括信息的定义、熵的定义、信息传输速率等；
（2）信息论的基本理论，包括香农定理、信源编码、信道编码等；
（3）信息论的基本方法，包括数据压缩、数据加密、信道编码等；
（4）信息论的应用领域，包括通信技术、计算机科学、数据挖掘、密码学等。
5.学习信息论的意义与价值
学习信息论具有重要的意义和价值，它可以帮助我们更好地理解信息的传输、存储、处理和利用，提高我们在信息时代的竞争力。此外，信息论也为我们提供了理论基础和技术方法，以实现信息的高效、安全、可靠传输和处理。
第一章绪论 主要内容：（1）信息论的形成和发展；（2）信息论研究的分类和信息的基本概念；（3）一般通信系统模型；（4）目前信息论的主要研究成果。 重点：信息的基本概念。 难点：消息、信号、信息的区别和联系。 说明：本堂课作为整本书的开篇，要交待清楚课程开设的目的，研究的内容，对学习的要求；在讲解过程中要注意结合一些具体的应用实例，避免空洞地叙述，以此激发同学的学习兴趣，适当地加入课堂提问，加强同学的学习主动性。课时分配：2个课时。 板书及讲解要点： “信息”这个词相信大家不陌生，几乎每时每划都会接触到。不仅在通信、电子行业，其他各个行业也都十分重视信息，所谓进入了“信息时代”。信息不是静止的，它会产生也会消亡，人们需要获取它，并完成它的传输、交换、处理、检测、识别、存储、显示等功能。研究这方面的科学就是信息科学，信息论是信息科学的主要理论基础之一。它研究信息的基本理论(Information theory)，主要研究可能性和存在性问题，为具体实现提供理论依据。与之对应的是信息技术(Information Technology)，主要研究如何实现、怎样实现的问题。它不仅是现代信息科学大厦的一块重要基石，而且还广泛地渗透到生物学、医学、管理学、经济学等其他各个领域，对社会科学和自然科学的发展都有着深远的影响。 1．1 信息论的形成和发展 信息论理论基础的建立，一般来说开始于香农(C.E．shannon)研究通信系统时所发表的论文。随着研究的保深入与发展，信息论具有了较为宽广的内容。 信息在早些时期的定义是由奈奎斯持(Nyquist，H．)和哈特莱(Hartley， L.V.R．)在20世纪20年代提出来的。1924年奈奎斯特解释了信号带宽和信息速率之间的关系；1928年哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法；1936年阿姆斯特朗(Armstrong)提出了增大带宽可以使抗干扰能力加强。这些工作都给香农很大的影响，他在1941—1944年对通信和密码进行深入研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息嫡的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。这一成果于1948年以《通信的数学理论》(A mathematical theory of communication)为题公开发表。这是一篇关于现代信息论的开创性的权威论文，为信息论的创立作
《信息论基础A》教学大纲 Basic Information Theory A 一、课程的性质和目的 当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，信息与计算科学专业（信息安全方向）的专业课程。通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。重点讨论了信源的熵、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法，讨论了信道编码理论以及各种常用的信道编码方法。而且针对信息安全的具体问题，研究了信息论的应用，信息论与安全理论的关系。本课程为以后开设的专业课程打下了坚实的基础，也为学生更好的理解信息安全理论奠定了基础。 二、课程教学内容及学时分配 1.绪论(2学时) 本章要求了解信息论的形成和发展，了解信息，信号，消息的区别和联系；掌握通信系统的模型。
本章的主要内容为：信息论的形成和发展，信息、信号、消息的区别，香农信息的定义，通信系统的模型。 2.离散信源及其信息测度(10学时) 本章要求掌握信源的数学模型，了解信源的分类；掌握离散信源熵，了解信息熵的基本性质；掌握离散序列信源及马尔可夫信源信息熵的求法。 本章的主要内容为：信源的数学模型及分类，离散信源熵及其性质，离散序列信源的熵，离散平稳信信源的极限熵，马尔可夫信源，信源剩余度。 3.离散信道及其信道容量(10学时) 本章要求掌握信道的数学模型，了解信道的分类；掌握平均互信息的定义，了解平均互信息的特性；了解离散信道信道容量的一般计算方法，会计算对称离散信道的信道容量；理解数据处理定理以及信源与信道匹配的意义。 本章的主要内容为：信道的数学模型及其分类，平均互信息及其特性，信道容量及其一般计算方法，数据处理定理，信源和信道的匹配。 4.无失真信源编码(8学时) 本章要求了解码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等；理解定长编码定理和变长编码定理；了解几种编码方法：香农编码方法、费诺编码方法、MH编码及算术编码；掌握哈夫曼编码方法；会确定编码效率。 本章的主要内容为：编码器，码的分类方法如：定长码和变长码，奇异码和非奇异码，即时码和非即时码等，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。
《信息论基础》课程教学大纲 课程编号：（0531305） 课程名称：信息论基础 参考学时：48 其中实验或上机学时：0 先修课及后续课：先修课：概率论、信号与系统 后续课：通信原理、数字图像处理、语音信号处理 说明部分 1．课程性质 本课程是电子信息类专业的技术基础课 2．课程教学的目的及意义 人类社会的生存和发展无时无刻都离不开信息的获取、传递、处理、控制和利用。特别是迈入21世纪――高度信息化时代，信息的重要性更是不言而喻。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论基础》课程为电子信息工程学科的基础课，同时也可作为信息科学其它相关学科的选修课，掌握它，可以指导理论研究和工程应用。 本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。 3．教学内容及教学要求 教学内容： 该课程是电子信息工程、信息安全工程专业的专业基础课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信息系统的最优化。 信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。 教学基本要求： 了解通信系统各部分的主要组成以及作用、香农的三大编码定理； 掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。 4. 教学重点、难点 教学重点： 信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点： 典型序列以及由此推导出的香农三大编码定理即逆定理。 5. 教学方法及教学手段 课堂讲学为主，习题讲解为辅。 6. 教学学材及主要参考书 1. 傅祖芸编著，《信息论－基础理论与应用》，北京：电子工业出版社，2011年 2. 姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2001年
信息论基础与随机过程 一、课程简介 信息论基础这门课程涉及信息学、统计学、计算机科学等领域，系统并全面地介绍了香农信息论，通过对理论知识的讲解，使学生掌握熵、互信息、自信息量、霍夫曼编码、香农编码、费诺编码等知识及其在生物医学中的应用，把理论知识和实际应用结合起来，为生物信息专业学生提供理论基础，培养科研思维，掌握医学信息分析方法。 随机过程是一连串随机事件动态关系的定量描述。随机过程理论在物理、生物、工程、经济和管理等方面都得到了广泛应用，已成为近代科技工作者谋求掌握的一个理论工具。通过随机过程的学习，期望学生能较好地理解随机数学的基本思想，掌握几个基本而常用的过程的处理方法，如正态过程、泊松过程等；特别是马氏过程要重点理解并掌握。并将随机过程理论与生物信息学专业相结合，为阅读文献和未来的科研工作奠定基础。 二、理论教学内容 1.信息论绪论 掌握内容：为什么要学习信息论这门课程？信息论基础与生物信息学之间的关系以及信息论基础与医学生物学之间的关系。信息熵在现代生物医学中的应用。 了解内容：信息论的起源、发展，信息论的研究对象、目的、内容，信息与消息的区别。 2.信息的度量 掌握内容：计算自信息、互信息、熵、联合熵、条件熵、平均互信息、理解熵的性质、各类熵之间的关系。例如：自信息、互信息等分析方法应用生物芯片数据选择差异表达基因及技术系统混乱度；基于熵互信息理论的基因调控网络的研究；度量反映对于刺激的条件熵；重患者与轻患者在得病期间的血清中蛋白质谱的信息分析。 了解内容：自信息、互信息、熵、联合熵、条件熵、平均互信息的计算公式，理解意义并熟悉医学信息分析方法。 3.信源及信源熵 掌握内容：多符号离散信源、马尔可夫信源、信源的相关性和剩余度，应用相关性和剩余度进行疾病诊断与治疗，例如：分析血清中蛋白质种类的百分含量诊断患者病情发展情况及肌体复杂程度；基于互信息的差异共表达致病基因挖掘方法。 了解内容：单符号离散信源。 4.信道及信道容量 掌握内容：计算信道容量，单符号离散信道的编程及计算、独立并联信道、串联信道的计算及意义。例如：脑血栓患者，血液流量；计算遗传信息的储存量。 了解内容：多符号离散信道。 5.无失真信源编码 掌握内容：即时码判断及构造树图。例如：解释ＧＯ数据库的结构。唯一可译码及判别标准，应用Kraft 不等式和McMillan 不等式判断唯一可译码和即时码。编制霍夫曼编码、香农编码、费诺编码，遗传密码，ＬＺＷ编码并应用于模式识别，计算平均码长及信息传输率。 了解内容：定长码及定长编码码长原则。 6.随机过程预备知识 掌握内容：概率空间、随机变量及分布函数、随机变量的数字特征、特征函数与母函数、条件期望。 了解内容：随机过程的应用领域。 7.随机过程的概念及基本类型
《信息论》教学探讨 一、课程的地位 1998年教育部颁布的新的高等学校专业目录中，将信息与计算科学专业列为一个新的数学类专业。该专业是以信息处理和科学与工程计算为背景的，由信息科学、计算科学、运筹与控制科学等交叉渗透而形成的一个新的理科专业。信息科学是研究信息的产生、获取、度量、变换、传输、处理、识别及其应用的一门学科。信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。通过前面的介绍，《信息论》课程是信息与计算科学专业非常重要的专业课。因此，该课程建设的好坏，直接影响到学生对信息科学的掌握程度，并且对信息与计算科学这个专业的培养质量也有一定的影响。 二、课程教学现状 1.教材的问题。信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相结合而逐步发展起来的一门新兴交叉学科。目前，信息与计算科学专业的信息论教材主要有两个方面的问题：①由于它源于通信，一直以来，都是在通信专业开设的一门课程，所以，目前的教材里涉及的通信专业知识较多，学生又没学过，就理解不了。②信息论中所用的 1/ 6
数学知识比较多，特别是概率论与数理统计，随机过程。大部分教材所用的数学符号及其表示方法太抽象，对于一般院校的本科生，学起来比较难。 2.学生学习中存在的问题。通过几年来信息论课程的教学，学生在学习中存在的主要问题是：大部分学生认为该门课程难学和不重要。信息论与编码课程本身是高校中信息与通信工程学科一门重要的专业基础课，他们在开设这门课之前，要开设许多相关的课程，如信号与系统、数字电路基础、数字信号处理和通信原理等课程，所以，通信专业的学生在学习该门课程的过程中，应该比较好接受和理解。而信息与计算科学专业的学生，根本没有学习过上述这些相关课程，并且现在的大多数教材涉及的通信专业的知识又较多，所以，学生就理解不了，自然就没有学习的兴趣，感到很难学。此外，学生也感觉到这门课程显然没有以前学过的那些专业基础课重要，如数学分析、高等代数、概率论与数理统计、数值分析等课程。并且，考研也没有几个院校考信息论，所以，大部分学生都认为它不重要，不予以重视，也不会花很多精力学习该门课程。 三、教学改进 1.引导学生正确认识信息论。学生觉得通信工程专业开设信息论课程理所应当，我们信息与计算科学专业为什么也开设此门课程？我每次在上第一节课的时候，就首先讲解这个问题，让学 2/ 6
中国海洋大学本科生课程大纲 课程介绍 1 •课程描述： 信息论是运用概率论与数理统汁的方法研究信息、信息嫡、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。本课程的主要内容包括信源和信道两大部分。信源方面主要包括：信源的数学模型及分类、离散信源的自信息和信息爛、信息爛的基本性质、离散无记忆的扩展信源、离散平稳信源、马尔科夫信源、信源剩余度与自然语言的爛、意义信息和加权爛。信道方面主要包括：信道的数学模型及分类、平均互信息及平均条件互信息、平均互信息的特性、信道容量及其一般计算方法、离散无记忆扩展信道及其信道容量、独立并联信道及其信道容量、审联信道的互信息和数据处理定理、信源与信道的匹配。 2.设计思路： 当前信息产业发展很快，需要大量的从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，也是信息与计算科学专业的专业选修课。课程从各种信源开始, 重点是讲授其信息爛的计算方法；然后是各种信道，重点是讲授其信道容量的计算方法。信源是发出信息的，信息爛是衡量信息量的重要标准。信道是传输信息的，信道容量反映了信道所能传输的最大信息量。 3.其他课程的关系：
先修课程：《概率论》 二、课程目标 通过本课程的学习，学生能够掌握有关信息论的基本理论和实现原理，并能根据所学的内容进行一些初步的应用。到课程结束时，学生应该 （1）理解各种信源的信息爛、各种信道的容量，及其计算方法。 （2）能够将相关知识应用到具体的数据处理中。 三、学习要求 要完成所有的课程任务，学生必须： （1）按时上课，上课认真听讲，积极完成作业。本课程的出勤率和课堂表现是成绩考核的主要组成部分。 （2）按时完成作业，掌握课程所要求的内容。延期提交作业需要提前得到任课教师的许可。
《信息论与编码技术》课程教学大纲 一、课程基本信息 课程编号：B022303 课程名称：信息论与编码技术 英文名称：Information Theory and Coding 先修课程：高等数学、概率论与数理统计、信号与系统 适用专业：通信工程 课程类别：专业教育选修课程/拓展课程 课程总学时/学分：32/2 （其中理论32学时，实验0学时） 二、课程目标 通过本课程的学习，使学生具备下列能力： 1．理解信息、平均互信息的定义和性质、各种熵的定义及其之间的关系，掌握离散平稳信源条件熵和极限熵、信道容量、率失真函数的含义，掌握香农编码、费诺编码、哈夫曼编码等常见信源编码以及线性分组码、循环码、卷积码等常见信道编码的基本理论。 2．能够运用信息论的基本理论研究分析通信领域的工程问题，通过信源编码和信道编码实现通信的有效性和可靠性。 3．通过对信息论的学习，提升运用科学方法分析解决实际问题的能力、逻辑思维能力、数学推理能力以及数学表达能力，培养创新意识和反思精神。 四、教学内容、要求及重难点 第一章绪论（2学时） 教学要求： 1．了解信息论的产生、发展、应用，为以后学习打下基础。 2．掌握通信系统模型及模型中各部分的作用。
教学重点： 信息的概念和信息论研究的主要内容；通信系统模型。 教学难点： 信息、消息与信号的联系与区别。 第二章信源与信息熵（6学时） 教学要求： 1．掌握信源的分类。 2．熟练掌握离散信源自信息量、互信息量等的定义。 3．掌握离散无记忆信源、有记忆信源的序列熵。 4．了解连续信源熵和互信息；理解冗余度的概念。 教学重点： 平均互信息的定义和性质；各种熵的定义及其之间的关系；离散平稳信源条件熵和极限熵；马尔可夫信源的特点及其极限熵的求解。 教学难点： 各种熵之间的关系；最大连续熵定理和离散无失真信源编码定理。 第三章信道与信道容量（4学时） 教学要求： 1．掌握信道的分类、信道容量的定义。 2．掌握无干扰离散信道、对称DMC信道、准对称DMC信道容量计算方法。 3．掌握限时限频限功率的加性高斯白噪声信道容量的计算公式。 4．了解一般DMC信道、离散序列信道容量的计算方法；了解连续单符号加性信道、多维无记忆加性连续信道容量的计算。 5．理解信源与信道相匹配的含义。 教学重点： 信道分类及信道模型；无干扰离散无记忆信道；加性干扰无记忆信道。 教学难点： 离散序列信道及容量。 第四章信息率失真函数（4学时） 教学要求： 1．理解失真函数、平均失真的定义。 2．熟练掌握信息率失真函数R(D)的定义及性质。 3．理解信息率失真函数与信道容量的区别。 4．了解离散信源和连续信源的R(D)计算。 教学重点：
《信息论基础》课程教学大纲 课程名称：信息论基础课程类别：专业必修课 适用专业：电子信息工程考核方式：考试 总学时、学分：72学时4学分 其中讲授56学时，实验10学时，其它6学时 一、课程性质、教学目标 随着香农信息论为核心的信息理论从发展走向成熟，在信息理论的主导和推动下，信息计算技术、信息存储与处理技术以及信息安全可靠的传输技术等都取得了突破性的进展和卓越的成就。信息业的发展，需要大量从事信息、通信、电子工程类专业的人才，而《信息论基础》课程为电子信息工程学科的通信工程专业方向中的核心知识单元，也是该专业方向中的基础知识单元，同时也可作为信息科学其它相关学科的选修课，掌握它可以指导理论研究和工程应用。 该课程主要包括离散信源及其信息测度、离散信道及其信道容量、无失真信源编码定理、无失真信源编码、信道的纠错编码等基本内容。是学习《通信原理》专业核心课的必备基础，是《数字通信》、《无线通信》等专业方向课程的重要基础。其具体的课程教学目标为：课程教学目标1：了解信息论知识形成的过程，熟练掌握自信息、信息熵、离散无记忆扩展信源熵的基本计算方法，了解马尔科夫信源和信源剩余度的基本概念，理解信源编码在通信系统中的作用。 课程教学目标2：理解离散平均互信息、噪声熵、损失熵、信道容量的基本计算方法。探究各种熵概念形成的原因，学会发觉问题、分析问题、解决问题的方法。 课程教学目标3：理解无失真信源编码定理，能够对信源编码的各种码型进行判断，掌握即时码的判断条件以及构造方法。掌握在无
学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。 三、先修课程 线性代数、概率论。 四、课程教学重、难点 教学重点： 信息以及信息的测度、信道及信道容量、无失真信源编码方法、信道纠错编码。 教学难点： 香农三大编码定理和香农公式。 五、课程教学方法与教学手段 课堂讲学为主，课余主要知识点仿真实验和习题练习。 六、课程教学内容 第一章绪论（2学时） 1. 教学内容 （1）信息的概念及自信息的表示方式； （2）信息论研究的对象、目的和内容，信息论发展简史。 2. 重、难点提示 （1）重点是样本空间、概率测度、概率空间、自信息、互信息；（2）难点是香农信息定义的优缺点。 第二章离散信源及其信息测度（8学时） 1. 教学内容 （1）信源的数学模型，离散无记忆信源及其扩展信源； （2）自信息、信息熵、离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理；
《信息论》课程介绍 摘要： 一、课程背景 二、课程目标 三、课程内容 1.信息论基本概念 2.信息熵与信息量 3.信道容量与信源编码 4.信道编码与解码 5.信息论在实际应用中的发展 四、课程学习方法与要求 正文： 《信息论》课程是一门理论性较强的课程，主要研究信息传输、信息处理、信号检测等领域的基本理论。通过本课程的学习，学生将掌握信息论的基本概念、基本原理和计算方法，了解信息论在实际应用中的发展，提高解决实际问题的能力。 一、课程背景 信息论是20 世纪40 年代由香农（Claude Shannon）创立的，它是一门研究信息、通信、计算等领域的理论基础。信息论不仅关注信息的量度，还关注信息传输的效率和可靠性等问题。随着信息技术的迅速发展，信息论已成为现代通信技术、数据压缩、信号处理等领域的理论基石。
二、课程目标 通过本课程的学习，学生将能够： 1.理解信息论的基本概念、基本原理和计算方法； 2.掌握信息熵、信息量、信道容量等基本概念，并会进行计算； 3.了解信源编码、信道编码和解码的基本原理和方法； 4.熟悉信息论在实际应用中的发展，提高解决实际问题的能力。 三、课程内容 本课程主要包括以下内容： 1.信息论基本概念：包括信息、熵、信息量、信道容量等基本概念，以及它们之间的关系。 2.信息熵与信息量：详细介绍信息熵的定义、性质和计算方法，以及信息量的概念和计算方法。 3.信道容量与信源编码：介绍信道容量的定义、性质和计算方法，以及信源编码的基本原理和方法。 4.信道编码与解码：介绍信道编码的基本原理和方法，以及解码的原理和过程。 5.信息论在实际应用中的发展：介绍信息论在通信技术、数据压缩、信号处理等领域的应用和发展。 四、课程学习方法与要求 1.认真阅读教材，掌握课程的基本概念、基本原理和计算方法； 2.积极参与课堂讨论，提高解决实际问题的能力； 3.完成课后习题，巩固所学知识；
030732004《信息论基础》教学大纲 《信息论基础》课程教学大纲 课程代码：030732004 课程英文名称：Information Theory Fundation 课程总学时：32 讲课：32 实验：0 上机：0 适用专业：电子信息科学与技术 大纲编写（修订）时间：2011-5-10 一、大纲使用说明 （一）课程的地位及教学目标 本课程是电子信息科学与技术专业学生所应必备学习的基础理论课程，是一门专业选修基础课，也可作为高年级学生的先修课程。通过本课程的学习，学生应掌握信息论的基本概念及香农的编码定理等内容，使学生具备了学习有关通信、数字信号处理与传输等后续课程所必须的信息论与编码的基本知识。该课程现在已经成为信息学科的基础理论之一。并在各种工程应用中经实践检验卓有成效的应用技术，如编码技术、多媒体技术、通信技术的发展反过来又丰富了信息论与编码技术的理论内涵。这些理论对于从事相关领域进行研究和工程应用的科技人员具有很高的参考价值。 （二）知识、能力及技能方面的基本要求 本课程是信息类及通信专业本科高年级学生选修的一门比较重要的专业基础课。专业基础课。本课程采用概率论与随机过程等数学方法研究信息的统计度量、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解香农信息论的基本内容，掌握其中的基本公式和和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的技术奠定良好的理论基础。应掌握数字通信系统的基本原理和理论，掌握无失真信源编码的编码方法及信道编码的基本概念和编译码方法。是更好掌握其它专业课的必备基础。 （三）实施说明
《信息学基础》课程教学大纲 一教学大纲说明 （一）课程的性质、地位、作用和任务 信息论是利用概率论与随机过程的方法来研究信息的存储、传输、处理控制和利用的一门科学，是学习信息处理及其他通信相关课程的基础。本课程主要讲述信息论的基本原理、方法。为学习通信类其他课程提供支持。 （二）课程教学的目的和要求 通过本课程的学习，使学生全面了解通信方面的基础知识，了解通信模型，了解编码定理的理论及实践意义，了解一些常用的有效性编码及可靠性编码。 掌握：离散信源信息熵的概念、意义及其在通信模型中的应用；离散信源平均互信息、信道容量的概念、意义及计算方法；Shannon第一、第二定理。 理解：无失真信源编码定理、有噪信道编码定理、保真度准则下的信源编码。 了解：连续信源及信道、波形信源及信道、纠错码等。 （三）课程教学的方法与手段 本课程的教学采用讲授和习题结合的方法。课程的内容主要由老师授课，同时布置足够的习题，使得学生们能够对比较抽象的内容有一定程度上的理解。 （四）课程与其它课程的联系 信息学基础涉及到微积分、线性代数，概率与数理统计，有限域等方面的知识，因而先俢课程有：数学分析、高等代数、解析几何，概率与数理统计等。信号检测，数字信号处理和编码理论等为其后续课程。 （五）教材与教学参考书 教材：傅祖芸、赵建中，《信息论与编码》，北京，电子工业出版社，2006年4月 教学参考书：1、曹雪虹、张宇橙，《信息论与编码》，北京，清华大学出版社，2009年2月 2、姜丹，《信息论与编码》，合肥，中国科学技术大学出版社，2006年9月 二课程的教学内容、重点和难点 第一章绪论 阐述信息的概念、介绍信息论的研究对象、目的和内容、信息论的发展简史。 第二章离散信源及信息测度 本章讲述信源的数学模型及其分类、离散信源的信息熵、信息熵的基本性质、离散无记忆的扩展信源、离散平稳信源、信源的冗余度和自然语言的熵。 重点：信源的数学模型、信息熵的理解和应用。 难点：信息熵的理解和应用。 第三章离散信道及其信道容量 这一章讲述信道的数学模型及其分类、平均互信息及其性质、信道容量及其计算。 重点：平均互信息及其性质、信道容量及其计算方法。 难点：信道容量的计算。 第四章波形信源和波形信道 这一章讲述连续及波形信源的信息测度、连续及波形信道的信息传输率等内容。 重点：连续信源的差熵、连续信道的信息传输率。
《信息论基础》教学大纲 《信息论基础》教学大纲 课程编号：CE6006 课程名称：信息论基础英文名称：Foundation of Information Theory 学分/学时：2/32 课程性质：选修课 适用专业：信息安全，网络工程建议开设学期：6 先修课程：概率论与数理统计开课单位：网络与信息安全学院 一、课程的教学目标与任务 本课程是信息安全，网络工程专业选修的一门专业基础课。通过课程学习，使学生能够 较深刻地理解信息的表征、存储和传输的基本理论，初步掌握提高信息传输系统可靠性、有 效性、保密性和认证性的一般方法，为后续专业课学习打下坚实的理论基础。 本课程的教学目标： 本课程对学生达到如下毕业要求有贡献： 1.能够将数学、自然科学、工程基础和专业知识用于解决复杂工程问题。 2.能够应用数学、自然科学和工程科学的基本原理，识别、表达，并通过文献研究分 析复杂工程问题，以获得有效结论。 完成课程后，学生将具备以下能力： 1.能够针对一个复杂系统或者过程选择一种数学模型，并达到适当的精度。 2.能够应用数学、自然科学和工程科学的基本原理分析、识别、表达、处理及扩展信 息安全、网络工程专业的复杂问题。 本课程的性质：
本课程是一门理论性较强的专业基础课程，在实施过程中以理论为主，共32学时。 二、课程具体内容及基本要求 （一）绪论（2学时） 1.基本要求 （1）掌握消息、信息和信号；噪声和干扰的基本概念 （2）掌握通信系统模型 （3）明确Shannon信息论要解决的中心问题 2.重点与难点 （1）重点：掌握通信系统模型的构成及其相应功能 （2）难点：理解Shannon信息论要解决的中心问题 3.作业及课外学习要求 （1）阅读IEEE IT 1998年信息论50年专刊 （2）数字化革命进展-纪念shannon信息论诞生50周年 http://202.117.112.49/xxl2/dzjiaoan/95shannon50y.ppt （3）信息论与通信、密码、信息隐藏（一） http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（一）.ppt （4）信息论与通信、密码、信息隐藏（二）http://202.117.112.49/xxl2/dzjiaoan/信息论与通信、密码、信息隐藏（二）.ppt （5）清华大学朱雪龙“从通信与信号处理观点看信息论研究与应用中的若干问题” http://202.117.112.49/xxl2/dzjiaoan/sponit.mht （二）信息量和熵（8学时） 1.基本要求 （1）掌握离散随机变量的熵、平均互信息的基本概念及其性质 （2）掌握平均互信息的凸性 （3）理解信息处理定理 2.重点与难点 （1）重点：对信息量进行定量描述 （2）难点：熵和平均互信息的物理含义及其性质，如何应用熵和
《信息科学导论》课程教学大纲 一、课程基本信息 课程代码：12301 课程英文名称：《Introduction of Information Science》课程所属单位：数理系电子信息科学与技术教研室 课程面向专业：电子信息科学技术专业 课程类型：必修课先修课程：（高中数理基础） 学分：2学分总学时：40学时 二、课程性质与目的 信息科学导论是一门介绍信息科学与技术的基本内容的入门和导引性质的课程。该课程面向电子信息科学与技术专业以及其他相近专业的低年级学生，从整体的角度介绍当代信息科学与技术的主要内容和发展前沿的概貌。其目的是使学生在信息科学与技术方面能增加兴趣、扩展视野、立足前沿、展望未来，提高信息素养，为进入本专业的进一步学习奠定必要的基础 三、课程教学内容与要求 （一）第一章信息科学与技术概述 1、教学内容与要求 （1）理解信息的概念、性质与特点； （2）理解信息科学和信息技术的概念； （3）了解信息科学与技术发展的历史与现状； （4）了解信息科学与技术的发展趋势； （5）了解信息化的概念； （6）了解与信息化相关的基础学科。 2、教学重点 理解信息的概念、性质和特点，了解信息科学与技术的发展现状与发展趋势，了解与信息化相关的基础学科。 3、教学难点 信息的概念、性质与特点。 （二）第二章微电子技术 1、教学内容与要求 （1）了解微电子技术发展的历史； （2）理解微电子技术的物理基础； （3）了解集成电路； （4）了解微电子系统设计的基本知识； （5）了解微电子技术的发展趋势。。 2、教学重点 了解微电子技术的发展历史与发展趋势，理解微电子技术的物理基础，了解集成电路，了解微电子系统设计的基本知识。 3、教学难点 微电子技术的物理基础，集成电路，微电子系统设计的基本知识。 （三）第三章光信息科学与技术 1、教学内容与要求
信息论课程教学改革探索与研究 信息论是一门研究信息传输、信息处理、信息存储和信息安全等问题的学科领域，是 现代通信技术和计算机技术的重要基础理论。信息论的教学改革具有重要意义，可以提高 学生的学习兴趣，培养学生的创新能力和综合运用信息论知识的能力。本文基于信息论课 程的教学改革，探讨了信息论课程的教学模式、教学内容和教学方法的改革与探索。 信息论课程的教学模式是教学改革的关键。传统的信息论课程教学多采用传统的理论 教学模式，即老师主导、学生被动接受。这种教学模式的缺点是教师讲述内容枯燥，缺乏 互动性，学生学习兴趣不高，导致学生对信息论学科的理解和掌握程度低，教学效果不好。信息论课程的教学模式需要进行改革和探索。 针对信息论课程教学模式的改革与探索，可以借鉴“问题导向”、“案例教学”、 “合作学习”等教学模式，注重激发学生的学习兴趣和创造力，激发学生的求知欲和探究欲。可以引入“问题导向”教学模式，以问题为导向，引导学生主动探究和发现知识。可 以开展案例教学，以真实案例为基础，讲解信息论的相关理论知识，激发学生的学习兴趣 和求知欲。可以促进合作学习，组织学生开展团队合作学习活动，增强学生的团队协作和 创新能力。 信息论课程的教学内容是信息论教学改革的重点。传统的信息论课程教学内容主要包 括信息论的基本概念、信息论的编码理论、信道容量理论、信息论的应用等内容。这些内 容虽然是信息论的基础知识，但是在实际应用中需要进一步扩充和深化。 针对信息论课程教学内容的改革与探索，可以结合信息论的最新研究成果，更新教学 内容，注重信息论的实际应用和未来发展趋势。可以引入信息论的前沿研究成果，如量子 信息论、网络编码理论等，拓展信息论的教学内容，激发学生对信息论的兴趣和热情。可 以注重信息论的应用实践，引入信息论在通信、计算机、互联网等领域的应用案例，增强 学生对信息论的实际应用能力。可以关注信息论的未来发展趋势，介绍信息论在人工智能、大数据、物联网等领域的发展前景，引领学生走向未来。 信息论课程的教学方法是信息论教学改革的关键。传统的信息论课程教学方法主要是 以讲授为主，缺乏互动性和启发性，学生的主体地位不够突出。信息论课程的教学方法需 要进行改革和探索。 针对信息论课程教学方法的改革与探索，可以采用多种教学方法，增强信息论课程的 互动性和启发性。可以采用案例教学法，引入真实案例，让学生在实际问题中探讨和解决 信息论相关的问题，激发学生的学习兴趣和创造力。可以采用讨论式教学法，组织学生进 行小组讨论和展示，促进学生之间的交流和合作，增强学生的综合运用信息论知识的能力。可以采用问题解决式教学法，让学生通过解决实际问题，掌握信息论相关的理论知识和技 术方法，培养学生的实际动手能力和创新能力。
中国海洋大学信息论基础课程大纲（理论课程） 英文名称(Element of Information Theory) 【开课单位】信息科学与工程学院计算机科学系【课程模块】学科基础 【课程编号】【课程类别】必修 【学时数】51 【学分数】 3.5 一、课程描述 本课程大纲根据2011年本科人才培养方案进行修订或制定。 （一）教学对象 信息论基础是计算机科学与技术专业本科生的一门必修专业基础课程。 （二）教学目标及修读要求 1、教学目标（课程结束后学生在知识、技能和态度三个层面达到的目标） 信息论是一门研究信息的存储、传输和处理一般规律的科学。本课程系统地讲授香农(C.E. Shannon)信息论的基本内容及应用。通过本课程的学习，要求学生牢固掌握信息论的基本概念、数学原理并会灵活运用；牢固掌握各类离散信源的信息测度；牢固掌握离散信道的信息传输率及信道容量；牢固掌握离散信源无失真编码定理，离散有噪信道编码定理；牢固掌握离散信源的信息率失真理论。掌握连续信源和波形信源的概念及信息测度；掌握连续信道和波形信道的信息传输率及信道容量；了解连续信源的信息率失真理论。了解不确定归纳中的最大熵分类原理。对怎样利用信息论工具研究信息科学问题，进行信息技术开发有一定认识。 2、修读要求（简要说明课程的性质，与其他专业课程群的关系，学生应具备的基本专业素质和技能等） 信息论基础是计算机科学与技术专业本科学生必修的一门专业基础课程，本课程系统地讲授香农(C.E. Shannon)信息论的基本内容及应用。该课程主要是培养学生对信息论、编解码基本技能和方法。其内容着重于基本概念、基本原理的学习，同时也体现最新的成果。该课程将为学生奠定坚实的信息论和编解码基础，本课程在计算机科学与技术专业的学位课程教学中占有重要地位。 本课程对学生的基本要求是：1) 需要具有一定的《概率论》和《随机过程》基础；2) 课前预习相应章节内容或者课后复习相应章节内容；课堂认真听讲并适当作笔记；3) 认真完成布置的每章习题，并在讲解时对照掌握；认真完成平时测验并检查自身掌握情况；4) 除教材外，阅读参考书和文献，更进一步理解课堂内容并拓宽知识面。 （三）先修课程（参照2011版人才培养方案中的课程名称，课程名称要准确） 先修课程为《概率论》。 二、教学内容 （一）第一章绪论 1、主要内容： 信息的概念，信息论研究的对象、目的和内容，信息论发展简史与现状。 2、教学要求：（按照掌握、理解、了解三个层次对学生学习提出要求） 通过本章学习，要求牢固掌握信息的概念，信息、消息、信号之间的异同；牢固掌握概率信息的概念；牢固掌握信息论的研究对象和目的；一般掌握信息论的研究内容；了解信息论的发展过程。 3、重点、难点： 本章重点是信息的概念；信息论学科的研究对象、目的和内容；信息论学科发展的历史、现
信息论课程教学大纲 Information Theory 一、课程教学目标 1、任务和地位：信息论是由Shannon奠基的一门数学学科，它产生于有效而可靠的通信问题中，并获得了广泛应用。编码技术是信息论的重要分支的基础。它在通信和计算机工程实践中得到了广泛的应用，成为通信系统设计中的一项通用技术。通过本课程的学习，使学生对信息理论有一个比较全面和系统的了解，掌握信息论的基本概念和信息论方法，为从事信息科学的研究和应用打下一个坚实的基础。课程以信号和信道的知识为基础，讲述信息论的基本概念，信源编码、信道编码和伪随机码的基本知识。 2、知识要求：通过一个学期的学习要达到如下要求: 1)掌握平均信息量—熵的概念，了解信息论的基本知识和信道容量的计算。 2)掌握信源编码的意义，了解提高信息传输“有效性”的方法，掌握平均码 长的计算和最佳信源编码的概念，通过仙农定理导出霍夫曼编码规则。 3)掌握信道编码的意义，了解提高信息传输“可靠性”的方法，掌握纠错编 码的基本概念，重点讲解线性分组码的检错能力，介绍卷积码基本概念。 4)掌握伪随机码的基本概念，m序列码的产生及应用。 先修课程：信号与系统、数字逻辑电路、微机原理与应用、通信原理。 3、能力要求：本课程重点是通过讲解信息论与编码技术使学生掌握提高信道传输的“有效性”和“可靠性”的基本理论。 二、教学内容的基本要求和学时分配 1.信息论与编码课程教学学时数分配表： 2．具体要求 第一章绪论 [目的要求]了解信息论的产生、发展、应用，为以后学习打下基础 [教学内容] 信息论研究的内容，信息的基本概念，通信系统模型及模型中各部分的作用，编码的种类 [重点难点] 讲清通信系统模型及模型中各部分的作用。 [教学方法] 书本与多媒体课件相结合
《信息论基础》课程教学大纲 《信息论基础》课程教学大纲 一、《信息论基础》课程说明 （一）课程代码：14131054 （二）课程英文名称：Information Theory （三）开课对象：信息管理与信息系统专业 （四）课程性质： 信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是研究信息的有效处理和可靠传输的一般规律的科学。本课程是信息管理与信息系统本科的专业课。它应用近代数理统计方法研究信息传输、存贮和处理，并在长期通信工程实践中不断发展。因而它是一门新兴科学，亦称为通信的数学理论。建立在通信理论的数学知识基础之上的信息论在数据压缩、调制解调器、广播、电视、卫星通信，计算机存储，因特网通讯，密码学等方面有着广泛的用途。要使学生领会信息论的基本思想，具备解决实际问题的能力。从而学习信息论基础，是将信息论渗透到并应用于更广泛的各种科学技术领域的必经之路，也有助于进一步发展和深化信息概念与信息理论。 先修课程为概率论与数理统计 （五）教学目的： 本课程是信息管理与信息系统本科生的专业课，采用概率论与随机过程等数学方法研究信息的测度、信道容量以及信源与信道编码等理论问题；主要目的是让学生了解Shannon信息论的基本内容，掌握其中的基本公式和基本运算，培养利用信息论的基本原理分析和解决实际问题的能力，为进一步学习通信和信息以及其他相关领域的高深技术奠定良好的理论基础。 （六）教学内容： 掌握熵与互信息的概念，性质与计算；掌握离散信源熵的计算；掌握离散信源编码定理与Huffman编码方法；掌握特殊离散无记忆信道与高斯信道容量的计算；掌握信道编码定理；理解R（d）函数与有
《信息论专题》课程教学大纲 一、课程基本信息 课程代码：16206802 课程名称：信息论专题 英文名称：Information Theory Seminar 课程类别：公共课 学时：32 学分：2 适用对象: 各学科门类各专业本科生 考核方式：考察 先修课程：微积分，概率论与数理统计 二、课程简介 课程主要讲授对信息现象的科学理解。基于自然界、技术和社会里信息过程的透彻分析，综合已有各学科研究方向，阐释信息论的发展如何为信息技术、信息科学、计算机科学、大数据、人工智能、心理学、语言学、社会科学和教育学等学科拓展创新空间。 三、课程性质与教学目的 通过介绍信息如何联系知识和数据，如何用数学结构对信息建模，以及这些模型如何用于更好地理解计算机和互联网、认知和教育、通信和计算，为信息研究已有方向提供一个统一的背景，解释信息、数据和知识之间的联系；介绍不同的数学模型与信息过程的关系。 四、教学内容及要求 第一章绪论 （一）目的与要求 1.了解信息论的发展背景和重要性。 2.掌握信息论的基本概念和特点，掌握信息论的特点，掌握信息论的组 成体系，掌握信息论的目标和主要科学研究方法。 3.了解信息论的诞生及发展历史、现状和趋势。 （二）教学内容 第一节信息的概念 1．主要内容：①信息的基本概念；②信息传输系统模型和性能指标； ③信息论的研究范畴。 2．基本概念和知识点：信息、消息、信号、概率信息。
3．问题与应用（能力要求）：掌握信息的产生与发展历史，掌握信息论的组成体系。 第二节信息论研究的对象、目的和内容 1．主要内容：①信息论研究的对象；②信息论的研究目的；③与实际通信系统相联系，理解信息论的研究内容。 2．基本概念和知识点：信息传输系统模型、信息度量基本概念的建立。 3．问题与应用（能力要求）：掌握信息论的组成体系。 第三节信息传输系统模型基本概念 1．主要内容：①信息传输系统模型的概念；②信息传输系统模型的基本结构；③与实际通信系统相联系，理解信息传输系统模型； ④介绍我国信息化发展历程以及当前面临的国际竞争环境；⑤党 和政府为建设小康社会，实现人民美好生活需求，在信息化建设 上做出的巨大努力。 2．基本概念和知识点：信息传输系统模型基本概念的建立、基本结构的了解。 3．问题与应用（能力要求）：掌握通信系统的模型的产生和演化过程。（三）思考与实践 1．信息理论包含哪些基本问题？ 2．阐述信息理论的产生背景和发展历史。 3．通信系统包含哪些基本模型？ （四）教学方法与手段 本章内容主要采用课堂讲授为主，多媒体教学、课堂提问、课堂练习、讨论等方法为辅的教学方法，启发、鼓励学生的独立自考能力，通过 案例分析、习题讲解等加强学生的记忆和理解。 第二章信息的度量 （一）目的与要求 1.理解信息熵和平均互信息的物理意义； 2.了解信息不增性原理； 3.掌握最大熵定理； 4.通过给定信源的模型，能够计算其信息熵。 （二）教学内容 第一节信源模型 1．主要内容：①实际信源、信源模型的建立；②信源的分类方法。