信息论与编码/高等学校电子信息类专业系列教材 pdf epub mobi txt 电子书 下载 2025

简体网页||繁体网页

☆☆☆☆☆

冯桂，周林 著

图书标签:

• 信息论
• 编码学
• 通信原理
• 电子信息
• 高等教育
• 教材
• 理论基础
• 数字通信
• 信源编码
• 信道编码

出版社： 清华大学出版社

ISBN：9787302424277

版次：1

商品编码：11988790

包装：平装

丛书名： 高等学校电子信息类专业系列教材

开本：16开

出版时间：2016-07-01

用纸：胶版纸

页数：249

字数：410000

编辑推荐

　　（1）本书融汇了作者多年“信息论与编码”课程的授课经验，吸取了国内外诸多同类教材的优点，十分便于课堂教学。
　　（2）书中以通俗、生动的语言诠释基本概念与基本原理，精心安排知识内容，注重实用，同时符合前后课程衔接的需要。
　　（3）注重工科特点，侧重理论联系实践，使学生明确学习目的；引入新的技术应用实例，提高学习的兴趣。

内容简介

　　本书系统地介绍了两部分内容：香农信息论的三个基本概念(信源熵、信道容量和信息率失真)，以及对应这三个概念的香农三大编码定理；信源编码和信道编码的基本原理与经典方法，同时对接近香农极限的Turbo码和LDPC码也作了介绍。为了便于教学和加深读者对概念的理解及自检，本书每章后面都附有思考题与习题。本书尽量用通俗、生动的语言描述信息理论与信源、信道编码的基本概念，并通过例题和图表来说明基本概念及原理，因而比较适合工科相关专业的教学和读者自学（已掌握工科高等数学和工程数学的读者都能读懂本书）。本书可作为高等院校通信工程、电子信息工程、信息工程及相关专业的本科生、研究生的教材或教学参考书，也可供从事相关专业的科研和工程技术人员参考。

作者简介

冯桂 教授、博士、硕士生导师，华侨大学信息科学与工程学院副院长。负责福建省高等学校精品课程“信息论与编码技术”、福建省 “通信工程”本科高校专业综合改革试点项目、福建省教育厅“电子信息工程专业课程体系整体优化的研究”项目、华侨大学“信号与信息处理核心课程”教学团队、华侨大学 “图像编码与传输技术” 多媒体课件建设项目、华侨大学 “信号与系统”精品视频课程建设。主讲 “信息论与编码”、“信号与系统”、“矩阵理论”、“图像分析”、“数字图像处理”等多门本科生、研究生课程。主要研究方向为信号与信息处理，通信系统信息安全，多媒体通信，基于特征的自适应文本、图像、视频数字水印技术理论与应用，基于虹膜与指纹等生物特征的安全系统理论研究与实现，等等。主持、参与国家自然科学基金、省自然科学基金和横向科研合作开发等科研项目10余项，在IEEE、SPIE等国际、国内学术刊物及国内外学术会议发表学术论文 50 余篇，其中SCI、EI与ISTP收录近30篇。

目录

第1章绪论
1.1基本概念
1.1.1信息的一般概念
1.1.2香农信息定义
1.1.3信息论与编码技术发展简史
1.2数字通信系统模型
1.3信息论与编码理论研究的主要内容和意义
1.3.1信息论研究的主要内容
1.3.2香农信息论对信道编码的指导意义
1.3.3香农信息论对信源编码的指导意义
思考题与习题
第2章信源及其熵
2.1信源的数学模型和分类
2.1.1信源的数学模型
2.1.2信源的分类
2.2离散信源的信息熵及其性质
2.2.1自信息
2.2.2信源的信息熵
2.2.3熵的基本性质
2.3离散无记忆信源的扩展信源
2.4离散平稳信源
2.4.1平稳信源的概念
2.4.2二维平稳信源
2.4.3一般离散平稳信源
2.5连续信源的信息熵
2.5.1单符号连续信源的熵
2.5.2波形信源的熵
2.5.3最大熵定理
2.6信源的冗余度
2.6.1信源效率
2.6.2信源冗余度
思考题与习题
第3章信道及其容量
3.1信道的数学模型与分类
3.1.1信道的分类
3.1.2信道的数学模型
3.1.3单符号离散信道
3.2信道疑义度与平均互信息
3.2.1信道疑义度
3.2.2平均互信息
3.2.3平均互信息的性质
3.3离散无记忆的扩展信道
3.4离散信道的信道容量
3.4.1信道容量的定义
3.4.2简单离散信道的信道容量
3.4.3对称离散信道的信道容量
3.4.4离散无记忆N次扩展信道的信道容量
3.5连续信道的信道容量
3.5.1连续单符号加性高斯噪声信道的信道容量
3.5.2多维无记忆加性连续信道的信道容量
3.5.3限频限时限功率的加性高斯白噪声信道的信道容量
3.6信源与信道的匹配
3.7信道编码定理(香农第二定理)
思考题与习题
第4章信道编码
4.1信道编码的概念
4.1.1信道编码的分类
4.1.2与纠错编码有关的基本概念
4.1.3检错与纠错原理
4.1.4检错与纠错方式和能力
4.2线性分组码
4.2.1线性分组码的基本概念
4.2.2生成矩阵和一致校验矩阵
4.2.3线性分组码的译码
4.2.4线性分组码的纠错能力
4.2.5汉明码
4.3循环码
4.3.1循环码的多项式描述
4.3.2循环码的生成矩阵
4.3.3系统循环码
4.3.4多项式运算电路
4.3.5循环码的编码电路
4.3.6循环码的译码电路
4.4常用的循环码
4.4.1循环冗余校验码
4.4.2BCH码*
4.4.3RS码*
4.5卷积码
4.5.1卷积码的编码
4.5.2卷积码的译码
思考题与习题
第5章信源编码
5.1信源编码器和无失真信源编码定理
5.1.1码的分类
5.1.2码树
5.1.3Kraft不等式
5.1.4无失真信源编码定理(香农第一定理)
5.2变长编码
5.2.1香农码
5.2.2费诺码
5.2.3霍夫曼码
5.3实用信源编码方法
5.3.1游程编码
5.3.2算术编码
5.3.3预测编码
5.3.4变换编码
思考题与习题
第6章信息率失真函数
6.1失真测度
6.1.1系统模型
6.1.2失真度和平均失真度
6.2信息率失真函数及其性质
6.2.1信息率失真函数的定义
6.2.2信息率失真函数的性质
6.3等概率、对称失真信源的信息速率失真函数
6.4保真度准则下的信源编码定理
6.5限失真信源编码（香农第三定理）
思考题与习题
第7章现代信道编码技术
7.1Turbo码
7.1.1Turbo码的提出
7.1.2Turbo码编码器
7.1.3Turbo码译码器
7.2LDPC码
7.2.1LDPC码的提出
7.2.2LDPC码基本概念
7.2.3规则LDPC码
7.2.4非规则LDPC码
7.2.5准循环LDPC码
7.2.6重复累积LDPC码
7.2.7LDPC码译码算法
思考题与习题
第8章MATLAB在信息论与编码分析中的应用
8.1MATLAB基础
8.1.1MATLAB语言特点
8.1.2MATLAB运行环境简介
8.1.3MATLAB基础
8.2MATLAB在信息理论分析中的应用
8.2.1离散信源的MATLAB分析
8.2.2离散信道的MATLAB分析
8.2.3应用MATLAB进行信息理论分析的实例
8.3MATLAB在编码技术分析中的应用
8.3.1信源编码技术的MATLAB分析
8.3.2信道编码技术的MATLAB仿真
8.3.3应用MATLAB进行编码技术分析的实例
思考题与习题
参考文献

前言/序言

1948年，香农（C.E.Shannon）发表的开创性的文章《通信的数学理论》为信息论和编码技术奠定了坚实的理论基础。信息论是信息科学中最成熟、最完整、最系统的一部分，它以活跃、新颖的思路和高效解决问题的方法显示出独特的魅力，在此基础上发展起来的数据通信和计算机技术，反过来又为信息编码技术的发展和应用创造了有利的环境。随着社会信息化的不断深入，信息论和编码技术已经渗透许多应用领域，展示出勃勃生机和巨大的发展前景。

信息论不仅在方法论的层面上解决通信的有效性和可靠性问题，而且在认识论的层面上帮助人们认识事物的本质。学完信息论之后，再重新审视周围的事物时，会产生许多新的看法和认识。用信息论的方法可以宏观地认识某些政治问题，也可以定量地解决某些经济问题，还可以分析、解释学习中存在的问题。总之，信息论是高层次信息技术人才所需掌握的、必不可少的基础知识，因而目前各高等院校的电子信息类专业的本科生、研究生都把信息论和编码技术作为一门重要的专业基础理论课。

由于信息论牵涉众多学科，需要广泛的数学基础，许多读者虽然认识到信息论和编码技术的重要性，但在繁杂的公式面前往往望而却步。针对这种情况，作者根据多年的教学经验，在编写过程中强调基本原理的理解，选材时充分考虑其实用性，把信息论涉及的数学知识限制在工科高等数学和工程数学的范畴内，尽量以通俗形象的语言描述定义、性质和结论的物理概念，叙述中重概念描述、少理论推导，在每章结尾还附有相应的思考题与习题以加深认识。因此，本书适于作为通信、信息工程类专业本科生、研究生的教材，也可作为其他专业学生及有关科技人员的参考书。

本书主要内容包括经典信息论的基本内容和主要结论、信息压缩编码的基本原理、提高通信可靠性的纠错编码理论和方法。全书共分8章，遵照由浅入深、循序渐进的教学规律，系统地组织教学内容。第1章绪论，介绍信息论与编码的基本概念、数字通信系统模型，以及信息论、信道编码和信源编码理论的主要发展历程和意义； 第2章信源及其熵，介绍信源的数学模型和分类、离散信源的信息熵及其性质、连续信源的信息熵、信源的冗余度等； 第3章信道及其容量，介绍信道的数学模型与分类、信道疑义度与平均互信息、离散信道的信道容量、连续信道的信道容量、信源与信道的匹配以及信道编码定理等； 第4章信道编码，介绍信道编码的基本概念和经典信道编码理论，主要包括线性分组码、循环码和卷积码的概念及编码、译码算法等； 第5章信源编码，介绍信源编码器及相关概念、无失真信源编码定理、变长编码和实用信源编码方法等； 第6章信息速率失真函数，介绍失真测度、信息率失真函数、等概率与对称失真信源的信息率失真计算和保真度准则下的信源编码定理等； 第7章现代信道编码技术，介绍近年来信道编码领域最重要的两种新技术——Turbo码和LDPC码，分别介绍二者的概念、基本原理和编、译码算法等； 第8章MATLAB在信息论与编码分析中的应用，介绍MATLAB的使用基础、应用MATLAB分析离散信源和离散信道、信源和信道编码技术的MATLAB分析和仿真。本书第1、2、3、5章由冯桂编写，第4、6、7章由周林编写，第8章由冯桂、周林共同编写，全书由冯桂统稿。

本书获华侨大学教材建设基金资助。在编写过程获得了华侨大学通信工程系老师和研究生的支持与协助，在此表示感谢。

限于编者的水平，又加上时间比较仓促，书中难免有欠妥之处，殷切希望读者指正，将不胜感激。本书责编的E�瞞ail： shengdl@tup.tsinghua.edu.cn。

编者2016年4月

信息论基础与现代编码技术 内容简介 本书旨在为信息科学、通信工程、计算机科学以及相关领域的学生和研究人员提供一个坚实的信息论与编码理论基础。本书以清晰的逻辑脉络，由浅入深地介绍了信息论的核心概念，并在此基础上深入探讨了现代编码技术的原理、设计与应用。内容涵盖了从信息度量的基本原理到先进的纠错编码方法，力求使读者能够全面理解信息传输、存储和处理过程中的基本规律和技术挑战，并掌握解决实际问题的分析工具和方法。 第一部分：信息论基础 第一章：信息的度量与熵 本章首先引入“信息”这一核心概念，并从直观上解释信息量与事件不确定性之间的关系。我们将探讨如何量化信息，引入信息量的定义，即一个事件发生所带来的信息量与其发生概率的负对数成正比。这一概念的提出，标志着信息量可以被客观地度量。 接着，本书将详细介绍“熵”的概念，并将其定义为信源不确定性的平均度量。我们将推导离散信源的熵公式，并分析熵的性质，如非负性、最大值等。通过算例，读者可以理解不同概率分布下的熵值差异，以及熵如何反映信源的信息容量。 此外，本章还将讨论联合熵、条件熵以及互信息的概念。联合熵衡量两个随机变量联合不确定性，条件熵则表示在已知一个随机变量的情况下，另一个随机变量的不确定性。互信息是衡量两个随机变量之间相互依赖程度的指标，它揭示了两个变量之间共享的信息量。我们将通过数学推导和实例分析，阐述这些概念之间的关系，例如链式法则、链式法则在熵计算中的应用等。 第二章：信道与信道容量 本章将聚焦于信息传输的物理载体——信道。我们将介绍不同类型的信道模型，包括离散无记忆信道（DMC）、连续信道等，并着重分析其特性。重点将放在离散无记忆信道，这是许多通信系统的简化模型。 本章的核心内容是“信道容量”的概念。我们将定义信道容量为在给定信道条件下，信息传输的最大速率，并且能够保证任意低的错误概率。我们将推导离散无记忆信道的信道容量公式，并深入分析高斯白噪声信道（AWGN信道）的信道容量。读者将理解信道容量与信道噪声水平、信道带宽之间的关系。 通过对离散输入下的AWGN信道容量的分析，我们将引入香农-哈特利定理，该定理是信息论的基石之一，它为信息传输设定了理论上的极限。本章还将讨论多输入多输出（MIMO）信道容量的初步概念，为后续更复杂的系统模型打下基础。 第三章：信源编码 本章将深入探讨信源编码，其主要目标是将信源产生的符号序列转化为更紧凑的二进制码字，以实现信息的无损或有损压缩。 对于无损信源编码，我们将详细介绍香农的信源编码定理，该定理表明信源的平均码长不能小于其熵。在此基础上，我们将重点介绍两种经典的无损编码算法： 霍夫曼编码（Huffman Coding）： 详细阐述霍夫曼编码的构建过程，包括频率统计、二叉树构建、码字分配等步骤。我们将通过具体的例子演示如何构建最优前缀码，并分析其编码效率。 算术编码（Arithmetic Coding）： 介绍算术编码的基本原理，它通过将整个消息映射到一个区间内的浮点数来实现极高的压缩效率。我们将分析其编码过程，并探讨其相对于霍夫曼编码的优势和劣势。 对于有损信源编码，我们将介绍其基本思想，即通过牺牲部分信息来换取更高的压缩率。我们将探讨量化（Quantization）作为有损编码的核心技术，包括标量量化和矢量量化。本章将介绍率失真理论（Rate-Distortion Theory）的基本概念，它描述了在特定失真允许范围内，所需传输信息速率的理论下界。 第二部分：现代编码技术 第四章：信道编码基础 本章开始介绍信道编码，其目的是在信息传输过程中引入冗余，以检测和纠正信道传输过程中引入的错误。 我们将引入纠错码的基本概念，包括码字（Codeword）、码率（Code Rate）、汉明距离（Hamming Distance）等。汉明距离是衡量两个码字之间差异的重要指标，它直接关系到纠错码的纠错能力。 本章将重点介绍几种基本的线性分组码： 线性分组码（Linear Block Codes）： 介绍线性分组码的代数结构，包括生成矩阵（Generator Matrix）和校验矩阵（Parity-Check Matrix）。我们将阐述它们在编码和译码过程中的作用。 汉明码（Hamming Codes）： 详细介绍汉明码的构造原理和纠错能力。我们将推导汉明码的校验矩阵和生成矩阵，并通过实例演示其编码和译码过程。汉明码是一种能够纠正单个错误的高效线性分组码。 循环码（Cyclic Codes）： 介绍循环码的特性，以及其在硬件实现上的优势。我们将探讨多项式表示法在循环码分析中的应用，并介绍 BCH码（Bose-Chaudhuri-Hocquenghem codes）和里德-所罗门码（Reed-Solomon Codes）作为重要的循环码族，它们在实际应用中具有广泛的用途。 第五章：卷积码 本章将转向另一种重要的纠错编码形式——卷积码。与分组码将数据分成独立的块进行编码不同，卷积码对连续的数据流进行编码，其编码输出依赖于当前输入以及之前若干个输入。 我们将介绍卷积码的生成过程，包括约束长度（Constraint Length）、码率（Rate）、生成多项式（Generator Polynomials）等关键参数。我们将通过卷积码的状态图、编码树和编码网格来直观地展示其编码过程。 在本章的重点内容中，我们将深入探讨卷积码的译码算法，主要包括： 维特比算法（Viterbi Algorithm）： 详细介绍维特比算法，这是目前最为广泛应用的卷积码最大似然译码算法。我们将阐述其动态规划的思想，并通过图示和算例解释其工作流程，包括状态转移、路径度量更新等。 序贯译码（Sequential Decoding）： 简要介绍序贯译码的基本思想，如福尼-希勒（Fano）算法和博斯-加林（Bahl-Cocke-Jelinek-Savoy）算法，并分析其在计算复杂度与译码性能之间的权衡。 第六章：现代先进编码技术 本章将介绍当前通信系统中广泛应用且性能优越的先进编码技术，这些技术在克服信道噪声、提高传输效率方面取得了革命性的进展。 Turbo码： 详细介绍Turbo码的设计思想，它采用迭代译码的结构，通过两个并行的卷积码和穿插的交织器（Interleaver）实现近乎香农极限的性能。我们将深入分析Turbo码的编解码原理，特别是其迭代译码的流程和信息交换机制。 LDPC码（Low-Density Parity-Check Codes）： 介绍LDPC码的结构和稀疏校验矩阵的优势。我们将阐述LDPC码的定义，以及其在实际应用中采用的译码算法，如消息传递算法（Message-Passing Algorithm）或信念传播算法（Belief Propagation）。LDPC码在现代高速通信标准中得到了广泛应用。 极化码（Polar Codes）： 作为新一代的先进编码技术，极化码在理论上实现了香农容量的渐进逼近。本章将介绍极化码的构造原理，包括极化过程和信道极化现象。我们将探讨其在实际应用中的潜力和挑战。 第七章：编码的应用与发展 本章将从实际应用的角度出发，展示信息论与编码技术在各个领域的广泛应用，并展望未来的发展趋势。 我们将讨论编码技术在各种通信系统中的关键作用，包括： 移动通信（如4G、5G）： 分析Turbo码、LDPC码在蜂窝网络中的应用，以及它们如何提升数据传输速率和可靠性。 卫星通信： 探讨编码技术如何应对恶劣的信道条件，确保远距离通信的稳定性。 存储系统（如硬盘、固态硬盘）： 解释纠错码在数据存储中的重要性，防止数据因物理损坏或介质老化而丢失。 数字电视广播： 说明编码技术如何实现高效的信号传输，保证高清画质和稳定的接收。 数据压缩： 回顾信息论在数据压缩领域（如JPEG、MPEG）中的贡献。 此外，本章还将探讨编码理论的前沿研究方向，例如： 网络编码（Network Coding）： 介绍网络编码的基本思想，它如何通过在网络节点进行信息编码来提高网络吞吐量和鲁棒性。 量子信息与量子纠错码： 展望量子计算和量子通信的发展，以及量子纠错码在保护量子信息方面的作用。 人工智能与编码： 探讨深度学习在编码器和译码器设计中的应用，以及AI驱动的编码技术的发展前景。 本书的最终目标是使读者能够建立起扎实的信息论基础，理解现代编码技术的原理和性能，并具备分析和应用这些技术解决实际问题的能力。通过学习本书，读者将能够更好地理解信息时代的通信原理和技术挑战，并为未来的进一步学习和研究打下坚实的基础。

评分☆☆☆☆☆

这本书我断断续续读了好几个月，终于算是把核心章节啃了下来。老实说，一开始就被它的厚度吓到了，密密麻麻的公式和符号，感觉像是打开了一个全新的宇宙。但随着一点点深入，我开始体会到信息论的魅力。它就像一把钥匙，打开了理解通信、数据压缩、甚至机器学习底层原理的大门。我特别喜欢其中关于信源编码和信道编码的部分，那些证明过程虽然烧脑，但一旦理解了，就会豁然开朗，感觉自己掌握了信息传递的本质规律。书中大量的例子和习题也帮了我不少，让我能把理论知识和实际应用联系起来。虽然有些地方我还是觉得比较抽象，需要反复琢磨，但总体而言，这本书给我带来了巨大的启发，让我对信息这个概念有了更深刻的认识。尤其是它对信息熵、互信息等概念的讲解，清晰而严谨，为我后续学习更高级的课题打下了坚实的基础。对于任何想深入了解信息本质的读者，这本书绝对是值得花时间去探索的。

评分☆☆☆☆☆

这本书，我只能说，它是一次挑战，也是一次洗礼。我带着对信息科学的好奇心开始阅读，但很快就被书中严谨的数学推导和概念的抽象性压倒了。一开始，我甚至怀疑自己是否选对了教材，因为很多内容都超出了我原有的知识范畴。特别是关于纠错码的部分，那些代数结构和数学变换，简直就像在学习一门全新的语言。然而，当我咬牙坚持，反复阅读，并在老师的帮助下一点点攻克难关时，我开始感受到一种前所未有的智力上的满足感。这本书并没有给我“aha！”的瞬间，更多的是一种渐进式的理解，仿佛在爬一座陡峭的山，每一步都很艰难，但每爬一步，视野就开阔一分。它教会我如何用数学的眼光去审视信息，去量化它的不确定性，去寻找最有效率的传输方式。虽然我还有很多地方没能完全消化，但我相信，这本书已经在我的思维模式中播下了种子，待日后慢慢发芽。

评分☆☆☆☆☆

坦白讲，这本书比我想象的要深奥得多。我本来以为这是一本介绍信息技术方方面面的科普读物，结果发现它更侧重于信息背后的数学原理。书中的理论推导非常详尽，涉及概率论、数理统计、线性代数等多个数学分支。对于我这种数学基础相对薄弱的读者来说，阅读过程无疑是一场“硬仗”。许多章节的公式和定理，我需要查阅大量的参考资料才能勉强理解。不过，也正是这种深入骨髓的讲解，让我对信息传输的底层逻辑有了更清晰的认识。例如，书中对香农信息论的介绍，详细阐述了信息量的定义、信息熵的计算方法，以及它们在通信系统中的重要作用。虽然理解起来颇费力，但每当领悟到一个新概念，都有一种“拨云见日”的感觉。我建议，如果想阅读这本书，最好具备一定的数学基础，并且要有耐心和毅力，一步一个脚印地去学习。

评分☆☆☆☆☆

拿到这本书的时候，我怀着激动的心情，期待能从中学习到信息论与编码的精髓。然而，初读之下，我发现这并非一本能够轻松“速成”的书籍。它更像是一门需要潜心钻研的学科，要求读者具备扎实的数学基础和严谨的逻辑思维。书中对于信息熵、互信息、信源编码、信道编码等核心概念的阐述，都充满了精密的数学推导和理论证明。我花了相当长的时间来理解每一个公式的含义，以及它们是如何一步步推导出来的。例如，关于信道容量的定义和计算，就涉及了大量的概率论和极限概念。虽然过程充满挑战，但每一次成功理解一个难点，都会带来巨大的成就感。这本书让我认识到，信息论与编码不仅仅是关于通信技术，更是关于信息本身的数学语言和物理规律。对于任何想要深入了解信息科学的读者，这本书无疑是一座宝贵的知识殿堂。

评分☆☆☆☆☆

这本书给我最大的感受是，它真正地揭示了“信息”这个概念的本质。在过去，我只是模糊地认为信息就是我们获取到的各种数据和知识。但通过阅读这本书，我才意识到，信息是可以被量化的，是可以被编码和解码的，甚至是可以被“污染”和“修复”的。书中的很多章节，比如熵的计算、信源编码的原理、信道容量的推导，都让我对信息有了全新的认识。我尤其欣赏书中关于信道编码的讲解，它巧妙地利用冗余信息来检测和纠正错误，这在实际的通信工程中起着至关重要的作用。虽然书中的数学公式很多，但作者通过丰富的例子和清晰的逻辑，将这些抽象的概念变得易于理解。我感觉自己像是进入了一个信息的世界，看到了信息流动的规律，也理解了信息传递的极限。这本书不仅是知识的灌输，更是一种思维方式的启迪。