內容簡介
本係列教材擬分為三期,覆蓋通信工程專業的專業基礎課程和專業核心課程。教材內容覆蓋和知識點的取捨本著全麵係統、科學閤理、注重基礎、注重實用、知識寬泛、關注發展的原則,比較完整地構建通信工程專業的課程教材體係。第1期包括以下教材:
《信號與係統》、《信息論與編碼》、《網絡測量》、《現代通信網》、《通信工程導論》、《通信網絡安全》、《北鬥衛星通信》、《射頻通信係統》、《數字圖像處理》、《嵌入式通信係統》、《通信原理》、《通信工程應用數學》、《電磁場與電磁波》、《現代通信網絡管理》、《微機原理與接口技術》、《微機原理與接口技術實驗指導》。
本套教材如有不足之處,請各位專傢、老師和廣大讀者不吝指正。希望通過本套教材的不斷完善和齣版,為我國計算機教育事業的發展和人纔培養做齣更大貢獻。
內頁插圖
目錄
Chapter 1 Introduction
Before it starts, there is something must be known
1.1 What is Information
1.2 What is Information Theory
1.2.1 The Origin and Development of lnformation Theory
1.2.2 The Application and Achievement of Information Theory Methods
1.3 Forma/ion and Development of lnformation Theory
Questions and Exercises
Biography of Claude Elwood Shannon
Chapter 2Basic Concepts of Information Theory Preparation knowledge
2.1 Self-information and conditional self-information
2.1.1 Self-information
2.1.2 ConditionalSelf-information
2.2 Mutualinformation and conditionalmutualinformation
2.3 Source entropy
2:3.1 Introduction of entropy
2.3.2 Mathematics description of source entropy
2.3.3 Conditional entropy
2.3.4 Union entropy
2.3.5 Basic nature and theorem of source entropy
2.4 Averagemutualinformation
2.4. 1Definition
2.4.2 Physics sigriificance of average mutual information
2.4.3 Properties of average mutual Information
2.5 Continuous source
2.5.1 Entropy of the continuous source
2.5.2 Mutualinformation of the continuous random variable
2.6 Multi-marks discrete steady source
2.6.1 Mathematical model and classification of the source
2.6.2 The discrete source without memo
2.6.3 Multi-marks discrete steady source
2.6.4 Source entropy of discrete steady source and linut entropy
2.6.5 The source redundancy and the information difference
2.6.6 Markov information source
Chapter 3 Lossless source coding
3.1 Lossless coder
3.2 Lossless source coding
3.2.1 Fixedlength coding theorem
3.2.2 Unfixedlength source coding
3.3 Lossless source coding theorems
3.3.1 Classification of code and main coding method
3.3.2 Kraft theorem
3.3.3 Lossless unfixed source coding theore
3.4 Pragmatic examples of lossless source coding
3.4.1 Huffmancoding
3.4.2 Shannon coding and Fano coding
3.5 The Lempel-ziv algorithm
3.6 Run length encoding and the PCX format
Chapter 4 Limited distortion source coding
4.1 The start point of limit distortion theory
4.2 Distortion measurement
4.2.1 Distortion function
4.2.2 Average distortion
4.3 Information rate distortion function
4.4 Properties of R(D)
4.4.1 Minimum of D and R(D)
4.4.2 DraxandR(Dmax)
4.4.3 The under convex feature of R(D)
4.4.4 The decreasing feature of R(D)
4.4.5 R(D)is a continuous function of D
4.5 Calculation of R(D)
4.5.1 Calculation of R(D)of binary symmetric source
4.5.2 Calculation of R(D)of Gauss source
4.6 Limited distortion source encoding theorem
……
Chapter 5 Channel Capacity and Channel Coding
Bibliography
前言/序言
在社會信息化的進程中,信息已成為社會發展的重要資源,現代通信技術作為信息社會的支柱之一,在社會發展、經濟建設方麵,起著重要的核心作用。信息的傳輸與交換的技術即通信技術得到瞭快速的發展,通信技術是信息科學技術發展迅速並極具活力的一個領域,尤其是數字移動通信、光縴通信、射頻通信、Internet網絡通信使人們在傳遞信息和獲得信息方麵達到瞭前所未有的便捷程度。通信技術在國民經濟各部門和國防工業以及日常生活中得到瞭廣泛的應用,通信産業正在蓬勃發展。隨著通信産業的快速發展和通信技術的廣泛應用,社會對通信人纔的需求在不斷增加。通信工程(也作電信工程,舊稱遠距離通信工程、弱電工程)是電子工程的一個重要分支,電子信息類子專業,同時也是其中一個基礎學科。該學科關注的是通信過程中的信息傳輸和信號處理的原理和應用。本專業學習通信技術、通信係統和通信網等方麵的知識,能在通信領域中從事研究、設計、製造、運營及在國民經濟各部門和國防工業中從事開發、應用通信技術與設備。
社會經濟發展不僅對通信工程專業人纔有十分強大的需求,同樣通信工程專業的建設與發展也對社會經濟發展産生重要影響。通信技術發展的國際化,將推動通信技術人纔培養的國際化。目前,世界上有3項關於工程教育學曆互認的國際性協議,簽署時間最早、締約方最多的是《華盛頓協議》,也是世界範圍知名度最高的工程教育國際認證協議。2013年6月19日,在韓國首爾召開的國際工程聯盟大會上,《華盛頓協議》全會一緻通過接納中國為該協議簽約成員,中國成為該協議組織第21個成員。標誌著中國的工程教育與國際接軌。通信工程專業積極采用國際化的標準,吸收先進的理念和質量保障文化,對通信工程教育改革發展、專業建設,進一步提高通信工程教育的國際化水平,持續提升通信工程教育人纔培養質量具有重要意義。
為此,中南大學信息科學與工程學院啓動瞭通信工程專業的教學改革和課程建設,以及2016版通信工程專業培養方案。與中國鐵道齣版社在近期聯閤組織瞭一係列通信工程專業的教材研討活動。他們以嚴謹負責的態度,認真組織教學一綫的教師、專傢、學者和編輯,共同研討通信工程專業的教育方法和課程體係,並在總結長期的通信工程專業教學工作的基礎上,啓動瞭“高等院校通信工程專業係列教材”的編寫工作,成立瞭高等院校通信工程專業係列教材編委會,由中南大學信息科學與工程學院主管教學的副院長施榮華教授、中南大學信息科學與工程學院電子與通信工程係李宏教授擔任主任,邀請國傢教學名師、國防科技大學鄒逢興教授擔任主審。力圖編寫一套通信工程專業的知識結構簡明完整的、符閤工程認證教育的教材,相信可以對全國的高等院校通信工程專業的建設起到很好的促進作用。
本係列教材擬分為三期,覆蓋通信工程專業的專業基礎課程和專業核心課程。教材內容覆蓋和知識點的取捨本著全麵係統、科學閤理、注重基礎、注重實用、知識寬泛、關注發展的原則,比較完整地構建通信工程專業的課程教材體係。第一期包括以下教材:
《信號與係統》、《信息論與編碼》、《網絡測量》、《現代通信網》、《通信工程導論》、《通信網絡安全》、《北鬥衛星通信》、《射頻通信係統》、《數字圖像處理》、《嵌入式通信係統》、《通信原理》、《通信工程應用數學》、《電磁場與電磁波》、《現代通信網絡管理》、《微機原理與接口技術》、《微機原理與接口技術實驗指導》。
本套教材如有不足之處,請各位專傢、老師和廣大讀者不吝指正。希望通過本套教材的不斷完善和齣版,為我國計算機教育事業的發展和人纔培養做齣更大貢獻。
信息論與編碼(英文版) 高等學校通信工程專業“十二五”規劃教材 引言 在飛速發展的現代通信技術浪潮中,信息傳輸的效率、可靠性以及安全性已成為衡量一個通信係統優劣的關鍵指標。從無綫通信到衛星通信,從數據存儲到網絡傳輸,幾乎所有的信息處理和傳遞環節,都離不開深厚的信息論與編碼學理論的支撐。本書《信息論與編碼(英文版)》正是這樣一部旨在係統介紹信息論基本原理及其在現代通信工程中關鍵編碼技術應用的權威教材。作為高等學校通信工程專業“十二五”規劃教材,它不僅承載著為國傢培養高素質通信人纔的使命,更緻力於為讀者構建堅實的理論基礎和廣闊的實踐視野。 本書的編寫,緊密圍繞著通信工程專業的核心能力培養需求,將抽象的理論與具體的應用有機結閤。在信息論部分,我們深入探討瞭信息度量、信源編碼、信道容量等核心概念,為理解信息傳輸的本質奠定瞭基礎。在編碼部分,則詳細闡述瞭糾錯編碼、信源編碼、差錯控製編碼等關鍵技術,這些技術是實現高效、可靠通信的基石。本書力求在嚴謹的數學推導與生動的工程實例之間取得平衡,幫助讀者不僅理解“是什麼”,更能理解“為什麼”以及“如何應用”。 本書的結構設計,充分考慮瞭通信工程專業學生的學習路徑和認知規律。從最基本的信息度量單位——比特,到復雜的編碼解碼算法,層層遞進,邏輯清晰。初學者可以循序漸進地掌握基本概念,而有一定基礎的讀者,則可以深入探索更高級的主題。我們不僅關注理論的深度,更強調其實用性,通過大量的例題和習題,幫助讀者鞏固所學知識,並初步具備分析和解決實際通信工程問題的能力。 《信息論與編碼(英文版)》的齣版,對於提升我國通信工程教育的整體水平,促進學術研究和技術創新,具有重要的意義。它將成為廣大通信工程專業師生案頭的得力助手,也是相關領域研究人員的重要參考。 第一部分:信息論基礎 信息論,作為一門研究信息傳輸、處理和存儲的數學理論,為我們理解和量化信息提供瞭強大的工具。在本部分,我們將從最根本的“信息”概念齣發,逐步深入到其數學描述、傳輸特性以及容量極限。 第一章:信息度量與熵 任何通信係統的起點都是信息的産生和度量。本章將引入“信息量”這一核心概念,並闡述其與事件發生概率之間的關係。我們學習如何用比特(bit)來量化信息,並理解一個事件的發生所帶來的不確定性減少程度。 概率與信息量: 學習對數函數在信息量計算中的作用,理解高概率事件信息量低,低概率事件信息量高的直觀含義。 熵(Entropy): 深入探討信源的熵,這是衡量信源平均信息量的重要指標。我們將分析離散信源的熵定義,理解熵的非負性、對稱性以及最大值條件。 聯閤熵與條件熵: 擴展到多個隨機變量的情況,學習聯閤熵和條件熵的概念。這有助於我們分析多個信源之間的信息關係,以及在已知部分信息的情況下,另一部分信息的剩餘不確定性。 信息率(Information Rate): 結閤信源的速率,我們引入信息率的概念,它是單位時間內信源輸齣的平均信息量。這直接關係到信息傳輸的效率。 互信息(Mutual Information): 互信息是衡量兩個隨機變量之間相互依賴程度的關鍵指標。它能夠量化在一個隨機變量已知的情況下,另一個隨機變量不確定性的減少程度。我們將學習互信息的性質及其在信道分析中的重要性。 第二章:信道模型與信道容量 信息從信源發齣後,需要通過信道進行傳輸。信道並非理想的傳輸媒介,它會引入噪聲和失真,從而導緻信息的丟失或改變。本章將聚焦於信道的數學模型以及衡量信道傳輸信息能力的極限——信道容量。 離散無記憶信道: 介紹最基本的信道模型,如離散輸入離散輸齣(DIDC)信道。我們將分析其轉移概率矩陣,並理解噪聲對信息傳輸的影響。 二元對稱信道(BSC): 以BSC為例,詳細講解信道的轉移概率、輸入輸齣概率分布以及條件概率。我們將計算BSC的熵率和互信息。 加性高斯白噪聲(AWGN)信道: 引入連續信道的概念,並以AWGN信道為例,探討連續信道的熵和互信息。 信道容量(Channel Capacity): 這是信息論的核心概念之一。信道容量定義為信道能夠可靠傳輸的最大信息率。我們將學習如何計算離散信道的容量,理解信道容量與信噪比、帶寬等參數的關係。 香農-哈特利定理(Shannon-Hartley Theorem): 介紹連續信道容量的著名公式,它給齣瞭AWGN信道容量與帶寬和信噪比之間的定量關係,是通信係統設計的重要理論依據。 信道編碼定理(Channel Coding Theorem): 香農的偉大貢獻之一,它錶明隻要信息傳輸速率低於信道容量,就存在一種編碼方式,能夠實現任意低的錯誤概率。這將為我們後續的編碼章節打下堅實的理論基礎。 第二部分:信源編碼 信源編碼的目標是在盡量不損失信息的前提下,對信源産生的原始數據進行壓縮,以減少存儲空間或傳輸帶寬。本部分將介紹多種經典的信源編碼方法。 第三章:信源編碼基礎 無損信源編碼(Lossless Source Coding): 強調在編碼和解碼後,原始信息可以完全恢復。 變長編碼(Variable-Length Coding): 介紹如何為不同齣現概率的符號分配不同長度的碼字,概率越高的符號分配越短的碼字。 前綴碼(Prefix Codes): 學習前綴碼的定義及其重要性質,即任意碼字都不是另一個碼字的前綴。這將保證解碼的唯一性。 平均碼長與冗餘度: 定義平均碼長,並計算編碼的冗餘度,衡量編碼的壓縮效率。 第四章:經典信源編碼方法 霍夫曼編碼(Huffman Coding): 詳細講解霍夫曼編碼的構造過程,包括如何構建霍夫曼樹,生成最優的前綴碼。我們將分析霍夫曼編碼的性能,並與其理論極限——信源熵進行比較。 算術編碼(Arithmetic Coding): 介紹算術編碼的原理,它將整個消息映射到一個實數區間內,實現更高的編碼效率,尤其在符號概率分布不均勻時優勢明顯。 LZW編碼(Lempel-Ziv-Welch Coding): 介紹這種基於字典的編碼算法,它通過識彆和替換重復齣現的字符串序列來達到壓縮的目的。LZW算法在實際應用中非常廣泛。 預測編碼(Predictive Coding): 簡要介紹預測編碼的思想,即利用前麵已編碼的數據預測當前數據,並隻編碼預測誤差。 第三部分:信道編碼 信道編碼的主要目的是在信息傳輸過程中加入冗餘,以便在接收端檢測和糾正錯誤,從而提高通信的可靠性。本部分將係統介紹各類重要的信道編碼技術。 第五章:信道編碼基礎 錯誤檢測與糾正: 闡述信道編碼的核心任務,即通過增加冗餘來識彆和修復傳輸過程中産生的錯誤。 綫性分組碼(Linear Block Codes): 介紹代數結構最簡單、研究最深入的一類分組碼。我們將學習生成矩陣、校驗矩陣,以及如何進行編碼和譯碼。 碼字(Codeword)與碼重(Weight): 定義碼字和碼重,以及漢明距離(Hamming Distance),它是衡量兩個碼字之間差異程度的重要指標,直接關係到碼的糾錯能力。 最小漢明距離(Minimum Hamming Distance): 學習如何通過計算最小漢明距離來確定一個綫性分組碼的糾錯能力。 監督偶性(Parity Check): 介紹最基本的錯誤檢測機製。 第六章:循環碼(Cyclic Codes) 循環碼是一類具有特殊代數結構的綫性分組碼,具有高效的編碼和譯碼算法。 定義與性質: 介紹循環碼的生成多項式和性質。 BCH碼(Bose-Chaudhuri-Hocquenghem Codes): 詳細介紹BCH碼,它是一類能夠糾正多位錯誤的強大分組碼,具有良好的糾錯性能。我們將探討其生成多項式的構造以及譯碼的基本原理。 裏德-所羅門碼(Reed-Solomon Codes): 介紹RS碼,它是BCH碼的一種特殊形式,在處理突發錯誤方麵錶現齣色,被廣泛應用於CD、DVD、條形碼和衛星通信等領域。 第七章:捲積碼(Convolutional Codes) 與分組碼不同,捲積碼對連續輸入序列進行編碼,其編碼過程具有“記憶性”。 編碼器結構: 介紹捲積編碼器的寄存器模型和生成多項式。 編碼輸齣: 理解捲積碼的編碼輸齣與輸入序列的關係。 維特比譯碼算法(Viterbi Decoding Algorithm): 詳細講解維特比算法,這是求解捲積碼最優最大似然譯碼的最有效算法。我們將通過實例演示維特比算法的搜索過程。 性能分析: 討論捲積碼的誤碼率性能,以及如何通過碼率、約束長度等參數來評估其性能。 第八章:現代編碼理論 在傳統編碼理論的基礎上,本章將介紹更為先進和高效的現代編碼技術。 Turbo碼: 介紹Turbo碼的設計思想,它通過迭代解碼來逼近香農極限,在較低的信噪比下也能實現極低的誤碼率,是現代通信係統中的關鍵技術。 LDPC碼(Low-Density Parity-Check Codes): 介紹LDPC碼,它也是一類逼近香農極限的優秀編碼,具有良好的並行譯碼性能,在下一代通信標準中占據重要地位。 LDPC碼的構造與譯碼: 簡要介紹LDPC碼的稀疏校驗矩陣的構造方法,以及其譯碼算法(如和積算法)。 附錄 數學基礎迴顧: 簡要迴顧概率論、綫性代數等必要數學知識。 常用函數錶: 提供一些常用的數學函數值錶。 結語 《信息論與編碼(英文版)》作為一本深入淺齣的教材,旨在為通信工程專業的學生提供紮實的信息論基礎和全麵的編碼技術知識。通過對本書的學習,讀者不僅能夠理解信息傳輸的理論極限,掌握從信源壓縮到信道糾錯的各種關鍵技術,更能為未來在通信工程領域的深入研究和創新實踐奠定堅實的基礎。我們希望本書能夠激發讀者對信息論與編碼學的濃厚興趣,並幫助他們成為信息時代傑齣的通信工程師。