#《信息論與編碼》教學大綱1課程的基本描述課程名稱：信息論與編碼InformationTheoryandCoding課程編號：030215HI09課程性質：專業核心課適用專業：電子信息工程專業經支教材：曹雪虹張宗橙《信息論與編碼》（第2版），清華大學出版社，2009年總學時：48學時理論學時：44學時實驗學時：4學時上機學時：0學時翻轉、案例實踐、創新翻轉：0學時；案例：0學時；實踐：0學時；創新：0學時學 分：3學分開課學期：第6學期前導課程：概率論與數理統計，線性彳t數，隨機信號分析后續課程：CoursesDescriptionThecourseofinformationtheoryandcodingisoneofthespecializedsubjectforelectronicinformationengineeringundergraduatestudents.Itisintwoparts:introductiononthebasicresultsintheinformationtheoryandtechnicalknowledgeonchannelcoding.Itisessentialtolearnthefirstpartofthecourse,becauseitgivesanoverviewofthewholesubjectincludingShannon'sthreetheoremsandoneformula.Thesecondpartillustratesvariouskindsofchannelcodingmethodsincludinglinearcoding,cycliccodingandconvolutionalcoding.2教學定位課程教學目標信息論是由Shannon奠基的一門數學學科，它產生于有效而可靠的通信問題中，并獲得了廣泛應用。通過本課程的學習，使學生對信息理論有一個比較全面和系統的了解， 掌握信息論的基本概念和信息論方法， 為從事信息科學的研究和應用打下堅實的基礎。 信息論與編碼是電子信息工程專業的一門專業核心課。通過本課程的學習，使學生能夠牢固地掌握信息論與編碼的基本概念、編碼的理論和實現原理； 理解信源的熵、 熵的性質和無失真信源編碼理論、 限失真信源編碼理論以及各種常用的信源編碼和信道編碼方法， 為以后開設的專業課程打下堅實的基礎。 同時培養學生的認知和理解能力、 邏輯思維能力， 以及分析問題及解決問題的能力， 特別是對培養學生嚴謹的科學學風、科學方法以及抽象思維能力、創新精神等，都會起到十分重要的作用。課程的主要特點本課程是一門重要的專業核心課。教學難點：信息熵概念的建立；編碼的思維方法；應用理論解決實際問題。教學重點：掌握香農信息論的基本概念，與之相應的編碼定理，掌握信源編碼、信道編碼的基本理論和主要方法。教學方法通過傳統授課的方法 ,使學生達到知識和技能兩方面的目標：1．知識方面：掌握信源的類型與特性、信源熵、信道容量、信息率失真函數等信息論的基本理論。熟悉信源編碼、信道編碼的基本概念、基本知識和主要方法。2．技能方面：學會用數理統計的觀點去觀察、分析和計算一些簡單、典型的信源熵、互信息和信道容量的問題， 以及簡單的信源編碼和信道編碼的方法。 為以后的學習和工作打下堅實的理論基礎。3知識點與學時分配信息論的形成和發展及相關基本概念信息論的形成和發展及相關基本概念（學時： 2學時）信息與信息科學（了解，推薦）通信系統的基本模型（了解，核心）信息論發展史（了解，推薦）信息科學與通信的關系（了解，推薦）共2學時信源及信源熵信源的描述和分類（學時： 1學時）無記憶信源、有記憶信源、馬爾科夫信源（理解，核心）離散信源的熵和互信息（學時： 5學時）自信息量、離散信源熵、互信息、熵信息、數據處理定理（理解，核心）離散序列信源的熵及信源的冗余度（學時： 4學時）離散無記憶序列信源、離散有記憶序列信源、馬爾可夫信源、離散無記憶信源的序列熵、離散有記憶信源的序列熵、信源的冗余度（理解，核心）連續信源的熵和互信息（學時： 1學時）幅度連續的單個符號信源熵、波形信源熵、最大熵定理（理解，可選）共10學時信道與信道容量信道容量的基本概念（學時： 1學時）信道分類、信道參數、信道容量的定義（理解，核心）離散單個符號、離散序列的信道及其容量（學時： 3學時）無干擾離散信道、對稱 DMC信道、準對稱 DMC信道、離散序列的信道及其容量（理解，核心）連續信道及其容量、信源與信道的匹配（學時： 2學時）連續單符號加性信道、多維無記憶加性連續信道、限時限頻限功率加性高斯白噪聲信道、信源與信道的匹配（理解，核心）共6學時無失真信源編碼無失真信源編碼概念及定理（學時： 4學時）編碼的定義、定長編碼定理、變長編碼定理（理解，核心）幾種最佳編碼方法（學時： 4學時）香農編碼方法、費諾編碼方法、哈夫曼編碼方法（理解，核心）共8學時限失真信源編碼平均失真和信息率失真函數（學時： 4學時）失真函數、平均失真、信息率失真函數的性質、信息率失真函數與信道容量的比較（理解，核心）限失真信源編碼定理（學時： 2學時）（理解，核心）常用信源編碼方法（學時： 4學時）游程編碼、算術編碼、矢量量化、預測編碼、變換編碼（理解，可選）共6學時信道編碼有擾離散信道編碼定理（學時： 1學時）信道編碼的基本概念、差錯和差錯控制系統分類（理解，核心）糾錯編譯碼的基本原理與分析方法（學時：3學時）糾錯編碼的基本思路、譯碼方法——最優譯碼與最大似然譯碼（理解，核心）糾錯編譯碼的基本原理與分析方法（學時：線性分組碼（學時： 4學時）線性分組碼的生成矩陣、校驗矩陣、線性分組碼的編譯方法（理解，核心）卷積碼（學時： 2學時）卷積碼的描述方法、卷積碼的最大似然譯碼——維特比算法（理解，可選）共10學時其它學時習題課（學時： 2學時）實驗（學時： 4學時）講授提示及方法信息論的形成和發展及相關基本概念重點：信息論的形成和發展。難點：信息、消息和信號的概念和相互間的關系。講授提示與方法 ：通過學習信息的概念以及信息論的形成和發展，了解信息論所研究的內容。信源及信源熵重點：信息論的一些基本概念，包括制信息量、條件自信息量、互信息量、條件互信息量、平均互信息量、信息熵。難點：熵的性質以及連續信源熵、最大熵定理、隨機序列的熵、信源冗余度。講授提示與方法： 循序漸進、由淺入深，加強對概念的理解。注重本質與現象的結合。信道與信道容量重點：信道容量定義及計算、香農公式。難點：信道容量的內涵。講授提示與方法 ：首先討論信道的分類及表示信道的參數，然后討論各種信道的容量及其計算方法。 理解香農公式的推導過程， 通過了解離散信道容量定理的內容進一步認識信道容量的內涵。無失真信源編碼重點：最佳編碼中的香農碼、費諾碼和霍夫曼碼的編碼方法及性能比較。難點：無失真信源編碼定理，包括定長編碼定理和變長編碼定理。講授提示與方法 ：利用信源符號之間存在不均勻和相關性（冗余度） ，對信源符號進行編碼，以減少冗余，提高效率。限失真信源編碼重點：失真函數和信息率失真函數的定義及性質。難點：限失真信源編碼定理。講授提示與方法 ：理解概念，掌握分析思路和方法。利用所學知識分析實際問題信道編碼重點：差錯控制與信道編譯碼的基本原理。難點：信道編碼定理及線性分組碼的基本原理。講授提示與方法 ：通過介紹信道容量、差錯控制原理，引出信道編碼定理及信道編碼方法。作業與實驗設計作業設計由于本課程主要講授的是信息論的基本理論、 編碼定理和方法及密碼學的基礎知識， 因此本課程的習題主要以信息量、 信道容量的計算和編碼方法的演繹為主。 通過學習各種信源的信息熵和幾種信道的信道容量的典型算法， 本著循序漸進的原則， 由淺入深， 使學生能夠逐步靈活運用所學的各種方法，分析和解決實際問題。學好前導課程（高等數學，概率論與隨機過程，信號與系統）是學好本課程的理論基礎。對各章節的例題要有選擇性地詳細分析和講解。重視分析過程的講解。每章都要布置適量的作業，并要求學生首先進行獨立的分析和思考，自主解題。通過學生完成作業的情況，了解學生的知識理解和掌握情況，針對存在的問題作進一步的講解和啟發，使學生對所學知識能夠達到融會貫通。實驗設計實驗一、離散信源無失真信源編碼（ 2學時）實驗目的及意義：（ 1） 熟練掌握無失真信源編碼的方法；熟練掌握 Huffman編碼的平均碼長和編碼效率的計算方法；掌握基于 MATLAB設計Huffman碼的方法。實驗步驟：（1） 了解 MATLAB應用于信息處理及信源編碼領域的基礎知識；設計一個離散信源無失真信源并進行 Huffman編碼；利用 MATLAB計算信源 Huffman的編碼的平均碼長和編碼效率。實驗類型：設計實驗二、線性分組碼（Hamming碼）（2學時）實驗目的及意義：（ 1） 熟練掌握線性分組碼（ Hamming 碼）編碼方法；熟練掌握線性分組碼（ Hamming 碼）的最小Hamming 距離及其計算方法；掌握根據線性分組碼（ Hamming 碼）的生成矩陣找出全部碼字。實驗步驟：（1）理解線性分組碼（ Hamming碼）的基本概念；利用MATLAB軟件編寫線性分組碼（ Hamming碼）程序；能夠根據線性分組碼（ Hamming碼）的生成矩陣找出全部碼字。4.實驗類型：設計6考核與成績記載考核方式及成績評定學生成績構成：平時成績（ 20%）、期末成績（ 80%）。平時成績：出勤點名 10次，每次0.5分，共5分。上課三分之一曠課者， 不允許參加期末考試；作業和隨堂測驗共 7次，每次 1分，共7分。