PAGEPAGEII目錄第一章緒論 11.1信息的概念 11.2通信系統的模型 31.3信息論的產生、發展及研究的中心問題 5第二章信源及信息的度量 92.1離散信源及數學模型 92.2連續信源及數學模型 112.3信息的度量 122.4離散信源的平均自信息量——熵 162.5信息熵的性質 192.6離散信源的互信息及平均互信息 242.7平均互信息量的性質 292.8信息處理定理 312.9連續信源的信息度量 32第三章離散信源無失真編碼 473.1等長編碼 473.2變長編碼 553.3最佳變長編碼 613.4其他變長編碼方法 64第四章信道及信道容量 734.1信道的分類 734.2離散無記憶信道及容量 744.3離散無記憶信道DMC容量的計算 774.4N階擴展信道容量 844.5信道的組合 864.6時間離散的無記憶連續信道 944.7波形信道 1014.8信源與信道的匹配 105第五章限失真信源編碼理論 1095.1失真測度 1095.2信息率失真函數 1125.3離散信源的率失真函數 1155.4率失真函數的參量算法 1165.5率失真函數R(D)的迭代算法 1205.6連續信源的率失真函數 1235.7限失真編碼定理 1255.8R（D）函數與信息價值 128第六章網絡信息論 1356.1網絡通信信道分類 1356.2相關信源編碼 1386.3多址接入信道 142PAGE53第一章緒論信息論是人們在長期通信工程的實踐中，由通信技術與概率論、隨機過程和數理統計相結合而逐漸發展起來的一門新興科學。隨著信息理論的迅猛發展和信息概念的不斷深化，他在科學技術上的重要性早已超出了狹義的通信工程的范疇，在許多領域日益受到科學工作者的重視。本章首先引出信息的概念，然后介紹了信息、消息、信號三者的關系，進而討論信息論這一學科的產生和發展，并闡述本學科研究的中心問題。1.1信息的概念1.1.1信息的定義、特征和性質信息是信息論中的一個術語，常常把消息中有意義的內容稱為信息。1948年，美國數學家、信息論的創始人仙農在題為“通訊的數學理論”的論文中指出：“信息是用來消除隨機不定性的東西”。1948年，美國著名數學家、控制論的創始人維納在《控制論》一書中，指出：“信息就是信息，既非物質，也非能量。信息是客觀事物狀態和運動特征的一種普遍形式，客觀世界中大量地存在、產生和傳遞著以這些方式表示出來的各種各樣的信息。信息是有價值的，就像不能沒有空氣和水一樣，人類也離不開信息。因此人們常說，物質、能量和信息是構成世界的三大要素。所以說，信息的傳播是極具重要與有效的。信息是事物的運動狀態和過程以及關于這種狀態和過程的知識。它的作用在于消除觀察者在相應認識上的不確定性，它的數值則以消除不確定性的大小，或等效地以新增知識的多少來度量。雖然有著各式各樣的傳播活動，但所有的社會傳播活動的內容從本質上說都是信息。信息相關資料：圖片信息（又稱作訊息），又稱資訊，是一種消息，通常以文字或聲音、圖像的形式來表現，是數據按有意義的關聯排列的結果。信息由意義和符號組成。文獻是信息的一種，即通常講到的文獻信息。信息就是指以聲音、語言、文字、圖像、動畫、氣味等方式所表示的實際內容。在最一般的意義上，亦即沒有任何約束條件，我們可以將信息定義為事物存在的方式和運動狀態的表現形式。這里的“事物”泛指存在于人類社會、思維活動和自然界中一切可能的對象。“存在方式”指事物的內部結構和外部聯系。“運動狀態”則是指事物在時間和空間上變化所展示的特征、態勢和規律。主體所感知或表述的事物存在的方式和運動狀態。主體所感知的是外部世界向主體輸入的信息，主體所表述的則是主體向外部世界輸出的信息。在本體論層次上，信息的存在不以主體的存在為前提，即使根本不存在主體，信息也仍然存在。在認識論層次上則不同，沒有主體，就不能認識信息，也就沒有認識論層次上的信息。信息作為客觀世界存在的第三要素，具有以下特征：1）可量度：信息可采用某種度量單位進行度量，并進行信息編碼。如現代計算機使用的二進制。2）可識別：信息可采取直觀識別、比較識別和間接識別等多種方式來把握。3）可轉換：信息可以從一種形態轉換為另一種形態。如自然信息可轉換為語言、文字和圖像等形態，也可轉換為電磁波信號或計算機代碼4）可存儲：信息可以存儲。大腦就是一個天然信息存儲器。人類發明的文字、攝影、錄音、錄像以及計算機存儲器等都可以進行信息存儲5）可處理：人腦就是最佳的信息處理器。人腦的思維功能可以進行決策、設計、研究、寫作、改進、發明、創造等多種信息處理活動。計算機也具有信息處理功能。6）可傳遞：信息的傳遞是與物質和能量的傳遞同時進行的。語言、表情、動作、報刊、書籍、廣播、電視、電話等是人類常用的信息傳遞方式。7）可再生：信息經過處理后，可以其他形式再生。如自然信息經過人工處理后，可用語言或圖形等方式再生成信息。輸入計算機的各種數據文字等信息，可用顯示、打印、繪圖等方式再生成信息。8）可壓縮：信息可以進行壓縮，可以用不同的信息量來描述同一事物。人們常常用盡可能少的信息量描述一件事物的主要特征。9）可利用：信息具有一定的實效性和可利用性。10）可共享：信息具有擴散性，因此可共享。1.1.2信息、消息和信號的關系消息是表達客觀物質運動和主觀思維活動的狀態，指報道事情的概貌而不講述詳細的經過和細節，以簡要的語言文字迅速傳播新近事實的新聞體裁，也是最廣泛、最經常采用的新聞基本體裁，如文字、語言、圖像等。消息傳遞過程即是消除不確定性的過程：收信者存在不確定(疑問)，收信前，不知消息的內容。干擾使收信者不能判定消息的可靠性，收信者得知消息內容后，消除原先的“不確定”。消息的結構：（一）標題（1）單行題（2）多行題；1.引題（眉題、肩題）：交代背景。2.主標題：概括主要新聞或消息。3.副標題：補充說明主標題。（二）導語：一般是對事件或事件中心的概述。（三）主體：承接導語，扣住中心，對導語所概括事實作比較具體的敘述，是導語內容的具體化。（四）背景：說明原因、條件、環境等。（五）結語：或小結，或指出事情發展方向等。消息的三個特點：真實性，實效性，傳播性。信息與消息的關系：形式上傳輸消息，實質上傳輸信息；消息具體，信息抽象；消息是表達信息的工具，信息載荷在消息中，同一信息可用不同形式的消息來載荷；消息可能包含豐富的信息，也可能包含很少的信息。信號（也稱為訊號）是運載消息的工具，是消息的載體。從廣義上講，它包含光信號、聲信號和電信號等。例如，古代人利用點燃烽火臺而產生的滾滾狼煙，向遠方軍隊傳遞敵人入侵的消息，這屬于光信號；當我們說話時，聲波傳遞到他人的耳朵，使他人了解我們的意圖，這屬于聲信號；遨游太空的各種無線電波、四通八達的電話網中的電流等，都可以用來向遠方表達各種消息，這屬電信號。把消息變換成適合信道傳輸的物理量，如光信號、電信號、聲信號和生物信號等，人們通過對光、聲、電信號進行接收，才知道對方要表達的消息。對信號的分類方法很多，信號按數學關系、取值特征、能量功率、處理分析、所具有的時間函數特性、取值是否為實數等，可以分為確定性信號和非確定性信號（又稱隨機信號）、連續信號和離散信號、能量信號和功率信號、時域信號和頻域信號、時限信號和頻限信號、實信號和復信號等。信息與信號的關系：信號攜帶著消息，它是消息的運載工具；信號是消息的表現形式，消息是信號的具體內容。信號是消息的物理體現。在通信系統中，實際傳輸的是信號，但本質內容的是信息。信息包含在信號之中，信號是信息的載體。通信的結果是消除或部分消除不確定性，從而獲得信息。1.2通信系統的模型通信的基本問題是在存儲或通信等情況下，精確或者是近似再現信源發出的消息。在通信領域中，所需要研究的主要內容是通信中的有效性和可靠性，有的時候還要考慮信息傳輸的安全。通信系統的一般模型如圖1.1所示圖1.1通信系統的一般模型1．信源信源是產生消息的來源，可以是文字、語言、圖像等；可以是連續的，也可以是離散的。信源本身十分復雜，在信息論中一般只是對信源的輸出進行研究。信源輸出是以消息符號形式表示具體信息，是信息的載體。盡管信源輸出形式很多，但是可以對其進行分類，其表現形式要么是連續的，要么是離散的。如文字、符號、數字等符號或者符號序列，其符號的取值都是可數的，這樣的消息就是離散的；對于語音、圖像等在時間上連續變化的參量，符號的取值都是不可數的，這樣的消息是連續的。無論信源輸出的符號是連續的還是離散的，它們都一定是隨機出現的，否則無論是信源的特征研究還是通信研究都沒有意義。信源的研究主要是研究消息的統計特征以及信源產生的信息速率。2．編碼器編碼器是將信源發出的符號轉化為適合信道傳輸的信號的設備，一般包括信源編碼、信道編碼和調制器等。編碼器的模型如圖1.2所示圖1.2編碼器的模型=1\*GB3①信源編碼器：主要解決有效性問題，在一定的準則下對信源輸出進行變換和處理，目的是提高信息傳輸的效率，即通過去除信源輸出符號的冗余，使信源輸出的每個符號攜帶更多的信息量，從而降低信息傳遞所需要的符號數量，即減低總體數據傳輸速率，提高傳輸效率。=2\*GB3②信道編碼器：由糾錯編碼器和調制器組成，目的在于充分利用信道的傳輸能力，并可靠的傳輸信息。糾錯編碼器：對信源輸出進行變換處理，通過增加冗余提高對信道干擾的抵抗力，從而信息傳輸的可靠性。由于信道中存在干擾，數據傳遞的過程中會出現錯誤，信道編碼可以提供檢測或者是糾正數據傳輸錯誤的能力，從而提高數據傳輸的可靠性。調制器：將信道編碼的輸出變換為適合信道傳輸要求的信號。信道編碼器輸出的數字信號并不適合信道的傳輸，需要對其進行相應的信號變換和調制，然后將變換后的信號送往信道進行傳輸。加密：為了提高信息傳輸的安全性，有時需要進行加密處理，這就需要擴展碼位。加密處理同時也會降低系統傳輸效率，即有效性。3．信道信道是信息傳輸的媒質。信道將攜帶信息的信號從一個地方傳送到另一個地方。常見的信道有明線、電纜、光纖、無線電波等。在水中，通信中可以采用聲波傳輸，聲波傳輸的媒質是水，所以水也是信道。隨著科學技術的發展，大量的信息需要存儲，存儲器也是信道。4．干擾源通信系統中的各部分都會受到干擾，信號的類型不同，經過的信道不同，所遭受的噪聲、干擾也有差異。將各種干擾等效成一個方框作用于信道。干擾源的統計特征是劃分信道的重要因素，并是決定信道傳輸能力的決定因素。干擾源的分類：=1\*GB3①加性干擾：由外界引入的隨機干擾，如電磁干擾、設備內部噪聲，它們與信道輸入的信號統計特征無關，信道輸出則是輸入的干擾之和。=2\*GB3②乘性干擾：信號在傳播過程中，由于物理條件的變化，如溫度、電離層位置的隨機變化引起的信號參量的隨機變化，此時信道的輸出是輸入信號與某些隨機變量相乘的結果。信息論就是對干擾進行數學上的描述，確定它們對信號傳輸的影響，從而給出在無干擾的情況下，信道的傳輸能力。5．譯碼器譯碼器是編碼器的逆過程，其目的是為了準確或者近似再現信源發出的消息。與編碼器相對應，譯碼器一般是由解調器、信道譯碼器和信源譯碼器組成。其作用就是從受干擾的信號里最大限度的提取出有關信源輸出消息的信息，盡可能的精確地恢復信源的輸出并送給信宿。其中心問題就是研究各種可實現的解調和譯碼的方法。6．信宿信宿是信息的載體，即接收消息的人或機器，與信源處于不同地點或存在于不同時刻。它要對傳送過來的信息提出可接受的條件，即提出一定的準則，發端將以此來確定對信源處理時所要保留的最小信息量。信宿的數量可以是一個，也可以是多個，取決于具體的應用需要。1.3信息論的產生、發展及研究的中心問題1.3.1信息論的產生、發展信息論是本世紀40年代在現代通信技術發展的基礎上誕生的，是研究信息的獲取、儲存、傳遞、計量、處理和利用等問題的一門新興學科。本世紀30年代以前，科學技術革命和工業革命主要表現在能量方面，如新的動力機、工具機的出現。其實質是人的感覺器官和效應器官的延長，是人的體力勞動的解放。本世紀30年代以后，科學技術所發生的革命性變化，主要表現在信息方面，表現在信息的傳遞、儲存、加工、處理等技術和通信、控制機以及人工智能的發展。其實質是人的思維器官的伸展，是人的腦力勞動的解放。人們對于信息的認識和利用，可以追溯到古代的通訊實踐。中國古代的“烽燧相望”和古羅馬地中海諸城市的“懸燈為號”，可以說是傳遞信息的原始方式。隨著社會生產的發展，科學技術的進步，人們對傳遞信息的要求急劇增加。到了20世紀20年代，如何提高傳遞信息的能力和可靠性已成為普遍重視的課題。1924年美國奈奎斯特和德國居普夫、繆勒等人發現電信號的傳輸速率與信道帶寬度成比例關系，從而最早提出了信息問題。1928年，哈特萊發表《信息傳輸》，首先提出信息是包含在消息中的信息量，而代碼、符號這類消息是信息的具體方式。他還提出了信息定量問題，認為可以用消息出現概率的對數來度量其中所包含的信息。如從S個符號中選出N個符號組成一組消息。則共有SN個可能性。其信息量為H=NlogS。這一理論是現代信息理論的起源，但當時未引起人們的注意。直到第二次世界大戰期間，一些與通信技術有關的新技術陸續出現，如雷達、無線電通訊、電子計算機、脈沖技術等，為信息論的建立提供了技術基礎。同時，作為信息論數學基礎的概率論也得到飛速發展。在這種條件下，許多科學家從不同角度對信息論的基本理論進行了研究。1948年，美國數學家C.E.香農(被稱為是“信息論之父”)出版《通信的數學理論》，1949年發表《噪聲中的通信》，從而奠定了信息論的基礎，創立了信息論。維納提出的關于度量信息量的數學公式開辟了信息論的廣泛應用前景。1951年美國無線電工程學會承認信息論這門學科，此后得到迅速發展。20世紀50年代是信息論向各門學科沖擊的時期，60年代信息論不是重大的創新時期，而是一個消化、理解的時期，是在已有的基礎上進行重大建設的時期。研究重點是信息和信源編碼問題。20世紀70年代以后，隨著數學計算機的廣泛應用和社會信息化的迅速發展，信息論正逐漸突破香農狹義信息論的范圍，發展為一門不僅研究語法信息，而且研究語義信息和語用信息的科學。它的建立是人類認識的一個飛躍。世界上各種事物都是充滿矛盾不斷發展的，物質的運動主要是靠內部矛盾運動所產生的能量，而事物之間的普遍聯系則靠的是信息。信息是關于事物的運動狀態和規律，而信息論的產生與發展過程，就是立足于這個基本性質。信息論迅速滲透到各個不同學科領域，但還不夠完善。為了適應科學技術發展的需要，迎接信息化社會的到來，一門新的科學正在迅速興起，這就是廣義信息論，或者叫做信息科學。信息科學是由信息論、控制論、計算機、人工智能和系統論等相互滲透、相互結合而形成的一門新興綜合性學科。信息科學登上現代科技舞臺，與能量科學、材料科學鼎足而立，將為科學技術的發展做出貢獻。信息就是一種消息，它與通訊問題密切相關。隨著計算機的廣泛應用，通訊系統的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。信息的概念和方法已廣泛滲透到各個科學領域，它迫切要求突破申農信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎理論，從而推動其他許多新興學科進一步發展。目前，人們已把早先建立的有關信息的規律與理論廣泛應用于物理學、化學、生物學等學科中去。一門研究信息的產生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學正在形成。信息科學是人們在對信息的認識與利用不斷擴大的過程中，在信息論、電子學、計算機科學、人工智能、系統工程學、自動化技術等多學科基礎上發展起來的一門邊緣性新學科。它的任務主要是研究信息的性質，研究機器、生物和人類關于各種信息的獲取、變換、傳輸、處理、利用和控制的一般規律，設計和研制各種信息機器和控制設備，實現操作自動化，以便盡可能地把人腦從自然力的束縛下解放出來，提高人類認識世界和改造世界的能力。信息科學在安全問題的研究中也有著重要應用。目前信息論的兩個方面的內容都取得了更大的發展。在香農信息論方面，當前值得注意的動向是信息概念的深化；多址和多用戶信道（雙向信道，廣播信道，多元連接型信道等）理論的發展；多重相關信源理論的發展；信息率失真理論的發展及其在數據壓縮和圖像處理中的應用等問題。這些領域都是與20世紀80年代信息工程——空間通信、計算機網絡、圖像電子學等密切相關的。在維納信息論方面，由于光線通信即將成為現實，成像雷達以及二維圖像信息處理正在迅猛發展。為此，我們對量子檢測和估計理論、非參數測量和估計理論以及非線性檢測與估計理論都要給予足夠的重視。1.3.2信息論研究的中心問題由前面關于信息概念的討論中可知：信息論研究的中心問題是為設計有效的，可靠的通信系統提供理論依據。由于消息中包含著信息，所以消息的傳輸系統也是信息的傳輸系統，簡稱通信系統。人們通過消息的傳輸和處理過程來研究信息傳輸和處理過程中的共同規律。信息論是運用概率論與數理統計的方法研究信息傳輸和信息處理系統中一般規律的新興學科。核心問題是信息傳輸的有效性和可靠性以及兩者間的關系。信息論作為一門科學理論，發端于通信工程。它主要有以下幾個概念：狹義信息論：主要研究信息的測度、信道容量以及信源和信道編碼理論等問題。一般信息論：主要也是研究信息傳輸和處理問題，除香農信息論，還包括噪聲理論、信號濾波和預測、統計檢測和估計、調制理論、信息處理理論以及保密理論等。廣義信息論：不僅包括上述兩方面內容，而且包括所有與信息有關的自然和社會領域，如模式識別、計算機翻譯、心理學、遺傳學、神經生理學、語言學、語義學甚至包括社會學中有關信息的問題。研究一個概括性很強的通信系統，其目的就是要找到信息傳輸過程的共同規律。一旦總結出這種共同的規律，就可以用來指導具體通信系統的設計，使設計出來的各種通信系統具有更高的可靠性和有效性。所謂的可靠性高，就是要使信源發出的信息經信道傳輸以后，盡可能的準確不失真的再現在接收端。而所謂的有效性高，就是經濟效果好，即用盡可能短的時間和盡可能少的設備來傳送一定數量的信息。兩者的結合就能使系統達到最優化。以后我們會知道，提高可靠性和提高有效性常常會發生矛盾，這就要統籌兼顧。例如為了兼顧有效性，有時就不一定要求絕對準確的在接收端再現原來的信息，而是允許一定的誤差或一定的失真，或者說允許近似的再現原來的消息。關于信息論研究的具體內容，是一個有爭議的問題。有人認為信息論只是概率論的一個分支，這是數學家的觀點。當然，這種看法有一定的根據，因為香農信息論確實為概率論開拓了一個新的分支。但如果把信息論限制在數學的范圍內，這就太狹隘了。也有認為信息論只是熵的理論，這是某些物理學家的觀點。他們對熵特別感興趣，熵的概念確實是香農信息論的基本概念之一，但信息論的全部內容要比熵廣泛得多。歸納起來，信息論的研究內容大致包括以下幾個方面。通信的系統理論研究主要研究利用統計數學工具分析信息和信息傳輸的統計規律，其具體內容有：①信息的度量；②信息速率與熵；③信道傳輸能力——信道容量。信源的統計特征主要包括：①文字（如漢字）、字母（如英文）統計特征；②語音的參數分析和統計特征；③圖片及活動圖像（如電視）的統計特征：④其他信源的統計特征。收信者接受器官的研究主要包括：①人的聽覺器官和視覺的器官的特征；②人的大腦感受和記憶能力的模擬。這些問題的研究與生物學、生理學、心理學、的研究密切相關。編碼理論與技術的研究主要包括：①有效性編碼：用來提高信息傳輸效率，主要是針對信源的統計特征進行編碼，所以有時也稱為信源編碼；②抗干擾編碼：用來提高信息傳輸的可靠性，主要是針對信道統計特征進行編碼，所以有時候也稱為信道編碼。提高信息傳輸效率的研究主要包括：①功率的節約；②頻帶的壓縮；③傳輸時間的縮短，即快速傳輸問抗干擾理論與技術的研究主要包括：①各種調制制度的抗干擾性；②理想接收機的實踐。噪聲中的信號檢測理論與技術的研究主要包括：①信號檢測的最佳準則；②信號最佳檢測的實踐。由上面的討論可以看出來，信息論的研究內容極為廣泛，是一門新興的邊緣學科，是當代信息科學的基本的和重要的理論基礎。綜上所述，信息論是一門應用概率論、隨機過程、數理統計和近代代數的方法來研究廣義的信息傳輸、提取和處理系統中一般規律的工程科學；它的主要目的是提高信息系統的可靠性和有效性以便達到系統的最優化；他的主要內容（或分支）包括香農理論、編碼理論、維納理論、檢測和估計理論、信號設計和處理理論、調制理論和隨機噪聲理論等。由于信息論研究的內容極為廣泛，而各分支又有一定的相對獨立性，因此本書僅僅討論了信息論的基本理論。第二章信源及信息的度量從這一章開始，我們開始討論信源和信息的度量問題。首先討論信源，重點是信源的統計特性和數學模型，以及各類離散信源的信息測度——熵及其性質。這部分內容是香農信息論的基礎。所謂信息的度量問題，就是指從量的關系上來精確地刻畫信息。從定義到性質，從描述到度量，這些內容構成了信息科學的主要基礎。一方面，通過對定義和性質的討論，可以從質上來理解信息；另一方面，通過對描述的研究，則可以從量上來把握信息。這樣既從定性方面又從定量方面去把握信息，就奠定了進一步討論信息的各種運動規律的必要基礎。信息度量問題之所以重要，就在于它是整個信息科學體系得以真正建立起來的根本理論基礎，是信息科學大廈的重要基石。2.1離散信源及數學模型信源是信息的來源，但信息是較抽象的東西，所以要通過信息的表達者——消息來研究信源。我們對信源的內部結構、為什么產生和怎樣產生各種不同的消息都不作研究，而只研究信源的輸出，以及信源輸出各種可能消息的不確定性。在通信系統中收信者在未收到消息以前，對信源發出什么消息是不確定的，是隨機的，所以可用隨機變量、隨機矢量或隨機過程來描述信源輸出的消息。或者說，用一個樣本空間及其概率測度——概率空間來描述信源。信源的具體輸出是離散的消息符號形式，常常是以一個符號的形式出現，例如文字、字母等。這些信源可能輸出的消息數是有限的或可數的，而且每次輸出只是其中一個消息符號，這樣的信源稱為離散信源。即指發出時間和幅度都是離散分布的離散消息的信源。所以，可用離散型隨機變量來描述這些信息，它的數學模型就是離散型的概率空間：信源給定，其相應的概率空間就已給定；反之，如果概率空間給定，這就表示相應的信源已給定。所以，概率空間能表征這離散信源的統計特征，因此，有時也把這個概率空間稱作是信源空間。在很多的實際信源輸出消息往往是由一系列符號序列所組成的。例如，中文自然語言文字作為信源，這時中文信源的樣本空間A是所有文字與標點符號的集合。由這些漢字和標點符號組成的序列即構成了中文句子和文章。因此，從時間上看，中文信源輸出的消息是時間上離散的符號序列，其中每個符號的出現是不確定的、隨機的，由此構成的不同的中文消息。這類信源輸出的消息是按照一定概率選取的符號序列，所以可以把這種信源輸出的信息看作是時間上或者是空間上離散的一系列隨機變量，即為隨機矢量。信源輸出是時間或空間的離散符號序列,且符號間有依賴關系。可用隨機矢量來描述信源輸出,即X=（X1X2…Xi）,其中Xi是離散隨機變量,它表示t=i時刻所發出的符號，信源在t=i時刻發出的符號決定于兩個方面:(1)與t=i時刻隨機變量Xi的取值xi的概率分布p(xi)有關.一般情況t不同時,概率分布也不同,即p(xi)≠p(xj)(2)與t=i時刻以前信源發出的符號有關,即與條件概率p(xi|xi-1xi-2,…)有關.同樣在一般情況下,它也是時間t=i的函數,所以p(xi|xi-1xi-2…xi-N…)≠p(xj|xj-1xj-2…xj-N…) 序列的統計性質與時間的推移無關,即信源所發符號序列的概率分布與時間起點無關，這種信源稱之為平穩隨機序列。若信源輸出的隨機序列X=（X1X2…Xi）中，每一個隨機變量Xi(i=1,2,…N)都是取值離散的離散型隨機變量，即每一個隨機變量的可能取值是有限的或可數的。而且隨機矢量的X各維概率分布都與時間起點無關，也就是在任意兩個不同時刻隨機矢量X的各維概率分布都相同。這樣的信源稱為是離散平穩信源。在某些簡單的離散平穩信源情況下，信源先后發出的一個個符號是彼此統計獨立的，也就是說信源輸出的隨機矢量X=（X1X2…XN）中，各隨機變量Xi(i=1,2,…N)之間是無依賴的、統計獨立的，則N維隨機矢量的聯合概率分布滿足P（X）=P（X1X2…XN）=P1(X1)P2(X2)…PN(XN)因為信源是平穩的，根據平穩隨機序列的統計特征可知，各變量Xi的一維概率分布都相同，即P1(X1)=P2(X2)=…=PN(XN)則得若不同時刻的隨機變量又取值于同一符號集A：{a1,a2,…,aq}則有其中ai是N維隨機矢量的一個取值，即α={ai1,ai2,…,aiN}，而P（aik）是符號集A的一維概率分布。由符號集A：{a1,a2,…,aq}與概率測度P（aik）構成的一個概率空間稱由信源空間［X,P(x)］描述的信源X為離散無記憶信源。這信源在不同時刻發出的符號之間是無依賴的，彼此統計獨立。離散無記憶信源所發出的各個符號是相互獨立的，發出的符號序列中的各個符號之間沒有統計關聯性，各個符號的出現概率是它自身的先驗概率。把這信源X所輸出的隨機矢量X所描述的信源稱為離散無記憶信源X的N次擴展信源。可見，N次擴展信源是由離散無記憶信源輸出N長的隨機序列構成的信源。若是信源先后發出的符號是互相依賴的,如中文序列，只有根據中文句子的語法、習慣用語、修辭制約和表達實際意義的制約所構成的中文序列才是有意義的中文句子或文章。所以，在漢字序列中前后的文字的出現是有依賴的，不能認為是彼此不相關的。這種信源稱為有記憶信源。它需要引入條件概率分布說明它們之間的關聯性，實際上信源發出符號只與前若干個符號(記憶長度)有較強的依賴關系.。離散有記憶信源所發出的各個符號的概率是有關聯的。2.2連續信源及數學模型信源輸出的消息的取值是連續的，如人發出的聲音、遙感器測得的連續數據等。極可能出現的消息數是不可數的無限值。這種信源稱為連續信源。即指發出時間和幅度上都是連續分布的連續消息的信源，它可用連續型的隨機變量來描述這些消息XYXY圖2.2.1連續信源是指輸出在時間和取值上都連續的信源其數學模型為連續型的概率空間：其中為連續隨機變量X的概率密度，（）為X的存在域，并滿足上述信源，因為信源的輸出只有一個消息（符號），所以可用一維隨機變量來描述。2.3信息的度量2.3.1離散信源的自信息量信源發出消息，經過信道，到達信宿，信宿收到消息，獲得了信息，這個過程就稱作通訊。我們現在來研究通訊的源頭，也就是信源的特性。那么實際有用的信源應該具有什么特性呢？我們認為它應該具有不確定性（不肯定性）。信源至少應該包含兩種不同的消息，例如兩元信元（包含0、1），而信宿是知道信元發送（0、1）的，但是它就是不知道在具體的某一時刻，信源發送的是哪個消息。這是顯然的，如果它知道，就不需要通訊了！所以必須要經過通訊，然后信宿通過譯碼，信源發送的是哪個消息。如果信道中不存在噪聲，也就是干擾，那么信宿一定譯碼正確，通信可以無差錯的進行了。所謂的不確定性就是說信宿對信源哪個時刻發送哪個消息不能肯定！而不是說信宿不知道信源有0、1這兩個消息。反過來統計的講，發送某一個消息的概率是確定的。比如說發1的概率是0.4,發1的概率是0.6。但是下一時刻發送0，還是1，信宿不知道。[例2.3.1]某二元信源（含有兩個不同消息的信源）發送1的概率0.99，0的概率0.01，信宿僅憑猜測就可以簡單的認為信源發出的消息始終都是1，即使如此，猜錯的概率僅為百分之一。這說明在這種情況下，信源基本上在發送1，信源的不確定性很小。為什么信宿猜測的這么準呢？我們知道是因為信源發送0的概率很小，所以不確定度和信源發送符號的概率是有關系的！[例2.3.2]某二元信源發送1和0的概率相等，均為0.5，這時信宿不依賴通信僅憑猜測的話，猜錯的概率高達50%。這說明在這種情況下，猜測信源發送什么消息就困難了，因為信源發送什么消息相當不確定。[例2.3.3]如果信源具有更多的消息，例如發10個數字0,1…..9(例如采用4位十進制樹的中文電報)，而且假定這是個消息是等概率分布的，均為0.1，這時信宿僅憑猜測的話，就更難猜了。因為信源發送什么消息更加不確定。[例2.3.4]現在討論一種極端的情況，信源只發送一種消息，即永遠只發送1或者只發送0，從這樣的信源中我們就不能從中獲取任何信息，也就是說信源的不確定性為0。信源如果沒有不確定性，那么就沒有實用價值。不確定度和發送的消息數目和發送符號的概率有關。為了確切的描述信源，我們采用概率空間來描述信源。定義信息量的度量大寫字母X,Y,Z代表隨機變量，指的是信源整體。帶下標的小寫字母代表隨機事件的某一結果或信源的某個元素。兩者不可混淆。其中X1,X2,…Xn為信源的消息；P(x1),P(x2),…P(xn)為各消息出現的概率。根據以上分析我們可以寫出對應的概率空間：[例2.3.1]=[例2.3.2]=若隨機事件對上面的四個例子進行歸納可以得出如下有用的結論：（1）信源的不確定程度與其概率空間的消息數和消息的概率分布有關系（2）信源的消息為等概率分布時，不確定度最大（3）信源的消息為等概率分布，且其消息數目越多，其不確定度越大（4）只發送一個消息的信源，其不確定度為0，不發送任何信息發生的概率為，用I(xi)表示消息xi提供的信息量，則：稱I(xi)為消息xi的自信息量，表示信源發出一個消息xi所帶有的信息量。隨機事件的不確定度：猜測某一隨機事件是否會發生的難易程度，它在數量上等于它的信息量，兩者的單位相同，含義卻不同。當某事件必然發生時，就不存在不確定性，即不確定性為0。即P(xi)=1時，I(1)=-log1=0當某事件幾乎不發生時（或發生概率很小），其不確定性應趨于無窮大，即limI[p(xi)]=-log0=∞發生概率小的事件其不確定性比大概率事件大，即I(x1)=-logp(x1)I(x2)=-logp(x2),(p(x1)>p(x2)),則I(x1)<I(x2)兩個互相獨立事件的聯合信息量應該等于他們分別的信息量之和不管隨機事件是否發生，都存在不確定度；而自信息量是在該事件發生后給觀察者帶來的信息量。自信息量具有下列性質： （1）是非負值； （2）當=1時，=0； （3）當=0時，=∞；（4）是單調遞減函數。信息量的三種單位：比特bit對數取2為底奈特nat對數取e為底哈特萊hartley對數取10為底這三個信息單位之間的轉換關系如下：1nat=log2e≈1.433bit1hart=log210≈3.322bit1bit≈0.693nat1bit≈0.301Hart然而，自信息也有它的不足之處：1）自信息是隨機變量，不能作為整個信源的信息測度;2）自信息是指信源發出某一消息所含有的信息量;3）消息不同，它們所含有的信息量也不同。2.3.2聯合信源的自信息量和條件自信息量聯合信源:多個信源構成的信源。例如音響設備有多個聲道，彩色電視信號可分解為紅、綠、藍三種基色，遙感圖像包含多個波段，以及形形色色的多維信號。

本節以任意兩個隨機變量X和Y的聯合為例進行討論。 兩個隨機事件的離散信源，其信源模型為，其中。其自信息量是二維聯合集XY上元素對的聯合概率對數的負數值，稱為聯合自信息量，用表示，即 當X和Y相互獨立時，=，代入式（2.1.4）就有 說明兩個隨機事件相互獨立時，同時發生得到的自信息量，等于這兩個隨機事件各自獨立發生得到的自信息量之和。 條件自信息量定義為條件概率的負值。設條件下，發生的條件概率為，那么它的條件自信息量定義為 （2.1.6a）上式表示在特定條件（已定）下隨機事件發生所帶來的信息量。同樣，已知時發生的條件自信息量為 （2.1.6b）在給定()條件下，隨機事件發生()所包含的不確定度在數值上與條件自信息量[]相同，即可用式（2.1.6a或2.1.6b）計算，但兩者的含義不同。不確定度表示含有多少信息，信息量表示隨機事件發生后可以得到多少信息。 聯合自信息量和條件自信息量也滿足非負和單調遞減性，同時，它們也都是隨機變量，其值隨著變量，的變化而變化。 容易證明，自信息量、條件自信息量和聯合自信息量之間有如下關系：。［例2.3.3］（自信息量）有八個燈泡串聯相接，x1,x2…x8中每個燈泡損壞的可能性相等，現有一個燈損壞，致使電路不通，燈全部不亮。問：要查出損壞的燈泡至少需要多少信息量？解：至少要查三次方可確定損壞的燈泡。事件的概率空間為：設第xi個燈泡損壞因為所以查出損壞的xi需要3bit的信息量。說明：第一步，將八個燈分成兩組在任一組中有xi的概率是，查找出該組的信息量為-log=1bit=第二步，將有xi的組再分成兩組，任何一組中存在有xi的概率是查找出有xi組的信息量為-log=1bit=第三步，對剩下的兩個燈泡中的一個進行檢測，每一個燈泡的損壞概率為，查找出損壞燈泡的信息量為-log=1bit=所以，最終找出xi需要的信息量為+=1+1+1=3bit［例2.3.4］（聯合自信息量）有一個88的正方形棋盤，其上某位置放有一個棋子。問需確定該棋子的位置需要多少信息量？解：因設棋子等概率的可放在某列xi，并等概率的放在某行yj故，列概率空間為：行概率空間為聯合概率空間為：{XY,p(xyij),i=1…8,j=1…8}1.根據聯合自信息量求解：=確定位置需要的信息量為2．根據條件自信息量求解：第一步：確定在某行，即yj需要的信息量為第二步：確定在某列，即xi因yj已經確定，因此確定xi是在yj已知條件下。則，又因，xi，yj相互獨立，故需要的總信息量為2.4離散信源的平均自信息量——熵2.4.1平均自信息量——熵已知單符號離散無記憶信源的數學模型,其中，且我們定義信源各個離散消息的自信息量的數學期望(即概率加權的統計平均值)為信源的平均信息量，一般稱為信源的信息熵，也叫信源熵或香農熵，有時稱為無條件熵或熵函數，簡稱熵，記為.它實質上是無記憶信源平均不確定度的度量。如果取以2為底的對數，信源熵的單位是bit/符號。X中各離散消息的自信息量為非負值，概率也是非負值，且0≤≤1，故信源熵也是非負值。的定義公式與統計熱力學中熵的表示形式相同，這就是信源熵名稱的由來。[2.1.6]以[2.1.5為例]，計算=1/4×log2+3/4log2=0.811比特/消息[2.1.7]以[2.1.5為例]，計算通信系統信宿端Y的不確定度=7/12×log2+5/12log2=0.980比特/消息[2.1.8]計算能輸出26個英文字母的信源的信源熵。假設各字母等概率分布，且互相獨立。H(X)=-log2=4.701比特/字母2、本質信源熵表征信源的平均不確定度，平均自信息量是消除信源不確定度所需要的信息的度量。信源一定，不管它是否輸出離散消息，只要這些離散消息具有一定的概率特性，必有信源的熵值，這熵值在總體平均的意義上才有意義，因而是一個確定值。3、物理含義總括起來，信源熵有三種物理含義：(1)信源熵表示信源輸出后，每個離散消息所提供的平均信息量。(2)信源熵表示信源輸出前，信源的平均不確定度。(3)信源熵反映了變量X的隨機性。2.4.2聯合信源的平均信息量——聯合熵設離散集和組成二維聯合離散事件集的平均聯合自信息定義為：聯合集上的隨機變量的數學期望稱為集和集的聯合信息熵。2.4.3N次擴展信源的熵根據信息熵的定義，離散無記憶信源X的N次擴展信源的熵等于信源的熵的N倍，即證明由N次擴展信源的含義及熵的定義可知，N次擴展信源的熵為式中求和號是對信源中所有個符號求和，所以求和號共有個。這種求和號可以等效于N個求和，而且其中的每一個又是對X中的q個符號求和。所以得N次擴展信源的熵公式也可以寫成上式中共有N項，考察其中第一項上式引用了同理，計算其余各項，得例：有一離散無記憶信源求該離散無記憶信源的二次擴展信源的熵。解：由于擴展信源的每個符號是信源X的輸出長度為的符號序列，且信源X共有個不同符號，所以由信源X中的每二個符號組成的不同排列共有種，得二次擴展信源共有9個不同的符號。又因為信源X是無記憶的，則有（）于是得表如下信源符號符號序列概率可以算得，原始信源熵為比特/符號而二次擴展信源為比特/符號故有：對于上述結論，也可以直觀的進行理解。因為擴展信源的每一個輸出符號是由N個所組成的序列，并且序列中前后符號是統計獨立的。先已知每個信源符號含有的平均信息量為,那么N個組成的無記憶序列平均含有的信息量就為(根據熵的可加性)。因此，信源每個輸出符號含有的平均信息量為。2.5信息熵的性質由于信息熵是信源概率空間的一種特殊矩函數。這個矩函數的大小，雖然與信源的符號及符號的概率分布有關。當信源符號集的個數給定，信源的信息熵就是概率分布的函數。而這個函數形式即為（2.5.1）可用概率矢量來表示概率分布可用來表示符號概率。概率矢量是維矢量，是其分量，它們滿足和這樣信息熵是概率矢量或它的分量的元函數。所以（2.5.1）可寫成(2.5.2)是概率矢量的函數，稱為熵函數。常用來表示以離散隨機變量描述的信源的熵；而用或是來表示概率矢量為P=的個符號信源的信息熵。熵函數也是一種特殊函數，它的函數形式為（2.5.3）它具有下列一些性質：對稱性當變量的順序任意互換時，熵函數的值不變，即（2.5.4）該性質表明熵只與隨機變量的總體結構有關，即與信源的總體統計特性有關。如果某些信源的統計特性相同（含有的符號數和概率分布相同）,那么，這些信源的熵就相同。非負性即（2.5.5）該性質是很顯然的。因為隨機變量的所有取值的概率分布滿足，當取對數的底大于1時，，而，則得到的熵是正值的。只有當隨機變量是一確知量時，熵才等于零。這種非負性對于離散信源的熵是合適的，但對連續信源來說這一性質并不存在。以后還可以看到，在相對熵的概念下，可能出現負值。確定性即(2.5.6)因為在概率矢量中，當某分量時，；而其余分量所以上式成立。這個性質意味著從總體上來看，信源雖然有不同的輸出符號，但它只有一個符號幾乎必然出現，而其他符號都是幾乎不可能出現，那么，這個信源是一個確知的信源，其熵等于零。擴展性即（2.5.7）此性質也不難證明，因為所以等式（2.5.7）成立。本性質說明信源的取值數增多時，若這些取值對應的概率很小（接近于零），則信源的熵不變。雖然，概率很小的事件出現以后，給予收信者較多的信息。但從總體來考慮時，因為這種概率很小的事件幾乎不會出現，所以它在熵的計算中占得比重很小，致使總的信源熵值維持不變。這也是熵的總體平均性的一種體現。可加性有兩個離散集,其中集的概率分布為其中集的概率分布為組成的聯合集的概率分布為聯合集的熵為：=為在給定條件下，發生的概率。為條件熵。當相互獨立時，=，則即3)若集合X由K個子集組成的，每個子集的概率為，則其熵為。對每個子集作進一步劃分，如將第個子集劃分為個事件，則子集中某事件出現的概率為且。對這樣劃分的集X，當我們要判斷事件出現在哪個子集時候可分兩步進行：第一步，先判斷事件屬于哪個子集，其不確定性為。即平均需要這么多的信息量。第二步，再判斷是子集中的哪個事件，其平均不確定性為相鄰的子集出現的概率為。所以第二次判斷平均付出的信息量為，以上兩步之和就是集X的總的平均不確定性，也就是判斷一個事件出現所必須付出的平均信息量。即=+極值性最大離散熵定理：X集中的事件發生的概率為則，即對于具有個符號的離散信源，只有在個信源符號等可能出現的情況下，信源熵才能達到最大值。也就是表明等概率分布信源的平均不確定性為最大。這個結論就叫做最大離散熵定理條件熵小于無條件熵(2.5.8)當且僅當X和Y相互獨立時等號成立。證明根據條件熵的定義=若令，于是得代入上述表達式，可以得到即證畢。上凸性熵函數是概率矢量的嚴格型凸函數（或稱上凸函數）。即對任意函數矢量和，及任意則有(2.5.9)此式可根據凸函數的定義來證明。正因為熵函數具有上凸性，所以熵函數具有極值，熵函數的最大值存在。2.6離散信源的互信息及平均互信息2.6.1非平均互信息1，輸入事件與輸出事件的概率關系例：設輸入空間，將各消息以三位二元數字表示并作為輸出，我們通過對輸出事件的觀測來判斷輸出的是哪個消息。假定系統的輸入消息為，則輸出為“011”輸入消息輸出消息消息的先驗概率消息后驗概率收到“0”后消息后驗概率收到“01”后消息后驗概率收到“011”后作為觀察者，我們只知道出現的概率相等而不知道輸入是哪個消息當觀察到輸入的二元數字后，用后驗概率公式來表示出各消息的后驗概率。分析：每收到一個輸出的二元數字后，各輸入消息的后驗概率作獨立變化，這有利于對輸入事件進行猜測。在接收到011后，消息出現的概率逐步增加，最終到1，而其他消息出現的后驗概率都先后減為零，從而完全確定輸入的消息。結論：當系統中關心的是哪個輸入消息時，則與事件出現的先驗概率和經過觀測后事件出現的后驗概率有關。即，信息的概率是先驗概率和后驗概率的函數。——系統可能輸入的消息如——系統可能輸出的消息如令三個二元數字分別為，表示則每收到一個數字得到的信息量分別為：而且應當滿足：2．非平均信息量的定義1）定義：對給定的兩個離散事件集。事件的出現給出關于事件的信息量定義為同理，對于事件出現給出的關于事件的信息量為：2）非平均互信息即=證：3）說明：=1\*GB3①事件之間存在有互信息是因為兩個事件統計相關。=2\*GB3②若兩個事件相互獨立，則互信息等于零。=3\*GB3③若事件的出現有助于肯定事件的出現，即，則互信息大于零，即>0.若事件出現告訴我們事件的出現可能性減小，則<0,互信息小于零。2.6.2條件互信息與聯合事件的互信息1．條件互信息設分別為三個離散事件集，由組成的聯合集為：其概率關系為：定義：對三個離散集組成的聯合概率空間在給定的事件條件下，事件和事件之間的條件互信息量定義為：條件互信息的定義和無條件互信息的定義之間的差別僅在于它的先驗概率和后驗概率均為某種特定條件下的取值，這個定義可推廣到任意有限個空間。N維概率空間中的事件的互信息對于N個空間中的事件的條件互信息可以考慮已知的情況下之間的條件互信息量為：條件互信息也具有對稱性，即2.聯合互信息（互信息的可加性）有一個系統，其輸入空間是,輸出空間是.可為并行或是按時間前后的串行輸出，當知道事件和后，共給出系統中有關的信息量，以及單獨提供有關的信息量的關系為：=1\*GB3①為聯合事件和事件之間的互信息。=2\*GB3②關系證明：即：聯合給出的關于的信息量等于給出的關于的信息量與已知的條件下，給出的關于的信息量——互信息的可加性=3\*GB3③聯合互信息對稱性即：事件給出的關于的信息量等于給出的的信息量加上已知條件下給出的關于的信息量。=4\*GB3④聯合互信息的可加性可以推廣到任意的有限空間互信息的可加性對于描述每個事件之間的互信息是非常方便的，特別是對于用戶信息論中的信息量的分析。2.6.3平均互信息量前面我們知道，聯合空間中的一對事件之間的互信息是定義在空間中的隨機變量，對空間上的概率分布進行統計平均得它是特定時間出現時所給的關于中各事件的平均信息量，設信息量非負，即對事件的觀察總是有助于對集中的事件出現的判斷，同時，又是集的隨機變量，即隨著中給定的事件的不同而不同。1，兩個離散集的平均互信息量定義：集合中的隨機變量的數學期望值定義為集和集之間的平均互信息量。平均互信息量描述了兩個集合之間一個集合中的事件出現后，所給出的關于另一個集合中事件出現的信息量的平均值。2．平均信息、熵、條件熵的關系各表達式說明：1）表示互信息等于輸入集的平均不確定性在觀察到輸出集后，集還保留的不確定性,稱作是含糊度，疑義度或存疑度。在給定集后，含糊度越大，得到的信息量就越小。2）表示平均互信息還等于觀察到后獲得的信息量(或集的平均不確定性)減去傳送時由于干擾影響使觀察的存在有的二平均不確定性,稱作散布度，干擾越嚴重散布度就越大，因而得到的信息量就越少。3）表明和之間信息關聯的緊密程度。若相互獨立則有3.平均條件互信息聯合集中在一個集合給定的條件下。列兩個集之間的平均互信息稱作是平均條件互信息。定義：集上定義的隨機變量的數學期望定義為集和集在集給定條件下的平均條件互信息量。由定義可推論出：A．B.C.2.7平均互信息量的性質平均互信息量的基本性質有：=1\*GB3①非負性離散集和的平均互信息不小于零。即當且僅當互相獨立時，否則，。當集和統計相關時，集事件發生總能提供一些關于的信息。=2\*GB3②對稱性和統計相關，觀測得到的關于的信息量與觀測集得到的關于的信息量相等。證：=3\*GB3③可加性=4\*GB3④極值性=5\*GB3⑤平均互信息的凸性據得知，平均互信息只是輸入集的概率分布和條件概率的函數。即平均互信息只與信源的概率分布和信道的轉換概率有關，因此對于不同的信源分布和不同的條件概率得到的互信息不同。定理一：平均互信息是集的分布的上凸函數，即當條件概率給定后，對于不同的集分布，平均互信息具有最大值。定理二：平均互信息是條件概率的下凸函數，即當集分布給定后，對于不同的條件概率，平均互信息具有最小值。2.8信息處理定理由集合X,Y,Z組成的級聯系統如圖所示：XZY其中，X:系統一的輸入；Y:系統二的輸出；Z:系統一得輸出，系統二的輸入。系統分析：1，若是對任意的有下式成立：即在Z的條件下，X，Y相互獨立。則有，此時，2，若是系統二的輸出只由系統二的輸入Z決定則有，對所有滿足>0的x，y，z給兩邊同乘得，=此時，在給定Z的條件下，系統輸出Y和輸入X之間的平均互信息量等于零。即，由上面的級聯分析系統得出信息處理的定理：對于X,Y,Z組成的上述級聯系統，對于集Z到集Y的任意變換Y=f（Z）有如下結論：證明：由：得，即可得，又因為條件互信息非負，即得，根據熵中熵的自信息量之間的關系得：和代入;得得，當且僅當f（Z）=Y的時候，有此時，上式中的等號才能成立。（）此定理得證。對于上述的級聯我們還可以得到信息處理定理的說明：若將集X作為觀測對象，Z作為觀測到的數據集，而Y作為對觀測結果Z的某種變換（處理）得到的結果，則對于觀測得到的數據做任何處理都會帶來數據的損失，而絕對不會是信息增加。這就是信息的不增性原理，也是信息的一個重要性質之一。在對觀測數據Z進行處理的時候，若是處理的細致些，會使信息損失少一些，但付出的代價（如設備的復雜性，計算量或者處理時間）要更大了。例如，一外文小說（Z）翻譯成中文小說（Y）,小說的信息量（X）之間的關系。2.9連續信源的信息度量2.9.1連續隨機變量的信息量和熵1．自信息量基本連續信源的數學模型為X=并滿足其中R是全實數集，是連續變量X的取值范圍。根據前述的離散化原則，連續變量X可量化分層后用離散變量描述。量化單位越小，則所得的離散變量和連續變量越接近。因此，連續變量的信息測度可以用離散變量的信息測度來逼近。假定連續信源X的概率密度函數為，我們把取值區間［］分割成n個小區間，有等寬=，當連續變量X取值在范圍內的時候，其出現的概率為所以事件的自信息量為：2．平均自信息量根據平均自信息量的定義，有：=分析：當劃分無限精細時，即時，，因此將隨著劃分的變細而趨向無窮大，這說明連續隨機變量的潛在信息量是無窮的，對它進行量化時，量化的精度越高，它呈現出的信息量就會越大。而隨之表現這一精度所需的代價也就會越來越大。但實際中，由于人或者機器的分辨力是有限的，且存在著若干的干擾因素。使得對任何物理量的測量不必、也不可能過于精細。2.9.2連續信源的最大熵、熵功率、相對熵及互信息量1．連續信源的最大熵從前面的討論我們可以知道，對于離散信源來說的話，在所有的消息獨立等概率時，其輸出熵最大。在確定這個最大熵時，除了概率和等于1（即）外誒有任何其他的約束條件，這里要研究連續信源最大熵的條件。在討論的時候，仍然先假定樣值間是相互獨立的，也就是說，需要研究使連續信源熵為最大時信號的一維最佳概率分布。具體地說，就是求求當熵為最大條件下，求解概率分布密度函數，且滿足：=1\*GB3①；=2\*GB3②其他約束條件。這個問題一般用變分法來求解，即在若干條件制約下（2.9.1）求積分（泛函）（2.9.2）為極值時這一函數。式（2.9.1）中為常數。在所研究的問題中為（2.9.3）在求解這個問題中，為了對式（2.9.2）的積分求極值，又要保證滿足給定的約束條件，就需要建立如下的函數（2.9.4）式中，為特定系數，由個制約條件決定的。因此，求函數的極值，就變為求式子（2.9。4）函數的極值，即對函數求導并令其為零，即（2.9.5）因為不管為何值，上式均應滿足，因此必須保證（2.9.6）求解方程式（2.9.6）得函數，然后代入式（2.9.1）的個方程，即可求得系數從而決定了。實際上，對連續信源感興趣的有以下兩種情況：=1\*GB3①信源輸出的瞬時功率或輸出幅度受限的情況；=2\*GB3②信源輸出的平均功率受限的情況。現在應用上述的變分法來求解信源的最佳概率分布密度和最大熵。輸出值范圍受限的信源信源輸出信號的幅度或瞬時功率S受到限制。即：求解：（2.9.7）為極值時的。這時限制條件只有一個，即（2.9.8）對于給定的情況式（2.9.6）中所以式（2.9.6）可寫成則為了計算方便，對數取以e為底的對數，得（2.9.9）將式（2.9.9）代入（2.9.8）可得，則(2.9.10)這就是說，概率分布密度為常數時，有最大熵，如圖2.9.1所示。0+V0+V-VP(V)圖2.9.1信源輸出幅度受限時最佳分布最大熵為或寫成（2.9.11）一般情況下，當幅度限制在和之間，即當時，則（2.9.12）(2.9.13)從上面的分析中可以得到如下的結論：輸出信息值的范圍受限的連續信源，其輸出最大熵的條件是輸出信號在該范圍內分布是均勻分布，其最大熵為概率分布密度倒數的對數。這與輸出符號數受限的離散信源在各符號以等概率出現時輸出熵最大的結論是類似的。輸出平均功率受限的信源假定信源的平均功率為，此時求解熵(2.9.14)為極值時的。這時限制條件為（2.9.15）這時，將上式代入式（2.9.6）得解得對數取以e為底，得（2.9.16）將上式代入式（2.9.15）第一式，得則得（2.9.17）將式（2.9.16），（2.9.17）代入式（2.9.15）第二式，得則得（2.9.18）所以（2.9.19）將式（2.9.19）和（2.9.18）代入式（2.9.16）得（2.9.20）此式表明，信號平均功率一定時，信號的最佳概率分布式數學期望為零，方差等于均功率的高斯分布。這時，最大熵為（奈特）（2.9.21）若高斯分布的信號平均功率為N，,因此式（2.9.21）可寫成(奈特)（2.9.22）式（2.9.21）和（2.9.22）說明了具有高斯分布的連續信源的熵最大，其大小平均功率N的增加而增加。也就是說，高斯信源輸出的每個樣值（也叫自由度）提供的平均信息量最大，而且隨平均功率而增加。倘若一個信源的輸出信號平均功率為N，但其幅度分布不是高斯分布，那么其熵將比式（2.9.21）計算的小。對于這種信源為了分析方便，又定義了一個“熵功率”，用來表示該信源的剩余。所謂熵功率就是指與這個平均功率的非高斯信源有同樣熵的高斯信源的平均功率。因此，若H為這個信源的熵，則根據熵功率的定義，得則熵功率為(2.9.23)即熵功率永遠小于信源的真正功率，這說明非高斯信源是有剩余信源，即有功率剩余。2．=1\*GB3①絕對熵將稱作絕對熵，在比較兩個事件信息量時常被略去。=2\*GB3②相對熵——微分熵——熵稱作為是連續變量集X的微分熵或是熵，在研究互信息量中只有該熵有作用，我們就把它的極限叫做連續隨機變量的相對熵。即(2.9.24)例：設X是區間上均勻分布的連續隨機變量，求X的熵。解：X的概率密度為注：連續隨機變量的相對熵不具有非負性當3．聯合熵和條件熵假若有兩個連續信源X和Y，且：——分別為信源X和Y的概率分布密度：——分別為條件概率分布函數；——聯合概率分布密度，即二維分布。則二元聯合信源的聯合熵為:(2.9.25)其條件熵為（2.9.26）或（2.9.27）由于連續信源的熵是相對熵，它與離散信源的熵不同，不具有非負性和極值性。但也存在連續信源的聯合熵、條件熵和熵之間的關系：1)2)當信源X和Y相互獨立時，1和2中的等號成立。3）對于多元聯合信源，若其聯合概率密度為，則其聯合熵為并且存在當信源彼此獨立時，等號成立。4．連續隨機變量的互信息=1\*GB3①設X,Y都是隨機變量，概率密度分別為，聯合概率密度為概率密度之間的關系為：概率：對于任意的小區間隨機變量取值在附近的概率為：隨機變量取值在附近的概率為：同時取值在附近的概率為：互信息量的定義：連續聯合集{}中，事件之間的互信息量為：條件互信息：連續聯合集的條件互信息：聯合互信息量：=2\*GB3②平均互信息：連續隨機變量集之間的平均互信息定義為：平均條件互信息為：集XY和Z之間的平均互信息為：=3\*GB3③連續隨機變量平均互信息量的性質：=1\*ROMANI非負性(當X和Y獨立時等號成立)=2\*ROMANII對稱性=3\*ROMANIII極值性=4\*ROMANIV可加性連續集的平均互信息和相對熵的關系：2.9.3隨機過程的相對熵及互信息設是在時間段上的兩個隨機變量，他們滿足平方可積條件，即能量有限。將展開，展開形式為：其中=1，2…=1，2…這樣，隨機過程就在均方收斂意義下，由他們的分量來表示。其中每個分量都是一個隨機變量。則，時間上連續的隨機變量就化為樣點可數，取值連續的隨機變量的集合。隨機變量和的相對熵及互信息。相對熵：互信息：隨機過程在給定時間段上的相對熵及互信息相對熵：可由時的隨機變量給出：互信息：在實際中，對于一個數量為,時間段長為T的隨機過程。可近似用將隨機變量來表示。這樣，一個數量和時間都為有限的時間函數就化為有限個時間離散的隨機變量。例：設是兩個獨立的隨機過程。是兩個隨機過程之和。求和的互信息。解：因獨立。則對任意N，其正交展開式的矢量X和Z的分量分別是獨立。故都可用同一正交數集展開。則隨機變量之間的互信息為：習題2.1同時擲兩個正常的骰子，也就是各面呈現的概率是一樣的，都是1/6,求：（1）“2和4同時出現”事件的自信息量；（2）“兩個3同時出現”事件的自信息量；（3）兩個點數的各種組合（無序對）的熵或平均信息量；（4）兩個點數之和（即2,3，…，12構成的子集）的熵；（5）兩個點中至少有一個是3的自信息量。2.2某大學設置有6個系，每個系的學生人數分別為系別：123456人數：360360480600480360問“某學生A是是三系學生”這一消息提供的信息量是多少？2.3一副充分洗亂了的牌（含52張牌），試問（1）任一特定排列所給出的信息量是多少？（2）若從中抽取13張牌，所給出的點數都不相同時得到多少信息量？2.4設有一離散無記憶信源，其概率空間為求每個符號的自信息量；信源發出一消息符號序列為{202120130213001203210110321010021032011223210}，求該消息序列的自信息量及平均每個符號攜帶的信息量。2.5兩個實驗X和Y，X={}，Y={}，聯合概率為如果有人告訴你X和Y的實驗結果，你得到的平均信息量是多少？如果有人告訴你Y的實驗結果，你得到的平均信息量是多少？在已知Y實驗結果的情況下，告訴你X的實驗結果，你得到的平均信息量是多少？2.6如果有6行8列的棋型方格，若有二個質點A和B，分別以等概率落入任一方格內，且它們的坐標分別是,，但A、B不能落入同一個方格內。（1）若僅有質點A，求A落入人一個格的平均自信息量是多少？（2）若已知A已落入，求B落入的平均自信息量是多少？（3）若A、B是可分辨的，求A、B同都落入的平均自信息量是多少？2.7設離散無記憶信源其符號集，知其相應的概率分布為。設另一離散無記憶信源,其符號集為信源符號集的兩倍，并且各符號的概率分布滿足試寫出信源的信息熵與信源的信息熵的關系。2.8設信源求這信源的熵，并解釋為什么，不滿足信源熵的極值性。2.9變量的聯合概率密度分布如下：求熵，，，和。2.10在一個二進制信道中，信源消息集，且，信宿的消息集，信道傳輸概率，。求：（1）在接受端收到后，所提供的關于傳輸消息的平均條件互信息量；（2）該情況下所能提供的平均互信息量。2.11已知信源發出兩種消息，且。此消息在二進制對稱信道上傳輸，新到的傳輸特性為，。求互信息量和。2.12隨機變量的概率在取值范圍為內服從均勻分布，計算該信源的相對熵。2.13一個發射機發出、、三個消息，他們的先驗概率和條件概率分別為00試求：（1）該信源的熵？（2）若信源各消息之間是獨立無關時，信源熵為多少？

第三章離散信源無失真編碼通信的實質是信息的傳輸。而高速度、高質量地傳送信息卻又是信息傳輸的基本問題。將信源信息通過信道傳送給信宿，怎樣才能即做到盡可能不失真而又快速呢？這就需要解決。第一，在不失真或允許一定失真條件下，如何用盡可能少的符號來傳送信源信息，以便提高信息傳輸率。第二，在信道受到干擾的情況下，如何增加信號的抗干擾能力，同時又使得信息傳輸率最大。若接收端信宿要求無失真地精確復制信源輸出的消息，這種表示是一一對應的，即保證信源產生的全部信息無失真地傳送給信宿，這時的信源編碼是無失真編碼。只有對離散信源可以實現無失真地信源編碼，對連續信源其信源輸出的信息量為無限大，因此是不可能實現無失真信源的編碼的。為了解決這兩個問題我們引入了信源編碼和信道編碼。在前面已建立的信源統計特性和信息熵的概念