第1章緒論普通高等教育“十一五”國家級規劃教材信息論與編碼（第3版）01信息的概念1.信息、情報、知識、消息及信號間的區別與聯系信息是信息論中最基本、最重要的概念，它是一個既抽象又復雜的概念。這一概念像在實踐中提出來的其他科學概念一樣，是在人類社會相互通信的實踐過程中產生的。在現代信息理論形成之前的漫長時期中，信息一直被看作通信中消息的同義詞，沒有賦予它嚴格的科學定義。信息的概念信息不能等同于情報。情報往往是軍事學、文獻學方面的習慣用詞。如“對敵方情況的報告”，“文獻資料中對于最新情況的報道或者進行資料整理的成果”等稱為情報。在“情報學”這一新學科中，它們對于“情報”是這樣定義的，“情報是人們對于某個特定對象所見、所聞、所理解而產生的知識”。可見，情報的含義要比“信息”窄得多。它只是一類特定的信息，不是信息的全體。信息也不能等同于知識。知識是人們根據某種目的，從自然界收集得來的數據中，整理、概括、提取得到的有價值的、人們所需的信息。知識是一種具有普遍和概括性質的高層次的信息。例如，如圖1.1所示，有A、B兩所大學學生的一堆考試成績數據。信息的概念信息也不能等同于消息。人們也常常錯誤地把信息等同于消息，認為得到了消息，就是得到了信息。例如，當人們收到一封電報，接到一個電話，收聽了廣播或看了電視等以后，就說得到了“信息”。的確，人們從接收到的電報、電話、廣播和電視的消息中能獲得各種信息，信息與消息有著密切的聯系。但是，信息與消息并不是一件事，不能等同。既然信息不同于消息，當然也不同于信號。在各種實際通信系統中，往往為了克服時間或空間的限制而進行通信，必須對消息進行加工處理。把消息變換成適合信道傳輸的物理量，這種物理量稱為信號(如電信號、光信號、聲信號、生物信號等)。信息的概念信號攜帶著消息，它是消息的運載工具。由于這個電報系統的傳遞信道是無線電電波信道，所以漢文消息不能直接在信道中傳輸。一般，需先將漢文(例如“母病愈”)變換成4位碼，然后變換成由點、劃和空格三種符號組成的莫爾斯碼，再轉換成脈沖電信號，然后經過調制變成高頻調制電信號，才能在信道中傳輸。2.哈特萊、維納、朗格等人對信息的定義

關于信息的科學定義，到目前為止，國內外已有不下百余種流行的說法。它們都是從不同的側面和不同的層次來揭示信息的本質的。信息的概念哈特萊(R.V.L.Hartley)是最早對信息進行科學定義的。他在1928年發表的《信息傳輸》一文中，首先提出“信息”這一概念。他認為，發信者所發出的信息，就是他在通信符號表中選擇符號的具體方式，并主張用所選擇的自由度來度量信息。哈特萊的這種理解在一定程度上能夠解釋通信工程中的一些信息問題，但它存在著嚴重的局限性。首先，他所定義的信息不涉及信息的價值和具體內容，只考慮選擇的方式c其次，即使考慮選擇的方式，但沒有考慮各種可能選擇方式的統計特性。正是這些缺陷嚴重地限制了它的適用范圍。信息的概念關于信息的定義，有人提岀用變異度、差異量來度量信息，認為“信息就是差異”。這種說法的典型代表是意大利學者朗格（G.Longe）0他在1975年出版的《信息論:新的趨勢與未決問題》一書的序言中提岀：“信息是反映事物的形式、關系和差別的東西。信息包含于客體間的差別中，而非客體本身中。”“在通信中僅僅差別關系是重要的”，也就是說，他定義信息是客體之間的相互差異。的確，宇宙內到處存在著差異，差異的存在使人們存在著“疑問”和“不確定性”。從這個角度看，差異的確是信息。但是，并不能說沒有差異就沒有信息。所以，這樣定義的信息也是不全面的、不確切的。3.香農信息的定義

香農在1948年發表了一篇著名的論文《通信的數學理論》。他從研究通信系統傳輸的實質出發，對信息做了科學的定義——香農信息，并進行了定性和定量的描述。信息的概念如前所述，各類通信系統——電報、電話、廣播、電視、雷達、遙測等傳送的是各種各樣的消息。消息的形式可以不同，但它們都是能被傳遞的，是能被人們的感覺器官（眼、耳、觸覺等）所感知的，而且消息表述的是客觀物質和主觀思維的運動狀態或存在狀態。香農將各種通信系統概括成如圖1.2所示的框圖。在各種通信系統中，其傳輸的形式是消息。但消息傳遞過程的一個最基本、最普通卻又不十分引人注意的特點是:收信者在收到消息以前是不知道消息的具體內容的。4.香農信息的度量

根據香農信息的定義，信息如何測度呢？當人們收到一封電報，或聽了廣播，或看了電視，到底得到了多少信息量呢？顯然，信息量與不確定性被消除的程度有關。消除多少不確定性，就獲得多少信息量。那么，不確定性的大小能度量嗎？信息的概念用數學的語言來講，不確定性就是隨機性，具有不確定性的事件就是隨機事件。因此，可運用研究隨機事件的數學工具一一概率論和隨機過程來測度不確定性的大小。若從直觀概念來講，不確定性的大小可以直觀地看成事先猜測某隨機事件是否發生的難易程度。信息的概念

(1)樣本空間和概率空間我們把某事物各種可能出現的不同狀態，即所有可能選擇的消息的集合，稱為樣本空間。每個可能選擇的消息是這個樣本空間的一個元素。(2)概率測度對于離散消息的集合，概率測度就是對每一個可能選擇的消息指定一個概率(非負的，且總和為1)0(3)概率空間一個樣本空間和它的概率測度稱為一個概率空間。信息的概念信息的概念信息的概念信息的概念

首先，我們已經看到，這個定義的出發點是假定事物狀態可以用一個以經典集合論為基礎的概率模型來描述。然而對實際某些事物運動狀態或存在狀態，要尋找一個合適的概率模型往往是非常困難的。其次，這個定義和度量沒有考慮收信者的主觀性和主觀含義，也撇開了信息本身的具體含義、具體用途、重要程度和引起的后果等因素。這就與實際情況不完全一致。由此可見，香農信息的定義和度量是科學的，是能反映信息的某些本質的;但卻是有缺陷的、有局限的。這樣，它的適用范圍會受到嚴重的限制。信息的概念5.信息的廣義概念

(1)信息是物質世界的三大支柱之一目前，哲學家和科學家普遍認為，物質、能量和信息是物質世界的三大支柱，是科學歷史上三個最重要的基本概念。世界是物質的。沒有物質就沒有世界，就沒有一切，也就沒有信息。可以說信息與物質同存，信息是物質的一種普遍屬性。在物質世界中，任何事物都處于永恒的運動和普遍的相互作用之中。只要有運動和相互作用的事物，就需要有能量，也就會產生各種各樣事物運動的狀態和方式，就會產生信息。信息是作為物質存在方式和狀態的自身顯示，同樣也是相互作用的自身顯示。可見，信息源于物質世界本身，源于物質世界的運動和相互作用之中，所以信息是普遍存在的。信息的概念5.信息的廣義概念

綜合上述，信息具有以下主要特性：①信息、物質、能量統一于事物，信息和物質一起規定著事物的功能。②信息的存在具有普遍性、無限性、動態性、時效性和相對獨立性。③信息具有可傳遞性、可轉換性、可擴散性、可復制性、可存儲性和可分割性，因而具有可共享性。④信息具有可度量性。信息量守恒是客觀事物固有的特性。信息不因認識而消失，也不因傳遞、復制和擴散而增值。信息的概念5.信息的廣義概念

(2)語法、語義、語用信息從這種觀點出發，我國學者鐘義信教授在本體論的層次(最高、最普遍的層次，也是無約束條件的層次)上，對信息做了定義。他認為：“信息就是事物運動的狀態和方式，就是關于事物運動的千差萬別的狀態和方式的知識語法信息是事物運動狀態和狀態改變方式的本身。所以它不涉及這些狀態的含義和效用，是最抽象最基本的層次。語義信息是事物運動狀態和方式的具體含義。它研究各種狀態和實體間的關系，即研究信息的具體含義。語用信息是事物運動狀態和方式及其含義對觀察者的效用，或者是相對于某種目的的效用。這是研究事物運動狀態和方式與使用者的關系，即研究信息的主觀價值。顯然，此處的信息概念已遠遠超出了原來通信領域的范疇。02信息論研究的對象、目的和內容信息論研究的對象、目的和內容1.信息論研究的對象

從上節關于信息概念的討論中，我們已經看到，各種通信系統如電報、電話、電視、廣播、遙測、遙控、雷達和導航等，雖然它們的形式和用途各不相同，但本質是相同的，都是信息的傳輸系統。為了便于研究信息傳輸和處理的共同規律，我們將各種通信系統中具有共同特性的部分抽取岀來，概括成一個統一的理論模型，如圖1.3所示。通常稱它為通信系統模型。信息論研究的對象、目的和內容

這個通信系統模型也適用于其他的信息流通系統，如生物有機體的遺傳系統、神經系統、視覺系統等。甚至人類社會的管理系統都可概括成這個模型。所以該統一的理論模型又可統稱為信息傳輸系統模型。信息論研究的對象正是這種統一的通信系統模型。人們通過系統中消息的傳輸和處理來研究信息傳輸和處理的共同規律。20%3050%（1）信息源（簡稱信源）

顧名思義，信源是產生消息和消息序列的源。它可以是人、生物、機器或其他事物。它是事物各種運動狀態或存在狀態的集合。（2）編碼器

編碼是把消息變換成信號的措施，而譯碼就是編碼的反變換。編碼器輸出的是適合信道傳輸的信號，信號攜帶著消息，它是消息的載荷者。編碼器可分為兩種，即信源編碼器和信道編碼器。（3）信道

請替換文字內容。修改文字內容，也可以直接復制你的內容到此。請替換文字內容。信息論研究的對象、目的和內容通信系統模型主要分成下列5個部分。20%3050%（4）譯碼器

譯碼就是把信道輸出（已疊加了干擾）的編碼信號進行反變換。也就是要從受干擾的編碼信號中最大限度地提取出有關信源輸出的信息。譯碼器一般可分成信源譯碼器和信道譯碼器。在保密通信系統中，還應包括解密譯碼。（5）信宿

信宿是消息傳送的對象，即接收消息的人或機器。信源和信宿可處于不同地點和不同時刻。圖1.3給出的模型只適用于收發兩端單向通信的情況。它只有一個信源和一個信宿，信息傳輸也是單向的。更一般的情況是:信源和信宿各有若干個，即信道有多個輸入和多個輸出，另外信息傳輸方向也可以是雙向的。信息論研究的對象、目的和內容通信系統模型主要分成下列5個部分。20%3050%（5）信宿

近年來，以計算機為核心的大規模信息網絡，尤其是互聯網的建立和發展，對信息傳輸的質量要求更高了。不但要求既快速有效又能可靠地傳遞信息，而且還要求信息傳遞過程中保證信息的安全保密，不被偽造和篡改。因此，在編碼器這一環節中還需加入加密編碼。相應地，在譯碼器中要加入解密譯碼。為此，我們把圖1.3的通信系統模型中編（譯）碼器分成信源編（譯）碼、信道編（譯）碼和加密（解密）編（譯）碼三個子部分。這樣，信息傳輸系統的基本模型如圖1.4所示。信息論研究的對象、目的和內容通信系統模型主要分成下列5個部分。信息論研究的對象、目的和內容2.信息論研究的目的

研究如圖1.4所示的這樣一個概括性很強的信息傳輸系統，其目的就是要找到信息傳輸過程的共同規律，以提高信息傳輸的可靠性、有效性、保密性和認證性，達到信息傳輸系統最優化。所謂可靠性，就是要使信源發出的信息經過信道傳輸以后，盡可能準確地、不失真地再現在接收端。所謂有效性，就是經濟效果好，即用盡可能短的時間和盡可能少的設備來傳送一定數量的信息。以后我們會看到，提高可靠性和提高有效性常常會發生矛盾，這就需要統籌兼顧。所謂保密性，就是隱蔽和保護通信系統中傳送的信息，使它只能被授權接收者獲取，而不能被未授權者接收和理解。所謂認證性，是指接收者能正確判斷所接收的信息的正確性，驗證信息的完整性，而不是偽造的和被篡改的。信息論研究的對象、目的和內容有效性、可靠性、保密性和認證性四者構成現代通信系統對信息傳輸的全面要求。信息傳輸系統模型不是不變的。它根據信息傳輸的要求而定C在研究信息傳輸有效性時，可只考慮信源與信宿之間的信源編（譯）碼，將其他部分都看成一個無干擾信道。在研究信息傳輸可靠性時，將信源、信源編碼和加密編碼都等效成一個信源，而將信宿、信源譯碼和解密譯碼都等效成一個信宿。在考慮信息傳輸的保密性和認證性時，將信源和信源編碼等效成一個信源;將信道編碼、信道、噪聲源和信道譯碼等效成一個無干擾信道;而將信源譯碼和信宿等效于信宿。這樣劃分是否合理呢？通過全書的討論，我們可以得出，這樣劃分是合理的。信息論研究的對象、目的和內容3.信息論研究的內容

關于信息論研究的具體內容是有過爭議的。某些數學家認為信息論只是概率論的一個分支。當然，這種看法是有一定根據的，因為香農信息論確實為概率論開拓了一個新的分支。但如果把信息論限制在數學范圍內，這就太狹義了。也有些物理學家認為信息論只是嫡的理論，他們對“嫡”特別感興趣。當然，嫡的概念確實是香農信息論的基本概念之一，但信息論的全部內容要比嫡的概念廣泛得多。信息論研究的對象、目的和內容

目前，對信息論研究的內容一般有以下三種理解。（1）狹義信息論，也稱經典信息論:它主要研究信息的測度、信道容量及信源和信道編碼理論等問題。這部分內容是信息論的基礎理論，又稱香農基本理論。其研究的各部分內容可用圖1.5來描述。信息論研究的對象、目的和內容

(2)一般信息論，也稱工程信息論:它主要研究信息傳輸和處理問題。除了香農理論，還包括編碼理論、噪聲理論、信號濾波和預測理論、統計檢測與估計理論、調制理論、信息處理理論及保密理論等。后一部分內容以美國科學家維納(N.Wiener)為代表，其中最有貢獻的是維納和蘇聯科學家柯爾莫哥洛夫(A.KoziMoropoB)。(3)廣義信息論:信息論是一門綜合、交叉的新興學科，它不僅包括上述兩方面的內容，而且包括所有與信息有關的自然科學和社會科學領域，如模式識別、計算機翻譯、心理學、遺傳學、生物學、神經生理學、語言學、語義學甚至包括社會學、人文學和經濟學中有關信息的問題。它也就是新發展起來的包括光學信息論、量子信息論和生物信息論等新學科在內的信息科學理論。03信息論發展簡史與信息科學信息論發展簡史與信息科學

1.信息論形成的背景和基礎信息論從誕生到今天，已有半個多世紀，現已成為一門獨立的理論學科。回顧它的發展歷史，我們可以知道理論是如何從實踐中經過抽象、概括、提高而逐步形成的。信息論是在長期的通信工程實踐和理論研究的基礎上發展起來的。通信系統是人類社會的神經系統，即使在原始社會也存在著最簡單的通信工具和通信系統，這方面的社會實踐是悠久漫長的。電的通信系統(電信系統)已有近190年的歷史了。在這發展過程中，一個很有意義的歷史事實是:當物理學中的電磁理論及電子學理論一旦有某些進展，很快就會促進電信系統的創造發明或改進。這是因為通信系統對人類社會的發展，其關系實在是太密切了。日常生活、工農業生產、科學研究及戰爭等，一切都離不開信息傳遞和流動。信息論發展簡史與信息科學

2.香農信息論的建立和發展1948年6月和10月，香農在貝爾實驗室出版的著名的《貝爾系統技術》雜志上發表了兩篇有關“通信的數學理論”的文章。在這兩篇論文中，他用概率測度和數理統計的方法系統地討論了通信的基本問題，首先嚴格定義了信息的度量——嫡的概念，又定義了信道容量的概念，得出了幾個重要而帶有普遍意義的結論，并由此奠定了現代信息論的基礎。香農理論的核心是:揭示了在通信系統中采用適當的編碼能夠高效率和高可靠地傳輸信息，并得出了信源編碼定理和信道編碼定理。從數學觀點看，這些定理是最優編碼的存在定理。但從工程觀點看，這些定理不是結構性的，不能從定理的結果直接得出實現最優編碼的具體途徑。然而，它們給出了編碼的性能極限，在理論上闡明了通信系統中各種因素的相互關系，為人們尋找最佳通信系統提供了重要的理論依據。信息論發展簡史與信息科學

(1)香農信息理論的數學嚴格化從1948年開始，信息論的出現引起了一些著名數學家如柯爾莫哥洛夫、范恩斯坦(A.Feinstein)、沃爾夫維茲(J.Wolfowitz)等人的興趣，他們將香農已得到的數學結論做了進一步的嚴格論證和推廣，使這一理論具有更為堅實的數學基礎。在這方面，1954年范恩斯坦的論著是有很大貢獻的。(2)無失真信源編碼定理和技術的發展香農在1948年的論文中提出了無失真信源編碼定理，也給出了簡單的編碼方法(香農編碼)。麥克米倫(B.McMillan)于1956年首先證明了唯一可譯變長碼的克拉夫特(