1、目錄摘要. I Abstract. I I第1章緒論 (11.1 課題背景 (11.2 網絡攝像機技術發展概況 (11.3 本課題主要研究內容及工作 (71.4 本文結構 (8第2章DSP原理及視頻評估算法 (102.1 DSP芯片特點及應用 (102.2 實時傳輸視頻的評估標準 (152.3 本章小結 (17第3章數據網絡傳輸原理 (183.1 OSI參考模型結構 (183.2 TCP/IP協議 (193.3 TCP/IP實時視頻流網絡傳輸的算法實現 (26- I -3.4 本章小結 (28第4章系統的硬件設計與實現 (294.1 硬件的總體設計 (294.2 硬件電路的設計 (334.3

2、網絡傳輸模塊的實現 (394.4 實時傳輸視頻的算法和解決方案 (424.5 本章小結 (44第5章系統的軟件設計與實現 (455.1 軟件系統整體設計 (455.2 驅動程序開發 (475.3 帶有網絡通信功能應用程序的設計 (515.4 本章小結 (53結論 (54- II -參考文獻. 錯誤!未定義書簽。攻讀碩士學位期間所發表的學術論文. 錯誤!未定義書簽。致謝. 錯誤!未定義書簽。- III -第1章緒論1.1課題背景視頻監控以其直觀、方便、信息內容豐富而廣泛應用于安防、交通、公安、銀行、水利等各個領域,幾乎覆蓋各行各業,視頻監控的技術和手段也在不斷的發展和提高,尤其是近年來,隨著計算

3、機軟硬件技術的發展、Internet 的普及、多媒體處理手段的提高、視頻壓縮技術的成熟、網絡傳輸技術的迅猛發展,促使視頻監控技術正向全數字化網絡化方向發展,網絡攝像機(Web-Camera越來越受到遠程監控領域的關注。傳統意義上的網絡攝像機是將攝像頭采集到的視頻信號送入與攝像頭連接的PC中,通過PC機安裝的相應軟件將數據進行編碼、壓縮和網絡傳輸。這種方法不僅成本高,系統的穩定性和安全性也非常低,由于普通PC并非是專門用于處理視頻數據的,因此系統的整體效率會很低。本文所討論研究的網絡攝像機是通過模擬采集的方法,將實時的視頻數據流采集到系統的緩存中,通過軟件編程對數據進行編碼和壓縮,最后將系統作為

4、一個網絡結點接駁于符合TCP/IP網絡傳輸協議的網絡中(如Internet。因此只要遠程計算機擁有相應的訪問權限,即可實現跨區域的網絡實時監控。本系統以TI公司的DM642為核心,并設計出將視頻采集、視頻編碼處理和網絡傳輸等功能集成于一體的網絡攝像機。通過這一系統,可以利用計算機對非本地的現場進行多點監控,節省了大量人力物力。1.2網絡攝像機技術發展概況DSP的發展歷程大致經歷了70年代的理論先行、80年代的產品普及、90年代的突飛猛進和現如今的全領域應用四個階段。在DSP出現以前,實時信號處理一般是在通用處理器中完成的。隨著集成電路制造工藝的不斷提高,二十世紀70年代末出現了專門的可編程數字

5、信號處理器。世界上第一個單片DSP芯片是1978年AMI公司宣布誕生的S2811,1979年美國Intel公司發布- 1 -的商用可編程器件2920是一個主要里程碑。這兩種芯片內部都沒有現代DSP 芯片必須擁有的單周期乘法器。1980年,日本NEC公司推出的PD7720是第一個具有硬件乘法器的商用DSP芯片。如今,TI公司的TMS320系列產品已經成為目前最有影響的DSP芯片,包括了定點、浮點和多處理器3個類型的產品,每個類型又有不同性能和價格的具體系列可供用戶選擇。TI公司已經成為世界上最大的DSP供應商,占有很大的市場份額。除TI公司的TMS320系列外,其它具有代表性并應用較廣泛的產品主

6、要有ADI的ADSP-21xx和Blackfin系列,Motorola公司的DSP56000、DSP96000,AT&T公司的DSP16、DSP32等?，F如今隨著DSP應用的不斷擴展和深入,DSP器件的發展兼顧了3P的因素,即性能(Performance、功耗(Power Consumption和價格(Price。當今的DSP技術已經進入了嶄新的時代。第一,可編程DSP將是主導產品?？删幊藾SP能給生產廠商提供較大的靈活性。生產廠商可在同一個DSP平臺上開發出各種不同型號的系列產品,以滿足不同用戶的需求。同時,可編程DSP為廣大用戶提供了便捷的升級途徑。第二,定點DSP成為主流。雖然從

7、理論上講浮點DSP的運算精度更高,動態范圍更大,但定點DSP器件的成本較低,對存儲器的要求也較低,而且耗電較省。因此,定點的可編程DSP器件仍是市場上的主流產品。第三,系統級集成DSP是潮流?？s小DSP芯片的尺寸、追求更高的運算速度和進一步降低功耗始終是DSP的技術發展方向。在生產工藝上,采用1m以下的CMOS制造工藝技術和砷化鎵集成電路制作技術,使集成度更高、速度更快、功耗更低,從而使高頻、高速的DSP處理器得到更大的發展。第四,通過并行和存儲器構架的變化提升DSP芯片的性能。高速、高性能的DSP器件將以RISC(精簡指令系統計算機結構和單片機并行計算機基本結構為主導,以完成并行處理系統操作

8、。脈沖陣列和數據流陣列也將成為并行處理器的主要體系結構。隨著芯片主頻的不斷攀升,存儲器的訪問速度日益成為系統性能提升的瓶頸。為了解決存儲器速度與CPU內核速度不匹配的問題,高性能的CPU普遍采用Cache(高速緩存機制,新的DSP芯片也開始采用這種結構。第五,DSP與可編程器件相結合。DSP的許多新應用需要更加強大的數字信號處理能力,借助PLD(可編程邏輯電路和FPGA(現場可編程門陣列來扮演像DSP加法器或協處理器一樣的角色,可以滿足日益提高的信號處理- 2 -需求。此外,將DSP與MCU融合在一起的雙核平臺,將成為DSP技術發展的一種新潮流。在許多嵌入式應用領域,既需要在數據處理方面具有強

9、大功能的DSP,也需要在智能控制方面技高一籌的MCU。這種DSP與MCU相結合的系統既具有DSP器件在數據處理方面的獨特優勢,又具有應用目標所需要的技術特性。如今Internet技術已經成為數據交換共享和數據傳輸的主要方式和載體,而嵌入式系統也開始與以太網網絡接口相接合組成嵌入式網絡終端。通過TCP/IP協議,實現通過以太網與遠程PC進行網絡通信。嵌入式網絡終端相比于PC,具有更高的安全性、可靠性,擁有更強大的數據運算能力,及更專業化的處理進程,同時也具有PC機的兼容性和擴展性。最重要的是嵌入式網絡終端可以利用網絡減少操作的復雜性并降低使用成本,同時通過設置權限可以使用網絡相關資源,提高計算能

10、力。借助嵌入式Internet技術,可以將數量眾多的嵌入式終端設備接入廣域范圍的互聯網絡環境,將Internet的應用從傳統的桌面PC機延伸到生產、控制現場的8位、16位、32位單片機系統,實現基于Internet的遠程數據采集、遠程控制、自動報警、上傳/下載數據文件、自動發送E-mail等功能,從而大大擴展Internet的應用范圍。嵌入式Internet技術的出現歷史雖然不是很長,但是發展速度卻非常的快。不少專家對此做出預測:21世紀將是嵌入式Internet的時代,將會產生比PC機時代成百上千倍的服務器和超級嵌入式服務器。這些服務器將與我們能想到的各種物理信息、生物信息相鏈接,并通過In

11、ternet自動、實時、方便、簡單地提供給需要這些信息的對象。將來通過Internet傳輸的信息,將有大部分來自小型嵌入式系統。因此,嵌入式Internet將有很好的發展前景和廣闊的市場,未來的Internet將由嵌入式Internet占主導地位。目前,基于Internet的嵌入式系統己成為人們研究的熱點。典型的嵌入式系統接入有三種方式1:第一,采用專用嵌入式網絡協議的EMIT(嵌入式Internet網絡技術。EMIT由emNet和emGateway兩部分組成,emNet協議運行在嵌入式系統MCU內部,使得集成emMicro的嵌入式系統能夠和嵌入式網關emGateway進- 3 -行通信。em

12、Gateway運行在計算機中,應用系統要通過emGateway與Intemet 聯接。這種方式對嵌入式系統的MCU要求較高,同時需要PC機做網關,目前已很少應用。第二,使用專用芯片,如Webchip。Webchip是獨立的專用網絡接口芯片,嵌入式系統的MCU通過它與網關連接即可接收并執行經由Internet遠程傳來的命令或將數據交給Webchip發送出去。和EMIT相比不需要PC機作網關。第三,在處理機中加入TCP/IP協議方式的支持。這其中又包括兩種方式:利用MCU或者DSP的可編程特性,使用高級語言編程的方式直接處理TCP/IP協議和采用固化了TCP/IP協議的專用網絡硬件芯片,如Seik

13、o Instruments公司的S7600A等。處理機加TCP/IP協議的方式最為靈活,能按用戶需求實現很多復雜的功能,更不需要PC機作網關,這種方式已經成為現如今嵌入式Internet的主流解決方案。數字信號有很多優點,但當模擬信號數字化后其頻帶大大加寬,一路6MHz的普通電視信號數字化后,其碼率將高達167MbPs,對存儲器容量要求很大,占有的帶寬將達80MHz左右,這樣將使數字信號失去實用價值。數字壓縮技術很好地解決了上述困難,壓縮后信號所占用的頻帶大大低于原模擬信號的頻帶。因此說,數字壓縮編碼技術是使數字信號走向實用化的關鍵技術之一。隨著數字視頻技術的發展,使得數字圖像編碼在各個方面得

14、到廣泛的應用,但各種編碼方法只有標準化后才能降低編解碼硬件的價格和解決不同廠商設備之間的相互操作問題。ITU-T與ISO/IEC是制定視頻編碼標準的兩大組織,ITU-T的標準包括H.261、H.263、H.264,主要應用于實時視頻通信領域,如可視電話、會議電視。MPEG系列標準是由ISO/IEC制定的,主要應用于視頻存儲(DVD、廣播電視、因特網或流媒體等,廣泛使用的有MPEG-1、MPEG-2、MPEG-4等編碼標準。兩個組織也共同制定了一些標準,H.262標準等同于MPEG-2的視頻編碼標準,而最新的H.264標準則被納入MPEG-4的第10部分2。- 4 -發展成支持全碼率的應用,這一

15、點從它支持眾多的圖像格式就可以看出,如Sub-QCIF、QCIF、CIF、4CIF以及16CIF等格式。H.264是ITU-T的VCEG(視頻編碼專家組和ISO/IEC的MPEG的聯合視頻組開發的一個新的數字視頻編碼標準,它既是ITU-T的H.264,又是ISO/IEC的MPEG-4的第10部分。在技術上,H.264標準中有多個閃光之處,如統一的VLC符號編碼,高精度、多模式的位移估計,基于4x4塊的整數變換、分層的編碼語法等。這些措施使得H.264算法具有很高的編碼效率,在相同的重建圖像質量下,能夠比H.263節約50%左右的碼率。H.264的碼流結構網絡適應性強,增加了差錯恢復能力,能夠很

16、好的適應IP和無線網絡的應用,是目前最具有發展前景的視頻壓縮編碼標準。MPEG-2是MPEG組織于1994年推出壓縮標準,以實現視/音頻服務與應用互操作的可能性。MPEG-2標準是針對標準數字電視和高清晰度電視在各種應用下的壓縮方案和系統層的詳細規定,編碼碼率從每秒3兆比特到100兆比特,標準的正式規范在ISO/IEC13818中。MPEG-2不是MPEG-l的簡單升級, MPEG-2在系統和傳送方面作了更加詳細的規定和進一步的完善。MPEG-2特別適用于廣播級的數字電視的編碼和傳送,被認定為SDTV和HDTV的編碼標準。MPEG-4也是由ISO/IEC下的“動態圖象專家組”制定的圖像壓縮編碼

17、標準,于1999年初正式成為國際標準。它是一個適用于低傳輸速率應用的方案。實際上,MPEG-4對64Kbis/s以下、64Kbis/s至384Kbis/s和384Kbis/s至4Mbis/s三種比特率范圍作了明確的最佳化處理。低比特率是MPEG-4的一個主要的目標,有關誤碼的校正,也給予了極大的關注,這將使MPEG-4非常適合于易產生誤碼的環境中使用,例如個人手持式傳輸設備。當然,MPEG-4標準也支持碼率高達38.4Mbis/s的類和級,甚至碼率高達1.2Gbis/s的演播室質量的類和級。與MPEG-1和MPEG-2相比,MPEG-4更加注重多媒體系統的交互性和靈活性,它利用強大的工具開發出

18、了全新的多媒體編碼概念,使之適用于互操作性和更大范圍內的應用,己成為目前廣泛使用的壓縮系統3。遠程視頻監控是指遠端的監控系統通過通信系統對現場系統進行監測與控制,其目的在于突破地域和環境上的限制,實現集中和高層監控,最終實現生產資源和社會資源的優化配置。視頻監控技術在中國的發展已有10年的歷史- 5 -了。經過數年的發展,大致經歷了以下三個重要的階段4。第一階段,傳統模擬圖像監視系統。這是圖像監控系統的早期實現方式,系統主要由攝像機、監視器、視頻線纜、控制線纜等組成,采用模擬方式傳輸,因此傳輸距離較短,主要應用于小范圍監控的場合。傳統模擬圖像監視系統的主要優點是圖像清晰、不丟幀、延遲小。但其功

19、能單一、易受干擾、成本較高、無法升級、系統的擴展能力差,無法形成有效的報警聯動。第二階段,基于PC機的多媒體監控系統?；赑C機的多媒體監控系統的產生得益于數字視頻壓縮編碼技術的日益成熟和微型計算機PC的普及化。該種系統的一般結構為:在監控現場,有攝像頭、檢測和報警設備等,通過各自的傳輸線路連接到監控終端。終端可以是一臺PC機,也可以是專用工業機箱組成的多媒體監控終端。這種監控系統功能較強,但穩定性和安全性不夠好、施工布線工作量大,同時需要專業的軟件,開發周期長、難度大,不利于日后升級和維護。第三階段,基于嵌入式Web服務器的遠程視頻監控系統。嵌入式Web服務器的主要原理是,視頻服器內嵌入一個

20、Web服務器,攝像機送來的視頻信號經數字化后進行壓縮編碼,通過內部總線傳到Web服務器,網絡上的用戶可以通過專用軟件觀看攝像機圖像,授權用戶還可以控制攝像機云臺鏡頭的動作或對系統進行配置。系統將視頻壓縮和Web功能集成到一個體積很小的設備內,成本低、速度快,大大提高了圖像質量和監控效率,可以直接聯入以太網,布控區域廣,環境適應性強,性能穩定可靠,無需專人管理,而且系統擴展能力強,可組成非常復雜的監控網絡。盡管視頻監控技術在中國的發展迅速,但隨著社會化科技的進步和人們對產品功能的更高需求使得視頻監控技術仍有諸多瓶頸尚待“實質性”突破。談的最多的就是網絡帶寬、圖像質量、傳輸延時、軟件系統的兼容性和

21、產品價格等問題,在這些問題中有些已經得到改進,但很多都還沒有取得實質性的突破。很多國內廠商一味追求某一特性的優越而忽視或干脆放棄了其它方面的性能,如有些廠商在設計初期,為了能使傳輸延遲降到最低,在視頻編碼壓縮上加大了壓縮比率,盡管傳輸速度和延遲性能得到了很大提高,但監控圖像的整體清晰度和圖像質量大打折扣。如何在網絡延遲和圖像質量之間尋求一個平衡點,成為國內該領域發展需要解決的一個重大課題。- 6 -在網絡攝像機產品的研發中,國外的起步較早,市場上較為成熟的嵌入式Web網絡攝像機的產品也很多。如索尼公司最近在08年推出的SONY SNC-CS50P。它配備了10/100BASE-T的LAN端口,

22、采用1/3英寸的CCD鏡頭,分辨率可達到640×480,最高刷新幀率為30fps。圖像壓縮采用MPEG-4和H.264編碼方式,可以變更任意區域的壓縮率。SNC-CS50P無須通過個人電腦便可以直接接入網絡?？梢岳猛ㄓ玫腤eb瀏覽器瀏覽影視畫面。除了索尼公司的SNC-CS50P之外,還有松下KX-HCM280、三星SNC-L200P/SNC-L200WP、安特ANT-NWC10/50/100、瑞典AXIS的AXIS22xx系列等。這些產品一般均采用了MPEG-4、H.264編碼壓縮方式,以及支持多種網絡傳輸協議,產品性能普遍較好。在國內,ADSL寬帶,GPON/EPOG光纖寬帶在中

23、國很多城市順利開通,架構起以IP為基礎的數據平臺,為網絡監控提供了安全可靠的網絡環境。一些實力雄厚并且掌握了核心技術的民族企業,在高端市場上牢牢地把持著自己的品牌地位,如華為、中興等。而與知名企業不同,部分本地品牌依托自己靈活的應變能力以及良好的性價比,也在市場上獲得了不錯發展,并占領了不少的市場份額。如安訊士等,非常注重產品的社會功用,對產品的環保要求很高,要求給顧客提供的是高品質,低耗能的產品。另外大批的國內廠商根據自身實力及市場情況,采取了OEM的形式,其中亞安公司就是憑借公司靈活的反映機制,極具競爭力的性價比,以及良好的售后服務贏得了市場,獲得了很大的發展。目前,中國國內網絡攝像機和視

24、頻服務器的生產廠商非常多,除了一些已經走出國門的大廠商外,一些非主打視頻監控的電子制造廠商也進入了該領域的競爭,如愛國者,天視通電子,趨勢電子,?？低?天創恒達等均已打入市場,并取得了非常滿意的成績。1.3本課題主要研究內容及工作基于以上的分析,本文提出了基于TI公司DM642的嵌入式網絡攝像機系統設計方案。該方案主要有三大優點:第一,系統只需一顆DM642芯片,加上簡單的外圍電路,即可完成圖像數據采集、編碼處理、網絡傳輸等功能。第二,網絡攝像機需要嵌入式操作系統,而TI公司為其DSP產品設計了一套較- 7 -好的小型嵌入式操作系統DSP/BIOS,省去了不必要的操作系統移植的過程。第三,D

25、M642具備強大的運算處理能力,能夠完成包括JPEG、MPEG-2、MPEG-4、H.263、H.264等圖像編碼處理,日后僅需通過編程改變軟件即可達到升級的目的,避免硬件資源的改動和重復設計。本文所提出的網絡攝像機系統,是可以脫離PC獨立工作的。整個設計過程主要有以下幾個方面的工作:第一,掌握DSP開發板的工作原理、硬件結構和CCS開發環境,參考開發板的設計搭建出本系統的總體架構。第二,根據系統在速度等方面的要求,考慮到各個器件之間的兼容性,對硬件進行合適的選擇和搭配,構建出系統的硬件平臺。掌握各芯片的結構和工作原理。第三,對設計好的系統進行驅動程序的開發。在DSP的集成開發環境CCS下,使

26、用DSP/BIOS組件等工具進行程序設計,完成設備的初始化,使視頻模塊、網絡傳輸模塊能夠在程序的驅動下正確的工作。第四,詳細分析了實時視頻傳輸的評估標準,以及如何實現高質量傳輸的算法研究和應用內容,包括碼率分配和帶寬估計。同時,對基于TCP/IP實現視頻流傳輸的算法也做了詳盡的研究,即根據遠端請求,在不同的傳輸任務中使用不同的傳輸方式以達到流媒體高效傳輸的目的。第五,設計帶有網絡通信功能的應用程序,實現視頻數據在客戶端的呈現。第六,提高并完善系統的性能,優化程序使軟硬件更好的結合,使有限的DSP芯片資源最大限度的發揮其作用。1.4本文結構本文將對網絡攝像機視頻采集模塊和網絡傳輸模塊的硬件系統和

27、軟件設計做詳細的闡述。論文共分為五章。本文第1章是緒論部分,即引言。本章對DSP技術的發展、嵌入式Internet技術的發展、圖像編碼技術的發展以及視頻監控技術的發展做了簡要的概括和分析。通過對相關領域研究進展及成果的討論,發現了當前網絡攝像機產品在圖像質量和傳輸速率之間無法平衡的一個不足。由此本章提出了將DSP技術與TCP/IP協議結合起來的一種新型網絡攝像機產品。本文的第2章主要介紹了數字信號處理器的結構及原理,以及重點講述了- 8 -本文將要采用的一款DSP芯片TMS320DM642。DM642具有完全的可編程性,能夠兼容多種多媒體視頻標準,非常適合網絡攝像機系統的研發。最后介紹了如今比

28、較流行的一種視頻評估標準及其原理。本文的第3章主要分析了TCP/IP協議及其各層的核心協議。重點講述了實時視頻傳輸的算法分析和方案實現。最后提出了一種不使用第三方流媒體協議而同樣達到流媒體傳輸的算法實現。本文的第4章重點闡述了系統各硬件模塊的設計。本章對電路設計中關鍵部分進行了介紹和分析,針對網絡攝像機的帶寬估計和碼率分析做了理論上的深入分析。本文的第5章是對系統軟件部分設計的分析。包含兩個部分,首先是系統各功能模塊驅動程序的開發以及相應模塊間通信的控制;其次是帶有網絡通信功能的客戶端軟件的開發設計。對主要的網絡傳輸模塊部分代碼做了碼率分析優化,使得數據包在網絡中得到最大效率的傳輸。第3章傳輸

29、算法的實現、第4章和第5章是系統的主要部分,也是本文的工作重點。論文最后對本系統的設計進行了總結并提出了改進方向。- 9 -第2章DSP原理及視頻評估算法2.1DSP芯片特點及應用為了實現高速的數字信號處理運算,DSP芯片一般都采用特殊的軟硬件結構,主要特點為以下幾個方面。第一,改進的哈佛(Harvard結構。哈佛結構是不用于傳統的馮·諾依曼結構的并行體系結構,其主要特點是程序存儲器和數據存儲器相互獨立編址,獨立訪問。與兩個存儲器相對應的是系統中設置了程序總線和數據總線兩條總線,從而使數據的吞吐率提高了一倍。為了進一步提高運行速度和靈活性,人們在基本的哈佛結構的基礎上做了改進,一是允

30、許數據存放在程序存儲器中,并被算術運算指令直接使用,增強了芯片的靈活性;二是指令存儲器在高速緩沖器Cache中,當執行此指令時,不需要再從存儲器中讀取指令,節約了一個指令周期的時間。這種改進被成為改進的哈佛結構。第二,多級的流水線操作。DSP芯片的指令系統廣泛采用流水線操作,一個任務被分解為若干個子任務,各個任務可以在執行時相互重疊,每條指令處于流水線上的不同階段。流水線操作與哈佛結構相配合,減少了指令執行時間,增加了處理器的吞吐量。不同的產品流水線的深度也各不相同,例如,第一代TMS320處理器采用2級流水線,其后幾代依次增加為3級、4級、6級,在TMS320C6000中深度達到了8級,這就

31、意味著可以同時并行8條指令。同時,指令并行運行的條件在不斷降低,指令的范圍也在不斷擴大。如圖2-1所示5。第三,專用的硬件乘法器。在數字信號處理運算中,無論是濾波器還是DFT、FFT運算,都存在大量的乘法運算,乘法運算的速度是數字信號處理實現中的一個瓶頸問題。為此DSP芯片采用專用的硬件乘法器,使得乘法運算能夠在一個指令周期內完成。如在TMS320C3x系列DSP芯片中,有一個硬件乘法器,在TMS320C6000系列中則有兩個硬件乘法器。- 10 - 圖2-1 多級的流水線Fig.2-1 Multiple Pipelines第四,特殊的DSP指令。DSP芯片的一個重要特點是有一套專門為數字信號

32、處理而設計的指令系統。加法、減法、比較、移位、最大/最小值、絕對值運算以及延遲操作等都可以由一系列特殊指令實現,極大的提高了性能和效率。例如,MAC指令是連乘加指令,可以在單周期內同時完成乘法和加法運算;RPTS和RPTB指令是硬件判斷循環邊界條件,可以避免破壞流水線。第五,快速的指令周期。哈佛結構、流水線操作、專用的硬件乘法器、特殊的DSP指令再加上集成電路的優化設計,可使DSP芯片的指令周期在200ns以下。TMS320系列處理器的指令周期已經從第一代的200ns降低至現在的5ns以下?？焖俚闹噶钪芷谑沟肈SP芯片能夠實現許多高端應用。隨著微電子技術的發展,工作頻率還將繼續提高,指令周期將

33、進一步縮短。TI、ADI和Motorola公司的DSP芯片是目前國內應用的主流芯片。各公司主要芯片產品如表2-1所示6。本系統要求圖像處理速度達到每秒20幀以上,即要求實時圖像處理系統必須在50ms內完成對一幀圖像的運算處理,圖像采集模塊的輸出為為320×240像素。為達到該處理速度,綜合考慮以上各因素,采用價格較便宜、功耗較低的定點DSP芯片即可。由于ADI公司的開發套件較貴,而且芯片開發工具包相對復雜,因此本系統選用了TI公司的TMS320DM642芯片。- 11 -表2-1 典型DSP芯片產品Table 2-1 Typical Products of DSP-Chip 2.1.

34、3.1DM642體系結構TMS320DM642是Tl公司推出的TMS320C64X系列芯片中的一款高性能數字多媒體處理DSP芯片,基于C64X內核,具有擴展的高級甚長指令字(VelociTI體系結構,具有64個32位通用寄存器,8個獨立計算功能單元(2個乘法器,6個算術邏輯單元可以并行運行,因此多條指令可同時執行?？晒ぷ髟?00MHz時鐘速率,每個指令周期可并行運行8條32位指令,因此可達到4800MIPS的峰值計算速度。DM642芯片結構如圖2-27。- 12 - 圖2-2 DM642芯片結構Fig.2-2 Chip Structure of DM642DM642采用兩級緩存結構,第一級包括

35、相互獨立的L1P(16K字節和L1D(16K字節,只能作為高速緩存使用。第二級L2(256K字節是一個統一的程序/數據空間,可以整體作為SRAM映射到存儲空間,也可以整體作為第二級Cache,或是二者按比例的一種組合來使用。DM642具有64個獨立通道的EDMA(擴展的直接存儲器訪問控制器,負責片內L2與其他外設之間的數據傳輸。容量較大的兩級緩存和EDMA通道是DM642高性能的體現之一,若能合理使用和管理,將能大幅度提高程序的運行性能。DM642芯片外設包括三個可以配置的視頻口,一個多通道音頻串行端口(McASP,兩個多通道串口(McBSP,64bit的外部存儲單元接口EMIF, 66MHz

36、32bit,3.3V的PCI主/從接口,10/100Mbps以太網接口(EMAC及通用I/O端口(GPIO等外圍接口。CPU只對Ll的數據進行訪問,程序代碼和數據必須經過外部存儲器到- 13 -L2,L2到Ll的逐級搬移能被CPU訪問。L2存儲單元和外部設備的數據交換由功能強大的增強型DMA控制器控制,因此在CPU處理片內的數據時可以通過EDMA把片外的數據倒入片內,達到同步工作以提高效率。由于內部存儲器的工作頻率與DSP內部時鐘同頻,而遠遠高于片外存儲器的工作頻率,這就解決了DSP外部時鐘頻率小于內部時鐘頻率的問題。DM642圖像視頻接口DM642擁有三個可配置的視頻端口設備(

37、VP0、VP1、VP2。這些視頻端口設備提供了與一般視頻編解碼設備交互的界面,設備支持多種視頻標準和方案(比如CCIR601、ITU.BT656、BT.1120、SMPTE125M、SMPTE260M、SMPTE274M、SMPTE296M。這三個視頻端口是可配置的并且支持圖像捕獲或圖像顯示模式。每一個視頻端口有兩個通道: A和B,另有一個5120字節的FIFO顯示緩存可以分給兩個通道使用。下面是這兩種模式的主要技術性能8。一、捕獲模式的技術性能1、捕獲速率80MHz;2、兩路數字視頻輸入,格式為YUV422,有8bit或者10bit精度;3、一路Y/C16或20bit數字視頻輸入,格式為YU

38、V422,支持SMPTE260M,SMPTE274M,SMPTE296M,ITU.BT1120等標準4、YUV422到YUV420變換,以及在8bit YUV422模式下的亞采樣。二、顯示模式的技術性能1、顯示速率110MHz;2、一路連續視頻輸出,輸出格式為YUV422 8bit或10bit精度;3、一路連續Y/C 16或20bit數字視頻輸出,格式為YUV422;4、YUV420到YUV422變換,在8bitYUV422模式下,輸出2倍插值;5.、能產生行同步、場同步和消隱信號。DM642以太網外設網絡傳輸模塊的網絡接口由EMAC(10/100 Mb/s Ethernet M

39、AC與MDIO(Management Data Input/Output兩部分組成,并主要用來支持物理層的網絡器件(PHY與DM642的連接。其中EMAC控制PHY與DM642之間的數據包的交換,MDIO控制PHY的配置與狀態的檢測。原理如圖2-3所示9。- 14 - - 15 -圖2-3 PHY 設備的連接 Fig.2-3 Equipment Connection of PHY2.2 實時傳輸視頻的評估標準通過將重建的視頻信號與源信號進行比較,可求得失真度。失真度的定義可以用絕對誤差總和(SAD 、絕對誤差均值(MAD 、均方誤差(MSE 等來定義,較常用的MAD ,定義見式(2-1 10。

40、256',1(256iji ji j MM D Mi MAD Mi =-= (2-1式(2-1是對宏塊M i 失真度的定義,式中M ij 和M ij '分別是源圖像中的數值和在編碼器重建后的圖像數值。幀或者視頻對象的失真度可以取各相應宏塊失真度的平均值。由于在視頻監控中,前景有時比背景圖像重要,因此可以采用式(2-2定義幀的失真度11。1(Njijj D VO D fi N= (2-2- 16 -式中:j 是視頻對象的權值;N 是幀內視頻對象的數目。由于式(2-1中沒有考慮新到傳輸中可能出現的差錯以及解碼器彌補差錯的各種措施,因此根據改失真度不能獲取全局的最優編碼,如果將式(2

41、-1中的M ij '用解碼器的重建數值M ij 代替,采用這種全局失真度雖然增加了計算量,但是編碼結果會更加優化。宏塊峰值信噪比定義如式(2-3所示12。2255(10log(PSNR Mi D Mi = (2-3 和失真度一樣,幀的視頻對象的PSNR 可以取各相應宏塊PSNR 的均值,考慮到不同視頻對象重要性不同,幀的PSNR 也可以取各視頻對象PSNR 值的加權平均。在視頻處理中通常對宏塊分別進行編碼,因此在宏塊與宏塊之間可能出現明顯的邊界效應,從而影響視頻質量。為了定義塊效應程度B ,首先定義邊界差值V 1和V 2,如式(2-4和式(2-5 13。''1,1,1,

42、(x y x y x y x y x y V M M M M +=- (2-4 ''2,1,1(x y x y x y x y x y V M M M M +=- (2-5 式中V 1為水平方向上的邊界差值,只對宏塊左右邊界的像素計算,V 2為豎直方向上的編輯誒差值,只對宏塊上下邊界的像素計算,塊效應B 定義為宏塊中各邊界差值的均值。實時傳輸的視頻應當盡可能的利用可用帶寬,以獲得最佳的視頻質量,因此帶寬利用率也可以用來評價視頻的實時傳輸14。傳輸時間T 內的帶寬利用率定義見式(2-6 。001(t T T t t MAX R t U dt T R t += (2-6式中RMAX

43、(t是t 時刻網絡最大可用帶寬;R(t是t 時刻視頻傳輸碼率。2.3本章小結本章介紹了數字信號處理器的特點,分析了DSP的性能比較,闡述了本系統選擇DM642的依據。然后針對TMS320DM642處理器CPU體系結構與特點,重點介紹了DM642在運算能力和多媒體處理方面的出色性能。其豐富的外圍接口是構成多媒體通信系統的良好平臺。DM642接近于一個多媒體嵌入式系統的單芯片硬件平臺,并且具有完全的可編程性,能夠兼容多種多媒體音視頻標準,非常適合網絡攝像機系統的研發。通過本章的敘述,對今后開發DSP產品打下理論基礎。本章最后研究了通用的視頻評估標準及相應的原理和算法,這對系統的整體運行評估起到了決

44、定性的作用。- 17 - - 18 -第3章 數據網絡傳輸原理3.1 OSI 參考模型結構隨著遠程計算需求的不斷增加,人們開發出多種廣域網絡協議,以滿足不同計算方式下遠程連接的需求。為了更好劃分網絡結構,國際標準化組織 ISO 提出了開放系統互連參考模型,如圖3-1所示15。比特流傳輸物理層控制地址和最佳路由端到端連接協調連接數據描述協議傳輸圖3-1 OSI 七層模型及其功能Fig.3-1 Function of OSI Seven-Layer Model協議分層大大簡化了網絡協議的復雜性,這實際也是自頂向下、逐步細化的程序設計方法的很好的應用。網絡協議按功能組織成一系列“層”,每一層建筑在它

45、的下層之上。分成的層數,每一層的名字、功能,都可以不一樣,但是每一層的目的都是為上層提供一定的服務,屏蔽低層的細節。物理層涉及到通信在信道上傳輸的原始比特流,它實現傳輸數據所需要的機械、電氣、功能性及過程等手段。數據鏈路層的主要任務是提供對物理層的控制,檢測并糾正可能出現的錯誤,使之對網絡層顯現一條無錯線路。網絡層檢查網絡拓撲,以決定傳輸報文的最佳路由。傳輸層的基本功能是從會話層接受數據,并且在必要的時候把它分成較小的單元,傳遞給網絡層。會話層允許不同機器上的用戶建立會話關系,協調不同應用程序之間的通信狀態。表示層關注于所傳輸的信息的語法和意義。應用層包含大量人們普遍需要的協議,并且具有文件傳

46、輸功能16。在分層模型中,對等是一個很重要的概念,因為只有對等層才能相互通信,一方在某層上的協議是什么,對方在同一層次上也必須是什么協議。所以如果兩個網絡在物理層就相同,使用中繼器就可以連起來;如果兩個網絡物理層不同,鏈路層相同,使用橋接器可以連起來;如果兩個網絡物理層、鏈路層都不同,而網絡層相同,使用路由器可以互連;如果兩個網絡協議完全不同,使用協議轉換器(網關可以互連。3.2TCP/IP協議與OSI參考模型不同,TCP/IP模型更側重于互聯設備間的數據傳送,而不是嚴格的功能層次劃分。這為具體實現協議留下很大的余地。因此TCP/IP 成為了互聯網絡協議的市場標準。TCP/IP協議的體系結構分

47、為四層,這四層由高到低分別是:應用層、傳輸層、網絡層和鏈路層。如圖3-2所示17。 圖3-2 OSI參考模型和TCP/IP參考模型比較Fig.3-2 Reference Model of TCP/IP and Its Comparison with that of OSI- 19 -鏈路層在TCP/IP協議棧的最低層,也稱為數據鏈路層或網絡接口層,通常包括操作系統中的設備驅動程序和計算機中對應的網絡接口卡。鏈路層的功能是把接收到的網絡層數據報(也稱IP數據報通過該層的物理接口發送到傳輸介質上,或從物理網絡上接收數據幀,抽出IP數據報并交給IP層。網絡層也稱為互聯網層,由于該層的主要協議是IP協

48、議,因而也可簡稱為IP層。它是TCP/IP協議棧中最重要的一層,主要功能是可以把源主機上的分組發送到互聯網中的任何一臺目標主機上。傳輸層提供應用程序之間的通信,也叫端到端(End to End的通信。在TCP/IP協議族中傳輸層包含兩個不同的傳輸協議:一個是TCP(傳輸控制協議;另一個是UDP(用戶數據報協議。應用層向使用網絡的用戶提供特定的、常用的應用程序服務,如遠程登錄(Telnet、文件傳輸(FTP、超文本傳輸(HTTP和電子郵件(SMTP等。要注意有些應用層協議是基于TCP協議的(如FTP和HTTP等,有些應用層協議是基于UDP協議的(如SNMP等。TCP/IP協議分為四層結構,這四層

49、結構中有兩個重要的邊界:一個是將操作系統與應用程序分開的邊界,另一個是將高層互聯網地址與低層物理網卡地址分開的邊界,如圖3-3所示。 圖3-3 TCP/IP協議的兩個邊界Fig.3-3 Two Boundaries of TCP/IP Protocol操作系統邊界的上面是應用層,應用層處理的是用戶應用程序(用戶進程的細節問題,提供面向用戶的服務。地址邊界的上層為網絡層,網絡層用于對不同的網絡進行互聯,連接在一起的所有網絡為了能互相尋址,要使用統一的互聯網地址(IP地址。- 20 - 應用層傳輸層網絡層鏈路層物理傳輸介質圖3-4 IP協議在TCP/IP協議族的地位Fig.3-4 Position

50、 of IP Protocol in TCP/IP Protocol Family網絡互聯存在兩種方式,即面向連接的(Connect-oriented和無連接的(Connectionless19,20。面向連接的方式要求在通信的源端和目標端之間建立一條邏輯通路,一般稱為虛電路(Virtual Circuit,源端和目標端之間通信時的所有信息都通過該通路傳輸。這種方式看似簡單,易于實現,但其最大的缺點是如果不能保證虛電路中沿途經過的節點都能可靠地發送數據,就可能使網絡崩潰。由于互聯網所連網絡的復雜性和多樣性,因而很難保證所有節點都能可靠地發送數據。無連接的方式并不在源端和目標端之間建立一條邏輯通

51、路,而送到網絡中的每個分組帶有完整的目標主機地址,收到分組的節點(主要是路由器根據目標地址和當前網絡狀況(如通信量等,選擇一條合適的線路把分組發送到- 21 -接近目標端的下一個節點,通過多個節點的轉發,最終把分組送達目標節點。使用這種方式時,由源端順序送出的各分組,由于每個分組在網絡中可能經過不同的路徑到達目標端,所以先發出的分組不一定就先到達目標端,另外,也不能保證每個分組都能可靠地到達目標端。無連接方式的優點是顯而易見的,源端和目標端之間的通信可以通過多條通路進行,而不依賴于某一條通路,因此可靠性和通信效率高。另外,這種方式實現起來也比較簡單,適合于異構網絡的互聯,因此被很多網絡廠商所使

52、用。Internet使用的就是這種無連接的方式,由IP協議來實現。 2端到端點到點點到點點到點圖3-5 傳輸層端到端通信Fig.3-5 Port-to-Port Communication in Transport Layer端到端通信是建立在點到點通信基礎之上的,它是比網絡互聯層通信更高一級的通信方式,完成應用程序之間的通信。端到端通信由傳輸層來實現的。- 22 -下面從建立連接、關閉連接和重發機制三個方面進行分析23,24。第一,建立連接。TCP使用“三次握手”(3-way Handshake法來建立一條連接。所謂三次握手,就是指在建立一條連接時通信雙方要交換三次報文。第二,關閉連接。由于

53、TCP是一個全雙工協議,因此在通信過程中兩臺主機都可以獨立地發送數據,完成數據發送的任何一方可以提出關閉連接的請求。關閉連接時,由于在每個傳輸方向既要發送一個關閉連接的報文段,又要接收對方的確認報文段,因此關閉一個連接要經過4次握手。連接建立和關閉的過程如圖3-6所示25,該圖是通信雙方正常工作時的情況。 第一次握手第三次握手第二次握手發送SYN接收SYN發送SYN+ACK 接收SYN+ACK發送ACK接收ACK 第一次握手第四次握手第二次握手 發送FIN接收FIN 接收ACK接收SYN接收ACK發送ACK第三次握手發送SYN 發送ACK圖3-6 TCP連接的建立與關閉Fig.3-6 TCP

54、C onnections Establishment and Closing- 23 -第三,重發機制。TCP協議提供的是可靠的運輸層。接收方對收到的所有數據要進行確認,TCP的確認是對收到的字節流進行累計確認。發送TCP報文段時,頭部的“確認號”就指出該端希望接收的下一個字節的序號,其含義是在此之前的所有數據都已經正確收到,請發送從確認號開始的數據。表3-1 TCP和UDP的比較Table 3-1 Comparison between TCP and UDP 實時傳輸協議RTP和實時傳輸控制協議RCTP RTP(Real-time Transport Protocol是用于In

55、ternet上針對多媒體數據流的一種傳輸協議。RTP 被定義為在一對一或一對多的傳輸情況下工作,其目的是提供時間信息和實現流同步。RTP通常使用UDP來傳送數據,但RTP也可以在TCP或ATM等其- 24 -他協議之上工作。當應用程序開始一個RTP會話時將使用兩個端口:一個給RTP,一個給RTCP。RTP本身并不能為按順序傳送數據包提供可靠的傳送機制,也不提供流量控制或擁塞控制,它依靠RTCP提供這些服務。通常RTP算法并不作為一個獨立的網絡層來實現,而是作為應用程序代碼的一部分。實時傳輸控制協議RTCP。RTCP(Real-time Transport Control Protocol和RT

56、P一起提供流量控制和擁塞控制服務。在RTP會話期間,各參與者周期性地傳送RTCP包。RTCP包中含有已發送的數據包的數量、丟失的數據包的數量等統計資料,因此,服務器可以利用這些信息動態地改變傳輸速率,甚至改變有效載荷類型。RTP和RTCP配合使用,它們能以有效的反饋和最小的開銷使傳輸效率最佳化,因而特別適合傳送網上的實時數據27,28。實時流協議RTSP 實時流協議RTSP(Real Time Streaming Protocol是由Real Networks和Netscape共同提出的,該協議定義了一對多應用程序如何有效地通過IP網絡傳送多媒體數據。RTSP在體系結構上位于RTP和RTCP 之上,它使用TCP或RTP完成數據傳輸。HTTP與RTSP相比,HTTP傳送HTML,而RTP傳送的是多媒體數據。HTTP請求由客戶機發出,服務器作出響應;使用RTSP時,客戶機和服務器都可以發出請求,即RTSP可以是雙向的29