1、淞碩士學位論文基于的網絡虛擬視頻卡拉合成系統的研究與實現論文作者：魏維指導教師：趙剛教授學科專業：計算機應用技術研究方向：數字媒體技術華中師范大學國家數字化學習工程技術研究中心年月：碩士學位論文華中師范大學學位論文原創性聲明和使用授權說明原創性聲明本人鄭重聲明：所呈交的學位論文，是本人在導師指導下，獨立進行研究工作所取得的研究成果。除文中已經標明引用的內容外，本論文不包含任何其他個人或集體已經發表或撰寫過的研究成果。對本文的研究做出貢獻的個人和集體，均已在文中以明確方式標明。本聲明的法律結果由本人承擔。作者簽名：日期：加，年廠月蜥學位論文版權使用授權書學位論文作者完全了解華中師范大學有關保留、

2、使用學位論文的規定，即：研究生在校攻讀學位期間論文工作的知識產權單位屬華中師范大學。學校有權保留并向國家有關部門或機構送交論文的復印件和電子版，允許學位論文被查閱和借閱；學校可以公布學位論文的全部或部分內容，可以允許采用影印、縮印或其它復制手段保存、匯編學位論文。（保密的學位論文在解密后遵守此規定）保密論文注釋：本學位論文屬于保密，在年解密后適用本授權書。非保密論文注釋：本學位論文不屬于保密范圍，適用本授權書。作者簽名：薔穗確日期：口，年月奠泊 導師簽名：協印日期：，乞年月侈日本人已經認真閱讀“高校學位論文全文數據庫發布章程，同意將本人的學位論文提交“高校學位論文全文數據庫中全文發布，并可按。

3、章程一中的規定享受相關權益。匠意途塞握交卮澄蜃！旦坐生；旦生；旦三生筮查！作者簽名：日期：許，月 導師簽名：汐伊日期：刊許擴月日碩士學位論文摘要隨著數字媒體技術和網絡技術的發展，基于動態視頻融合的增強現實技術研究已經成為計算機圖形學和計算機視覺等相關領域的重點研究課題，也是未來數字媒體技術發展的趨勢所在。通過使用這種技術，可以融合虛擬場景和實時視頻，從而給人一種身臨其境的娛樂感受。本文正是立足于動態視頻融合的增強現實技術之上，開發了一種全新的娛樂系統網絡虛擬視頻卡拉合成系統。該系統意在通過摳像融合等技術，將網絡上兩個不同終端結點的演唱者交互融合后，置入同一虛擬舞臺背景中，并將實時的虛擬合唱效果

4、顯示在演唱者各自的終端上，同時還提供本地存儲、刻錄收藏等人性化的功能，最終使得處在不同地域的人們有一種“雖遠在天邊，卻近在眼前的感受。系統采用了當前十分流行的流媒體處理框架進行搭建，各個模塊均封裝成了兼容的模塊。其中，摳像融合采用了背景差分摳像算法和庫進行實現；網絡視音頻發送和接收采用了技術進行實現。最終通過實驗證明，系統的摳像融合效果良好，操作簡單，基本實現了預期的目標。關鍵詞：摳像融合；增強現實；卡拉碩士學位論文西，副、，夥一一，；，：，；碩士學位論丈目錄中文摘要。第一章緒論論文的研究背景及意義國內外研究現狀論文的研究內容論文的主要特色和結構安排第二章網絡虛擬視頻卡拉合成系統關鍵技術技術概

5、述。系統組成模塊組件的開發技術數字圖像處理技術數字圖像處理概述數字圖像處理的幾種主要技術技術概述。基于的編程基于的編程本章小結第三章網絡虛擬視頻卡拉合成系統總體設計系統總體結構設計系統功能結構圖軟件流程設計系統開發環境和開發工具本章小結第四章摳像算法的研究與實現一一。一碩士學位論文摳像算法分析。摳像模型單色背景摳像自然背景摳像摳像算法設計獲取掩碼圖像目標邊緣處理及去噪算法實現及實驗驗證本章小結第五章網絡虛擬視頻卡拉合成系統的實現一。摳像融合的實現網絡視音頻發送，接收的實現網絡發送的實現網絡接收的實現系統界面設計與實現系統集成及實現集成視音頻采集功能。集成摳像融合功能集成網絡功能系統最終效果演示

6、本章小結第六章總結與展望總結展望參考文獻在校期間發表的論文、科研成果等致謝 碩士學位論文第一章緒論論文的研究背景及意義近年來，隨著數字媒體技術、計算機多核并行技術、技術、軟件工程管理學和通信技術的快速發展，仿真建模、計算機輔助設計、計算機視覺、智能機器人和計算機藝術等技術已經成為國際學術界和工業界的重要研究熱點。這些技術不僅將人們帶入到了數字化的虛擬世界，同時也將創作帶向了超越空間、時間和經驗的新思考、新創作的領域，去物質化的虛擬影像通過媒體在到處傳播，數字世界已經成為一種真實的、沉浸式的虛擬現實環境。而作為虛擬現實技術重要分支之一的增強現實技術，它提供給了用戶與虛擬世界進行交互的接口，為用戶

7、帶來了互動性強的、易于實現的、亦真亦幻的新世界。增強現實技術在建筑、教育、工業設計和娛樂生活等領域都有著廣泛的應用，它也經歷著從一般增強現實技術、動態增強現實技術，再到媒體融合增強技術的轉變。在人們的日常娛樂生活中，基于動態視頻融合的增強現實技術必將有著廣泛的應用前景【，例如，在娛樂游戲和數字影視中，通常都需要將特定的數字場景和真實拍攝的視頻高效、實時融合起來，給人一種身臨其境的感受和娛樂體驗。卡拉作為一項娛樂活動已經十分普及了，可以說是走進了千家萬戶，然而隨著科技的發展和人們生活水平的提高，人們對各項娛樂設施的要求也越來越高。對于卡拉，人們已經不僅僅滿足于簡簡單單的點歌和唱歌了，而是希望能提

8、供諸如影像合成、錄制等更多人性化的功能。如何將基于動態視頻融合的增強現實技術這樣的科技應用到諸如卡拉這樣的娛樂活動中去已經成為很多商家和研究機構合作的熱點領域。正是基于上述背景，本文開發了一種全新的娛樂系統網絡虛擬視頻卡拉合成系統。該系統意在通過摳像融合等技術，將網絡上兩個不同終端結點的演唱者交互融合后，置入同一虛擬舞臺背景中，并將實時的虛擬合唱效果顯示在演唱者各自的終端上，同時還提供本地存儲、刻錄收藏等人性化的功能，最終使得處在不同地域的人們有一種“雖遠在天邊，卻近在眼前的感受。如今，隨著基于動態視頻融合等增強現實技術應用于生活娛樂各方面，大量的相關產品已經問世，但應用于卡拉這類傳統娛樂項目

9、的產品并不多。目前國內已有的相關產品有：（）軟件系統。是一款功能多樣的多媒體娛樂軟件，通過使用它，用戶不但可以在線聽歌和歌，還可以錄制自己的卡拉曲目和清晰的【】。該系統通過采用特定的摳像技術，把背景換成漂亮的圖片或者視頻畫面，將用戶置身于所選擇的虛幻場景之中。另外，系統還加入了畫中畫、調色板、濾鏡和前特效等功能來美化表演者的畫面，使摳像融合的視頻看起來更加生動活潑。（）唱吧系統。這是一款由天津通廣集團益之達科技有限公司開發的結合視頻融合的卡拉唱歌系統。其中封閉式的唱吧整套設備占地總面積為平米，其中包括防火材料制作而成的隔音外殼，內置主機、顯示器、錄音系統、攝像系統、刻錄系統等。使用它不僅可以進

10、行歌、制作、光盤刻錄等，還可以自動將視頻歌曲上傳到互動娛樂網站，從而實現網上瀏覽、交友等娛樂。（）虛擬卡拉演播廳。也稱之為即演即出合成系統，由重慶市光華科技有限公司開發，系統包含的歌曲庫及動態素材可無限添加和替換，操作簡單，靈活方便。當然此系統同上述系統一樣也具有實時摳像功能，是一款操作簡單的虛擬視頻卡拉系統。而國外將增強現實技術應用的產品也有很多。例如，在手機娛樂方面，西門子推出了“虛擬足球”游戲，只要玩家將腳放在攝像頭可見的范圍里就可以踢動畫面上的足球。但用于卡拉方面的產品卻不多見。綜上分析可知，本文研究的網絡虛擬視頻卡拉合成系統具有很好的市場前景。目前已有的虛擬視頻卡拉合成系統摳像融合效

11、果一般，且基本只能單機使用，不具備網絡互連功能。而本系統意在實現一種兼具單機和網絡互連的新型卡拉合成系統，且融合效果好，能使處在不同地域的人們有一種“雖遠在天邊，卻近在眼前”的感受。論文的研究內容根據本系統要實現的功能分析，本文的研究內容主要包括以下三個方面：碩士學位論文（）室內簡單背景下摳像技術的研究。通過對國內外各種摳像算法分析和研究，實現一種能滿足系統功能需要的，在室內簡單背景下摳像效果優秀且實時性好的摳像算法。（）高質量視音頻網絡實時傳輸技術的研究。對各種視音頻編碼方式和實時傳輸協議的功能特點進行研究，通過實驗測試，選取一種能滿足系統需要的好的視音頻編碼格式。（）軟件系統開發技術的研究

12、。研究學習各種軟件架構和開發技術，選取一種合適的軟件框架對系統進行搭建，力求使系統的穩定性好、擴展性強。以上的三個主要研究內容中，簡單背景下實時視頻的人像提取和高質量視音頻網絡實時傳輸的實現是本系統的兩個關鍵的問題，這兩個問題解決的好壞直接影響本系統的功能效果、研究意義和使用價值。論文的主要特色和結構安排論文的特色之處在于：（）目前已有的虛擬視頻卡拉合成系統摳像融合效果一般，且基本只能單機使用，不具備網絡互連功能。本文實現的是一種兼具單機和網絡互連的新型卡拉合成系統，且融合效果好，能使處在不同地域的人們有一種“雖遠在天邊，卻近在眼前的感受，具有很好的市場前景！（）技術上通過特定算法實現人像提取

13、，視頻疊加，且效果良好。論文的結構按如下方式安排：第一章為緒論，主要介紹論文的研究背景及意義、國內外類似系統的研究現狀、論文的研究內容以及論文的框架。第二章主要對系統所用的關鍵幾種技術做簡要介紹，包括技術、技術、數字圖像處理技術、技術，這些可以算是本文的理論基礎。第三章結合功能需求對系統進行整體設計，包括結構設計和功能框架設計，同時還對系統的開發環境和開發工具做簡單介紹。第四章是摳像算法的研究與實現，對系統中所用到的核心摳像算法進行分析、設計和實現。第五章是系統的實現，包括各模塊的實現，再到系統界面設計和實現、最后便是系統的集成與實現。第六章為總結與展望，對系統的研究工作進行總結同時提出下一步

14、的工作。碩士學位論文第二章網絡虛擬視頻卡拉合成系統關鍵技術技術概述是一套由公司提供的流媒體開發包，使用它可以在平臺上進行各種流媒體的應用開發。能夠很好的支持流媒體的捕捉和回放，例如，通過運用它，可以很方便地從采集卡上捕獲數據進而進行相應的處理，又由于它支持各種媒體格式，這樣就使得媒體數據的回放變得容易。而且，它還集成了諸如等的其他技術，同時還對非線性編輯提供了一定支持，這種技術可以將視音頻合成為一個文件。更重要的是，開發者可以按照系統功能需求定制相應的組件嘲，本系統中的幾個核心模塊就是采用這種方式定制的。系統組成組件、應用程序及相關軟硬件之間的聯系如圖所示。系統慧罟型十一叫鬻陸模式結構麗耐酹網

15、脯獲設備設備編碼器弱酮系統）燃聲卡戳攀件解碼器尸卜卡圖系統圖系統就是圖中陰影部分，虛線以上的是應用層，虛線以下的是硬件設備，分別處于唧和砒特權級別，系統位于應用層中【】。碩士學位論文采用的是模塊化的組織方式，單個功能模塊稱之為，它是一種組件，整個數據流的的處理過程則由一種叫做的模型來管理。為應用開發提供了很多標準的封裝模塊，同時還提供了一套開發的標準類庫給開發者使用，這樣開發人員就可以根據功能需要開發特定的模塊來擴展系統的功能，本系統正是這樣處理的。下面我們通過一個典型的基本應用來了解，的數據流處理過程，如圖所示。日曰日曰圖本地文件的回放鏈路工作流程：（）使用（源，的分類后面會介紹）從硬盤中的

16、一個文件讀取數據并形成字節流（）根據讀取的數據流的格式使用分開視音頻流。（）依據視頻流的壓縮格式選擇最佳的解碼對視頻流進行解碼。（）通過顯示圖像幀序列。（）采用默認的播放送過來的音頻流。之間的連接點稱之為，它也是一種對象，一般每個都會與至少一個相連接。通過進行數據傳遞，例如圖中，數據從傳到，圖中的箭頭就表示數據的流動方向。其中的鏈表就是中所說的，而中的所有則是由稱之為的對象來控制。模塊上面我們也說到，是以模塊化的方式組織起來的，每個模塊都是一個組件，被稱為，它是中最基本的功能單元。使用來管理，一般含有至少一個，并通過相互連接】。常見的如圖所示。唇晤叫瑟二娑。吲脅圖三種類型從上圖可以看出，一般分

17、為以下三種類型：（）源過濾器（）：處于整個（過濾器圖表）中開始的部分，僅含有輸出，沒有輸入。它主要負責獲取外部的數據，數據源可以是本地文件、英特網數據流和采集卡等，然后將數據傳送給下一級的過濾器。（）轉換過濾器（）：處于的中間位置，既有輸入，又有輸出。它主要負責處理數據，例如編解碼，數據流的分離和合成、格式的轉換、壓縮解壓縮等等，處理完后接著將數據向下傳送。（）提交過濾器（）：處于的最后一級，僅有輸入，沒有輸出。它在中處于最后一級，負責數據的最終去向一接收數據并將數據提交給外設，如顯卡、聲卡，或者輸出到文件。當然，一個既可以是，也可以是，所以的這種分類方式也并不是絕對的。組件的開發為了方便的定

18、制開發，專門為開發人員提供了一套基類源代碼庫【】，盡管這些源代碼庫對于開發組件來說不是必需的，但使用這些基類，可以大大減輕開發人員的負擔，簡化的開發過程，下面主要介紹幾種常用的基類結構以及基于它們進行開發的框架過程。類，使用方法如下：（）聲明一個新類，使它繼承于類：（）在新類中定義所需的的實例；（）實現純虛函數，它主要用于返回上的對象指針；（）實現純虛函數，它主要用于返回上的數量；類，使用方法如下：（）聲明一個類，使它從類派生；（）實現純虛函數，它的作用是在進行連接時，檢查媒體類型；（）實現虛函數，它主要負責提供上的首選媒體類型；（）實現：和：這個兩個函數；（）另外還有一些根據功能需要可能要重

19、寫的函數，如（連接時進行是否支持某接口檢查等）。類，使用方法如下：（）派生一個類的子類；（）重寫函數和函數，功能如上介紹；（）重寫函數，用于設置內存大小；（）重寫函數，在此函數中可以對輸入的數據進行處理。技術這種應用系統是完全建立在基礎上的，所以要想深入理解它，就必須對技術的一些概念和原理有所了解，本節就簡單介紹一些技術的概念和原理。不是接口，也不是對象，它是一種標準規范，它是軟件組件互相通信的一種方式，而且它是跨平臺、跨語言的。對象是一種具有多接口的對象，只要符合標準，那就是對象。如果我們用語言來實現，那么就可以把對象理解為一個類，它的接口就是一個純虛類【】。用代碼可以描述如下：其中，就是接

20、口，一個純虛類，就是對象【】。規范規定，對象必須實現接口，這個接口是管理它的生命周期的，該接口定義了、和這三個函數，其中，用于查詢碩士學位論文對象上的接口，和分別負責增加和減少引用計數【】，當引用計數為時，這個對象占用的內存就會被釋放，這很好的解決了對象銷毀的問題。除了接口，規范還規定，必須實現一個（類工廠），它是和相應的對象對應的，因為對象就是一個類，外部的使用者一般不知道這個類名，就需要有一個與之相對應的類廠來創建這個類的實例。其實也是一個對象，它繼承于接口。該接口提供方法運用操作生成相應的對象實例。組件一般分為進程內組件、本地組件和遠程組件三種，虻中的一般都被封裝成動態鏈接庫（），所以它

21、往往是進程內組件。一般每個對象都有一個惟一標識，當創建一個對象實例時，過程一般如下：（）通過調用庫函數創建此對象的類工廠。在內部實際上是調用了封裝對象的的導出函數，它創建了相應的類工廠，同時還返回了接口。（）調用類工廠的接口方法（），創建惟一標識符標識的對象實例。詳細過程如圖所示：匡圣固圖對象的創建過程數字圖像處理技術數字圖像處理概述數字圖像處理是一門用計算機對圖像信息進行處理的技術，它可以分為底層、中層和高層這三個典型的層次。（）底層圖像處理。底層圖像處理是是一種狹義的圖像處理，是低層操作【。如圖所示，它主要是對輸入的圖像進行某種在像素級別上的變換操作得到輸出圖像，是一種輸入輸出都是圖像的處

22、理，例如降噪處理、圖像增強、圖像復原等。里竺竺仝磊玨運畫五夏面磊磊網望堡笙堂，圖像處理（增強、復原、編碼、壓縮等）竺蘭圖低層的圖像處理（）中層圖像處理。也稱之為圖像分析，它是一個圖像符號化或數值化的過程。如圖所示，它特點是以輸入為圖像，輸出的則是從圖像中提取的各種特征，例如輪廓、邊緣等。圖中層的圖像處理（）高層圖像處理。也稱之為圖像理解，它是一種高層操作，在處理過程及方法上，有點類似人類的思維推理，它是對中層圖像處理抽象出的符號進行推理。如圖所示，它以中層圖像分析為基礎，以人工智能及認知理論為依托，對圖像中的各目標的性質和聯系進行研究，進而指導行動。圖高層的圖像處理數字圖像處理的幾種主要技術（

23、）圖像變換技術圖像變換技術一直是數字圖像處理研究的重要組成部分，是研究其他圖像處理技術的基本手段和工具【。圖像變換技術的目標是簡化處理的問題，這樣對于特征的提取比較方便，還能加強對圖像信息的理解。它往往通過一種數學方法將圖像從某一域轉換到另一域，例如空間域轉換到頻率域，接著在轉換后的域中對圖像進行分析及處理。之所以要進行轉換是因為圖像在初始域中的某些性質很難獲得，而在轉換后的域中卻很好獲得，這樣在轉換后的域中處理完后再轉換到初始域即可。常用的變換有小波變換、傅里葉變換等等，小波變換可以將圖像進行多頻段的分解，然后針對不同的頻段做處理，這樣可以達到滿意的效果，而傅里葉變換則可以進行圖像的頻率特性

24、分析。（）圖像增強技術圖像增強技術可以重點突出圖像中有用的信息，為圖像的特征提取和圖像分析奠定基礎。它是面向問題的，它的目的是使得出來后的圖像更適合具體的應用。根據處理過程所在空間的不同，圖像增強技術可以分為基于空間域的增強和基于頻率域的增強，其中基于空間域的增強可以通過灰度變換和空域濾波兩種技術來實現，例如對比度增強和直方圖均衡化就屬于灰度變換，圖像平滑和銳化則屬于空域濾波。（）圖像平滑技術圖像平滑技術的本質就是去噪，它的技巧在于把噪聲與邊緣部分分開且只消除噪聲。中值濾波是能夠達到這種效果的一種最有效的辦法，它是一種非線性的平滑技術，這種方法對于消除椒鹽噪聲十分有效。（）邊緣銳化技術邊緣銳化

25、技術是通過增強圖像的邊緣使得目標的邊緣更加明顯，這樣對于提取目標的邊界更加方便，緊接著還可以分割圖像，識別目標的區域，提取區域的形狀等等。邊緣銳化常用的方法有微分運算、邊緣檢測和梯度銳化這三種。微分運算能夠突出圖像的輪廓，使它變得更清晰；邊緣檢測就是構造邊緣檢測算子，一般都是針對圖像中的某小鄰域，常用的邊緣檢測算子有算子、算子等【】；梯度銳化主要用于解決圖像邊界及輪廓模糊的情況，尤其是在進行平滑處理之后。（）圖像分割技術圖像分割技術是進行圖像的識別、圖像的分析和理解的基礎，它主要是提取圖像中某些有意義的特征。圖像分割技術可分為彩色分割和區域分割這兩種，彩色分割是基于顏色的分布來進行分割的，它先

26、對彩色圖像中的、三個平面分別進行閾值處理，然后再來提取目標，區域分割是只提取感興趣的部分，去除不需要的背景。（）圖像編碼技術圖像編碼是指按照某種格式存儲圖像的數據的過程，它旨在解決下面幾個問題：一是減少圖像表示所需的數據量，從而提升存儲空間的利用率；二是壓縮信息量對于特征提取非常有利，也方便了隨后的圖像識別；三是壓縮數據量可以提高傳輸的速率，減少傳遞的帶寬。技術概述對于開發網絡應用程序非常方便。在技術中，套接字（）就相當于一個紐帶，它能方便的把應用程序和網絡驅動程序連接起來，它先是在應用程序中被創建，然后使用綁定操作，使它和驅動程序之間聯系起來，這樣只要應用程序給它發送數據【】，它就將數據交給

27、驅動程序，并讓它從網絡上把數據發出去，而對于另一端的計算機，它會從網絡上接收與該綁定的相關數據，并通過驅動程序交給本地的，接著應用程序便會從該中提取相關的數據，這就是網絡應用軟件通過進行數據通信的原理。基于的編程基于的編程的服務端程序步驟如下：（）創建（）將綁定到本地地址和端口上，這可以通過函數來實現（）把設為監聽模式，然后等待，準備接受來自客戶的請求（）當客戶請求到來后，使用函數接受客戶連接的請求，同時返回對應于此鏈接的新（）使用返回的通過函數和客戶端進行通信（）返回同時等待其他的請求（）關閉基于的編程的客戶端程序步驟如下：（）創建（）向服務端發出連接的請求，這可以通過函數來實現（）如果連接

28、成功，就可以和服務端進行通信了（）關閉基于刀呻的編程相對于基于的編程來說，基于的編程對于服務端和客戶端的概念不是很強化，可以把先啟動的一端稱為服務端或接收端，發送數據的一端稱為客戶端或發送端。基于的編程接收端（服務端）的程序流程如下：（）創建（）將綁定到本地地址和端口上，這可以通過函數來實現（）等待接收數據，使用的是函數（）關閉基于的編程發送端（客戶端）的程序流程如下：（）創建（）通過函數向服務端發送數據（）關閉本章小結本章探討了系統中要用到的幾種關鍵技術。首先介紹了系統的核心框架技術技術，并對它的組成、用途和優勢等進行了簡要的分析；接著提到了技術的基礎技術，對理解技術的工作原理有很大的幫助；

29、再就是數字圖像處理技術，為摳像算法的實現作理論鋪墊；最后介紹了網絡應用中常用的技術，并分別對基于和的網絡編程流程作了講解。第三章網絡虛擬視頻卡拉合成系統總體設計系統總體結構設計網絡虛擬視頻卡拉合成系統意在通過摳像融合等技術，將網絡上兩個不同終端結點的演唱者交互融合后，置入同一虛擬舞臺背景中，并將實時的虛擬合唱效果顯示在演唱者各自的終端上，同時還提供本地存儲、刻錄收藏等人性化的功能，最終使得處在不同地域的人們有一種“雖遠在天邊，卻近在眼前”的感受。要實現這樣一種兼具單機和網絡互連的新型卡拉合成系統，必須充分利用好流媒體技術、合成技術和網絡技術，充分發揮它們的優勢，設計并架構好整個系統的體系結構和

30、軟件框架。本系統的體系結構如圖所示：天用用戶埔用戶在同一虞報場景中較件系統和致據庫（背景庫和歌曲庫等）系統功能結構圖 圖系統的體系結構圖用戶和用戶在同一虛擬場景中軟件系統和數據庫（背景庫和歌曲庫等）根據功能需求進行分析，系統主要包括三個子系統，分別為資源管理子系統、視音頻處理子系統、刻錄子系統。其中，資源管理子系統包括：歌曲資源管理、虛擬背景資源管理；視音頻處理子系統包括：視音頻采集、視音頻網絡發送、視音頻網絡接收、視頻摳像融合；刻錄子系統包括：錄制、預覽、刻錄。如圖所示：旱人聃碩士學位論文軟件流程設計圖系統功能結構圖目前，在流媒體應用開發中，大多數采用的都是技術，通過使用來實現。能夠很好的支

31、持流媒體的捕捉和回放，例如，通過運用它，可以很方便地從采集卡上捕獲數據進而進行相應的處理。總之，不僅簡化了采集、媒體播放等工作，還允許開發人員根據自己需要開發特定功能的來支持自己的軟件系統開發需要。本系統就是使用來進行軟件流程框架搭建，視頻流處理流程和音頻流處理流程分別如圖和所示：圖系統視頻流處理流程示意圖碩士學位論文圖系統音頻流處理流程示意圖系統軟件流程框架搭建軟件系統采用流媒體處理框架技術進行搭建，各個模塊均封住成兼容的模塊，包括庫自帶的視音頻采集，輸出以及自制網絡發送和接收、摳像融合模塊等。采用合適的摳像融合算法開發摳像融合模塊采用技術開發網絡視音頻發送和接收采用庫實現摳像融合模塊中對圖

32、像的處理系統整體測試系統開發環境和開發工具網絡虛擬視頻卡拉合成系統的設計方案在硬件上只需要普通的攝像頭和普通的機（如果需要刻錄收藏則需帶刻錄機）即可，這樣大幅度的降低了系統的硬件成本和開發成本，所以本系統基本上屬于純軟件系統。系統是基于系統平臺開發的，并采用百作為軟件開發的編碼環境，其中包含的微軟基本類庫使得開發應用程序方便多了。作為一個集成開發環境，它不僅提供了可視化的編輯功能和代碼自動生成功能，大大減輕了程序員的負擔，通過使用它還可以方便地開發（動態鏈接庫），這樣可以將系統中一些獨立的功能模塊封裝成可以單獨編譯和測試的文件。這種方式不僅可以減少最終生成的系統文件的大小，節省了資源，還便于代

33、碼的維護，因為是在系統運行時根據需要裝載到內存中去的。在本系統碩士學位論文中各種模塊就采用了這種方式，例如摳像融合模塊、視音頻網絡發迸接收模塊等。，即微軟基本類庫（），它本質上是一個微軟已定義好的封裝了各種底層函數的對象的類庫，包含了很多常用的對象和方法。這樣我們在進行程序編寫時，如果類庫中的類能夠完成我們的功能，那我們就不需要自己寫類和方法了，只需要簡單調用這個類對象的方法就行了，當然我們也可以利用面向對象中的繼承性質，從類庫中繼承已有的類對象，這樣派生的類對象，不僅具有父對象的各種特性和方法，我們也可以根據自身系統功能需要，加上相應的特性和方法，從而產生一個功能更強大、更完備的類。是采用面

34、向對象架構的，充分利用了這種技術的優點，這樣就使得程序員在使用編程時，不需要太關心所使用類對象的實現細節，只需根據功能需要調用相應的類和方法即可，這樣大大的減少了程序員的工作量和工作強度。由于本系統是基于技術進行軟件架構的，同時還使用了諸如、（用于實現刻錄功能）的第三方庫，所以需要安裝，和這幾個庫環境。本章小結本章通過對網絡虛擬視頻卡拉合成系統的功能需求進行分析，給出了它的總體結構設計圖和系統功能結構圖，接著基于技術進行了軟件流程框架搭建和設計，最后介紹了本系統的開發環境和開發工具。碩士學位論文第四章摳像算法的研究與實現摳像算法分析摳像模型摳像一般都是基于等提出的公式。給定一張數字圖像（比，）

35、，如果想進行摳像，并想取得好的摳像效果，那么就得求解前景（）和背景曰（）的線性組合方程嘲，獲得其中的最優解。其中比例用口）（口）【，】）表示，口（）描述的是像素的透明度，這樣使得：口（）公式對于灰度圖來說，這是一個具有兩個自由度的方程，因為已知條件只有每個像素的灰度值，但要求解的未知量卻有、及口三個網。而對于彩色圖像，如在顏色模型中，將顏色分離成、三個通道分別求解，可以建立如下方程組：口碌（一口）川（）公式【口冗（一口）吃這樣的話，相當于求解三個獨立的方程，如果我們人為規定三個通道的口值相等，那這也是一個通過個已知的變量、，求解個未知的變量昂、壤、圪、屹、和口的方程組，所以從本質上來說，摳像問

36、題是一個無法精確求解的問題。單色背景摳像早期一般都使用單色的背景來進行摳像，如藍屏摳像，因為這樣可以簡化摳像的模型。但這還是一個約束不夠的問題，因為未知量還有最、尼、和口四個，個方程求解個未知量網。為了解決這個問題，國內外專家學者都進行了大量的研紅、綠、藍（最、圪、忍）分量是互相成比例的嗍，那么通過下式就可以得到口值：口口）公式其中厶、乇為輸入圖片的藍色和綠色通道，用戶可以通過控制可調參數和口：來得到滿意的口值。雖然這種方法比較有效，也易于操作，但是在實際的應用過程中，往往需要一些小竅門，而且對于某些簡單的前景也會存在失效。自然背景摳像藍屏摳像雖然好，但面對自然背景，它就無能為力了。為了打破這

37、種局限性，摳像領域出現了很多的自然背景摳像算法，如貝葉斯摳像算法、摳像算法等。下面分析兩種重要的自然背景摳像算法：算法算法（貝葉斯摳像算法）是基于顏色分布的，它會對圖像中的每個像素的顏色都進行分布估計，而且它在對圖像每一個像素進行采樣時，范圍不僅包括了確知區域的前景點和背景點，還包括那些已經計算好的像素點。在公式中，表示已知的圖像上某一點的顏色值，、口則分別是要求解的前景色、背景色及透明度，我們需要做的是，在已知的情況下，求得使概率最大的、和口的值，是對數函數，可以通過把乘法轉成加法，從而簡化計算。（，口）口“。（，口）尸（）尸（曰）尸（口）尸（）公式，口（，丑，口）三（）三（曰）三（口）下面對等式右邊的四個表達式進行建模：（，口）對應一個標準差為且中心在一（一）的高斯分布：（，）一口一（一口）召公式那么三（）也對應為一個高斯分布：三（）一（一萬）（）公式計算出期望和協方差矩陣：萬土哆公式專善哆（一肥一萬公式具體操作是，對以未知點為中心的圓進行采樣，同時慢慢擴大圓的半徑，直到采集的已知前景點和背景點足夠的多（包括已求解的點），再根據顏色，對樣本進行聚類。每一個樣本點都對應著一個特定的權值：哆口蜀形槲國，公式（其中口是透明度，是一個以距離為參數的高斯衰減函數）其實（）和（）相似，只是把的口換成了口，而“口）被認為定值，求解的過程是一個迭代的過程：先假定口是確定的，然后對公