1、基于FPGA的圖像處理現狀分析摘要：本文首先介紹了現場可編程門陣列（FPGA）的基本特點和設計流程。針對圖像處理中處理速度的瓶頸問題，本文回顧了基于FPGA的圖像處理算法，包括圖像的采集和壓縮存儲、預處理、圖像檢測、視頻圖像的實時處理和顯示等。這些實現算法，在提高圖像的處理速度上都有明顯的效果，在圖像的實時處理方面具有現實的意義。關鍵字：FPGA，圖像處理，實時，硬件設計.1引言隨著數字多媒體技術的不斷發展,數字圖像處理技術被廣泛應用于航空航天、通信、醫學及工業生產等領域中，新開發的產品在圖像存儲容量、圖像質量、圖像處理速度等方面有了新的要求。數字圖像處理，一般是通過對像素的一些運算提高圖像質

2、量,在圖像處理過程中,雖然處理算法簡單,但參與運算的數據量大,數據需多次重復使用,因此,圖像處理往往是圖像處理系統中最為耗時的環節,對整個系統速度影響較大。在當前圖像處理算法研究已經很成熟的背景下，提高圖像處理的時效性有很大的應用前景。隨著微電子技術的高速發展,FPGA為數字圖像信號處理在算法、系統結構上帶來了新的方法和思路。由于圖像中的所有元素均可施以同樣的操作,存在固有的并行性,非常適合于映射到FPGA架構中由硬件算法實現,使得圖像的處理速度大大加快。對于數字圖像處理，底層圖像處理的數據量很大,要求處理速度快,但運算結果相對比較簡單,以FPGA作為主要處理芯片的圖像處理系統非常適合于對圖像

3、進行處理。2現場可編程門陣列（FPGA）概述FPGA（Field Programmable Gate Array）是一類高集成度的可編程邏輯器件，起源于美國的XILINX公司，該公司于1985年推出了世界上第一塊FPGA芯片。FPGA技術結合了微電子技術、電路技術、EDA技術，使設計者可以集中精力進行所需邏輯功能的設計。與專用集成電路ASCI(Application Specific Integrated Circuit)相比，FPGA具有靈活性高、設計周期短、成本低、風險小等優勢，因而得到了廣泛應用。隨著工藝的發展和市場需求的擴大，超大規模、高速、低功耗的新型FPGA不斷推陳出新。新一代的F

4、PGA甚至集成了中央處理器（CPU）或數字處理器（DSP）內核1，在一片FPGA開發板上進行軟硬件協同設計，為實現片上可編程系統提供了強大的硬件支持。目前，FPGA的主要發展動向是實現片上可編程系統，芯片朝著高密度、低電壓、低功耗方向發展，實現在速度和集成方面的進一步提高。迄今為止，FPGA的品種繁多，主要有XILINX公司的Spartan、vertex、Atrix-7、Kintex-7系列，以及ALTERA公司的FIEX系列等。根據FPGA基本結構的不同，可以將其分為基于乘積項技術的FPGA和基于查找表技術的FPGA兩種。FPGA主要有6個部分組成：可編程輸入/輸出單元、基本可編程邏輯單元、

5、完整的時鐘管理、內嵌SRAM、豐富的布線單元、底層嵌入功能單元和內嵌專用單硬件模塊等。基于FPGA的硬件設計流程大致可以分為7個步驟。一是設計輸入。FPGA支持的輸入方式有硬件描述語言Verilog和VHDL、狀態圖與原理圖三種輸入方式。各種圖像處理算法，需要轉化成硬件語言或是原理圖的形式，輸入到FPGA中去。二是功能仿真。電路設計完成后，要用專用的仿真工具進行功能仿真，驗證電路功能是否符合設計的要求。通過仿真能夠及時發現設計中的錯誤，加快設計進度，提高設計可靠性。功能仿真中沒有加入時序信息，不涉及具體的硬件特性。三是設計綜合。綜合就是針對給定的電路實現功能和實現此電路的約束條件。四是綜合后仿

6、真。綜合完成后需要做綜合后仿真，以檢查綜合結果是否與原設計一致。在仿真時，把綜合生成的延時文件反標到綜合仿真模型中去，可估計門延時帶來的影響。五是布局與布線。這一步是根據所選芯片的型號，將綜合輸出的邏輯網表適配到具體的FPGA硬件上。六是布局布線后仿真。將布局布線的時延文件反標到設計中，使仿真既包含門延時信息，又包含線延時信息。七是下載配置。整個設計開發的最后步驟就是在線調試或者將生成的配置文件寫入到芯片中進行測試，從硬件上驗證整個設計。3研究現狀 近年來，FPGA發展迅速，在圖像的壓縮2-4、拼接5、分割6、融合7以及視頻影像的實時處理8-11等方面，有了較大的發展，特別是在提高計算速度上，

7、現場可編程門陣列因為其設計方式靈活，斷電可擦除、可靠性高等方面的優點，極大的方便了用戶的開發和使用。3.1圖像壓縮及存儲在傳統的數據采集系統中，A/D的控制和數據的轉存均通過CPU或者MCU來完成。在這種方式下，將A/D轉換的結果讀入，然后再轉存到片外的存儲器中，這個過程至少需要四個機器周期。在高速采樣系統中，這種方法一方面占用太多CPU資源，另一方面也遠遠滿足不了高速采樣的速度要求。為解決這個問題，王強等設計了以Virtex-5系列的XC5VLX50為核心處理芯片的多路數據采集系統，在硬件電路上用流水采樣來提高速度1。實現時，采用高帶寬（1GHz）高速低功耗A/D芯片作為A/D轉換器件，采樣

8、時鐘由芯片內部的鎖相環實現。每級電路一次采樣可在一個時鐘周期內完成，但是存在流水線延遲的問題。張學全2等利用FPGA解決了圖像壓縮時因數據量大造成的存儲和傳輸時效性的問題。鄧廣興3采用一種優化組合編碼算法對高光譜圖像進行無損壓縮編譯碼，將這一算法在FPGA上實現，設計了OCC編碼器和譯碼器，滿足了機載圖像采集系統的實時性要求。雷震霖4針對星上壓縮低功耗、高性能，靈活性的要求，研究了基于CCSDS星載圖像壓縮標準利用FPGA實現星載圖像壓縮系統的方法，并提出來一種基于并行和流水的位平面編碼實現結構，改進了原有的掃描方法，使掃描速率大大提高。Kim11，Angus12設計了一種自適應差分編碼方法，

9、在降低壓縮比的同時提高了影像解碼的速率。3.2圖像預處理原始圖像，由于傳感器自身條件，成像環境，地球曲率等影響，不可避免的存在變形或噪聲，降低了圖像的質量，因此在進行下一步應用之前，首先要進行圖像的預處理。一般來說，圖像的預處理包括圖像裁剪、幾何配準、噪聲處理、輻射校正、幾何精糾正、圖像融合等幾部分。在現有的研究中，Uzun13 ,葛茂林14等在FPGA平臺上實現了FFT變換，Gavin 等15-22等人研究了中值濾波算法在FPGA上的實現方法，去除了椒鹽噪聲，達到了圖像增強的目的。對于中值濾波，過程中用到卷積運算，若采用3x3因此，必須設計行緩存器，同時存儲9個數據，這9個數據在中值濾波模塊

10、中，排序取中值取代最中間的值。流程如圖1所示:圖1.中值濾波數據處理流程圖像分割是圖像預處理的基本環節，也是進行圖像處理的第一步，是減少后期圖像分析量的重要方法。圖像分割把圖像表示為物理上有意義的幾個連通區域的集合，篩選出有效信息，為以后的目標識別、特征提取打好基礎。在FPGA上設計一種圖像高速分割系統，替代傳統PC機和DSP的構架，不少學者進行了這方面的研究。孫寧建6做了詳盡的基于FPGA高速圖像分割系統的設計方案，并結合具體的應用做了驗證,結果顯示，基于FPGA的高速圖像分割系統不僅具有很高的精度，在分割速度上更是有了很大的提升。3.3邊緣檢測邊緣檢測與圖像縮放是圖像處理中重要的研究內容，

11、廣泛的應用于圖像模式識別、分割和圖像增強中。隨著新興技術和相關理論的發展，新的邊緣檢測和圖像分割技術不斷涌現。段詠龍23等針對遙感影像在軌云檢測技術中圖像紋理特征提取功能的實現需求，采用FPGA實現紋理特征提取算法，以此提高遙感圖像的紋理特征提取的效率。設計中充分利用 FPGA片上 RAM、ROM寄存器等邏輯資源，發揮FPGA并行處理的優勢，構建了16個灰度共生矩陣并行計算的結構，進一步計算得到4個紋理特征參數，利用 Xilinx公司的 System generator工具實現設計并通過仿真。在遙感圖像云檢測的實現過程中，紋理特征提取的基本應用流程如圖2所示。3.4視頻影像的處理FPGA目前的

12、研究集中在視頻圖像的采集和壓縮顯示方面。 Steffen Klupsch利用FPGA實現醫學圖像的預處理，加快了處理速度，可以及時的進行圖像理解，對醫學病癥的診療有很實際的意義。隨著視頻流的分辨率越來越高，同時視頻流的背景也越來越復雜，如何設計一套高性能的硬件平臺來完成運動目標的實時監控是一個值得研究的問題。傳統的DSP芯片的方法成本較高、會受到高頻干擾并且功率消耗較大；而FPGA具有編程靈活，相比較ASIC設計周期較短，其可靠性、靈活性和低功耗等特點，比較適用于星上系統。采用基于FPGA（內嵌DSP模塊）的硬件架構設計，具有更高的性能和更低的功耗，同時滿足實時性和復雜性的要求，降低硬件設計的

13、復雜度，大大提高系統的整體性能。在視頻目標的檢測中，FPGA主要用于視頻圖像的接收、存儲、預處理等大規模簡單操作；內嵌DSP模塊充分利用其高速運算能力，主要負責計算復雜的跟蹤算法。這樣設計使硬件平臺具有更大的靈活性。運動目標檢測的FPGA實現流程圖見圖3.圖3.運動目標跟蹤流程圖結論圖像處理系統中,底層的圖像預處理的數據量很大,要求處理速度快,但運算結果相對比較簡單,適用于用FPGA通過硬件實現,這樣能同時兼顧速度及靈活性。FPGA結構的最大特點是結構靈活,有較強的通用性,適于模塊化設計,從而能夠提高運算、處理的效率,同時開發周期短,易于維護和擴展,適于實時圖像處理。因此，基于FPGA的實時圖

14、像處理為應急響應系統提供及時的圖像資料，具有廣泛的應用前景和深遠的現實意義。 參考文獻 1 禇振勇，翁木云.FPGA設計與應用.西安：西安電子科技大學出版社.2002. 2 張學全.基于FPGA的星載圖像壓縮系統實現方法研究D.中國科學院空間科學與應用研究中心.2009. 3 鄧廣興.高光譜圖像無損壓縮編譯碼器的FPGA實現D.山東大學.2012. 4 雷震霖.空間圖像CCSDS壓縮算法研究與FPGA實現D.大連理工大學.2007. 5 董林粒.基于FPGA的數字圖像拼接器系統設計D.成都理工大學.2012. 6 孫寧建.基于FPGA的一種高速實時圖像分割系統研究及其應用D.南京理工大學.20

15、13. 7 Feng Qu, Bochao Liu, Jian Zhao, Qiang Sun. Image Fusion Real-time System Based on FPGA and Multi-DSPJ. Optics and Photonics Journa. 2013, 3:76-78. 8 Pierre Greisen, Simon Heinzle, Markus Gross and Andreas P Burg. An FPGA-based processing pipeline for highdefinition stereo videoJ. Greisen et al

16、. EURASIP Journal on Image and Video Processing. 2011, 18. 9 鄭永瑞, 李潔,劉曉宏, 林秋華. 基于FPGA 的視頻圖像實時幾何畸變校正J. 電光與控制.2013,20(6):75-78. 10 朱奕丹,方怡冰. 基于 FPGA的圖像采集與VGA顯示系統J.計算機應用.2011,31(5):1258-1261. 11 Jong-hak Kim, Jung-kyun Oh, Seong-muk Kang and Jun-dong Cho. A Real-time Rectification using an Adaptive Diff

17、erential Encoding for High-resolution VideoJ.2014. 12 Angus Wu, P.W.M. Tsang, Johnson Tang. FPGA implementation of a near computation free image compression scheme based on adaptive decimation. INTEGRATION, the VLSI journal 2003 (36): 121143. 13 I.S. Uzun, A. Amira and A. Bouridane, “FPGA implementa

18、tions of fast Fourier transforms for real-time signal and image processing”, IEE Proc.-Vis. Image Signal Process, IEEE, pp.283-296, 2005. 14 葛茂林. 基于 FPGA 的分數階傅立葉變換在圖像處理中的應用研究D.北京工業大學.2013. 15 G.L. Bates and S. Nooshabadi, “FPGA Implementation of a Median Filter”, Speech and Image Technologies for Co

19、mputing and Telecommunications, IEEE, Queensland, pp. 437-440, 1997. 16 S.A. Fahmy, P.Y.K. Cheung and W. Luk, “Novel FPGA-Based Implementation of Median and Weighted Median Filters for Image Pocessing”, Field Programmable Logic and Applications, IEEE, PP. 142-147, 2005. 17 Y.Q. Dong and S.F. Xu, “A

20、New Directional Weighted Median Filter for Removal of Random-Valued Impulse Noise”, Signal Process Letters, IEEE, pp.193-196, 2007. W. Luo, “A New Efficient Impulse Detection Algorithm for the Removal of Impulse Noise”, Trans. Fundam., IEICE, pp.2579-2586, 2005. 18 R.N. Kulkarni, P.C. Bhaskar, “Decision Based Median Filter Algorithm using Resource Optimized FPGA to Extract Impulse Noise”, Journal of Embedded System, IEEE, pp.18-22, 2014. 19 P.Greisen, S.heinzle, M.Gross and A.P.Burg, “An FPGA-based processing pipeline for high-definition stereo Video”, E