嵌入式視頻處理器內(nèi)核的軟件基礎(chǔ)架構(gòu)借助物聯(lián)網(wǎng)、機(jī)器學(xué)習(xí)和人工智能等新時(shí)代技術(shù)，公司正在通過(guò)以創(chuàng)新方式融合物理現(xiàn)實(shí)和數(shù)字信息來(lái)重新構(gòu)想和創(chuàng)建智能多媒體應(yīng)用程序。多媒體解決方案涉及音頻/視頻編解碼器、圖像/音頻/視頻處理、邊緣/云應(yīng)用，在少數(shù)情況下還包括AR/VR。本博客將討論任何多媒體解決方案中嵌入式視頻處理器內(nèi)核所涉及的軟件基礎(chǔ)架構(gòu)。視頻處理器是基于RTL的硬化IP塊，可用于領(lǐng)先的FPGA板。借助這個(gè)嵌入式內(nèi)核，用戶(hù)可以原生支持視頻會(huì)議、視頻流以及基于ML的圖像識(shí)別和面部識(shí)別應(yīng)用，具有低延遲和高資源效率。但是，在部署視頻處理器之前可能會(huì)出現(xiàn)與操作系統(tǒng)支持、H.264/265處理、驅(qū)動(dòng)程序開(kāi)發(fā)等相關(guān)的軟件級(jí)別問(wèn)題。讓我們從視頻處理器的概述開(kāi)始，看看如何為半導(dǎo)體公司解決這些問(wèn)題，使最終用戶(hù)能夠獲得其產(chǎn)品優(yōu)勢(shì)。嵌入式視頻處理器內(nèi)核視頻處理器是一個(gè)多組件解決方案，由視頻處理引擎本身、DDR4塊和同步塊組成。這些組件一起專(zhuān)用于支持分辨率高達(dá)4kUHD（3840x2160p60）的H.264/.265編碼和解碼，對(duì)于該FPGA器件系列的最高速度等級(jí)，最高可達(dá)4096x2160p60。支持的級(jí)別和配置文件包括用于HEVC的最高L5.1高級(jí)層和用于AVC的L5.2。這三款產(chǎn)品都是基于RTL的嵌入式IP產(chǎn)品，它們部署在目標(biāo)FPGA器件系列的可編程邏輯結(jié)構(gòu)中，并經(jīng)過(guò)優(yōu)化/“強(qiáng)化”以實(shí)現(xiàn)最大的資源效率和性能。視頻處理器引擎能夠同時(shí)編碼和解碼多達(dá)32個(gè)視頻流。這是通過(guò)將2160p60帶寬拆分到所有預(yù)期通道來(lái)實(shí)現(xiàn)的，支持480p30分辨率的視頻流。H.264解碼支持在L5.22160p60高4:2：2配置文件（CAVLC）上高達(dá)960Mb/s的比特流和高達(dá)533Mb/sL5.12160p60Main4:2：2比特流的H.265解碼10b內(nèi)部配置文件（CABAC.）視頻處理器引擎還內(nèi)置了顯著的多功能性。速率控制選項(xiàng)包括CBR、VBR和恒定QP。在較低幀速率下支持比2160p60更高的分辨率。該引擎可以處理8b和10b色深以及4:0：0、4:2：0和4:2：2的YCbCr色度格式。微架構(gòu)包括獨(dú)立的編碼器和解碼器部分，每個(gè)部分由嵌入式32b可合成MCU通過(guò)單個(gè)32bAXI-4LiteI/F從屬主機(jī)APU管理。每個(gè)MCU都有由專(zhuān)用32bAXI-4主控器支持的L1指令和數(shù)據(jù)緩存。系統(tǒng)內(nèi)存的數(shù)據(jù)傳輸通過(guò)一個(gè)4通道128bAXI-4主I/F進(jìn)行，該I/F在編碼器和解碼器之間分離。還有一個(gè)嵌入式AXI性能監(jiān)視器，可直接測(cè)量總線(xiàn)事務(wù)和延遲，無(wú)需為每個(gè)MCU鎖定固件以外的其他軟件開(kāi)銷(xiāo)。DDR4塊是一個(gè)組合的內(nèi)存控制器和PHY。控制器部分通過(guò)SDRAM優(yōu)化R/W事務(wù)，而PHY執(zhí)行SerDes和時(shí)鐘管理任務(wù)。還有一些額外的支持模塊提供系統(tǒng)內(nèi)存的初始化和校準(zhǔn)。五個(gè)AXI端口和一個(gè)64bSODIMM端口提供高達(dá)2677MT/s的性能。第三個(gè)塊同步視頻處理器引擎編碼器和DMA之間的數(shù)據(jù)事務(wù)。它可以緩沖多達(dá)256個(gè)AXI事務(wù)并確保低延遲性能。該公司的集成開(kāi)發(fā)環(huán)境（IDE）用于根據(jù)比特流數(shù)量、所選編解碼器和所需配置文件來(lái)確定給定應(yīng)用所需的視頻處理器內(nèi)核數(shù)量以及用于編碼或解碼的緩沖區(qū)配置。通過(guò)工具鏈，用戶(hù)可以選擇AVC或HEVC編解碼器、I/B/P幀編碼、分辨率和級(jí)別、每秒幀數(shù)顏色格式和深度、內(nèi)存使用以及壓縮/解壓縮操作。IDE還提供帶寬要求和功耗的估計(jì)值。嵌入式軟件支持任何硬件到視頻處理的嵌入式軟件開(kāi)發(fā)支持可分為以下幾類(lèi)：視頻編解碼器驗(yàn)證和功能測(cè)試Linux支持，包括內(nèi)核開(kāi)發(fā)、驅(qū)動(dòng)程序開(kāi)發(fā)和應(yīng)用程序支持工具和框架開(kāi)發(fā)參考設(shè)計(jì)開(kāi)發(fā)和部署根據(jù)需要使用和貢獻(xiàn)開(kāi)源組織視頻處理器上的AVC和HEVC編解碼器的驗(yàn)證非常廣泛。它必須以3840x2160p60性能級(jí)別執(zhí)行，以便在裸機(jī)和Linux支持的環(huán)境中進(jìn)行編碼和解碼。從原型設(shè)計(jì)到全面生產(chǎn)，低延遲性能也得到了驗(yàn)證。Linux工作專(zhuān)注于多媒體框架和級(jí)別，以定制內(nèi)核和驅(qū)動(dòng)程序。這包括v4l2子系統(tǒng)、DRM框架和用于同步塊的驅(qū)動(dòng)程序，以確保低延遲性能。編解碼器和Linux項(xiàng)目有效地引導(dǎo)自己代表客戶(hù)開(kāi)發(fā)各種參考設(shè)計(jì)。編碼和解碼的邊緣設(shè)計(jì)、從低延遲視頻會(huì)議到32通道視頻流、基于感興趣區(qū)域的編碼和ML人臉檢測(cè)的開(kāi)發(fā)，所有這些都可以通過(guò)使用經(jīng)過(guò)仔細(xì)考慮的開(kāi)放式選擇來(lái)完成源工具、框架和功能。在下面找到這些產(chǎn)品的摘要：GStreamer–一個(gè)開(kāi)源的多操作系統(tǒng)多媒體組件庫(kù)，可以以流水線(xiàn)方式組裝，遵循面向?qū)ο蟮脑O(shè)計(jì)方法和插件架構(gòu)，用于多媒體播放、編輯、錄制和流式傳輸。它支持多媒體應(yīng)用程序的快速構(gòu)建，并在GNULGPL許可下提供。GStreamer產(chǎn)品還包括各種非常有用的工具，包括gst-launch（用于構(gòu)建和運(yùn)行GStreamer管道）和gsttrace（一個(gè)基本的跟蹤工具。）StreamEye–一種開(kāi)源工具，為深入分析視頻流提供數(shù)據(jù)和圖形顯示。Gstshark–作為Ridgerun的一個(gè)開(kāi)源項(xiàng)目提供，該工具提供了用于分析和調(diào)試GStreamer多媒體應(yīng)用程序構(gòu)建的基準(zhǔn)測(cè)試和跟蹤功能。FFmpeg和FFprobe–都是FFmpeg開(kāi)源項(xiàng)目的一部分，它們是面向多媒體軟件開(kāi)發(fā)人員的與硬件無(wú)關(guān)的多操作系統(tǒng)工具。FFmpeg允許用戶(hù)在多種格式之間轉(zhuǎn)換多媒體文件、更改采樣率和縮放視頻。FFprobe是多媒體流分析的基本工具。OpenMAX–通過(guò)KhronosGroup提供，這是一個(gè)API和信號(hào)處理函數(shù)庫(kù)，允許開(kāi)發(fā)人員使多媒體堆棧可跨硬件平臺(tái)移植。Yocto–一個(gè)Linux基金會(huì)開(kāi)源協(xié)作，它創(chuàng)建工具（包括SDK和BSP）和支持功能，為嵌入式和物聯(lián)網(wǎng)應(yīng)用程序開(kāi)發(fā)Linux自定義實(shí)現(xiàn)。社區(qū)及其Linux版本與硬件無(wú)關(guān)。Libdrm-一組用于支持DRM的開(kāi)源低級(jí)庫(kù)。DirectRenderingManager是一個(gè)Linux內(nèi)核，它代表用戶(hù)程序管理基于GPU的視頻硬件。它通過(guò)命令隊(duì)列以仲裁模式管理程序請(qǐng)求，并管理硬件子系統(tǒng)資源，特別是內(nèi)存。libdrm庫(kù)還包括支持Intel、AMD和Nvidia的GPU的函數(shù)。Libdrm包括modetest等工具，用于測(cè)試DRM顯示驅(qū)動(dòng)程序。Media-ctl–一