萊迪思FPGA在網絡邊緣計算AI開發方案FPGA向來是高大上的形象，即便在人工智能火熱的今天，圍繞FPGA討論的焦點也集中在云端的加速，與之相提并論的，更多是以高性能計算見長的GPU、CPU、DSP。但是，有家公司，卻專注在“網絡邊緣端”，將產品布局在適于低功耗運行的低密度FPGA上，其全新的毫瓦級功耗FPGA解決方案——LatticesenAI,為機器學習推理在大眾市場物聯網應用中實現快速部署創造機遇，且聽萊迪思半導體亞太區資深事業發展經理陳英仁娓娓道來。萊迪思半導體亞太區資深事業發展經理陳英仁快速興起的網絡邊緣計算提及AI或智能計算，我們更多會想到“云端的加速”。但并非所有應用都將在云端運行。萊迪思《加速實現網絡邊緣低功耗人工智能應用》白皮書中表明，另一輪從集中式到分布式的系統架構轉變的征兆已經顯而易見了，無論到來與否，有一點確信無疑，那就是低延遲要求、不斷加劇的隱私問題和通信帶寬限制，將驅動網絡邊緣對智能化的需求。陳英仁以智能音響為例，集合了語音控制、攝像頭檢測功能的智能音響，可以為生活帶來更多的便利性，但也正由于存在攝像頭、麥克風，隱私暴露就成為大家擔心的問題。如果這時在終端加入數據處理和分析功能，就可以很好地對隱私進行保護。此外，終端的很多應用是需要低延遲的，甚至有時在沒有網絡的情況下，也需要保證在線下進行及時的反饋，這時也需要終端數據處理的加入。這樣的需求有多大？Gartner分析表示：“目前企業產品的數據約有10%都在傳統的集中式數據中心或云端以外的地方處理，到2022年，這一數據將會達到50%。”

正如在消費物聯網領域所見，隨著傳感器數量和種類的激增，需要部署更多的計算資源用于實時數據處理，能夠實現這種本地傳感器數據處理的毫瓦級功耗、小體積、低成本、靈活支持各類傳統接口以及性能/精度可調節的半導體解決方案就顯得至關重要。低功耗對物聯網邊緣應用的重要性不言而喻。陳英仁介紹，不同的應用場景、不同種類的傳感器，動輒成千上萬的傳感器部署，24小時無休，如果每兩三天充電或更換一次電池，增加了太多的維護成本，因而智能終端應用的半導體功耗需要達到幾瓦甚至毫瓦級。成本也是一個關鍵要素，隨著物聯網的發展，越來越多的地方都需要用到傳感器，因而任何一個解決方案都必須能與其他批量生產的網絡邊緣解決方案一決高下。電路板面積小至幾平方毫米，也更有利于方便集成到邊緣終端應用中。考慮到邊緣應用終端的多樣性，處理芯片需要具備最大化的設計靈活性，能夠提供廣泛的I/O接口以支持不同的傳感器。最后設計人員還需要能通過自定義量化平衡精度、功耗和成本的解決方案，從而實現更有效地邊緣計算。應運而生sensAI

顧名思義，sensAI為優化AI應用而生，那么我們就有必要先了解AI的概念。1956年夏，人工智能先驅們的夢想是借由新興計算機構建具有人類智力特征的復雜機器。這就是所謂的“通用人工智能（GeneralAI）”的概念——擁有人類的所有感覺（甚至可能更多）、所有理智，像人類一樣思考的神奇機器。而機器學習是用來實現人工智能的一種方式。“通常，機器學習要求兩種類型的計算工作量——訓練和推理”陳英仁介紹，訓練系統通過現有的數據習得新能力，例如人臉檢測功能通過采集和分析成千上萬張圖片來學習識別人臉，這種高度密集的計算，往往需要使用高性能硬件如GPU或高性能FPGA等進行快速處理。而推理環節主要過識別圖案和執行任務將系統能力用于處理新數據，邊運行邊學習，隨著時間的推移變得愈加智能。一般分為兩個場景：在云端數據中心響應用戶需求和在終端智能設備響應用戶需求。在云端數據中心，各家公有云服務廠商都紛紛部署了高性能云計算服務器。而在而在終端設備，由于前面所述說隱私性、低延遲的需求，很多應用都會在終端部署以提升智能度，設計人員可以使用經過優化的、低功耗、低密度的FPGA，滿足日益嚴苛的性能和功耗要求。對此，萊迪思推出基于iCE40UltraPlus和ECP5FPGA系列的新型全套開發生態系統——LatticesenAI，旨在實現機器學習推理在大眾物聯網應用中實現快速部署。LatticesenAI提供經過優化的解決方案，具有超低功耗(低于1mW-1W)、封裝尺寸小(5.5-100mm2)、接口靈活(MIPI?CSI-2、LVDS、GigE等)和批量價格低(約1-10美元)等優勢。之所以推出sensAI,陳英仁解釋道，FPGA天生適合做計算，但更多時候，計算是客戶的核心技術，甚至有部分客戶還沒有這項技術，那么如何能夠幫助他們快速地利用FPGA的低功耗、低成本、小體積實現計算，就成了FPGA推廣最大難題。因此，sensAI就是為了讓客戶能夠在傳感器的橋接和數據聚合中，增加更多智能以實現低延時、低功耗的計算，即客戶手中有數據和樣本，就可以在FPGA中做計算，尤其在網絡編程里。sensAI以模塊化硬件平臺為基礎，包括基于低功耗iCE40UltraPlusFPGA的移動開發平臺(MDP)?和基于ECP5FPGA器件的視頻接口平臺(VIP)，MDP包括一系列板載傳感器，如圖像傳感器、麥克風、羅盤、壓力傳感器和陀螺儀等，可用于毫瓦級功耗的應用。VIP的功耗稍高但總體低于1W，可實現MIPICSI-2、嵌入式DisplayPort(eDP)、HDMI、GigEVision和USB3在內的接口互連。為配合硬件平臺，萊迪思提供了新的神經網絡加速器IP核。該軟IP包括針對iCE40UltraPlusFPGA優化后的BNN（二值神經網絡）1加速器，支持1bit權重量化和1bit激活量化，可以實現低功耗的偵測和推理。還包括針對ECP5FPGA優化的CNN（卷積神經網絡）加速器，該核可支持不同權重和激活的量化（1bit、8bit和16bit），實現功耗和精度的平衡，設置的位寬越高，準確度通常會越高。為了更方便的應用上述IP，萊迪思提供從Caffe/TensorFlow到FPGA的神經網絡編譯器工具、LatticeRadiant?和LatticeDiamond設計軟件。通過開源的深度學習框架Caffe/TensorFlow實現網絡訓練，然后經過萊迪思獨立開發的神經網絡編譯器將經過訓練的網絡模型映射成定點數值表示以匹配其FPGA，可在沒有RTL設計經驗的情況下，將網絡應用移植到其FPGA中。此外，神經網絡編譯器能夠快速分析、模擬和編譯CNN/BNN，在sensAIIP核上實現。這樣補足了FPGA在計算應用中的高門檻。陳英仁介紹，為了更好地簡化邊緣應用的AI開發，萊迪思也提供了專門針對超低功耗優化的參考設計及演示。比如低功耗人臉檢測、關鍵詞檢測、對象計數、面部跟蹤以及速度標志牌檢測等。基于萊迪思MDP移動開發平臺實現的人臉檢測Demo，其功耗約為800-850微瓦，搭配低功耗影響傳感器，可實現精準的、毫瓦以下人臉偵測，如智能門鈴、智能鎖、智能化妝鏡、超市結賬等此外，萊迪思也構建了經認證的合作伙伴生態系統，旨在聯合國內外不同領域的AI應用合作伙伴（在某些領域有專長的服務商），為智能家居、智慧城市、智能工廠等領域的客戶快速、有效地提供定制化的解決方案。“sensAI神經網絡加速器和神經網絡編譯器是我們最核心的部分，”陳英仁表示，因為萊迪思為客戶實現簡潔的低功耗推理。對已經在使用FPGA進行橋接和連接技術的客戶，可以有更多的選擇優化設計。對于即將在邊緣應用終端加入智能的新用戶，有sensAI和天生的接口特性的加持，萊迪思FPGA也是一個性能、功耗、成本、開發難度相當有競爭力的選擇。未來可期談到AI的應用，“其實大家還在思考，怎么樣應用