1、計算機應用基于的神經網絡的硬件實現武漢 華中理 工 大 學力學系汪光 森 伍行健 李 譽摘 要 介紹 神 經 網 絡硬件 實現 的 基本 情況和 電 路原理圖與,混合設 計 方法的 概念在此 基 礎上 利 用 單片設計 出 了 由 個 神經元 組成 的 具 有片 內 學習 功 能 的 三 層神經 網 絡,電路 其 學 習 速度 達到 每 秒 三千 萬次 以 上連 接 權 值 的修 正 并對其 工 作過程進行 了 較 詳 細 的 分 析 指出了 制 造。芯片時應做 的改進關鍵 詞神經 網 絡硬 件 實 現 數 據驅 動算法,相結合的 自在進行神 經網 絡 的理認研究時 人們 可 以 將自己可移

2、植 性 我們采 用 了電原理圖和的神 經 網絡模 型 或算 法在通 用的 串行或并行計算機,頂向下 的設計方法 即 在 頂 層采用 常 規的電原理圖的,設計方法 將系統劃分為幾個功 能模塊,上編程 模 擬 實現 但 這 只是 研究 的手段 而 決非 目的然后再 用,。在構造實 際的 神 經網 絡應用系統 時 必然要考 慮到硬實現各功能模塊并對其進 行仿真 所謂,腸 即銘是首先由美 國件實現問題 特定應 用下 的 高性能專用 神經 網 絡 硬 件。器國防 部 為他 們 的超 高 速 集成 電 路是神經網絡研 究的最終 目標 為此 我們采 用叮。歹,接受為標件進行 了 這項工 作計劃 而 提出的

3、后由神經網 絡的超大 規模 集 成電 路 硬件準的可用于描述數字 電路 與 系統 的實現 簡 介、,功能 信 號連接關 系及定時關 系的 硬件 描述語言 并,、,且具有綜合 優化 仿真與驗證等功能 目前該標 準有神經 網 絡是 巨 量 并行 分布信息處理 結構 它含有,。,。兩種版 本 即和由于具 有靈大量的 神經元 各神經 元之間 進行加權互連 雖 然現、,有的人工 神經網 絡模型 中的 神經元 和 突觸的 結構都活性 交換性 和可 繼承性好 規范性 強等特點 尤其是比較簡單 但 由于 實 際 應 用 中的 神 經 網 絡都 是由幾 百,它可 實現參數化 的 設計 例 如可 以 設計 一 參

4、數 化譯碼,或幾 千個以 上的神 經元 及幾 萬或 幾百萬 個以 上的突,器 當需要不同位數 的譯碼器 時只 要改變其中一 個參,。,數即可 實現 在 設計一 些較復雜的 功 能模塊 如乘法觸連接 所構成 所以 其 硬件實 現是很 復 雜的 隨著 現,代工藝和 技術的發展集成 電路 被認器時 同樣 可 以 進行參數化設計 當需要 不 同位 數甚目前,至不同功 能 的乘 法器時 只 需改變 其中幾 個 參數 從 而為是 神經 網 絡硬 件實現 的 一種有 效方 式 研究 神經 網,絡的硬件 實現具 有特別 現實的意義和 廣闊的前大大加快設計進程 故 其現已 為電子設計自動。,化 領域 內的絕 大

5、多數公 司 所接 受 有人認 為景 由 于 人工模 型 神 經網 絡是由大量神經細胞通過特,在硬件設計領域 的作 用將與 和在軟件設 計領定形 式的 加權連 接組 成 因 此 可 以 認 為神經 網絡由兩,域的作用一 樣 在 大規模數字系 統的設計中 它 將取種基元 構成 即 收集信 號 并完 成非線性 變換的 神 經胞,、代如邏 輯狀態 表和 電原理圖 等級 別較 低的 繁瑣的硬體和 完成各神經 胞體間加權 互連的突觸 研究 神經 網、,絡的件描述 方法 而成為 主 要的硬 件描述工 具 它 將成為實現也就是 要 研究 大量突 觸 神經 胞體的璐 集成以 及突 觸和 神經 胞體間 數據通信結

6、構的 實數字系 統設計領域中所有 技術人員 必須 掌握的 一種。,。對硬 件系 統進行描述 時可語言 必須指出的是現 神 經網 絡的實現方法 可 大 致分 為三 類 即 數。,字、實現 及 數模混 合以采 用三 種 不 同風 格的 描 述 方式 即 行為描 述 方式實現 模 擬實現無論 是采 用哪一種,實現 方法 都要 遇 到 信號的目前 多 數軟件都不 支持 這一 描 述 方式 不能對其進、。行邏輯綜合 寄存器傳輸 或數據 流 描 述方式 和 結運算 存儲 和 傳輸 這三個 主要 問題 神 經 網 絡中的基本運 算主要 有以 下 幾 種突觸加權乘 法神經,軟件構化的描述 方式 但是為 了 能

7、夠在,元輸 人激勵信 號的累加閡值 處理非線函 數平臺上 進行 邏輯 綜合 只 能采 用寄存器 傳輸語。運算權值學習 和調整言 和 結構化的描述 方式 結構化的描述 方式與電原,采用圖形 和日超高速 集成電路硬 件描 述理圖的設計方式 在設計 思 想 上 沒有多大的差別 前者,語言 的混合設計 方法 簡 介只是 采 用 了 文 字來表示 電路 的連 線 真 正 能減輕設 計。者負擔的是由于 神經 網 絡 硬件實 現的復雜性 以 及設計結 果描述方式 由于 電原理 圖設計方式很,直觀 因 此我們在頂層 采用 了 電原理圖的設計方式必須能 夠 進 行綜合 同 時為兼顧設計結 果的直 觀性 和電子技

8、術應用年第期四通工控軟起動器經銷商一計算機應用基于的神經網絡的硬件實現武漢 華中理 工 大 學力學系汪光 森 伍行健 李 譽摘 要 介紹 神 經 網 絡硬件 實現 的 基本 情況和 電 路原理圖與,混合設 計 方法的 概念在此 基 礎上 利 用 單片設計 出 了 由 個 神經元 組成 的 具 有片 內 學習 功 能 的 三 層神經 網 絡,電路 其 學 習 速度 達到 每 秒 三千 萬次 以 上連 接 權 值 的修 正 并對其 工 作過程進行 了 較 詳 細 的 分 析 指出了 制 造。芯片時應做 的改進關鍵 詞神經 網 絡硬 件 實 現 數 據驅 動算法,相結合的 自在進行神 經網 絡 的理

9、認研究時 人們 可 以 將自己可移 植 性 我們采 用 了電原理圖和的神 經 網絡模 型 或算 法在通 用的 串行或并行計算機,頂向下 的設計方法 即 在 頂 層采用 常 規的電原理圖的,設計方法 將系統劃分為幾個功 能模塊,上編程 模 擬 實現 但 這 只是 研究 的手段 而 決非 目的然后再 用,。在構造實 際的 神 經網 絡應用系統 時 必然要考 慮到硬實現各功能模塊并對其進 行仿真 所謂,腸 即銘是首先由美 國件實現問題 特定應 用下 的 高性能專用 神經 網 絡 硬 件。器國防 部 為他 們 的超 高 速 集成 電 路是神經網絡研 究的最終 目標 為此 我們采 用叮。歹,接受為標件進

10、行 了 這項工 作計劃 而 提出的 后由神經網 絡的超大 規模 集 成電 路 硬件準的可用于描述數字 電路 與 系統 的實現 簡 介、,功能 信 號連接關 系及定時關 系的 硬件 描述語言 并,、,且具有綜合 優化 仿真與驗證等功能 目前該標 準有神經 網 絡是 巨 量 并行 分布信息處理 結構 它含有,。,。兩種版 本 即和由于具 有靈大量的 神經元 各神經 元之間 進行加權互連 雖 然現、,有的人工 神經網 絡模型 中的 神經元 和 突觸的 結構都活性 交換性 和可 繼承性好 規范性 強等特點 尤其是比較簡單 但 由于 實 際 應 用 中的 神 經 網 絡都 是由幾 百,它可 實現參數化

11、的 設計 例 如可 以 設計 一 參數 化譯碼,或幾 千個以 上的神 經元 及幾 萬或 幾百萬 個以 上的突,器 當需要不同位數 的譯碼器 時只 要改變其中一 個參,。,數即可 實現 在 設計一 些較復雜的 功 能模塊 如乘法觸連接 所構成 所以 其 硬件實 現是很 復 雜的 隨著 現,代工藝和 技術的發展集成 電路 被認器時 同樣 可 以 進行參數化設計 當需要 不 同位 數甚目前,至不同功 能 的乘 法器時 只 需改變 其中幾 個 參數 從 而為是 神經 網 絡硬 件實現 的 一種有 效方 式 研究 神經 網,絡的硬件 實現具 有特別 現實的意義和 廣闊的前大大加快設計進程 故 其現已 為

12、電子設計自動。,化 領域 內的絕 大多數公 司 所接 受 有人認 為景 由 于 人工模 型 神 經網 絡是由大量神經細胞通過特,在硬件設計領域 的作 用將與 和在軟件設 計領定形 式的 加權連 接組 成 因 此 可 以 認 為神經 網絡由兩,域的作用一 樣 在 大規模數字系 統的設計中 它 將取種基元 構成 即 收集信 號 并完 成非線性 變換的 神 經胞,、代如邏 輯狀態 表和 電原理圖 等級 別較 低的 繁瑣的硬體和 完成各神經 胞體間加權 互連的突觸 研究 神經 網、,絡的件描述 方法 而成為 主 要的硬 件描述工 具 它 將成為實現也就是 要 研究 大量突 觸 神經 胞體的璐 集成以

13、及突 觸和 神經 胞體間 數據通信結構的 實數字系 統設計領域中所有 技術人員 必須 掌握的 一種。,。對硬 件系 統進行描述 時可語言 必須指出的是現 神 經網 絡的實現方法 可 大 致分 為三 類 即 數。,字、實現 及 數模混 合以采 用三 種 不 同風 格的 描 述 方式 即 行為描 述 方式實現 模 擬實現無論 是采 用哪一種,實現 方法 都要 遇 到 信號的目前 多 數軟件都不 支持 這一 描 述 方式 不能對其進、。行邏輯綜合 寄存器傳輸 或數據 流 描 述方式 和 結運算 存儲 和 傳輸 這三個 主要 問題 神 經 網 絡中的基本運 算主要 有以 下 幾 種突觸加權乘 法神經,

14、軟件構化的描述 方式 但是為 了 能夠在,元輸 人激勵信 號的累加閡值 處理非線函 數平臺上 進行 邏輯 綜合 只 能采 用寄存器 傳輸語。運算權值學習 和調整言 和 結構化的描述 方式 結構化的描述 方式與電原,采用圖形 和日超高速 集成電路硬 件描 述理圖的設計方式 在設計 思 想 上 沒有多大的差別 前者,語言 的混合設計 方法 簡 介只是 采 用 了 文 字來表示 電路 的連 線 真 正 能減輕設 計。者負擔的是由于 神經 網 絡 硬件實 現的復雜性 以 及設計結 果描述方式 由于 電原理 圖設計方式很,直觀 因 此我們在頂層 采用 了 電原理圖的設計方式必須能 夠 進 行綜合 同 時

15、為兼顧設計結 果的直 觀性 和電子技術應用年第期四通工控軟起動器經銷商一計算機應用獻都有介紹,。下面僅 就本 系統 的具體情 況介 紹 一下 在系統的性能 其每秒鐘能修改次連接權值 由于每步計算過程 數據流 動的情況。內部的的揮發性,在系統 能夠 進行數據所以 在控制電路中設處理之前當然必 須保證輸 人層 數據已經輸 人 ,如計有 串行接口 ,以便在系統斷電時可 以用外部,。串行來保存各神經元之間的連接權值。果為學 習 狀態 則樣本期望輸 出值也應輸入。,第一 步 前向傳播階段 此 階段的前半段為輸人層在數據傳輸 上 本系統在 形式 上采 用的是多 總線,經到,系列 器件內部 沒有三態 輸到隱

16、 含層的傳播 此時的方法 但 由 于,對應的、也分別 經、,出功能 這是 其很 大 一 個 缺陷 因而實 際上 是采用 了到,的處理結果分 別 通過 查表,不起作用大量多路 開 關來實現這種功能 這即 浪費了 很 多可 用、,。處理結束則轉入隱含層到,這一多 路 開關 就要 占用約個邏 輯得到資源 如僅,經到,陣列塊助,輸出層的傳播 此時對應的同時 也使控制電 路更也分別經、到,的處 理,不起作用復雜 因 為要考慮各 種 布線情況下 的延 時特 性 并且結果 分別通 過查 表、得到、,。,于此 同時會導致整個系統 工 作頻率 的下 降 在數據存儲 上 本、分別通過、到進行 相減得到,系統盡 可

17、 能采用 分散存儲的方法 但同樣由于 受器 件、分別通過、到進行相乘得到。,只有,資源 的 限 制 尤 其是個 因此多數數據。經到,第二 步 誤 差 逆 傳播階段 在此階段還是采用了集中存儲 的方法 這 不利 于更 高要 求 的并,對應的經到,到的,此時行處理 例如誤 差 逆傳播階 段和 連 接權值修 正階段應,的處理結 果直接 得到,數據無效不起 作 用該是 可 以 進行 并行 處 理 的 但本系統未能 做到 這一,于此 同時,分另 通過、到進,資源 有 限 而 不 能設計更多 的點 這 當然與器 件的行相乘得到。處理單 元,也有關 同時集中存儲 也不 便 于 采 用 多。,第三 步 連 接

18、權 值修正 階段 此階 段的前半 段為片級連方式進行 系統的 擴 展 在數據運 算 上 本系統,經,穩含層到輸 出層的連接權值修 正階段 此 時采用的 全 部都是 位精度的定點 運 算 因而不 適合于、到,經到,經,對應的一些對 精度 要求高 的系 統 乘法器 采用的是 兩位補碼到,決定學 習 速 率,的處 理結 果直 接代替,。乘法器 未能 采用速度更 快的 陣列 乘法 器 這對應 的原,些問題只 能通過 制造。的值 當所有隱含 層到輸 出層的連接權芯片得到 解決值修正 完畢后 轉到輸人層 到 隱含 的 連 接權值修正階,盡管存 在這些問 題 但 系 統具 有處 理 速度快 輸,、,、經經到對入輸 出 接 口 靈活 幾乎可 以 和 任何 形式的并行 串行段 此時到應的經到,的處、和或轉換器 直接相連決定學 習 速 率接口 及 并行 串行理結果 直接代替對應的原。,的值的特點 同時 由于整 個系統都 在一 個芯 片內 因而 其系統性能 及 問題 分 析,、抗干擾能力強 相 信本系 統在自動控制 故障診 斷 模衡量 一 個神經網 絡系 統的 一個 重 要指 標是 每秒、,式識別 圖像壓 縮等領 域仍然 會有較大的 應 用 范圍。尤其 適合 于 制成嵌人 式系統以 便對數 據進行 現場實鐘能 夠修改連 接權