RBF網絡特點 只有一個隱層 且隱層神經元與輸出層神經元的模型不同 隱層節點激活函數為徑向基函數 輸出層節點激活函數為線性函數 隱層節點激活函數的凈輸入是輸入向量與節點中心的距離 范數 而非向量內積 且節點中心不可調 隱層節點參數確定后 輸出權值可通過解線性方程組得到 隱層節點的非線性變換把線性不可分問題轉化為線性可分問題 MLP 這意味著逼近一個輸入輸出映射時 在相同逼近精度要求下 RBF所需的時間要比MLP少 合適的隱層節點數 節點中心和寬度不易確定 1 1 Gauss 高斯 函數 2 反演S型函數 3 擬多二次函數 稱為基函數的擴展常數或寬度 越小 徑向基函數的寬度越小 基函數就越有選擇性 徑向基函數 RBF 2 全局逼近和局部逼近 全局逼近網絡 局部逼近網絡 當神經網絡的一個或多個可調參數 權值和閾值 對任何一個輸出都有影響 則稱該神經網絡為全局逼近網絡 對網絡輸入空間的某個局部區域只有少數幾個連接權影響網絡的輸出 則稱該網絡為局部逼近網絡 學習速度很慢 無法滿足實時性要求的應用 學習速度快 有可能滿足有實時性要求的應用 3 RBF網絡的工作原理 函數逼近 以任意精度逼近任一連續函數 一般函數都可表示成一組基函數的線性組合 RBF網絡相當于用隱層單元的輸出構成一組基函數 然后用輸出層來進行線性組合 以完成逼近功能 分類 解決非線性可分問題 RBF網絡用隱層單元先將非線性可分的輸入空間設法變換到線性可分的特征空間 通常是高維空間 然后用輸出層來進行線性劃分 完成分類功能 4 RBF神經網絡兩種模型 正規化網絡RN 廣義網絡GN 通用逼近器 模式分類 基本思想 通過加入一個含有解的先驗知識的約束來控制映射函數的光滑性 若輸入一輸出映射函數是光滑的 則重建問題的解是連續的 意味著相似的輸入對應著相似的輸出 基本思想 用徑向基函數作為隱單元的 基 構成隱含層空間 隱含層對輸入向量進行變換 將低維空間的模式變換到高維空間內 使得在低維空間內的線性不可分問題在高維空間內線性可分 5 兩種模型的比較 隱節點 輸入樣本數 隱節點 輸入樣本數 所有輸入樣本設為徑向基函數的中心 徑向基函數的中心由訓練算法確定 徑向基函數取統一的擴展常數 徑向基函數的擴展常數不再統一由訓練算法確定 沒有設置閾值 輸出函數的線性中包含閾值參數 用于補償基函數在樣本集上的平均值與目標值之平均值之間的差別 RN GN 6 函數逼近問題 內插值 一般函數都可表示成一組基函數的線性組合 RBF網絡相當于用隱層單元的輸出構成一組基函數 然后用輸出層來進行線性組合 以完成逼近功能 給定樣本數據 尋找函數 使其滿足 7 1 網絡隱層使用 個隱節點 2 把所有 個樣本輸入分別作為 個隱節點的中心 3 各基函數取相同的擴展常數 4 確定權值可解線性方程組 設第j個隱節點在第i個樣本的輸出為 可矩陣表示 若R可逆 則解為根據Micchelli定理可得 如果隱節點激活函數采用徑向基函數 且各不相同 則線性方程組有唯一解 RBF網絡輸出 8 舉例 RBF網絡實現函數逼近 1 問題的提出 假設如下的輸入輸出樣本 輸入向量為 11 區間上等間隔的數組成的向量P 相應的期望值向量為T P 1 0 1 1 T 0 9602 0 5770 0 07290 37710 64050 66000 46090 1336 0 2013 0 4344 0 5000 0 3930 0 16470 09880 30720 39600 34490 1816 0 0312 0 2189 0 3201 以輸入向量為橫坐標 期望值為縱坐標 繪制訓練用樣本的數據點 figure plot P T title 訓練樣本 xlabel 輸入矢量P ylabel 目標矢量T gridon 目的是找到一個函數能夠滿足這21個數據點的輸入 輸出關系 其中一個方法是通過構建徑向基函數網絡來進行曲線擬合 9 2 網絡設計 設計一個徑向基函數網絡 網絡有兩層 隱含層為徑向基神經元 輸出層為線性神經元 p 3 0 1 3 a radbas p figure plot p a title 徑向基傳遞函數 xlabel 輸入p ylabel 輸出a gridon 每一層神經元的權值和閾值都與徑向基函數的位置和寬度有關系 輸出層的線性神經元將這些徑向基函數的權值相加 如果隱含層神經元的數目足夠 每一層的權值和閾值正確 那么徑向基函數網絡就完全能夠精確的逼近任意函數 a2 radbas p 1 5 a3 radbas p 2 a4 a a2 1 a3 0 5 figure plot p a b p a2 b p a3 b p a4 m title 徑向基傳遞函數之和 xlabel 輸入p ylabel 輸出a gridon 應用newb 函數可以快速構建一個徑向基神經網絡 并且網絡自動根據輸入向量和期望值進行調整 從而進行函數逼近 預先設定均方差精度為eg以及散布常數sc eg 0 02 sc 1 net newrb P T eg sc 10 3 網絡測試 將網絡輸出和期望值隨輸入向量變化的曲線繪制在一張圖上 就可以看出網絡設計是否能夠做到函數逼近 figure plot P T xlabel 輸入 X 1 0 01 1 Y sim net X holdon plot X Y holdoff legend 目標 輸出 gridon 11 分類問題 低維空間 線性不可分高維空間 線性可分 空間轉換 關于對單層感知器的討論可知 若N維輸入樣本空間的樣本模式是線性可分的 總存在一個用線性方程描述的超平面 使兩類線性可分樣本截然分開 若兩類樣本是非線性可分的 則不存在一個這樣的分類超平面 但根據Cover定理 非線性可分問題可能通過非線性變換獲得解決 Cover定理可以定性地表述為 將復雜的模式分類問題非線性地投射到高維空間將比投射到低維空間更可能是線性可分的 12 1 x X2 X1 2 x w11 w11 Outputy 舉例 邏輯運算異或的分類 XOR異或 空間變換前 13 基函數 空間變換后 14 RBF學習算法 RBF學習的三個參數 基函數的中心 方差 擴展常數 隱含層與輸出層間的權值 當采用正歸化RBF網絡結構時 隱節點數即樣本數 基函數的數據中心即為樣本本身 參數設計只需考慮擴展常數和輸出節點的權值 當采用廣義RBF網絡結構時 RBF網絡的學習算法應該解決的問題包括 如何確定網絡隱節點數 如何確定各徑向基函數的數據中心及擴展常數 以及如何修正輸出權值 15 兩種方法中心的選取 1 中心從樣本輸入中選取 2 中心自組織選取 常采用各種動態聚類算法對數據中心進行自組織選擇 在學習過程中需對數據中心的位置進行動態調節 常用的方法是K means聚類 其優點是能根據各聚類中心之間的距離確定各隱節點的擴展常數 由于RBF網的隱節點數對其泛化能力有極大的影響 所以尋找能確定聚類數目的合理方法 是聚類方法設計RBF網時需首先解決的問題 除聚類算法外 還有梯度訓練方法 資源分配網絡 RAN 等 一般來說 樣本密集的地方中心點可以適當多些 樣本稀疏的地方中心點可以少些 若數據本身是均勻分布的 中心點也可以均勻分布 總之 選出的數據中心應具有代表性 徑向基函數的擴展常數是根據數據中心的散布而確定的 為了避免每個徑向基函數太尖或太平 一種選擇方法是將所有徑向基函數的擴展常數設為 16 一 自組織中心選取法 1989年 Moody和Darken提出了一種由兩個階段組成的混合學習過程的思路 兩個步驟 無監督的自組織學習階段 有監督學習階段 其任務是用自組織聚類方法為隱層節點的徑向基函數確定合適的數據中心 并根據各中心之間的距離確定隱節點的擴展常數 一般采用Duda和Hart1973年提出的k means聚類算法 其任務是用有監督學習算法訓練輸出層權值 一般采用梯度法進行訓練 17 在聚類確定數據中心的位置之前 需要先估計中心的個數 從而確定了隱節點數 一般需要通過試驗來決定 由于聚類得到的數據中心不是樣本數據本身 因此用表示第n次迭代時的中心 應用K means聚類算法確定數據中心的過程如下 1 初始化 選擇個互不相同的向量作為初始聚類中心 2 計算輸入空間各樣本點與聚類中心點的歐式距離 1 中心學習 18 3 相似匹配 令代表競爭獲勝隱節點的下標 對每一個輸入樣本根據其與聚類中心的最小歐式距離確定其歸類 即當時 被歸為第類 從而將全部樣本劃分為個子集每個子集構成一個以聚類中心為典型代表的聚類域 19 4 更新各類的聚類中心 采用競爭學習規則進行調整將n值加1 轉到第 2 步 重復上述過程直到 其他 20 2 確定擴展常數 各聚類中心確定后 可根據各中心之間的距離確定對應徑向基函數的擴展常數 令則擴展常數可取為 為重疊系數 21 3 學習權值 權值的學習可以用LMS學習算法注意 LMS算法的輸入為RBF網絡隱含層的輸出 RBF網絡輸出層的神經元只是對隱含層神經元的輸出加權和 因此RBF網絡的實際輸出為其中用LMS方法求解用偽逆方法求解 為期望響應是矩陣的偽逆 偽逆的求法 奇異矩陣或非方陣的矩陣不存在逆矩陣 若XAX A AXA X則X稱為A的偽逆陣 在matlab中用pinv A 求偽逆 22 23 二 有監督選取中心算法 RBF中心以及網絡的其他自由參數都是通過有監督的學習來確定 以單輸出的RBF為例定義目標函數誤差信號尋求網絡的自由參數 與中心有關 使目標函數達到最小 N是訓練樣本的個數 24 1 輸出層權值 2 隱含層RBF中心 25 3 隱含層RBF的擴展 其中是的導數 26 27 三 隨機選取中心法 條件 典型的訓練樣本 隱含單元的中心是隨機的在輸入樣本中選取 且中心固定 因此此算法學習的參數只有兩個 方差和權值四 OLS學習算法RBF神經網絡的性能嚴重依賴于所選擇的中心數目和位置是否合適實際中 人們一般是隨機地從輸入模式中選擇中心 或用某種聚類算