主講：極限學(xué)習(xí)單層前饋神經(jīng)網(wǎng)絡(luò)（SLFN）以其良好的學(xué)習(xí)能力在許多領(lǐng)域得到了廣泛的應(yīng)用，然而傳統(tǒng)的學(xué)習(xí)算法，如BP等固有的一些缺點(diǎn)，成為制約其發(fā)展的主要瓶頸，前饋神經(jīng)網(wǎng)絡(luò)大多采用梯度下降法，該方法存在以下幾個(gè)方面的缺點(diǎn)和不足：訓(xùn)練速度慢。由于梯度下降法需要多次迭代，從而達(dá)到修正權(quán)值和閾值的目的，因此訓(xùn)練過(guò)程耗時(shí)較長(zhǎng)；容易陷入局部極小值，無(wú)法到達(dá)全局最小；學(xué)習(xí)率的選擇敏感，學(xué)習(xí)率對(duì)神經(jīng)網(wǎng)絡(luò)的性能影響較大，必須選擇合適的才能達(dá)到較為理想的效果，太小則算法的收斂速度很慢，訓(xùn)練過(guò)程耗時(shí)較長(zhǎng)，太大，則訓(xùn)練過(guò)程可能不穩(wěn)定。極限學(xué)習(xí)極限學(xué)習(xí)機(jī)（ExtremeLearningMachine,ELM）或“超限學(xué)習(xí)機(jī)”是一類基于前饋神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuronNetwork,FNN）構(gòu)建的機(jī)器學(xué)習(xí)系統(tǒng)或方法，適用于監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)問(wèn)題。ELM在研究中被視為一類特殊的FNN，或?qū)NN及其反向傳播算法的改進(jìn)，其特點(diǎn)是隱含層節(jié)點(diǎn)的權(quán)重為隨機(jī)或人為給定的，且不需要更新，學(xué)習(xí)過(guò)程僅計(jì)算輸出權(quán)重。傳統(tǒng)的ELM具有單隱含層，在與其它淺層學(xué)習(xí)系統(tǒng)，例如單層感知機(jī)（singlelayerperceptron）和支持向量機(jī)（SupportVectorMachine,SVM）相比較時(shí)，被認(rèn)為在學(xué)習(xí)速率和泛化能力方面可能具有優(yōu)勢(shì)

。ELM的一些改進(jìn)版本通過(guò)引入自編碼器構(gòu)筑或堆疊隱含層獲得了深度結(jié)構(gòu)，能夠進(jìn)行表征學(xué)習(xí)。極限學(xué)習(xí)ELM的應(yīng)用包括計(jì)算機(jī)視覺(jué)和生物信息學(xué)，也被應(yīng)用于一些地球科學(xué)、環(huán)境科學(xué)中的回歸問(wèn)題。其最大的創(chuàng)新點(diǎn)：輸入層和隱含層的連接權(quán)值、隱含層的閾值可以隨機(jī)設(shè)定，且設(shè)定完后不用再調(diào)整。這和BP神經(jīng)網(wǎng)絡(luò)不一樣，BP需要不斷反向去調(diào)整權(quán)值和閾值。因此這里就能減少一半的運(yùn)算量了。隱含層和輸出層之間的連接權(quán)值β不需要迭代調(diào)整，而是通過(guò)解方程組方式一次性確定。研究表明，通過(guò)這樣的規(guī)則，模型的泛化性能很好，速度提高了不少。一言概之，ELM最大的特點(diǎn)就是對(duì)于傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，尤其是單隱層前饋神經(jīng)網(wǎng)絡(luò)(SLFNs)，在保證學(xué)習(xí)精度的前提下比傳統(tǒng)的學(xué)習(xí)算法速度更快。極限學(xué)習(xí)

極限學(xué)習(xí)

極限學(xué)習(xí)不同的隱含層節(jié)點(diǎn)可以有不同的映射函數(shù)，神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)也由其具有的特征映射命名，例如Sigmoid節(jié)點(diǎn)、徑向基函數(shù)節(jié)點(diǎn)等。除上述映射函數(shù)外，SLFN的節(jié)點(diǎn)也可以是其它經(jīng)過(guò)封