第二章神經網絡學習Deep

Learning

&

TensorFlow1.神經網絡誕生的背景23鳥飛派4計算機與大腦的對比18個月7沃爾特·皮茨（WalterPitts，1923-1969）沃倫·麥克洛克（WarrenMcCulloch,1898~1969）M-P模型伯樂：卡爾納普（Carnap）8《神經活動中思想內在性的邏輯演算》中的邏輯門（刊登于1943年）910生物計算機——計算機也許的未來2.神經網絡誕生的定義1112“人工神經網絡是一種由具有自適應性的簡樸單元構成的廣泛并行互聯的網絡，它的組織構造可以模擬生物神經系統對真實世界所做出的交互反應。”圖沃·卡萊維·科霍寧（TeuvoKaleviKohonen）是芬蘭著名的學者和研究人員。Neuronsvs.Units(1)-EachelementofNNisanodecalledunit.-Unitsareconnectedbylinks.-Eachlinkhasanumericweight.Neuronsvsunits(2)3.神經網絡的原子單元——感知機1516羅森布拉特（右）和合作伙伴感知機（perceptron）

1718神經網絡中的兩種運算-Thereare2typesofcomponents:

LinearandNon-linear.-Linear:Inputfunction（線性求和） -calculateweightedsumofallinputs.-Non-linear:

Activationfunction（非線性激活） -transformsumintoactivationlevel.TrainingaperceptronOutputInput1Input2W1W2+Calculatethedifferencebetweenthelabel(truth)andtheoutput.Thisistheloss.Adjusttheweights(behaviour)sothattheoutputequalsthelabel.Youareminimisingtheloss.Label-LossTrainingaperceptronOutputInput1Input2W1W2+Theweightsrepresent“trust”foreachinput.Anegativeweightmeanstotaketheoppositeoftheinput.ThelossisusedtoupdatetheweightsW1andW2.Howdoyouchangetheweightstominimisetheloss?Label-Loss0.80.40.7-0.30.56+(-0.12)=0.441.00.564.感知機的學習規則2223PerceptronlearningruleTeacherspecifiesthedesiredoutputforagiveninputNetworkcalculateswhatitthinkstheoutputshouldbeNetworkchangesitsweightsinproportiontotheerrorbetweenthedesired&calculatedresults

wi,j=

*[teacheri-outputi]*inputjwhere:

isthelearningrate;

teacheri-outputiistheerrorterm;andinputj

istheinputactivationwi,j=wi,j+

wi,j

Deltarule25神經元節點的偏置Anode’soutputisaweightedfunctionofitsinputsWhatisabias?Howcanwelearnthebiasvalue?Answer:treatthemlikejustanotherweight可視作另一種權值Trainingbiases(

)Anode’soutput:1ifw1x1+w2x2+…+wnxn>=

0otherwiseRewritew1x1+w2x2+…+wnxn-

>=0w1x1+w2x2+…+wnxn+

(-1)>=0Hence,thebiasisjustanotherweightwhoseactivationisalways-1Justaddonemoreinputunittothenetworktopologybias改寫方程，統一權值5.感知機的幾何意義2829感知機的幾何意義感知機的超平面306.試驗驗證313233346.感知機的表征能力3536感知機的短板非線性能力體現局限性37387.常用的激活函數與損失函數3940預測是智能的、不可或缺的構成部分，當實際狀況和預測出現差異時，實際上就是學習的過程。”YannLeCun

41424344常用的激活函數MostpopularistheReLU.8.多層前饋網絡4546可處理“異或”問題的兩層感知機47前饋神經網絡拓撲構造9.神經網絡的理論基礎4849機器學習近似于尋找一種好用的函數50通用近似定理51神經網絡的理論基礎：Universalapproximationtheorem僅僅證明理解的存在性525354試驗：通用模確定理(學習TensorFlow后完畢）555657Conclusion:

Asthenumberofhiddenunitsincrease,theapproximationerroronthetrainingdatagenerallydecreases.Discussion:

Althoughtheuniversalapproximationtheoremsaysthatneuralnetworkwithenoughparameterscanapproximateatrueclassification/regressionfunction,itdoesn‘tsayanythingaboutwhe