神經網絡的數學基礎1信號和權值向量空間將神經網絡的輸入、輸出以及權值矩陣的行作為向量看待是非常有好處的。這些都是中的向量。是標準的n維歐基里德空間2線性向量空問3如圖1所示。顯然它是一個向量空間，并且對于向量加和標量乘全部滿足10個條件。

的子集又將如何?考慮圖2中方框內的區域x。向量x和y在區域內，但是x+y卻可能不在的區域內。從這個例子可以看出，任何限定邊界的集合都不可能是向量空間。所有經過坐標軸原點的直線都滿足上述10個條件。但是，如果直線不經過坐標軸的原點，那么至少這種直線不能滿足第4個條件。

4如果已經習慣于將向量看作是一列數字，那么這兩個元素的確是奇怪的向量。但是請記住：一個集合只要滿足上述10個條件，就可以被認為是一個向量空間。例如考慮最高階數小于或等于2的多項式集合此集合的兩個元素是：5由于兩個連續函數的和仍然是一個連續函數，一個標量乘以一連續函數仍然是一個連續函數，所以集合也是一個向量空間這個集合與前面討論過的向量空間不同，它是無限維的。6線性無關線性無關與之相反，如果當且僅當每個均等于零，那么稱其是一組線性無關的向量。注意這些定義實際上等價于：如果一個向量集合是無關的，那么這個集合中的任何向量都不能表示成該集合中其他向量的線性組合。7生成空間X的基集是由生成它的線性無關的向量所組成的集合。任何基集包含了生成空間所需要的最少個數的向量。X的維數就等于基集中元素的個數。任何向量空間都可以有多個基集，但每一個基集都必須包含相同數目的元素。89內積10范數11正交湯性12向量洗展開廣式13互逆淹基向筒量如果爭需要由向量仿展開綱式，授而基爹集又蝕不是果正交哥的，始那么糊就必懶須引五人下弄列等或式所懲定義辜的互司逆基慘底：14151617181920由此暑可以笑看出街，當蜻要用紗一列盜數字鴿表示技一個就一般貫向量念時，釘必須件知道涂其向腿量展月開式拉所采冤用的漠基集并是什購么。慚在如雷果沒持有特脅殊說互明，闖那么像假設圖所采薦用的秀都是開標準量基集鬼。21Gr保am雕矩陣只是而向量虹個數猴比這炕些向炒量的惕原始籮空間奴中向位量個榆數要永少(R4空間嗚中的3個向宗量)。在充這種個情況另下，妨由這3個向燥量所瀉構成綿的矩驅陣不據再是顫一個質方陣鬼，所手以不景能計宮算其衡行列性式的選值。育可以嚼采用同稱為Gr們am的方斃法，仰這種辱方法啞按可涂以求偏出一螞個矩嬌陣的恥行列主式，惹矩陣假的第i行第j列的座元素童是向濾量i和向坐量j的內醫積。這些值向量版是線宗性相型關的列當且剛僅當G矩陣成的行捎列式前為零舟。2223神經裙網絡碧中的慰線性黎變換諸如仍特征派值、風特征晶向量嫁和基忠變換校等基屠本概疾念，校這些挎概念扇對理坐解一雙些諸悅如性緞能學擱習(千反傳左學習撈算法問)以芒及H帽op據fi掛el亭d網躬絡的憤收斂抬特性幕等神楊經網曠絡關穗鍵課桃題是冶十分擊重要狡的。24線性目變換變換鉤：一聚個變東換由巖三部肌分組刑成25旋轉老變換兩個烤向量莫之和較的旋遭轉伸縮溫向量戰的變捐換26矩陣棉表示可以榴證明躁兩個墓有限激維向其量空華間之鬧間的哄任何辦線性遭變換抗都可碰以用短一個裂矩陣豈來表憶示(帝這和冠在有協限維咽的向外量空霞間中陵的任宵何一奏個向屑量可忠以用甚一個虎數列已來表掏示是斑一樣享的)胖。請記萄住：樂與一丙般向溜量的平數列前表示城形式忽并不宅是惟研一的規類似士，一油個變饑換的呢矩陣還表示票也不貍是惟霞一的嚇。如徑果改淡變定奶義域躲或值臨域的基集，那直么變專換的鬼矩陣罪表示攝也會董隨之招改變什。27以旋師轉變舍換為器例，山來討傷論變跟換的望矩陣祝表示伙，看蹲看如芬何找欄到該呆變換感的矩帶陣表希示。28可以貝看到若展式榨中的幣兩個立系數曾就是真的矩席陣中則的第彼一列粒。29從展堤式中怠可以胳得到車矩陣窄表示迫中的齒第二留列。咸所以構，完愉整的章矩陣敗表示婆可以糕由下呢式：30特征后值和陳特征聰向量考慮鉤一個皆線性倒交換：視：(定尚義域聲和值醫域相炊同)貞。分勝別稱茂滿足女下式紹的那或些不輸等于制0的挺向量切和標序量分挑別是賭特征頁向量滔和特帶征值：請注留意，煙特征野向量慌實際震上并愚不是錫一個深真正柜的向墾量，輩而是一介個向掙量空綱間。所在以，榮給定蘇變換棗的一發個特柜征向度量表胳示一菠個方扭向，要當對啦任何牲取該紅方向鬼的向料量進糖行變暴換時善，它促們都胃將繼唐續指車向相憤同的阿方向不，僅格僅是姥按照依特征藍值對逗向量獻的長沉度進任行縮速放。31如果嘉某個犯變換膊有n個不詞同的涼特征伴值，叨則可憤以保很證得削到該女變換n個線役性無兩關的誕特征希向量呀，因您此特理征向芬量組梳成變債換的懇向量輪空間黑的一泡個基拿集。32性能騰曲面阻和最矮優點介紹抹的是櫻一類披稱為督性能分學習眾的神狗經網表絡訓價練的冶基礎春知識班。神悅經網酒絡有吹幾種兵不同巾類型逝的學尺習規癢則，本如聯貸想學階習(夫He驗bb伯學習設)和壇競爭皆學習艱。性炸能學膽習是設一類去重要吹的學川習規匙則，撕其目蠅的在遍于調鬼整網繁絡參斜數以池優化傻網絡楊性能慨。主府要目期的是暖研究型性能共曲面柴，并拖確定棵性能儲曲面謀存在努極大訪點和惠極小贊點的問條件隔。33性能采優化這種會優化古過程稼分兩水個步名驟進綠行。岔第一舟步是才定義仰“性陣能”迫的含嫂義。擦換言圾之，錄需要矩找到梨一個餡衡量破網絡品性能膊的定忌量標剪準，宴即性賣能指計數，叛性能重指數嚴在網蒼絡性李能良棵好時具很小穴，反墾之則摩很大香。優積化過等程的邊第二奇步是扭搜索謝減小逝性能紛指數得的參數敵空間(調竊整網完絡權增值和膜偏置總值)駁。34泰勒夸級數假定印性能栽指數既是一王個解羨析函某數，柔它的陵各級罰導數叉均存億在。3536向量奸的情常況神經矩網絡雁的性省能指找數并慣不僅尊是一枯個純援量的秧函數呆，它某是所社有網括絡參半數(熔各個貸權值嫩和偏伸置值靠)的曬函數乘，參策數的史數量口可能死是很桂大的木。因分此，漸需要怕將泰看勒級形數展雁開形頌式擴脆展為醉多變斬量形月式。373839方向屠導數4041最大械斜率社在什高么方盆向上份?當亞方向婦向量攀與梯黎度的飛內積遣最大厲時斜斤率最傲大，愚故當勞方向彎向量禮與梯茅度同啄向時休會出燙現最戴大斜廟率(恩注意朵方向記向量喊的長舍度對短此沒堡有影皺響，隊因為潔它已誤被規延格化膚)。42極小出點43444546優化欣的必筐要條桶件定義篇了最何優點鬧(極喝小點瘋)后保，必卡須給最出這遺種點福需要耍滿足戀的條沿件。蒸這里土還要密用到尤泰勒飽級來成推導疑這些溫條件辯：47駐點淡：一司個極碎小點孝處的姓梯度剖一定暴為零宅。這抓就是矛局部眠極小復點的胸一階傲必要央條件(不是較充分粥條件)。48二階厭條件49可以順通過榆檢驗搭矩陣統特征堤值來跟檢驗晝這些爐條件志，如債果所唱有特唉征值裙為正啞則矩割陣為涉正定苦矩陣遮；如魂果所課有特盟征值統非負狂，則餅矩陣億為半舌正定展矩陣勞。充分致條件坡：一值個正瓶定的損赫森夜矩陣滲是一求個強淹極小矛點存犯在的眠二階站充分廈條件配，但平不是喜必要乘條件咬。如臨果泰貍勒級活數的魄二階藏項為解零，陶但三上階項不為正另，仍滔可能材存在溪強極窗小點籌。所協以強用極小砌點存秀在的反二階遞充分鍵條件個是赫灣森矩求陣為曲半正柜定矩橫陣。50二次雄函數二次礎函數景的所葡有的丸高階承導數捎為零孤。51研究廣赫森走矩陣攻的特展征值先和特纏征向償量得燥到二部次函腳數性賓質。味考慮漠以原拒點為浙駐點發且其右值為耀0的港二次蹈函數粘：由于A為對住稱矩道陣，符所以投其特損征向鞭量兩角兩正助交。述可用轎特征丟向量舉作為奸列向若量構棵成一稼個的至矩陣登：5253用方室向導鄭數的汁概念倆說明援A的敲特征宵值和奸特征遺向量乳的物獄理意獵義以剪及確舟定二乓次函芽數的派曲面售特性副：(特飄征向答量集蹦可作紹為向說量空管間的遇基)54首先漂，這浙個二犯階導塞數是膛特征抹值的倦加權怖平均題。所鼓以它電總不捕大于敢最大歲的特疊征值累，或尺不小塵于最把小特僵征值漆。換托句話癥說：5556所以毯，在減最大詞特征綠值的檔特征史向量椅方向仆上存桐在最碼大的色二階互導數好。事嚴實上景：在賤每個剝特征親向量但方向船的二歪階導貨數都祥等于窩相應聞的特遠征值在。在坡其他潛方向貝上二棗階導動數等傳于特姓征值究的加唐權平坦均值憶。特組征向丹量方筆向上作的相標應特護征值般即是帽在該兼方向養上的黨二階各導數贏。57現將蠢二次鮮函數役的一叮些特檔點小阻結如賭下：1)雁如果賣赫森影矩陣航的所沉有特呈征值謀為正姓，則摧函數炊有一睜個強趕極小耀點2)望如果拿赫森繡矩陣哀的所掌有特昌征值美為負蘭，則租函數閥有一旦個強賞極大卡點3)村如果木赫森方矩陣瘦的特股征值途有正哭有負催，則零函數狠有一漫個鞍訂點。4)漸如果奸赫森未矩陣文的所隊有特北征值扔為非咳負，飄但某梢些特姜征值笑為零引，則倍函數慰要么巨有一褲個弱邊極小拴點，餃要么混沒有雹駐點創。5)暖如果匹赫森域矩陣稻的所銷有特秧征值糖為非嬌正，讓但某玻些特抹征值絡為零賽，則架函數偉要么檢有一眾個弱侄極大池點，池要么憤沒有鍬駐點58性能猶優化討論突三類憤優化貼算法生：最睛速下面降法黎、牛慢頓法潑以及共扼田梯度貪法。體這些渣算法群將用請于神乳經網公絡的塞訓練所有地將要銷討論鍋的算醋法都掠是迭賢代的震。首爐先，常給定筆一個胸初始訂猜測床值，友然后計按照線等式