深度學習技術介紹DeepLearningTechnology0深度學習是機器學習中表征學習方法的一類。一個觀測值（例如一幅圖像）可以使用多種方式來表示,而某些特定的表示方法可以讓機器學習算法更加容易進行學習。表征學習的目標是尋求更好的表示方法并建立更好的模型來學習這些表示方法;通俗來講，機器學習是一種算法框架，通過此算法框架，需要讓機器具有類似人類的智慧，學會認識世界的一種方式；為人類提供“大數據+簡單模型”的實現方式。什么是深度學習1語音識別圖像識別自然語言處理深度學習的實際應用類型2論點:機器學習是要制造一個超級大腦,能夠具有人類一樣的智慧。這是一個非常典型的錯誤。機器學習是一個古老的計算機學科，而深度學習正是機器學習的一個狹窄領域，并非新生事物。持此觀點的人一般都是對此學科一知半解的人。在工程上，深度學習的目的不是理解人腦的本質，也不是需要制造一個類人的生命體，而是構建有用的機器。神經網絡(artificialneuralnetworks)能夠幫助我們建立更好的計算機系統，用以處理信息。人腦也是一種處理信息的裝置，具有非凡的鞥努力并且在視覺、語音、語義等方面都超過了目前的工程產品，目前研究的方向是用形式算法定義人腦處理這些任務的解，并在計算機上實現此過程。糾正一個錯誤31989年,計算機已經可以學習識別人類講話，并且用到了神經網絡學習方法和隱馬爾科夫模型學習方法;1989年，機器學習方法已經被用于訓練計算機控制車輛，實現無人駕駛；1995年，決策樹學習算法已經被NASA用來分類天體；1995年，計算機已經可以通過學習，在博弈類游戲中擊敗人類。人工神經網絡的研究歷史和數字計算機一樣長。1943年，McCulloch和Pitts提出了人工神經網絡的第一個數學模型。1962年提出了感知器和學習算法。1969年有人指出了單層感知器的局限性。1986年后，后向傳播被發明，單層感知器局限性不復存在。由于深度學習是機器學習的一個子集，討論時我們混用這兩個名詞。為什么說機器學習是一個古老的學科4人工智能貝葉斯方法計算復雜性理論控制論信息論哲學心理學和神經生物學統計學和機器學習相關的學科5根據Marr(1982)年理論,理解一個信息處理系統，具有三個被稱為分析層面的內容:計算理論(computationaltheory)對應計算目標和任務的抽象定義。表示和算法(representationandalgorithm)是關于輸人和輸出如何表示和從輸入到輸出變換的算法說明。硬件實現(hardwareimplementation)是系統的實物物理實現。理解人腦處理信息的過程6

什么是感知器(perceptron)

···

7最簡單的分離器設計8感知器定義了一個超平面,而神經網絡感知器事不過是實現超平面的一種方法。給定數據樣本，權重可以離線計算，并且將其帶入后，感知器就可以用來計算輸出的值。在訓練神經網絡時，若果未提供全部樣本，而是逐個提供實例，則我們通常使用在線學習，并且在每個實例之后更新網絡參數，讓給網絡緩慢的及時調整。這是目前比較常見的一種訓練方式。對于在線學習，不需要全部樣本而是需要單個實例上的誤差函數。從隨機初始權重開始，每次迭代中，我們都對參數稍作調整，以最小化誤差，而不是忘記先前學習的。若誤差函數可微，則可以使用梯度下降方法。具有單層權重的感知器，只能逼近輸入的線性函數，不能解決XOR類型的問題，這些問題的判別式是非線性的。類似的，這種感知器也不能用于非線性回歸。鑒于此，MLP可以實現非線性的判別。訓練感知器9這是在訓練多層感知器時提出的一個概念。訓練多層感知器與訓練感知器是一樣的。唯一區別是現在的輸出是輸入的非線性函數,這要歸咎于隱藏單元中的非線性偏倚函數。在對于多層感知器，計算梯度時誤差就向傳回到輸出一樣，所以創造了這個術語。后向傳播算法(backpropagation,1986)10對于人臉識別(facerecognition)。輸入是人臉圖像,類是需要識別的人，并且學習程序應當學習人臉圖像與身份之間的關聯性。人臉會有更多的類，輸入圖像也更大一些，并且人臉是三維的，不同的姿勢和光線等都會導致圖像的顯著變化。另外，對于特定人臉的輸人也會出現問題，比如說眼鏡可能會把眼睛和眉毛遮住，胡子可能會把下巴蓋住等。具體應用-人臉識別11對于醫學診斷(medicaldiagnosis)。輸人是關于患者的信息,而類是疾病。輸入包括患者的年齡、性別、既往病史、目前癥狀等。當然，患者可能還沒有做過某些檢查，因此這些輸入將會缺失。檢查需要時間，還可能要花很多錢，而目、也許還會給患者帶來不便。因此，除非我們確信檢查將提供有價值的信息，否則我們將不對患者進行檢查。在醫學診斷的情況下，錯誤的診斷結果可能會導致我們采取錯誤的治療或根本不進行治療。在不能確信診斷結果的情況下，分類器最好還是放棄判定，而等待醫學專家來做決斷。具體應用-醫學診斷12在語音識別(speechrecognition),輸人是語音,類是可以讀出的詞匯。這里要學習的是從語音信號到某種語言的詞匯的關聯性。由于年齡、性別或口音方面的差異，相同詞匯的讀音不同，這使得語音識別問題相當困難。語音識另的另一個特點是其輸入信號是時態的，詞匯作為音素的序列實時讀出，而且有些詞匯的讀音會較長一些。具體應用-語音識別13在語音識別中,“語言模型”的集成是至關重要的，而且提供一語言模型的最好方法仍然是從實例數據的大型一語料庫中學習。機器學習在自然語言處理(naturallanguageprocessing)方面的應用與日俱增。垃圾郵件過濾就是一種應用，其中垃圾郵件的制造者為一方，過濾者為另一方，一直都在尋找越來越精巧的方法以便超越對方，也許最吸引人的是機器翻譯(machinetranslation)，經歷了數十年手工編寫翻譯規則的研究之后，最近人們認識到最有希望的辦法是提供大量翻譯文本實例對，并且讓程序自動地提取，一個字符串映射到另一個字符串的規則。自然語言處理14生物則定學(biometrics)使用人的生理和行為特征來識別或認證人的身份,需要集成來自不同形態的輸人。生理特征的例子是面部圖像、指紋、虹膜和手掌;行為特征的例子是簽字的力度、嗓音、步態和擊鍵。與通常的鑒別過程(照片、印刷簽名或門令)相反，會有許多不同的(不相關的)輸人，偽造(欺騙)更困難并且系統更準確，不會對用戶太不方便。機器學習既用于針對這些不同形態而構建不同的識別器，也考慮這些不同數據源的可靠性，用于組合它們的決策，以便得到接受或拒絕的總體決策。生物測定學15從數據中學習規則也為知識抽取(knowledgeextraction)提供了可能性。規則是一種解釋數據的簡單模型,而觀察該模型我們能得到潛在數據處理的解釋。例如，一旦我們學會了區分低風險客戶和高風險客戶的判別式，我們就擁有了關于低風險客戶特性的知識。然后，我們就能夠利用這些知識，通過比如廣告等方式，更有效地爭取那些潛在的低風險客戶。機器學習還可以進行壓縮(compression)。用規則擬合數據，我們能得到比數據更簡單的解釋，需要的存儲空間更少，處理所需要的計算更少，例如，一旦你掌握了加法規則，你就不必記憶每對可能數字的和是多少。機器學習的另一種用途是離群點檢測(outlierdetection)，即發現那些不遵守規則的例外實例。在這種情況下，學習規則之后，我們感興趣的不是規則，而是規則未能覆蓋的例外，他們可能暗示出我們需要注意的異常，如詐騙等。機器學習的額外用途16ALVINN系統是ANN學習的一個典型實例,這個系統使用一個學習到的ANN以正常速度在高速公路上駕駛汽車。ANN的輸入是一個30*32像素的網格，像素的亮度來自于一個安裝在車輛上的前向攝像頭。ANN的輸出是車輛行進的方向。這個ANN通過模仿駕駛時的操縱命令進行訓練，持續約5分鐘。ALVINN用學到的網絡在高速公路上以70英里的時速成功行駛了90英里。案例-ALVINN系統17ALVINN系統的神經網絡18形而下者謂之器19人工智能每一次沉寂后的爆發,有兩個條件理論算法的突破計算能力的提升HPC是深度學習的引擎深度學習對計算的依賴20nVidiaTeslaGPU21GPU的發展趨勢22GPU產品路線23GPU市場區分24計算專用GPU可選型號特性TeslaM40TeslaK80TeslaK40GPU數量類型GM2002×KeplerGK2101個GK110雙精浮點峰值-2.91T(提速)1.87T(基礎)1.66T(提速)1.43T(基礎)單精浮點峰值7T8.74T(提速)5.6T5T(基礎)4.29Tflops存儲器帶寬(ECC關閉)288GB/s480GB/s288GB/s存儲器容量(GDDR5)12GB24GB(2×12GB)12GBCUDA核心數30724992288025主流GPU產品對比26主流GPU產品對比27GPUBoost技術28K80性能提升29M40GPU加速特性30GPU與CPU連接通過PCIe與CPU連接,最大理論帶寬8GB/s(gen2.0)、16GB/s(gen3.0)CPU稱為主機(host),顯卡(GPU)稱為設備(device)31最優連接數量:432目前的GPU使用方案33CPU困境348塊熱插拔3.5寸SATA硬盤16根內存槽，支持1TBDDR4內存兩顆Intel160WIntel?

E5-2600v3family

2000W白金級高效電源，1+1冗余3x5?外設倉位最優的制冷方案最多4個全高全長雙寬GPU卡(PCIex163.0)+3個標準PCIe卡XMachineW580-G20機塔互換35XMachineW740-G20服務器天闊W740-G20服務器是專為高性能計算設計的高密度異構計算節點,在2U空間內置4顆主流加速卡，并支持Infiniband高速互聯接口。W740I-G20適合在DeepLearning、MachineLearning環境下的應用。2U高度，兩顆IntelIntel?E5-2600V3系列CPU，最大支持145W支持4顆GPU/MIC加速單元，4根PCI-E3.0×16+1根PCI-E3.0×8(inX16slot)最大支持1TBDDR4Reg.ECC內存(16DIMM)10個熱插拔2.5寸SAS/SATA硬盤可配置2000W1+1冗余電源36XMachineW780-G20服務器天闊W780-G20服務器是專為MachineLearning市場設計的高密度異構計算節點,在4U空間內置8顆主流加速卡，每個CPU之間的GPU卡可以實現P2P。4U高度，兩顆IntelIntel?E5-2600V3系列CPU，最大支持160W支持8顆GPU/MIC加速單元，8根PCI-E3.0×16+3根PCI-E3.0×8擴展槽最大支持2TBDDR4ECC內存(24DIMM)24個熱插拔2.5寸SAS/SATA硬盤可配置1600W2+2冗余電源37深度學習是一種處理大數據的工具,應對大數據時代信息處理的難題。讓”信息資產”成為企業的重要資源。XSystem以”HPC+BigData+Cloud”為設計理念，結合深度學習XSharp深度學習軟件棧和XMachine深度學習一體機。為用戶提供深度學習一體化解決方案。幫助用戶快速進入DeepLearning領域，實現企業應用快速成長，將科研成果快速轉化為第一生產力。深度