Chapter7循環神經網絡及自動駕駛車輛換道行為預測第七章DeepLearningAndAutonomousDriving深度學習與自動駕駛應用DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第2頁7.4擴展到圖結構7.1循環神經網絡概述7.3深層模型7.2應用到機器學習7.5循環網絡應用目錄ContentDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第3頁7.1循環神經網絡概述前饋網絡：連接存在層與層之間，每層的節點之間是無連接的。（無循環）輸入和輸出的維數都是固定的，不能任意改變。無法處理變長的序列數據DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第4頁7.1循環神經網絡概述前饋網絡：假設每次輸入都是獨立的，也就是說每次網絡的輸出只依賴于當前的輸入。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第5頁7.1循環神經網絡概述有限狀態自動機（FiniteAutomata）如何用FNN去模擬一個有限狀態自動機？DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第6頁7.1循環神經網絡概述圖靈機一種抽象數學模型，可以用來模擬任何可計算問題。DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第7頁7.1循環神經網絡概述可計算問題可計算問題函數

有限狀態機圖靈機前饋網絡需要記憶能力通用近似定理如何給網絡增加記憶能力？DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第8頁7.1循環神經網絡概述如何給網絡增加記憶能力？延時神經網絡（TimeDelayNeuralNetwork，TDNN）建立一個額外的延時單元，用來存儲網絡的歷史信息（可以包括輸入、輸出、隱狀態等）這樣，前饋網絡就具有了短期記憶的能力。/publication/12314435_Neural_system_identification_model_of_human_sound_localizationDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第9頁7.1循環神經網絡概述如何給網絡增加記憶能力？/publication/12314435_Neural_system_identification_model_of_human_sound_localization

DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第10頁7.1循環神經網絡概述非線性自回歸模型/publication/12314435_Neural_system_identification_model_of_human_sound_localization/publication/234052442_Braking_torque_control_using_reccurent_neural_networksDeepLearningAndAutonomousDriving深度學習與自動駕駛應用第11頁7.1循環神經網絡概述循環神經網絡（RecurrentNeuralNetwork，RNN）/publication/12314435_Neural_system_identification_model_of_human_sound_localization循環神經網絡通過使用帶自反饋的神經元，能夠處理任意長度的時序數據。循環神經網絡比前饋神經網絡更加符合生物神經網絡的結構。循環神經網絡已經被廣泛應用在語音識別、語言模型以及自然語言生成等任務上活性值狀態第12頁7.1循環神經網絡概述循環神經網絡（RecurrentNeuralNetwork，RNN）按時間展開第13頁7.1循環神經網絡概述簡單循環網絡（SimpleRecurrentNetwork，SRN）狀態更新：一個完全連接的循環網絡是任何非線性動力系統的近似器。第14頁7.1循環神經網絡概述循環神經網絡作用輸入-輸出映射機器學習模型（本節主要關注這種情況）存儲器聯想記憶模型第15頁7.1循環神經網絡概述循環神經網絡作用輸入-輸出映射機器學習模型（本節主要關注這種情況）存儲器聯想記憶模型DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第16頁7.4擴展到圖結構7.1循環神經網絡概述7.3深層模型7.2應用到機器學習7.5循環網絡應用目錄Content第17頁7.2應用到機器學習序列到類別同步的序列到序列模式異步的序列到序列模式第18頁7.2應用到機器學習序列到類別第19頁7.2應用到機器學習序列到類別：情感分類…我覺太得好了帶著愉悅的心情看了這部電影這部電影太糟了這部電影很棒Positive(正面)Negative(負面)Positive(正面)…第20頁7.2應用到機器學習同步的序列到序列模式第21頁7.2應用到機器學習同步的序列到序列模式：中文分詞他說實的在理確SSESBEB第22頁7.2應用到機器學習同步的序列到序列模式：信息抽取(InformationExtraction，IE)從無結構的文本中抽取結構化的信息，形成知識小米創始人雷軍表示，該公司2015年營收達到780億元人民幣，較2014年的743億元人民幣增長了5%。第23頁7.2應用到機器學習同步的序列到序列模式：信息抽取(InformationExtraction，IE)ConnectionistTemporalClassification

(CTC)[AlexGraves,ICML’06][AlexGraves,ICML’14][Ha?imSak,Interspeech’15][JieLi,Interspeech’15][AndrewSenior,ASRU’15]好φφ棒φφφφ好φφ棒φ棒φφ“好棒”“好棒棒”語音識別第24頁7.2應用到機器學習異步的序列到序列模式第25頁7.2應用到機器學習異步的序列到序列模式：機器翻譯learningmachine機習器學。第26頁7.2應用到機器學習參數學習機器學習給定一個訓練樣本(x,y)，其中x=(x1,…,xT)為長度是T的輸入序列，y=(y1,…,yT)是長度為T的標簽序列。時刻t的瞬時損失函數為總損失函數第27頁7.2應用到機器學習梯度隨時間反向傳播算法

δt,k為第t時刻的損失對第k步隱藏神經元的凈輸入zk的導數第28頁7.2應用到機器學習梯度消失/爆炸梯度其中由于梯度爆炸或消失問題，實際上只能學習到短周期的依賴關系。這就是所謂的長程依賴問題。第29頁7.2應用到機器學習長程依賴問題循環神經網絡在時間維度上非常深！梯度消失或梯度爆炸如何改進？梯度爆炸問題權重衰減梯度截斷梯度消失問題改進模型第30頁7.2應用到機器學習長程依賴問題改進方法循環邊改為線性依賴關系增加非線性殘差網絡？第31頁7.2應用到機器學習長短期記憶神經網絡（LongShort-TermMemory,LSTM）第32頁7.2應用到機器學習LSTM的各種變體沒有遺忘門耦合輸入門和遺忘門peephole連接第33頁7.2應用到機器學習GatedRecurrentUnit,GRU更新門重置門DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第34頁7.4擴展到圖結構7.1循環神經網絡概述7.3深層模型7.2應用到機器學習7.5循環網絡應用目錄Content7.3深層學習堆疊循環神經網絡7.3深層學習雙向循環神經網絡DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第37頁7.4擴展到圖結構7.1循環神經網絡概述7.3深層模型7.2應用到機器學習7.5循環網絡應用目錄Content7.4擴展到圖結構序列循環神經網絡樹遞歸神經網絡圖圖網絡7.4擴展到圖結構樹結構程序語言的句法結構7.4擴展到圖結構樹結構自然語言的句法結構7.4擴展到圖結構遞歸神經網絡RecursiveNeuralNetwork遞歸神經網絡實在一個有向圖無循環圖上共享一個組合函數7.4擴展到圖結構遞歸神經網絡RecursiveNeuralNetwork退化為循環神經網絡7.4擴展到圖結構遞歸神經網絡RecursiveNeuralNetwork給定一個語法樹，p2

→ap1,p1

→bc.7.4擴展到圖結構圖網絡在實際應用中，很多數據是圖結構的，比如知識圖譜、社交網絡、分子網絡等。而前饋網絡和循環網絡很難處理圖結構的數據。7.4擴展到圖結構圖數據/pdf/1806.01261.pdf7.4擴展到圖結構圖網絡7.4擴展到圖結構圖網絡7.4擴展到圖結構圖網絡對于一個任意的圖結構G(V,E)更新函數讀出函數DeepLearningAndAutonomousDriving深度學習與自動駕駛應用第49頁7.4擴展到圖結構7.1循環神經網絡概述7.3深層模型7.2應用到機器學習7.5循環網絡應用目錄Content7.5循環網絡應用語言模型

N元語言模型7.5循環網絡應用語言模型7.5循環網絡應用生成LINUX內核代碼7.5循環網絡應用作詞機RNN在“學習”過汪峰全部作品后自動生成的歌詞/phunterlau/wangfeng-rnn我在這里中的夜里就像一場是一種生命的意旪就像我的生活變得在我一樣可我們這是一個知道我只是一天你會怎嗎可我們這是我們的是不要為你我們想這有一種生活的時候7.5循環網絡應用作詩7.5循環網絡應用傳統統計機器翻譯

7.5循環網絡應用基于序列到序列的機器翻譯一個RNN用來編碼另一個RNN用來解碼7.5循環網絡應用看圖說話7.5循環網絡應用看圖說話7.5循環網絡應用VisualQuestionAnswering(VQA)

DemoWebsiteVQA:Givenanimageandanaturallanguagequestionabouttheimage,thetaskistoprovideanaccuratenaturallanguageanswerPicturefrom(Antoletal.,2015)7.5循環網絡應用