1、人工智能與人機博弈第1頁自動化技術發展趨勢自動化技術自動化技術是一門包括學科較多、應用廣泛綜合性系統工程，其對象為大規模、復雜工程和非工程系統廣義內涵包含三方面含義：代替人體力勞動機器人；代替或輔助人腦力勞動程序；對人機進行協調、管理、控制和優化智能系統研究內容包含自動控制和信息處理兩方面，應用包含過程自動化、機械制造自動化、管理自動化和家庭自動化等不停提升傳統行業技術水平和市場競爭力，并與光電子、計算機、信息技術等融合和創新，不停創造和形成新經濟增加點和管理戰略哲理第2頁智能科學發展趨勢智能科學智能屬于哲學問題，智能科學研究智能本質和實現技術, 是由腦科學、認知科學、人工智能等綜合形成交叉學

2、科腦科學從分子水平、神經回路、行為試驗研究自然智能機理，目標在于說明人類大腦結構與功效，以及人類行為與心理活動物質基礎認知科學是研究人類感知、學習、記憶、思維、意識等人腦心智活動過程科學，是心理學、信息學、神經科學和自然哲學交叉人工智能是研究、開發用于模擬、延伸和擴展人智能理論、方法、技術及應用系統一門新技術科學第3頁自動化技術智能科學人工智能技術 在科學發展過程中，在那些已經建立起來學科之間，還存在著一些被人忽略無人區，正是從這些領域里可能得到最大收獲。諾伯特維納控制論，1948第4頁人工智能技術挑戰人-信息人-機器人-環境科技進步改變著我們生活，但卻使人們在信息、機器高度密集環境中，變得更

3、為被動和無奈。 信息越來越多，甚至成為垃圾，對信息有效組織和挖掘極度匱乏，人與信息共生環境還未建立。 簡單體力勞動已能夠被機器所替換，但腦力勞動，尤其是智力還未完全轉移和擴展到機器上。 需要更加好地尊重、了解并滿足人各種需要，以人為本，促進人與物理時空環境友好發展。第5頁人工智能技術發展特征人工智能由人類設計，為人類服務，本質為計算，基礎為數據。必須表達服務人類特點，而不應該傷害人類，尤其是不應該有目標性地做出傷害人類行為。以人為本第6頁人工智能技術發展特征環境增強人工智能能感知環境，能產生反應，能與人交互，能與人互補。能夠幫助人類做人類不擅長、不喜歡但機器能夠完成工作，而人類則適合于去做更需

4、要創造性、洞察力、想象力工作。第7頁人工智能技術發展特征學習適應人工智能有適應特征，有學習能力，有演化迭代，有連接擴展。人工智能能夠應對不停改變現實環境，從而使人工智能系統在各行各業產生豐富應用。第8頁人機博弈 棋類游戲是人類智慧結晶，自古以來就有著廣泛興趣者群體，也產生了一代又一代偶像級棋王。選擇棋類游戲作為人工智能研究對象，不但是因為棋類游戲規則清楚，勝敗判斷一目了然，而且也更輕易在興趣者群體中產生共鳴，所以人工智能研究者前赴后繼投身到對不一樣棋類游戲挑戰中。互動步驟：人機小挑戰第9頁機器學習之父 機器博弈水平實際上代表了當初計算機體系架構與計算機科學最高水平。早在1962年，就職于IBM

5、阿瑟薩繆爾就在內存僅為32kIBM 7090晶體管計算機上開發出了西洋跳棋（Checkers）AI程序，并擊敗了當初全美最強西洋棋選手之一羅伯特尼雷，引發了轟動。 值得一提是，薩繆爾所研制下棋程序是世界上第一個有自主學習功效游戲程序，所以他也被后人稱之為“機器學習之父”。阿瑟薩繆爾第10頁里程碑事件 1997年IBM企業“更深藍”（Deeper Blue）戰勝世界國際象棋棋王卡斯帕羅夫，這是基于知識規則引擎和強大計算機硬件人工智能系統勝利IBM企業問答機器人“沃森”在美國智力問答競賽節目中大勝人類冠軍，這是基于自然語言了解和知識圖譜人工智能系統勝利谷歌企業AlphaGo戰勝了圍棋世界冠軍李世石

6、，年初AlphaGo升級版Master橫掃全球60位頂尖高手，這是基于蒙特卡洛樹搜索和深度學習人工智能系統勝利真正引發中國人廣泛關注機器博弈史上三個里程碑事件是：第11頁PART1國際象棋機器學習人機反抗歷史深藍成功秘訣第12頁國際象棋 國際象棋起源于亞洲，后由阿拉伯人傳入歐洲，成為國際通行棋種，也是一項受到廣泛喜愛智力競技運動，據稱全世界有多達三億國際象棋興趣者，甚至在1924年曾一度被列為奧林匹克運動會正式比賽項目。 國際象棋棋盤由橫縱各8格、顏色一深一淺交織排列64個小方格組成，棋子共32個，分為黑白兩方，每方各16個。 和88西洋跳棋Checkers相比，國際象棋狀態復雜度（指從初始局

7、面出發，產生全部正當局面總和）從1021上升到1046，博弈樹復雜度（指從初始局面開始，其最小搜索樹全部葉子節點總和）也從1031上升到10123。第13頁19581973198319871988198919911993人機反抗歷史從1958年開始，人工智能研究者對國際象棋挑戰連續了半個多世紀：1958年名為“思索” IBM704成為第一臺能同人下國際象棋計算機，處理速度每秒200步；1973年B. Slate和Atkin開發了國際象棋軟件“CHESS4.0”，成為未來國際象棋AI程序基礎；1983年，Ken Thompson開發了國際象棋硬件“BELLE”，到達大師水平；1987年，美國卡內

8、基梅隆大學設計國際象棋計算機程序“深思”（Deep Thought）以每秒鐘75萬步處理速度露面，其水平相當于擁有2450國際等級分棋手；1988年，“深思”擊敗丹麥特級大師拉 爾森；1989年，“深思”已經有6臺信息處理器，每秒處理速度到達200萬步，但還是在與世界棋王卡斯帕羅夫人機大戰中以0比2失利；1991年，由CHESSBASE企業研制國際象棋計算機程序“弗里茨”（Fretz）問世；1993年，“深思”二代擊敗了丹麥國家隊，并在與前女子世界冠軍小波爾加反抗中獲勝。第14頁深藍一戰卡斯帕羅夫 1995年，IBM企業設計了全球第一臺采取并行化系統、以RS/6000SP為基礎、集成了總計25

9、6塊處理器以及480顆專門為國際象棋對弈設計VLSI加速芯片國際象棋計算機“深藍”，重達1270千克。 1996年2月10日至17日，為了紀念首臺通用計算機ENIAC誕生50周年，“深藍”在美國費城向國際象棋世界冠軍、世界排名第一加里卡斯帕羅夫發起了挑戰。 在6局人機對弈比賽中，“深藍”并未占到什么廉價，棋王卡斯帕羅夫以4比2總比分輕松獲勝，但“深藍”贏得了六場比賽中一場勝利，這也是計算機第一次在與頂級選手對弈中取得勝局。第15頁“深藍”升級改造 第一次對決落敗之后，IBM對“深藍”計算機進行了升級，97型深藍取名“更深藍”（Deeper Blue）。 團體還豐富了象棋加速芯片中象棋知識，使它

10、能夠識別不一樣棋局，并從眾多可能性中找出最正確行棋方案。“更深藍”每秒可檢索1億到2億個棋局，系統能夠搜尋和估算出當前局面往后12步行棋方案，最多可達20步，而人類棋手極限是10步。 即使按照一盤棋平均走80步，每步棋可能落子位置為35個計算，其狀態復雜度和博弈樹復雜度也遠非超級計算機所能窮舉，為了在合理時間內完成走棋任務，必須要進行剪枝搜索。 運算能力“更深藍”（Deeper Blue）運算速度為每秒2億步棋，計算能力為每秒113.8億次浮點運算，是1996年版本2倍，其運算能力在當初全球超級計算機中也能排在第259位。剪枝搜索象棋知識第16頁“更深藍”出師告捷 1997年5月，IBM企業再

11、次邀請加里卡斯帕羅夫到美國紐約曼哈頓進行第二次人機大戰，一樣是6盤棋制比賽。 在前5局里，卡斯帕羅夫為了防止在計算力方面用人腦與“更深藍”進行直接較量，他采取了獨特行棋策略來對付“更深藍”，不過這個奇招并沒有取得顯著效果 ，“更深藍”總是能夠憑借準確無誤局面判斷和準確計算給出最強應手。 最終前五局雙方2.5對2.5打平，尤其是第三、第四、第五局連續三場和局，卡斯帕羅夫助手看見他坐在房間角落里，雙手捂面，好像已經失去了斗志。 在最終一局中，卡斯帕羅夫失去耐心，回到了“正常”下法，在第七回合就犯了一個不可挽回低級錯誤，局勢急轉直下，最終在第六盤決勝局中僅僅走了19步就向“更深藍”俯首稱臣。 最終卡

12、斯帕羅夫1勝2負3平，以2.5比3.5總比分輸給“更深藍”。“更深藍”贏得了這場備受世人矚目標人機大戰，也標志著國際象棋近發展歷史走向了新時代。第17頁 人機博弈勝敗已明 “深藍”并不是終止，卡斯帕羅夫也沒有服氣。1999年，“弗里茨”升級為“更弗里茨”（Deep Fritz），并在擊敗了卡斯帕羅夫。 當今國際象棋男子等級分排名最高選手是出生于1990年挪威特級大師卡爾森（Magnus Carlsen），他等級分是2863分，而最少有10款開源國際象棋引擎等級分到達了3000分以上。 人與機器國際象棋之爭已勝敗分明，國際象棋領域人機博弈也畫上了句號，取而代之是開始舉行機機博弈國際象棋引擎競賽T

13、CEC（Thoresen Chess Engine Competition）。第18頁加速芯片：“深藍”成功秘訣 “深藍”計算機在硬件上將通用計算機處理器與象棋加速芯片相結合，采取混合決議方法，即在通用處理器上執行運算分解任務，交給象棋加速芯片并行處理復雜棋步自動推理，然后將推理得到可能行棋方案結果返回通用處理器，最終由通用處理器決議出最終行棋方案。 97型深藍與1996年相比，運算速度差不多提升了兩倍，象棋加速芯片升級功不可沒。升級后象棋加速芯片能夠從棋局中抽取更多特征，并在有限時間內計算出當前盤面往后12步甚至20步行棋方案，從而讓“深藍”更準確地評定盤面整體局勢。第19頁知識規則引擎：“

14、深藍”成功秘訣 “深藍”在軟件設計上采取了超大規模知識庫結合優化搜索方法。首先，“深藍”存放了國際象棋100 多年來70萬份國際特級大師棋譜，利用知識庫在開局和殘局階段節約處理時間并得出更合理行棋方案。 其次，“深藍”采用Alpha-Beta剪枝搜索算法和基于規則方法對棋局進行評價，經過縮小搜索空間上界和下界提高搜索效率，同時根據棋子重要程度、棋子位置、棋子對關系等特征對棋局進行更有效評價。剪枝搜索算法示意圖第20頁PART2智力問答Watson自然語言處理知識圖譜自主學習第21頁Watson認知計算系統平臺問世 在“深藍”之后，IBM企業又選擇了一個新領域挑戰人類極限DeepQA，不但僅把D

15、eepQA項目看成一個問答游戲系統，而且將其稱之為認知計算系統平臺。認知計算被定義為一種全新計算模式，它包含數據分析、自然語言處理和機器學習領域大量技術創新，能夠幫助人類從大量非結構化數據中找出有用答案。 IBM企業對其寄予厚望，并用企業創始人ThomasJWatson名字將這個平臺命名為Watson。 假如說“深藍”只是在做非常大規模計算，是人類數學能力表達，那么Watson就是將機器學習、大規模并行計算、語義處理等領域整合在一個體系架構下來了解人類自然語言嘗試。第22頁 Watson問答系統能力解析理解（Understanding）與用戶進行交互，根據用戶問題通過自然語言理解技術分析包括結

16、構化數據和圖文、音視頻、圖像等非結構化所有類型的數據，最終實現用戶提出問題的有效應答。推理（Reasoning）通過假設生成，透過數據揭示洞察、模式和關系，將散落在各處的知識片段連接起來進行推理、分析、對比、歸納、總結和論證，從而獲取深入的理解和決策的證據。學習（Learning）通過以證據為基礎的學習能力，從大數據中快速提取關鍵信息，像人類一樣學習和記憶這些知識，并可以通過專家訓練，在不斷與人的交互中通過經驗學習來獲取反饋，優化模型。 交互（interacting）通過精細的個性化分析能力，獲得用戶的語義、情緒等信息，進一步利用文本分析與心理語言學模型對海量數據進行深入分析，掌握用戶個性特質

17、，構建全方位用戶畫像，實現更加自然的互動交流。第23頁 Watson研發團體全方面備戰 IBM企業調動其全球研發團體參加到DeepQA項目中，這些團體分工極為細致，讓它各個團體都發揮出最大效率，目標就是在綜藝節目危險邊緣（Quiz Show Jeopardy!）中一鳴驚人。 問答搜索：以色列海法團體負責深度開放域問答系統工程搜索； 詞語連接：日本東京團體負責在問答中將詞意和詞語連接； 數據支持：中國北京和上海團體則負責以不一樣資源給Watson提供數據支持 算法研究：另外還有專門研究算法團體和研究博弈下注策略團體等。團隊分工算法研究數據支持詞語連接問答搜索 Watson包含90臺IBM小型機服

18、務器、360個Power 750系列處理器以及IBM研發DeepQA系統。Power 750系列處理器是當初RISC（精簡指令集計算機）架構中最強處理器，能夠支持Watson在不超出3秒鐘時間內得出可靠答案。 第24頁1.攝像頭拍照，OCR識別文字，得到文字文本。2. 提取專有名詞基本信息，為其打上分類標簽。7.語音合成引擎將答案文本轉換成語音并播放出來，完成回答。3.提取文字結構信息，降低冗余搜索。4. 逐層分解每個問題，直到取得全部子問題答案。5.在本身知識圖譜中搜索并聚集特定實體屬性信息，實現實體屬性完整勾畫。6.利用算法評定可能答案，可信度最高且超出51%，執行器按下信號燈。文字識別實

19、體抽取關系抽取問題分析答案生成判斷決議回答下列問題 Watson工作過程第25頁 Watson挑戰成功 最終比分成績為Watson: $77147，Jennings: $24000，Rutter: $21600，比賽塵埃落定，人類已經和Watson相距太遠。 2月14日-16日，做好一切準備Watson開始了與人類對決。Watson在第一輪中就奠定了領先地位，但在比賽中出現了幾個糟糕回答。 比如一個美國城市類問題，Watson答案為多倫多。這道題回答讓人大跌眼鏡，主要原因是Watson沒有為答案設置邊緣條件。 另一道回答奧利奧餅干是什么時候被推出時候，幾秒前人類選手Jennings回答相同問題

20、時剛被通知“”錯了，Watson還是繼續回答“19”。這是因為研究團體為了簡化Watson編程，讓它對其它玩家回答“裝聾作啞”，結果吃了大虧。 第26頁 Watson進入商業化運行階段 如今，Watson已經被利用到超出35個國家17個產業領域，超出7.7萬名開發者參加到Watson Developer Cloud平臺來實施他們商業夢想，Watson API月調用量也已高達13億次，并仍在增加。 借著這次Watson人機大戰風頭，IBM企業小型機占據了全球快要2/3市場份額，Watson也于年開始進入商業化運行，陸續推出相關產品：Watson相關產品Watson發現顧問（Watson Disc

21、overy Advisor）Watson參與顧問（Watson Engagement Advisor）Watson分析（ Watson Analytics）Watson探索（ Watson Explorer）Watson知識工作室（Watson Knowledge Studio）Watson腫瘤治療（Watson for Oncology）Watson臨床試驗匹配（Watson for Clinical Trial Matching）第27頁 Watson成功秘訣：自然語言處理 “Jeopardy!”這類問答類節目，對于人類而言規則很簡單，不過對于Watson則意味著眾多挑戰。 它不但要了解主

22、持人提問自然語言，還需要分析這些語言是否包含諷刺、雙關、修飾等，以正確判斷題目標意思，并評定各種答案可能性，給出最終選擇。 自然語言處理研究實現人與計算機之間用自然語言進行有效通信各種理論和方法，是計算機科學與人工智能研究中主要方向之一。 第28頁 自然語言處理技術廣泛應用 Watson成功得益于自然語言處理技術多年積累，一樣也帶動了這個領域進入了一個愈加緊速發展階段： 10月蘋果企業在公布新品時集成Siri智能語音助手，把聊天問答系統帶入了成熟商業化階段； 年谷歌企業開源Word2Vec引爆深度學習這個新熱點，機器翻譯、文檔摘要、關系抽取等任務不停取得主要進展，從此人工智能走向第三次高潮。蘋

23、果Siri智能語音助手谷歌企業開源Word2Vec第29頁 Watson成功秘訣：知識圖譜 知識圖譜本質上是一個基于圖數據結構，由節點（Point）和邊（Edge）組成。在知識圖譜中，每個節點表示現實世界中存在“實體”，每條邊為實體與實體之間“關系”。能夠說，知識圖譜就是把異構信息連接在一起而得到一個關系網絡，提供了從“關系”角度去分析問題能力。 谷歌企業推出知識圖譜搜索服務，國內互聯網企業baidu和搜狗也分別推出“知心”和 “知立方”來改進其搜索質量。在搜索引擎中引入知識圖譜大幅地提升和優化了搜索體驗。谷歌改進知識圖譜 添加比較及過濾等新功效第30頁 知識圖譜廣泛應用 知識圖譜也被廣泛應用

24、于聊天機器人和問答系統中，用于輔助深度了解人類語言和支持推理，并提升人機問答用戶體驗。 另外，在金融、農業、電商、醫療健康、環境保護等垂直領域，知識圖譜一樣得到了廣泛應用。知識圖譜問答系統金融農業電商醫療健康環保第31頁PART3圍棋AlphaGo機器學習蒙特卡洛樹搜索深度學習第32頁 圍棋復雜度增加 8*8格國際象棋狀態復雜度為1046，博弈樹復雜度為10123。 19*19格圍棋，其狀態復雜度已上升到10172，博弈樹復雜度則到達驚人10360，所以也被視為人類在棋類人機反抗中最終堡壘。國際象棋圍棋第33頁人機反抗嘗試與探索 在很長一段時間里，靜態方法成了主流研究方向，中山大學化學系教授陳

25、志行開發圍棋博弈程序“手談”和開源軟件GNU GO在以前能夠在9*9圍棋中到達人類5-7級水平。 S. Gelly等人提出UCT算法（Upper Confidence Bound Apply to Tree，上限置信區間算法），該算法在蒙特卡洛樹搜索中使用UCB公式處理了探索和利用平衡，并采取隨機模擬對圍棋局面進行評價。 該程序勝率竟然比先前最先進蒙特卡羅擴展算法高出了幾乎一倍，但它也僅能在9路圍棋中偶然戰勝人類職業棋手，在19路圍棋中還遠遠不能與人類抗衡。靜態方法UCT算法陳志行手談第34頁 AlphaGo橫空出世 這是圍棋歷史上一次史無前例突破，人工智能程序能在不讓子情況下，第一次在完整圍

26、棋競技中擊敗專業選手。AlphaGo大戰樊麾 D. Silver等人在世界頂級科學雜志Nature發表文章，稱被谷歌企業收購DeepMind團體開發出AlphaGo在沒有任何讓子情況下，以5:0完勝歐洲圍棋冠軍、職業二段選手樊麾。第35頁 AlphaGo系統介紹監督、強化學習該系統通過對16萬局人類高手棋譜中的3000萬手盤面進行監督學習和強化學習；策略、價值網絡使用策略網絡和估值網絡實現落子決策和局勢評估；蒙特卡洛算法通過與蒙特卡洛樹搜索算法結合，極大地改善了搜索決策的質量； 異步分布并行算法提出異步分布式并行算法，使其可運行于CPU/GPU集群上。系統第36頁 AlphaGo所向披靡 3月

27、AlphaGo與李世石進行圍棋人機大戰，以4比1總比分獲勝； 末年初，它以Master為帳號與中日韓數十位圍棋高手快棋對決，連續60局全勝。 5月在中國烏鎮圍棋峰會上，它與柯潔對戰，以3比0總比分獲勝。 圍棋界公認AlphaGo棋力已經超出人類職業圍棋頂尖水平，其最新版本自我估分在4500分左右，實力水平大約在13段左右，人類選手中已然無敵。AlphaGo大戰李世石Master大戰聶衛平AlphaGo大戰柯潔第37頁 AlphaGo新技能AlphaGo通過學習大量棋譜，以及更大規模的自我對弈完成學習，這種深度學習的能力使得它能不斷學習進化。AlphaGo發現了人類沒有的圍棋著法，初步展示了機器

28、發現“新事物”的創造性。這意味著它的增強學習算法可以從大數據中發現新的規律和知識，為人類擴展自己的知識體系開辟了新的認知通道。AlphaGo展現了曾被認為是人類獨有、計算機難以做到的“棋感直覺” 這些技術使得人工智能程序初步具備了既可以考慮局部得失，又可以考慮全局態勢的能力，從而具備了一種全局性“直覺”能力。深度學習發覺新著法棋感知覺新技能第38頁 AlphaGo Zero青出于藍 學習策略整合策略、價值網絡舍棄快速走子網絡引入殘差結構 2.舍棄快速走子網絡，不再進行隨機模擬，而是完全使用神經網絡得到結果替換隨機模擬，從而在提升學習速率同時，增強神經網絡估值準確性。1.AlphaGo Zero

29、將策略網絡和價值網絡整合在一起，使用純粹深度強化學習方法進行端到端自我對弈學習，神經網絡權值完全從隨機初始化開始，使用強化學習進行自我博弈和提升。3.AlphaGo Zero神經網絡中還引入了殘差結構，可使用更深神經網絡進行特征表征提取，從而能在愈加復雜棋盤局面中進行學習。第39頁 AlphaGo Zero青出于藍 AlphaGo最高需要1920塊CPU和280塊GPU訓練，AlphaGo Lee用了176塊GPU和48塊TPU，而AlphaGo Zero僅僅使用了單機4塊TPU便完成了訓練任務。硬件結構 AlphaGo Zero僅用3天時間便到達了AlphaGo Lee水平，21天后到達Al

30、phaGo Master水平。 AlphaGo Zero成功證實了在沒有些人類指導和經驗前提下，深度強化學習方法在圍棋領域里依然能夠出眾完成指定任務，甚至于比有些人類經驗知識指導時，完成愈加出眾。第40頁 AlphaGo成功秘訣：蒙特卡洛樹搜索 在機器博弈中，每步行棋方案運算時間、堆棧空間都是有限，只能給出局部最優解，所以提出蒙特卡洛樹搜索就成為隨機搜索算法首選。應用意義它結合了隨機模擬普通性和樹搜索準確性，近年來在圍棋等完全信息博弈、多人博弈及隨機類博弈難題上取得了成功應用。理論上，蒙特卡洛樹搜索可被用在以狀態，行動定義并用模擬預測輸出結果任何領域。 它結合了廣度優先搜索和深度優先搜索，會很

31、好地集中到“更值得搜索改變”（即使不一定準確），同時能夠給出一個一樣不怎么準確全局評定結果，最終伴隨搜索樹自動生長，能夠確保在足夠大運算能力和足夠長時間后收斂到完美解。第41頁 AlphaGo成功秘訣：強化學習目標：從一個已經標識訓練集中進行學習。機器學習有監督學習Supervised Learning無監督學習Unsupervised Learning強化學習Reinforcement Learning目標：從一堆未標識樣本中發覺隱藏結構。目標：在當前行動和未來狀態中取得最大回報。在邊取得樣例邊學習過程中，不停迭代“在當前模型情況下，怎樣選擇下一步行動才對完善當前模型最有利”過程直到模型收斂。第42頁強化學習廣泛應用 阿里巴巴企業在雙11推薦場景中，使用了深度強化學習與自適應在線學習建立決議引擎，對海量用戶行為以及百億級商品特征進行實時分析，提升人和商品配對效率，將手機用戶點擊率提升了10-2