第1章機器學習概述目錄CONTENTS1.1什么是機器學習1.2

機器學習簡史1.3機器學習、人工智能與深度學習的關系1.4機器學習相關概念1.5機器學習的任務1.6機器學習的一般步驟1.7本章小結1.1什么是機器學習學習基礎信息素養高1948年，計算機科學家阿蘭?圖靈（AlanTuring）在《Mind》上發表的論文“ComputingMachineryandIntelligence”中提出了著名的“圖靈測試”。1956年，塞繆爾（ArthurSamuel）設計了一個具有自學習能力的跳棋程序，可以在不斷人機對弈的過程中提升自己的棋藝。1959年，他提出了“機器學習”的概念，此研究領域是計算機在不被明確編程的情況下，賦予它學習能力。010203信息素養高2016年3月谷歌的AlphaGo年度圍棋挑戰賽，AlphaGo以4:1的絕對優勢戰勝圍棋世界冠軍李世石九段。041.1機器學習概述機器學習的任務就是研究機器模擬人類智能的高效算法，使其能像人類一樣思考、解決實際問題。手寫數字識別011.1機器學習概述正常郵件和垃圾郵件的詞云識別好瓜和壞瓜02031.1機器學習概述除了分類問題，機器學習還可以進行預測。1.2機器學習簡史1

萌芽期1943年，心理學家麥W?Mcculloch和數理邏輯學家W?Pitts在發表的論文中提出了MP模型。MP模型是模仿神經元的結構和工作原理，MP模型作為人工神經網絡的起源，開創了人工神經網絡的新時代。1958年，美國科學家P.Rosenblatt提出了由兩層神經元組成的神經網絡──Perceptron，即感知機，可解決輸入的數據線性二分類問題，從而激發科學家對人工神經網絡研究的興趣，對神經網絡的發展起到了里程碑的意義。1.2機器學習簡史2發展期1963年，層次聚類算法被提出，這是一種非常符合人的直觀思維的算法。1967年，J.B.MacQueen在1967年提出的k均值聚類算法。1983年，著名物理學家J.J.Hopfield提出了神經網絡模型，它可模擬人類的記憶，并利用該算法求解“流動推銷員問題”這個NP難題。但由于該算法存在容易陷入局部最小值的缺陷，因此并未在當時引起很大的轟動。1983年，TerrenceSejnowski和Hinton等人發明了玻爾茲曼機（BoltzmannMachines），它本質是一種無監督模型，首次提出的多層網絡的學習算法，用于對輸入數據進行重構以提取數據特征做預測分析。1.2機器學習簡史2發展期1986年，人工智能專家J.RossQuinlan提出著名的ID3算法，通過減少樹的深度加快算法的運行速度。同年，D.E.Rumelhart等人提出了BP算法，BP算法一直是被應用得最廣泛的機器學習算法之一。這期間，決策樹的3種典型算法ID3、CART、C4.5陸續被提出。1995年，支持向量機（SVM算法）和AdaBoost算法被提出，SVM以統計學為基礎，解決了非線性問題的分類問題。AdaBoost通過將一些簡單的弱分類器集成起來使用，構建強分類器，使精度獲得很大提升。代表了集成學習算法的勝利。1.2機器學習簡史3蓬勃期2006年，GeoffreyHinton團隊在《科學》雜志上發表了一篇關于“梯度消失”問題解決方案的論文，提出了深度學習概念，產生了巨大影響。GeoffreyHinton也因此被稱為深度學習之父。2016年，由Google基于深度學習開發的AlphaGo以4:1擊敗世界圍棋冠軍李世石，隨后，該程序與中日韓數十位圍棋高手進行快棋對決，連續60局無一敗績。2017年，基于強化學習算法的AlphaGo升級版AlphaGoZero橫空出世，無一敗績地輕松擊敗了之前的AlphaGo。1.3機器學習、人工智能與深度學習的關系1人工智能是一門科學與工程，是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新的技術科學，研究內容涵蓋語音識別、圖像識別、自然語言處理、智能搜索和專家系統等。2機器學習是人工智能的一個分支，是實現人工智能的方法之一。機器學習是對人類生活中學習過程的一個模擬，而在這整個過程中，最關鍵的是數據。kNN、K-means、DecisionTrees、SVM、樸素貝葉斯、感知機、EM算法、邏輯回歸及ANN(ArtificialNeuralNetworks，人工神經網絡)都是常見的機器學習算法。1.3機器學習、人工智能與深度學習的關系3深度學習是一種機器學習方法，發展于人工智能的聯結主義學派，其概念源于人工神經網絡，它通過組合低層特征形成更加抽象的高層特征，其動機在于建立、模擬人腦進行分析學習。在2010年之后，各種深度學習框架的發布及在各領域的突出表現，更進一步促進了深度學習算法的發展。1.4機器學習相關概念1數據集（DataSet）：數據的集合，每一條單獨的數據被稱為樣本（Sample）。對于每個樣本，它通常具有一些屬性（Attribute）或者特征（Feature），特征所具體取得值被稱為特征值（FeatureValue）。訓練集（TrainingSet）和測試集（TestingSet）：在建立機器學習模型過程中，通常將數據集分為兩部分：訓練集和測試集，其中，訓練集用于對模型參數進行訓練，另一部分用于對訓練好的模型進行測試，驗證模型的性能好壞，包括準確率、泛化能力。23驗證集（ValidationSet）：用于在訓練過程中檢驗模型的性能，以調整參超參數。1.4機器學習相關概念4評估：在訓練出算法模型后，為了驗證算法模型的好壞，需要對該算法在數據集上根據評價指標進行測試，這個測試過程就是算法的評估。模型（Model）：模型是一種算法的表達，模型用于在海量數據中查找模式或進行預測。從數據中使用算法得到模型的過程稱為學習（Learning）或訓練（Training）。過擬合（Overfitting）和欠擬合（Underfitting）：過擬合是指模型在訓練集上表現很好，但在測試集上卻表現很差。欠擬合是模型在訓練集上就表現很差，不能獲得足夠低的誤差，無法學到數據背后的規律。561.5機器學習的任務1監督學習。監督學習是從給定的訓練數據集中學習出一個模型參數，然后根據這個模型對未知樣本進行預測。在監督學習中，樣本同時包含特征（輸入）和標簽（輸出）。根據預測結果輸出的類別，可分為分類和回歸。1.5機器學習的任務2無監督學習。無監督學習也稱為非監督學習，輸入的樣本只包含特征，而不包含標簽。學習模型是數據內在結構的推斷，并不知道分類結果是否正確。常見的無監督學習算法有k均值聚類、層次聚類、GMM聚類。利用層次聚類算法對西瓜數據集進行聚類的散點圖如圖所示。1.3機器學習的任務3半監督學習。半監督學習（Semi-supervisedLearning）是一種介于監督和無監督學習之間的學習方式，通過使用帶標簽數據及大量不帶標簽的數據進行模型學習。在監督學習中，樣本的類別標簽是已知的，對于無監督學習，樣本是無標簽的。4強化學習（ReinforcementLearning,RL）是一種比較復雜的機器學習方法，強調系統與外界不斷的交互反饋，通過不斷與環境交互、試錯，最終完成特定目的或使整體行動的收益最大化。強化學習不需要訓練數據的標簽，但需要每一步行動需要環境給予反饋，基于反饋不斷調整訓練對象的行為。AlghaGo、無人駕駛汽車就是強化學習的的訓練對象。1.6機器學習的一般步驟機器學習專注于讓機器從大量的數據中模擬人類思考和歸納總結的過程，獲得計算模型并自動判斷和推測相應的輸出結果。機器學習的處理流程如圖所示。1.7本章小結本章主要介紹了機器學習的基本知識，涵蓋相關概念、發展簡史、機器學習的任務、機器學習的一般