第1章機器學習概述1.1人工智能1.2機器學習1.3機器學習流程1.4發展歷程1.5應用現狀1.1人工智能早在上世紀50年代，計算機科學家們就提出了“人工智能”的概念現在，人工智能已經發展為一門廣泛的交叉和前沿科學，涉及到計算機科學、心理學、哲學和語言學等學科，也廣泛的應用到語音識別、圖像識別、自然語言處理等領域。國際、國內各大公司都有自己的人工智能項目1.2機器學習1.2.1機器學習的發展1.2.2機器學習分類1.2.3機器學習經典算法1.2.4機器學習的入門1.2.1機器學習的發展在機器學習領域，計算機科學家不斷探索，基于不同的理論創造出不同的機器學習模型。從發展歷程來說，大致已經經歷了三個階段：符號主義時代、概率論時代以及聯結主義時代符號主義時代，即1980年代。是使用符號、規則和邏輯來表征知識和進行邏輯推理的概率論時代，1990年代到2000年。以概率論為主要理論依據，通過獲取發生的可能性來進行概率推理聯結時代，2010年代早期到中期。以神經科學和概率為主要理論依據，使用云計算架構，通過使用概率矩陣和加權神經元來動態地識別和歸納模式，常用的算法是神經網絡1.2.2機器學習分類1．有監督學習有監督學習(SupervisedLearning)就是在樣本數據集中的數據，包括了樣本數據以及樣本數據的標簽。2．無監督學習無監督學習(UnsupervisedLearning)就是在樣本數據中只有數據沒有對數據進行標簽。無監督學習的就是讓計算機對這些原始數據數據進行分析，讓計算機自己去學習、找到數據之間的某種關系。3．半監督學習半監督學習輸入的數據樣本中，存在一部分進行了標記的數據，但是大量存在的是沒有進行標記的數據。1.2.3機器學習經典算法1.2.4機器學習的入門對一個領域進行學習的第一步就是盡快的了解全貌搭建出整體的知識體系，然后在實踐中不斷提升對該領域的認識。1．數學知識2．編程語言3．經典機器學習理論和基本算法4．動手實踐機器學習1.3機器學習的工作流程1.3.1準備數據集1.3.2進行模型訓練1.3.3模型評估1.3.1準備數據集1、數據集數據集，又稱為資料集、數據集合或資料集合，是一種由數據所組成的集合。Dataset（或dataset）是一個數據的集合，通常以表格形式出現。每一列代表一個特定變量。每一行都對應于某一成員的數據集的問題。它列出的價值觀為每一個變量，如身高和體重的一個物體或價值的隨機數。1.3.1準備數據集2、怎樣定義“好”的數據集要準備的數據集不能夠顯的太過于混亂。減少缺失內容的數據出現，以及邏輯相關度不高的數據出現。數據集最好不要有太多列。找出相關系數比較高的列，減少冗余列的出現。數據集越“干凈”越好。這里的“干凈”則是指清除一些重復的數據、缺失的數據、異常的數據。1.3.1準備數據集3、要怎么“準備”數據集當把“好的”數據集準備完成后，需要把整個數據集分為訓練集和測試集，如下圖1-2所示。1.3.2進行模型訓練1、有監督式的學習是指訓練的數據是有標簽的數據，判斷出來的輸出也是有預計的輸出1.3.2進行模型訓練2、無監督式的學習無監督式學習（UnsupervisedLearning），和有監督式學習非常相似，但是不同的是，有監督式學習訓練的數據集是含有標簽的，而無監督式學習的數據集是沒有標簽的。1.3.2進行模型訓練3、半監督式的學習介于監督式學習與無監督式學習之間的一種機器學習的方式，稱之為半監督式學習。在半監督式的學習中，主要考慮的是如何利用少量的標注樣本和大量的未標注樣本進行訓練和分類的問題。這些算法首先試圖對未標識數據進行建模，在此模型的基礎上再對標識的數據進行預測。常見的應用場景包括少標簽數據系統的分析、分類及預測。1.3.2進行模型訓練4、強化學習強化學習是機器學習的一個單獨的分類，它是通過觀察來完成學習動作，每個動作都會對環境有所影響，學習對象根據觀察到的周圍環境的反饋來做出判斷。在強化學習下，輸入數據直接反饋到模型，模型必須對此立刻做出調整。常見的應用場景包括動態系統以及機器人控制等。1.3.3模型評估1、模型的訓練過程評估在模型的訓練過程中，首先要防止的是出現過擬合和欠擬合的現象。擬合就是把平面上一系列的點，用一條光滑的曲線連接起來。而這條光滑的曲線就應該是之前訓練出來的模型曲線。如下圖1-5所示，下圖中中間圖形是理想的算法模型，左邊展示的則是欠擬合的模型，模型并沒有將每個數據都覆蓋完全，最右邊的圖像則是過擬合模型，模型擬合過程中參數設置太為細化導致預測曲線發生變化。1.3.3模型評估2、模型的訓練結果評價當訓練完模型后，就要評價模型的好壞程度。通常會通過模型的靈敏度、準確度等其它方面綜合考慮，當然不同類型模型的評價方式是不同的，在本書的第3章中會有更加詳細的介紹。1.4發展歷程機器學習是人工智能應用研究比較重要的分支，它的發展依賴于早期數學貝葉斯定理，尋求根據以前的信息尋找最可能發生的事件。它的發展過程大體上可以分為4個階段。第一個階段大約是在50年代中期到60年代中期，屬于熱烈時期。第二個階段是在60年代中期到70年代中期，隨著人們對機器學習的期望越來越大，但機器學習又因為缺少大量的數據，計算能