Hadoop平臺中支持向量機分類算法的實現導師:李學俊答辯人:齊夏新學號：E01214190專業:軟件工程主要內容1234156研究背景及意義Hadoop及SVM簡介SVM原理SVM優點及應用舉例研究步驟時間進度安排研究背景及意義

分類問題是實際應用中普遍存在的問題，也是及其領域學習的基礎條件之一，快速發展的信息技術對其在理論研究和實際應用中提出了許多新的難題和挑戰。支持向量機是建立在統計學習理論基礎上的新型機器學習方法。它根據有限樣本信息在模型的復雜和期望風險之間尋求最佳方式，從而獲得更好的泛化性能。支持向量機專門針對有限樣本情況,得到現有信息下的最優解,很大程度上解決了模型選擇、過學習、非線性、維數災難等問題。與傳統的學習方法相比,支持向量機具有泛化能力強、維數不敏感、收斂到全局最優等優點,較好地解決了傳統算法容易出現的過學習、局部極值、維數災難等棘手問題,成為近幾年機器學習領域中的一個非常活躍的研究熱點。Hadoop簡介Hadoop是一個分布式系統基礎架構，具有高可靠性、高擴展性、高效性、高容錯性等優點hadoop由兩部分組成，分別是分布式文件系統HDFS和分布式計算框架MapReduce。HDFS主要用于大規模數據的分布式存儲，而MapReduce則構建在分布式文件系統之上，對存儲在分布式文件系統中的數據進行分布式計算。HDFS是一個具有高度容錯性的分布式文件系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。HDFS架構圖同HDFS一樣，HadoopMapReduce也采用了Master/Slave（M/S）架構，它主要由以下幾個組件組成：Client、JobTracker、TaskTracker和Task。HadoopMapReduce架構圖SVM簡介支持向量機（SupportVectorMachine或SVM）是一種建立在統計學習理論StatisticalLearningTheory或SLT基礎上的機器學習方法。與傳統統計學相比，統計學習理論SLT是一種專門研究小樣本情況下及其學習規律的理論。該理論是建立在一套較堅實的理論基礎之上的為解決有限樣本學習問題提供了一個統一的框架。它能將許多現有方法納入其中有望幫助解決許多原來難以解決的問題。SVM原理支持向量機SVM是一種分類算法，通過尋求結構化風險最小來提高學習機泛化能力，實現經驗風險和置信范圍最小化，從而達到在統計樣本量較少的情況下，亦能獲得良好統計規律的目的。1.在n維空間中找到一個分類超平面，將空間上的點分類。SVM原理2.一般而言，一個點距離超平面的遠近可以表示為分類預測的確信或準確程度。SVM就是要最大化這個間隔值。而在虛線上的點便叫做支持向量SupprotVerctor。SVM優點及舉例

SVM學習問題可以表示為凸優化問題，因此可以利用已知的有效算法發現目標函數的全局最小值。而其他分類方法（如基于規則的分類器和人工神經網絡）都采用一種基于貪心學習的策略來搜索假設空間，這種方法一般只能獲得局部最優解。應用舉例：假設現在你是一個農場主，圈養了一批羊群，但為預防狼群襲擊羊群，你需要搭建一個籬笆來把羊群圍起來。但是籬笆應該建在哪里呢？你很可能需要依據牛群和狼群的位置建立一個“分類器”，比較下圖這幾種不同的分類器，我們可以看到SVM完成了一個很完美的解決方案。

研究步驟1.對所選課題進行分析，Hadoop平臺中支持向量機分類算法的實現，了解Hadoop平臺，對資源管理模型（yarn），計算模型（mapreduce），存儲模型（hdfs）有一定的認識。2.結合支持向量機的方法及其原理，利用分布式編程來實現支持向量機的分類算法，最后在分布式系統Hadoop中來運行。3.完成支持向量機的分類算法，并在數據集中進行測試。時間進度安排1.2.21-3.21

學習Hadoop，mapreduce的概念及原理，準備開題報告2.3.22-4.10

開題答辯。Hadoop集群操作，使用mapreduce編程實踐3.4.