基于大數據的智能數據分析技術【摘要】由于多媒體等多種技術的發展與應用，各領域都發生了很大的變化，每天不僅產生大量的數據，而且數據更新換代的速度極快。人們在處理以及分析數據的過程中，繼續使用傳統的智能數據分析技術已經難以實現理想的效果，專家開始意識到必須盡快開發新的技術。這就需要了解典型理論和技術，掌握不同種方法的特點，這樣才能有效的避免各自的劣勢，充分發揮優勢達到互補的作用。本文在分析不同種傳統數據智能分析方法的基礎上，分析了結合新平臺開發的新型分析方法。【關鍵詞】大數據智能數據技術分析一、前言當前世界依然迎來了大數據時代，隨著多媒體等多種技術的應用，社會中的相關領域時刻都涌現大量的數據，增加了技術處理以及分析的難度。通常情況下大數據具有復雜性，而且還具有數量大、分布式的特點，這樣就必須要采取新的技術方法對數據進行處理，因此智能分析技術在數據的處理中具有非常重要的意義。二、幾種常見的智能數據分析法雖然在大數據時代傳統的智能數據分析法已經不能適應當前的需求，但是依然有一定的相似性，相關理論和技術依然可以沿用，幾種常見數據分析法：第一種方法是決策樹。這種數據分析方法需要基于信息論基礎上，這種方法實現的輸出結果容易理解，精確度較高，效率也較快，但是它不能用來對復雜的數據進行處理與分析[1]。第二種方法是關聯規則。這種方法主要是用于事物數據庫中，通常帶有大量的數據，當今使用這種方法來削減搜索空間。第三種方法是粗糙集。這種數據分析方法能夠對數據進行主觀評價，只要通過觀測數據，就可以清除冗余的信息。第四種方法是模糊數學分析。這種數據分析方法能夠對實際問題進行模糊的分析，與其他的分析方法相比，能夠取得更為客觀的效果。第五種方法是人工神經網絡。這種數據分析方法具有自學習功能，在此基礎上還具有聯想存儲的功能。第六種方法是混沌和分形理論。這兩種理論主要是用來對自然社會中存在的現象進行解釋，一般用來進行智能認知研究，還能應用于自動控制等眾多領域中[2]。第七種方法是自然計算分析方法。這種數據分析方法根據不同生物層面的模擬與仿真，通常可以分為以下三種不同類型的分析方法：一是群體智能算法，二是免疫算法，三是DNA算法。群體智能主要是對集體行為進行研究，免疫算法具有多樣性，經典的主要有反向、克隆選擇等，而DNA算法主要使屬于隨機化搜索方法，它可以進行全局尋優，在實際的運用中一般都能獲取優化的搜索空間，在此基礎上還能自動調整搜索方向，在整個過程中都不需要確定的規則。當前DNA算法普遍應用于多種行業中，并取得了不錯的成效。三、大數據背景下的智能數據分析技術大數據具有一定的復雜性，只有通過使用新的智能分析技術才能對數據進行有效處理。目前已經有專家針對大數據提出了新的智能分析技術方案，例如HAVEn、TeradataAster分析平臺，經過研究發現推出的一系列分析方案，基本上離不開Hadoop分析平臺。Hadoop主要分為以下兩大部分，其中一個部分是分布文件系統，專家稱之為HDFS，另一部分是分布計算系統，專家稱之為MapReduce。一般來說HDFS主要是表現為主/從結構，其中主結構稱為名字節點，主要功能是管理元數據，從結構通常稱為數據節點。主要功能是用來存放，或者管理相關的應用數據[3]。一個HDFS系統能夠支持的數據非常龐大，一般能夠達到10PB數量級，因此HDFS系統能夠應用于大數據處理分析中。同時為了能夠更好的支持大數據，在HDFS系統的基礎上，還繼續構建Hbase系統，該系統的接口語言色設為Pig。并且還構建了Hivi系統，該系統主要是屬于數據倉庫。此外還構建了機器學習軟件包，稱為Mahout，這樣就可以對大數據進行有效管理以及分析。這些新的智能數據分析融合了多種傳統的技術，能夠對大數據進行更為全面、高效的分析。四、結語傳統中可應用的數據智能分析技術多種多樣，常用的主要有七種方法，每一種方法都有自身的優勢以及局限性，如果在大數據中單一使用一種方法，根本就不能達到理想的效果。但是憑借當前的技術水平還不能找到通用的智能分析技術方法，這就需要將傳統的多種方法結合起來，這樣就可以彌補各自的缺陷，而且還能充分發揮優勢，這是當前大數據智能分析技術的重要研究方向。沿著這個方向，目前已經開發了hadoop，這個系統不僅集合了傳統的方法，而且還結合了新型平臺，是一種全新的技術，未來需要專家不斷的進行探索與研究，繼續開發更好的數據智能分析方法。參考文獻[1]楊舒林.智能分析技術發展現狀及應用[J].中國公共安全.2015，08（14）：207-209.[