I大數據技術對社會發展的影響研究摘要人類社會隨著信息技術的飛速發展，已步入數字信息時代。所有的信息都是根據自己的不同需要，確定自己不同的利益，但是，所有有用的信息，都是通過對海量數據進行挖掘和分析而獲得。海量數據也是隨時間的推移而不斷生成和流動的、逐步蔓延，構成大數據。用大數據來形容數據量十分龐大，但也凸顯了對數據處理的快捷性，所以，大數據已經成了數據分析領域最前沿的技術。大數據并不局限于技術維度，是能力，是思想的時代。以大數據，云計算為代表的新一代信息技術，正改變著社會發展的面貌。文章首先從大數據技術出現和發展入手進行了闡述，對大數據主要特點進行歸納和提煉，對大數據的技術體系進行了綜合梳理，以及針對不同的數據處理場景，總結出適用于大數據技術手段，并且闡述大數據技術發展給我國經濟和社會發展帶來的巨大作用。關鍵詞：大數據技術；社會發展；影響目錄TOC\o"1-3"\h\u23439引言 163611大數據技術的產生與發展 1116411.1大數據的內涵 1179351.2大數據技術的發展現狀 113081.2.1大數據技術的概念 1186771.2.2大數據技術發展現狀 2266522大數據的主要特征 2167722.1體量巨大 2276212.2速度快 2305662.3維度眾多 3270442.4具有高度的復雜性 3303612.5依附屬性強烈 3324733大數據的技術架構 326084大數據對社會發展產生的影響 4101324.1大數據技術是社會變革的力量 4199934.2大數據技術經濟變革的力量 4265384.3大數據技術重構了互聯網 561574.4大數據影響著社會信息化的進程 525172結語 514619參考文獻 6引言縱觀計算機技術發展史，從1980年左右，隨著個人計算機的開始流行，人類社會先后出現過三次信息化浪潮，數字技術已經由軍事領域進入到經濟社會的方方面面。存儲設備的容量，CPU的處理能力、網絡帶寬和其他基礎設施的水平迅速迭代升級，觸發數據生成，發送，儲存、處理方式的持續躍遷在于數據的處理、算力與算法在一起興盛下，以大數據技術作為新興數字技術體系的典型代表，促進了第三次信息化浪潮在世界范圍內蔓延。大數據技術在人類社會發展中已成為底層驅動力量，促進了生產力的發展、生產關系發生了深刻的變化。1大數據技術的產生與發展1.1大數據的內涵大數據概念出現之初，人們對于大數據的認識與了解，主要是從數據規模開始的，但是在信息技術不斷發展的今天，對于大數據，理解一直在改變。大數據概念改變的原因，是因為數據量的巨大并不是大數據的唯一特征，大數據、大規模數據這樣的概念只關注數據的大小本身，未能全面地反映數據處理的發展和它的應用，直到今天，大數據這一概念已擴展至各個學科，各個產業。大數據并不是個準確概念，一開始，是指待處理數據量太大，超過普通計算機能夠攜帶的最大內存量。在這種情況下，工程師必須提高處理資料的手段，由此產生了一些新型處理技術如：谷歌的MapReduce技術和Hadoop平臺，這些技術使人們能夠處理的數據量極大地增加了”。所以大數據不只是規模數據上的匯集，但它是集數據對象、技術和應用三方面結合的共同體等。1.2大數據技術的發展現狀1.2.1大數據技術的概念廣義的大數據技術基于Web2.0環境，基于數據挖掘，處理，分析和共享大量數據的一種技術。大數據時代的到來使得企業管理發生了重大變化，”大數據思維“也隨之應運而生?！痹趪夤雀?、亞馬遜、微軟等公司在大數據技術方面處于領先地位。大數據技術的應用領域十分廣泛，包括政府管理、金融理財、商業運營、教育培訓、醫療健康等等。在中國也有不少企業和個人通過大數據分析開發出基于大數據應用平臺的產品。大數據技術已經進入到從概念走向現實的階段，它將改變人們的工作方式、學習方式、生活方式和思維模式，從而影響社會經濟發展的方方面面，并引發巨大的變革與創新。1.2.2大數據技術發展現狀提及大數據技術，繞不過去的兩個核心概念就是MapReduce和HadoopoMapReduce是谷歌公司于2004年在OSDI（操作系統設計與實現研討會）上發布的，它是一種編程模型，用來執行大規模數據集（大于1TB）的并行操作。該模型具有高效性和可擴展性，適用于對計算能力要求較高的領域中，比如金融、電信等行業以及政府機構等部門。MapReduce最大的優點是能夠把一個大數據集分解為若干小作業集，執行并行計算處理。谷歌公司因開發出一系列大數據處理技術而應運而生，并公認是大數據技術（例如：2003年在SOSP（操作系統規范研討會）上發布的GFS<GoogleFileSystem），它是一種分布式文件系統，主要用于存儲大量非結構化數據：2006年在OSDI上發布的BigTable，主要應用于對大規模結構化數據進行分布式存儲數據庫管理。如果谷歌打開大數據技術的大門的話，那么Apache軟件基金會則為數據處理提供了一個廣闊的平臺—ApacheSoftwareFoundations，它是一個非營利性組織，設立目的在于支持開源軟件項目。Hadoop可以由單個服務器延伸至數千臺服務器，所有的本地計算與存儲服務均能在機器上實現。通過將多個服務器之間的連接進行整合，形成一個統一的整體來處理大量不同類型的數據分布，從而實現分布式的大規模數據處理。Hadoop由Java語言編寫，它以谷歌公司推出的大數據技術為基礎，自主設計，它的核心就是以GoogleMapReduce編程模型為基礎的數據處理模型HadoopMapReduceoHadoop中的其他框架項目，這些框架項目都和谷歌大數據技術相對應，比如：儲存非結構化數據分布式文件系統HDFS對應谷歌GFS；提供結構化數據服務，分布式數據庫HBase對應谷歌BigTable。在這些基礎上，結合用戶需求和應用場景開發出了各種功能，包括數據管理，數據挖掘等多種業務模式。Hadoop實際上是谷歌大數據技術的開源實現，可以說，在數據技術方面，Hadoop等同于桌面系統Linux，Android，移動系統，集開源技術于一身。2大數據的主要特征數據量龐大，快速，種類多樣、復雜性高，是大數據最重要的自然特征。在大數據逐漸成為推動數字經濟的核心因素的今天，讓它和勞動，資本，科技、土地共同組成了新的經濟范式，關注并發揮數據要素的價值，已經成為社會各方面普遍共識。2.1體量巨大針對目前各個領域數據集合進行TB,PB中數據量級單位無法滿足需要，現在已經開始用EB,ZB來測量。2.2速度快泛指處理速度和生成速度。大數據通常與人工智能一起、物聯網與其他技術的聯合運用，需要實時響應數據。大數據處理效率，也叫“1秒定律等”，即可得到秒級的分析結果。2.3維度眾多大數據有很多的層面。就拿人來說，有性別，年齡，身高和體重等因素、身份證號碼，學歷、家庭住址和其他許多性質。數據多維度、多層次屬性被運用于社會生產各領域，可加快流程再造，提高了生產效率，加快供需信息匹配，提升協同效率，由此產生了更多的價值。2.4具有高度的復雜性大數據具有高度的復雜性。由于記錄工具的差異以及應用場景的差異，在一方面，數據結構各不相同，呈現文字，圖像，音頻等、視頻和其他形式；另一方面又出現了內容邏輯層面上的貌似凌亂，現實中有章可循。2.5依附屬性強烈它有別于傳統的有形資源，大數據是虛擬的，無形的，不能獨善其身，常常要靠硬件設備來儲存，有賴于軟件平臺的閱讀，運行。數據僅存儲于對應的介質中，由裝置進行展示，數據才可以通過更加直觀的形式進行感知，測量和傳遞、分析和應用、數據質量、有了價值，才能進行評價。數據具有虛擬性、無形性的特點決定它的管理離不開數據平臺的管理，數據的價值，平臺算力的體現、算法模型緊密相關，迫使現有的資產管理辦法不斷升級和改進川。LG的主要生產要素土地是農業時代關鍵的生產要素；工業時代是勞動，資本為基礎的、技術作為一種關鍵的生產要素；在數字時代，當各國把數據作為第五生產要素說，大數據會介入市場投人，經營、產出與分配等環節。3大數據的技術架構大數據處理技術可分為兩類：批處理與流處理。一般情況下，數據批處理是對T+1的數據進行，用于支持數據應用，主要是“看”數據。批處理很適合于分布式數據倉庫歷史數據的分析與計算稱，比如，在總數與平均數的計算中，對數據集進行整體處理是非常重要的，而不應該把它看成是多個記錄的一個集合。這些運算都需要在執行計算時，數據保持其自身狀態。數據處理耗時和數據量成正相關，所以，批處理不適用于處理時間有特殊要求的情況。數據批處理平臺一般與Hadoop,Hive，數據倉庫，ETL，維度建模等技術、數據公共層與其他連接。數據流式的處理平臺，具有即時處理數據的功能，可以達到秒級，甚至毫秒級的延遲，可以支持實時化、數據分析與展現類應用的在線化等等。流處理是指在時間上進行并行操作的數據處理方式。流處理系統能夠處理近乎無限制的數據，但在同一時間內，它只能處理一個（真正的流處理）或者非常小的（微批處理）的數據，在各種記錄之間僅保持最小數量。流式技術是一種高效的數據處理方法，能在一個相對短的時間內完成大量數據的快速計算和存儲，并且能夠保證所有數據都被正確地進行讀取和使用。流式處理最適用于一些工作負載類型，有接近實時處理要求的工作。在對數據流式處理進行研究時，我們通常會用到一些度量指標。例如，對服務器或者應用程序的錯誤日志進行解析，及其他以時間為標準的衡量指標，等等。隨著網絡環境日益復雜及用戶對服務要求越來越高，需要一種能夠支持多種應用且具有高度靈活性的流式處理平臺來滿足這些特殊情況下的應用需求。數據流處理平臺的支撐技術主要包括4個方面：實時數據獲?。ㄈ鏔lume）、信息中間件（如Kafka）、流計算框架（如StormSparkFlink和beam等）以及實時數據存儲（如列族存儲的HBase）。這些技術構成了當前流式數據處理平臺的核心關鍵技術。當前主流實時數據平臺，也是以這4個方面的相關技術為基礎，構建了自己典型的技術架構。4大數據對社會發展產生的影響4.1大數據技術是社會變革的力量在大數據時代，各國爭奪控制權就是爭奪權力。未來十年，我國大數據建設將圍繞大智慧展開，判斷我們國家有沒有大智慧，其核心準則就是國民幸福。而國民幸福首先表現在民生上：透過大數據來看，我們處理人們之間關系的方式，是不是比過去更有意義了：第二，生態：透過大數據，看到了我們的社會和自然、在人與自然關系方面是否做到了前所未有的合理。4.2大數據技術經濟變革的力量大數據刺激內需急劇上升，導致行業發生劇變。生產者有其價值，而消費者，才有了價值。有了意義，才能有價值，消費者不同意的話，便無法銷售，價值也無法實現；消費者若同意，便賣出了，價值也得到了體現。大數據能幫我們在消費者身上解析含義，從而有助于生產者獲得更大價值。大數據技術能夠構建較高智慧城鄉水平。過去在城市化建設中，物質資源高度密集，能耗高，物耗大，污染嚴重。大數據時代將城鎮建設帶入了一條通過數據流動來進行資源配置的新發展路徑。智慧城鄉注重用數據流分配資金流與物流，帶動城鄉一體化的建設與發展。大數據技術能夠指導各行業數據業務的轉型升級。大數據的又一變革性影響是把數據業務轉化為各行業主營業務，從而使產業發生了業態變化。比如電信業最初主營業務就是語音業務，數據業務僅僅是輔助性業務。但是在移動網絡上，數據業務提升到主營業務，而且語音業務也變成了副業。再比如就流通業而言，以交易為最初主營業務，服務于交易的數據分析，屬于副業。如今，數據業務又成了流通業中的一項主要業務。又比如在金融業中，原以經營金融業務為主，通過傭金掙錢：而且今天的清算結算也許是自由的，以支付信息衍生信息增值業務獲取利潤。4.3大數據技術重構了互聯網云計算與大數據帶來了如IT生產力，計算范式等、開發方式等偏架構以及技術上的改變，它們最重要的價值是使社會得到革新和提升，推動互聯網的重構。4.4大數據影響著社會信息化的進程信息以數據為中心。不管使用的硬件如何，采用何種手段，裝的是什么樣的系統，流通在其中的始終是數據。運用信息技術，將有效數據進行挖掘，做到充分整合與流通，推動產業結構升級，推動創新驅動。結語大數據技術的不斷發展，給社會社會發展帶來了巨大沖擊，我們的國家應該看到變化趨勢，把握變革先機，從而爭取發展機遇，對大數據技術的把握是必要的。并在大數據研發建設中采取如下政策和措施：建立完善運行機制，構建大數據具有動態性和秩序性、可持續發展是一項系統工程，一定要樹立好、完備的運行機制，為推動施工過程各環節規范有序，做到融合，完成更好頂層設計。規范一整套符合條件的建設標準，我們要確立針對不同對象、涵蓋各領域、大數據建設標準持續，動態地更新，為了使不同層次，不同類型的信息系統能夠網絡互聯、資源共享，信息互通作準備。簡單地說就是大數據時代已經來臨，它推動著社會生產力的變革與創新。大數據技術對各類產業的發展都產生著沖擊，大數據時代所面臨的挑戰，不僅表現為如何運用大數據技術對巨量數據進行加工，并從海量數據中獲得寶貴信息，還表現為如何強化大數據技術研究與發展、占領時代發展前沿，推動社會全面發展變革等方面。參考文獻[1]ZhaoY,WuJ.Dache:ADataAwareCachingforBig-DataApplicationsUsingTheMapReduceFramework[C]//2013Proceeding