大數據工程技術人員就業景氣現狀分析報告一、產生背景大數據產業指以數據生產、采集、存儲、加工、分析、服務為主的有關經濟活動，涉及數據資源建設，大數據軟硬件產品的開發、銷售和租賃活動，以及有關信息技術服務。現在，智慧醫療、智慧都市、精確扶貧以及其它有關高新技術產業都離不開大數據的支撐，大數據技術在我國得到了較為廣泛的應用。（一）國家實施大數據戰略，構建數字中國大數據被認為是“將來的新石油”，也被比方為21世紀的“鉆石礦”，在社會生產、流通、分派、消費活動以及經濟運行機制等方面發揮著重要的作用。大數據初次寫入政府工作報告；8月國務院頒布《增進大數據發展行動綱要》，大數據正式上升為國家發展戰略。隨即國家出臺了一系列大數據政策，覆蓋生態環境大數據、農業大數據、水利大數據、都市大數據、醫療大數據、交通旅游服務大數據等多層次下游應用市場，加緊實施國家大數據戰略。同時，隨著大數據政策出臺，各地政府相繼成立了大數據管理機構，增進大數據產業發展，全國22個省區，200多個地市相繼成立大數據管理部門。圖1各省大數據管理機構設立數量（單位：個）

（二）大數據行業發展迅猛，產業規模巨大，工信部印發了《大數據產業發展規劃（-）》，全國大數據產業建設掀起熱潮，現在已形成八大大數據綜合實驗區，建成100多個大數據產業園。隨著新一代信息技術、智慧都市、數字中國等發展戰略逐步推動社會經濟數字化轉型，大數據的產業支撐得到強化，應用范疇加速拓展，產業規模實現快速增加。通過對1572家公司的調查成果顯示，公司對數據分析的重視程度進一步提高，65.2%的公司已成立數據分析部門，24.4%的公司正在計劃成立有關數據部門。近四成的公司已經應用了大數據。在接受調查的公司中，已經應用大數據的公司有623家，占比為39.6%，垂直行業中如金融等領域大數據應用增加趨勢較為明顯。另外，24.3%的公司表達將來一年內將應用大數據。對數據分析方式選擇狀況的調查顯示，40.3%的公司采用實時解決動態數據并提供分析成果，占比最高；另首先是分析歷史數據和通過機器學習進行輔助決策，占比分別為32.3%和25.5%。很快的將來，隨著人工智能技術的發展和應用普及，選擇機器學習進行輔助決策的公司占比有望進一步提高。5月6日中國信息通信研究院公布《中國大數據與實體經濟融合發展白皮書（）》，書中綜合國內外環境、新興技術發展等多個因素，測算我國大數據產業增速約為15%，產值達成5405億元。另據賽迪數據顯示，中國大數據產業規模為4384.5億元，同比增加23.5%；到，中國大數據產業規模將超出8000億元。圖2

-中國大數據產業規模（單位：億元）

從公司業務布局來看，大數據產業重要集中在華北、華東及中南地區。表1

中國大數據產業區域分布狀況

（三）數據資源資產化步伐穩步推動8月,國務院印發《增進大數據發展行動綱要》,明確“加緊政府數據開放共享,推動資源整合”。社會各界通過對數據資源的整合、運用,加速了數據流通共享以及數據資源化進程。10月，《數據管理能力成熟度評定模型》公布實施，規范了各組織、機構數據管理和應用工作，提高國內數據管理和應用能力。10月，在中國共產黨第十九屆中央委員會第四次全體會議上，中央初次公開指出“健全勞動、資本、土地、知識、技術、管理和數據等生產要素按奉獻參加分派的機制。”這是中央初次在公開場合提出數據可作為生產要素按奉獻參加分派，反映了隨著經濟活動數字化轉型加緊，數據對提高生產效率的乘數作用凸顯，成為最具時代特性新生產要素的重要變化。（四）技術融合成為大數據發展主流現在，大數據有關技術已基本成熟，逐步成為支撐型的基礎設施，其發展方向也開始向提高效率轉變，向個性化的上層應用聚焦。隨著5G通信原則的落地，物聯網、移動互聯網、大數據、傳統行業將深度融合，算力、流批、TA、模塊、云數、數智等技術融合的趨勢愈發明顯，大量既懂大數據技術又懂其它有關行業技術的人才在大數據應用領域發揮著越來越多的作用。（五）數據安全受到業界普遍關注近年來，大數據業界不停有安全事件曝出。9月6日，位于杭州的大數據風控平臺杭州魔蝎數據科技有限公司被警方控制，高管被帶走，有關服務臨時癱瘓。同日，另一家提供大數據風控服務的新顏科技人工智能科技有限公司高管被帶走協助調查。大數據安全合規的問題，特別是對于個人信息保護的問題，現在已成為整個社會和行業關注熱點。在全球不停收緊數據合規政策的大環境下，我國在數據法律監管方面也日趨嚴格規范。以來，數據安全方面的立法進程明顯加緊。中央網信辦針對網絡安全審查、數據安全管理、小朋友個人信息網絡保護、個人信息出境安全評定等四項有關數據安全的管理方法相繼公布征求意見稿。這些我國數據安全法律法規重點關注個人信息的保護，大數據行業整體合規也必然將以此作為核心。二、職業定義和工作任務近年來，隨著經濟社會發展、科學技術進步和產業構造調節，新產業、新業態、新模式滋生孕育出許多新職業。大數據技術應用在各行各業的全方面展開，我國社會需要越來越多的大數據工程技術人員。其職業定義和工作任務以下：大數據工程技術人員職業定義：從事大數據采集、清洗、分析、治理、挖掘等技術研究，并加以運用、管理、維護和服務的工程技術人員。大數據工程技術人員重要工作任務：1.研究和開發大數據采集、清洗、存儲及管理、分析及挖掘、呈現及應用等有關技術；2.研究、應用大數據平臺體系架構、技術和原則；3.設計、開發、集成、測試大數據軟硬件系統；4.大數據采集、清洗、建模與分析；5.管理、維護并保障大數據系統穩定運行；6.監控、管理和保障大數據安全；7.提供大數據的技術咨詢和技術服務。三、現在就業人群分析本報告基于4月對27家大數據行業典型公司的人力資源狀況進行調研后分析所得。（一）學歷層次大數據人才的學歷層次分為4個大類，分別是碩士及以上、本科、專科、專科下列。圖3大數據人才學歷構造（單位：人）

能夠看出，本科占比最高，另首先是碩士及以上，專科占比只有12.22%。大數據行業是新興行業，現在學歷規定比較高。（二）專業來源專業來源分為4個大類，分別是數理類、經濟管理類、計算機類及其它專業。計算機類占比最高，另首先是數理類。項目組調研公司大數據人才的各專業人數和占比見下圖。圖4大數據人才專業來源（單位：人）

（三）渠道來源大數據人才的渠道來源分為4個大類，分別是校招、社招、內部培養和推薦、培訓機構招聘。公司大數據人才各渠道來源的人數和占比見下圖。圖5大數據人才渠道來源（單位：人）

其中社招占比最大，比校招、內培和內推以及培訓機構招聘的總和還要高。大數據人才現在重要依靠社招，闡明學校教育與社會需求脫節，內培和培訓也不能滿足崗位規定。（四）薪資水平分布現在，大數據人才的薪資處在相對較高水平。薪資在1萬元下列，占總人數的34.6%；1萬元-2萬元占比為35.64%；2萬以上占比為29.77%。圖6大數據人才薪資水平分布（單位：人）

（五）崗位類型及數量現在公司提供的大數據崗位按照工作內容規定，能夠分為下列幾類：①初級分析類，涉及業務數據分析師、商務數據分析師等。②挖掘算法類，涉及數據挖掘工程師、機器學習工程師、深度學習工程師、算法工程師、AI工程師、數據科學家等。③開發運維類，涉及大數據開發工程師、大數據架構工程師、大數據運維工程師、數據可視化工程師、數據采集工程師、數據庫管理員等。④產品運行類，涉及數據運行經理、數據產品經理、數據項目經理、大數據銷售等。四類崗位的數量和占比見下圖。圖7大數據崗位類型構造（單位：人）

四、行業人才需求狀況（一）整體需求現在信息化對人類經濟活動產生深刻影響，正滲入到生產生活方方面面，數據已經成為新的生產要素，大數據行業已成為人們按需使用信息解決、信息存儲、信息交互資源的重要模式，也是進行大數據解決和深度挖掘的重要平臺，大數據工程技術人員在我國現階段及將來發揮的作用將日益凸顯。《大數據產業發展規劃（-）》指出，現在大數據人才隊伍建設亟需加強，大數據基礎研究、產品研發和業務應用等各類人才短缺，難以滿足發展需要。要建設多層次人才隊伍，建立適應大數據發展需求的人才培養和評價機制。加強大數據人才培養，整合高校、公司、社會資源，推動建立創新人才培養模式，建立健全多層次、多類型的大數據人才培養體系。根據天府大數據國際戰略與技術研究院(簡稱“天府大數據研究院”)《全球大數據發展分析報告》數據，我國大數據產業人才占整體就業人口規模的0.23%，大概179.4萬人。獵聘《中國AI&大數據人才大數據人才就業趨勢報告》指出，中國大數據人才缺口高達150萬。另據中國商業聯合會數據分析專業委員會統計，將來中國基礎性數據分析人才缺口將達成1400萬。圖8

大數據人才規模及增速

隨著大數據、物聯網、5G等技術應用的不停發展，社會對該職業從業人員的需求日益增加。預計中國大數據行業的人才需求規模將達成210萬，2025年前大數據人才需求仍將保持30%-40%的增速，需求總量在萬人左右。（二）行業發展對大數據有關崗位產生的影響從業態變化的角度看，公司需要大量的復合型人才，即能夠對數學、統計學、數據分析、機器學習和自然語言解決等多方面知識綜合掌握的人才。從技術變化的角度看，深度神經網絡等新興技術的發展，彌補了傳統分析挖掘技術在大數據時代的短板，這就需要大數據技能人才掌握深度學習方面的有關知識，適應大數據的分析挖掘需要。從運行方式的角度看，運行方式的變化規定運行人員提高運行前準備、運行中把握、運行后反饋、修正，提高預見能力和掌控能力。現在公司對中高職層次的大數據人才有關崗位重要有：數據分析師、挖掘工程師、深度學習/算法/機器學習工程師、大數據開發工程師、大數據架構工程師、大數據運維工程師、數據可視化工程師、數據采集工程師、數據庫管理員、數據運行經理、數據產品經理、數據項目經理、大數據銷售工程師。能夠看出，行業發展引發技術革命，相對應的崗位及規定也有所變化。（1）技術層面逐步由“萬花筒”向“中國特色”、“中國制造”轉變，中國原則逐步成為業界原則，中國證書逐步成為業界證書。（2）技術縱深發展和橫向拓展，引發公司對人才需求變化，現有崗位重新細分的高精尖專才需求，又有中檔層次的廣博復合型人才需求。（三）崗位職責及技能規定根據調研狀況整頓，大數據工程技術人員有關崗位的職責以及對大專以上學歷人才的職業技能規定以下表。表2大數據有關崗位的職責以及崗位技能規定崗位崗位職責崗位技能數據分析師負責行業數據收集、整頓、分析，并根據數據做出行業研究、評定和預測數理統計基本知識，Excel，SQL，Python/R。挖掘工程師負責行業數據整頓、挖掘，并根據數據做出行業研究、評定和預測慣用數據挖掘算法，SQL，Python/R/Java。深度學習/算法/機器學習工程師負責運用多個神經網絡模型及其算法并解決具體事務。多個神經網絡模型，Python/C++/Java，TensorFlow、Caffe等深度學習系統。大數據開發工程師使用編程語言開發大數據有關軟件和應用系統Java/Python/C++/Scala，Linux/Unix系統。大數據架構工程師負責大數據架構的設計與實施。分布式系統原理，Linux/Unix系統及其腳本shell等，Hadoop、Spark等大數據框架及其組件Yarn，HBase、Hive、Pig等。大數據運維工程師負責大數據系統的運行和維護Linux/Unix系統及其腳本shell等，Java。數據可視化工程師負責大數據可視化應用開發，對數據分析成果多維度生動地體現。前端框架及工具如jQuery、Vue.js、Webpack等，Web前端有關技術涉及HTML/CSS/Javascript，數據可視化框架如Echars、Highcahrts、D3.js等。數據采集工程師負責數據采集、預解決、標注等。Linux/Unix系統，數據庫如Mysql，redis，mongdb等，爬蟲框架如Scrapy等等，web基礎知識如HTML/JavaScript/CSS/xpath/url/Ajax/xml等，解析工具如HttpClient、jsoup、WebDriver、phantomjs等。數據庫管理員負責數據庫的運行和維護。Linux/Unix系統，MySQL、SQL等數據庫的運行機制和體系架構。數據運行經理負責數據的運行。數理統計基本知識，運行辦法，SQL。數據產品經理負責數據產品的銷售。工具如:Axure;Visio,Mindmanager,Project,PPT等，BI，SQL，產品規劃能力，撰寫需求文檔能力。數據項目經理負責數據項目。項目管理工具，PMP證書，梳理流程能力。大數據銷售工程師負責大數據業務銷售。溝通能力，業務談判能力。五、職業發展通道現在，長久從事數據庫管理、挖掘、編程工作的人，涉及傳統的量化分析師方面的工程師，以及需要通過數據來進行判斷決策的管理者，通過一定的培訓或自學，均可成為大數據工程技術人員。由于我國大數據人才數量較少、缺口較大，因此多數公司的數據部門采用扁平化層級的模式，普通分為數據分析師、資深研究員、部門總監3個級別。規模較大的公司可能按照應用領域的維度來劃分不同團體，規模較小的公司則需要身兼數職。大數據工程技術人員可朝著研究方向發展，成為公司重要數據戰略人才。另外，大數據工程技術人員對商業和產品的理解較業務部門員工更加進一步，也可轉向產品部或市場部，乃至高級管理層。六、專家觀點兩山轉化數字研究院院長、杭州數夢工場研究院執行院長念燦華:數據是這個時代最重要的生產要素，政府、都市、產業數據資源的資產化、價