“大數據技術與應用”賽項規程一、賽項稱賽項名稱：大數據技術與應用英語翻譯：BigDataTechnologyandApplication賽項組別：高職組賽項歸屬產業：電子信息產業二、競賽的（一）促進發展專業教學內容和課程體系改革國務院印發《促進大數據發展行動綱要》（以下簡稱《綱要》），系統指導我國大數據發展的國家頂層設計和總體部署大數據發展工作《綱要》中明確指出，要加強專業人才培養創新人才培養模式建立健全多層次多類型的大數據人才培養體系。2016年9月，教育部準設立了高職院校“大數據技術與應用”專業。由于缺乏與用人單位崗位核心技術技能相匹配的專業課程體系及師資力量重影響了高職院校大數據人才培養質量。大數據技術與應用賽項包括大數據平臺運行維護數據采集與預處理數據清洗及存儲數據分析及可視化等工作內容考查內容對接國家教學標準提出的大數據相關專業綜合核心技術技能和職業素養夠適應我國大數據產業對高素質復合型人才的產業需求覆蓋大數據行業技術崗位體系滿足大數據企業技術研發類基礎平臺運營類崗位對大數據平臺運維能力、大數據應用開發能力及職業素養等方面的要求；促進教師專業能力及教學能力的提升，引領大數據技術與應用專業建設及課程改革。（二）開拓產教融合新模式、推進協同育人產學研合作大數據技術與應用賽項選取大數據行業企業典型項目需求繞項目開發過程設計競賽內容競賽任務就是項目工作任務通過本賽項推動了課程內容與職業標準對接，教學過程與生產過程對接，專業與產業對接，實現教育鏈、人才鏈與產業鏈、創新鏈有機銜接，促進產教融合、校企合作、產業發展。（三）為企業提供大數據人才支撐，提高學生就業質量大數據技術與應用賽項選取真實的大數據業務分析應用場景點考查選手的實際動手能力規范操作水平創新創意水平等綜合職業能力參賽選手通過對實際業

務數據的分析運用大數據領域技術手段揭示業務數據隱含的業務規律實現對業務運行發展狀態的推斷以數據分析結果為支撐做出科學合理的決策建議彰顯了參賽選手的綜合職業能力及教師的教學能力分展示職教改革成果及師生良好精神面貌。三、競賽容賽項以大數據技術與應用為核心內容，重點考查參賽選手基于Hadoop平臺環境下，利Hadoop、Spark技術生態組件，綜合軟件開發相關技術，解決實際問題的能力，具體包括：1）掌握按照項目需求配置管理、Spark大數據平臺及相關生態組件；2）掌握企業常用數據清洗工具相關技術，完成指定數據的清洗及分析能力；3）綜合利用、Flask技術，使用、Python等開發語言，完成數據清洗、存儲、轉化、分析及數據推送等一系列大數據操作；4）綜合運用HTML、CSS、JavaScript、Python開發語言，對數據進行可視化呈現；5）根據數據可視化結果，完成數據分析報告的編寫。競賽內容構成如下：考環Hadoop、Spark平的配置和部署數據獲取與分布式文件系統操作Spark數清洗與分析

考知點技點集群免密配置和基礎軟件安裝配置Hadoop集搭建Spark集搭建可視化平臺的搭建查找指定源數據文件HDFS創建錄及上傳源數據使用HadoopAPI操作源數據基于SparkJavaAPI的地項目搭建導入本地Java項的依賴庫掌握在Spark框下的JavaAPI程熟練使用SparkSQL讀HDFS

描考察+Spark集的部署能力掌握常用的基本配置和基礎軟件安裝能夠部署和管理高可用集群。掌握平的搭建。掌握Linux基礎命令考Hadoop文系統的常用命令掌分布式文件系統命令行操作與API操作。考察對分布式計算和分布式存儲架構下的數據讀寫、數據清洗、數據轉換、數據分析等綜合應用能力使用Java開語言完Spark框架下的HDFS讀寫、內存表構建、SQL函關聯合并

使用檢索和清洗函數處理Spark內存表數據。

過濾等一系列數據操作根據實驗任務書編寫分析模塊代碼進行編譯、打包、提交集群，執行Spark序，監控任務執行情況。輸出目標數據文件。Web數據可視化

構建Web平項目，使用HDFS讀取Spark任務提供的目標數據集。編寫前端代碼，對數據分析結果進行呈現。

通過常見的數據可視化方法將據分析結果以圖表的形式進行呈現，使用Java、Python及HTML等程語言實現數據源分析結果展現考察學生對大數據技術與綜合分析

通過項目代碼和架構根據數據析結果及可視決策分析和歸納概括表述化圖表進行報告編寫，形成決策分析報告。的綜合操作能力和表達能力競賽各階段分值權重分布如下：主涉的識技點Hadoop、Spark平的配置和部數據獲取與分布式文件系統操作Spark數據洗與分析Web數據可視化綜合分析團隊分工明確合理、操作規范、文明競賽四、競賽式

分權25%10%25%20%15%5%大數據技術與應用賽項為團體賽每支參賽隊由名參賽選手組成須為同校在籍學生其中隊長1名每支參賽隊可配2名指導教師指導教師須為本校專兼職教師同一學校的報名參賽隊不超過3支參賽選手和指導教師報名獲得確認后不得隨意更換。競賽設單一場次所有參賽隊小時內完成比賽比賽形式以實踐操作為主采用小組合作的形式完成賽項任務現場過程評價與完成任務結果評價為主要考核方式。競賽采用在線考試系統題由系統自動統計評分觀題如大數據應用開發、工程報告明確每項公開評分標準和得分點考試系統通過場外大屏可實時跟蹤競賽進度。

賽項采用統一規格的硬件、軟件和輔助工具，確保競賽平臺統一。五、競賽程根據競賽任務要求參賽隊伍在4小時競賽時間內須完成競賽任務參賽隊伍須按順序完成各項任務，但每項任務用時可自行掌握。（一）賽流程（二）賽時間安排日比賽前日

時12:00之10:00—11:0015:30—16:0016:00—16:30

內各參賽隊報到；裁判報到裁判工作會議；工作人員（含監考）培訓會賽前領隊會參賽隊熟悉比賽場地

比賽當日

17:00—18:007:007:308:008:108:208:308:40-12:4012:40—13:0012:40—14:4013:00—13:3013:30—21:00

現場裁判賽前檢查，封閉賽場參賽隊集合前往比賽現場開賽式賽場檢錄一次加密：參賽隊抽取參賽編號二次加密：參賽隊抽取賽位號參賽隊進入比賽賽位行前硬件檢查題目發放比賽收取各參賽隊賽題及比賽結果文檔申訴受理三次加密：競賽結果等文件加密成績評定與復核六、競賽題（一）賽項執委會下設的命題專家組負責本賽項命題工作。七、競賽則1.參賽選手須為高等職業學校全日制在籍學生科院校中高職類全日制在籍學生，五年制高職四、五年級學生可報名參賽。參賽選手年齡須不超過25周歲（年齡計算的截止時間以20205月1為準）。凡在往屆山西省職業院校技能大賽中獲本賽項高職組一等獎的選手，不能再參賽。2.競賽前1日安排各參賽隊領隊、參賽選手熟悉賽場。3.嚴禁參賽選手、賽項裁判、工作人員私自攜帶通訊、攝錄設備進入比賽場地。4.參賽選手所需的硬件軟件和輔助工具統一提供參賽隊不得使用自帶的任何有存儲功能的設備，如硬盤、光盤、U盤、手機、隨身聽等。5.所有參賽選手都必須攜帶參賽證件進行檢錄。6.參賽隊在賽前鐘領取比賽任務并進入比賽工位，比賽正式開始后方可進行相關操作。7.比賽過程中選手須嚴格遵守操作規程確保人身及設備安全并接受裁判員的監督和指示因選手原因造成設備故障或損壞而無法繼續比賽的裁判長有權決定中止該隊比賽；非因選手個人原因造成設備故障的，由裁判長視具體情況作出裁決。

8.比賽結（或提前完成后參賽隊要確認已成功提交競賽要求的配置文件和文檔裁判員與參賽隊隊長一起簽字確認參賽隊在確認后不得再進行任何操作比賽時間終了選手應全體起立結束操作經工作人員查收清點所有文檔后方可離開賽場，離開賽場時不得帶走任何資料。9.比賽結束經加密裁判對各參賽隊提交的競賽成果進行三次加密后評分裁判方可入場進行成績評判競賽成績經復核無誤后由記分員將解密后的各參賽隊伍成績匯總成比賽成績，經裁判長、監督組簽字后，在指定地點，以紙質形式向全體參賽隊進行公布公布2小時無異議后將賽項總成績的最終結果錄入賽務管理系統經裁判長監督組長和仲裁長在系統導出成績單上審核簽字后在閉賽式上宣布并頒發證書。10.其它未盡事宜，將在賽前向各領隊做詳細說明。八、競賽地和環境標1.競賽現場設置場內競賽區現場裁判工作區技術支持區等競賽工位內設有操作平臺，每工位配備220V源，工位內的電纜線應符合安全要求。競賽工位標明工位號并配備競賽平臺和技術工作要求的軟件環境標準要求保證賽場采光(大于500lux)、照明和通風良好。2.場內競賽區為參賽隊提供統一的競賽設備；選手無需自帶任何工具及附件。3.監考人員協助裁判長和現場裁判做好負責工位范圍內的秩序維持。4.技術支持保障人員在技術支持服務區候場需要時在現場裁判的帶領下到相關的工位進行賽場技術支持保障，在條件具備時，技術支持區可不設置在考場內。5.競賽現場通風良好、照明符合教室采光規范。九、技術范本賽項的技術規范將包括：相關專業的教育教學要求、行業、職業技術標準，以及根據高職目錄修訂后的大數據技術與應用相關專業人才培養標準和規范時地修訂本賽項遵循的技術規范。表：礎準標準GB/T11457-2006GB8566-88GB/T12991-2008GB/T21025-2007

內容信息技術、軟件工程術語計算機軟件開發規范信息技術數據庫語言第1部：框架XML使用指南

GB/T28821-1012LD/T81.1-2006-T-469：-T-469：

關系數據管理系統技術要求職業技能實訓和鑒定設備技術規范信息技術云數據存儲和管理第1部：總則信息技術云數據存儲和管理第2部：基于對象的云存儲應用接口GB/T20009-2005：信安全技術數據庫管理系統安全評估準則已發布GB/T20273-2006：信安全技術數據庫管理系統安全技術要求-T-469：表：件發準標準GB/T8566-2001GB/T15853-1995GB/T14079-1993GB/T17544-1998十、技術臺

信息技術安全技術信息安全管理體系實施指南內容信息技術軟生存周期過程軟件支持環境軟件維護指南信息技術軟包質量求和測比賽器材、技術平臺：大數據技術與應用平臺（合作企業：南京云創大數據科技股份有限公司；品牌：云創；型號，技術平臺軟硬件設備組成如下：（一）硬件設備1.服務器嵌大數據實驗一體機平臺軟件本配置如下顆英特爾至強銀牌1.8G,8C/16T,9.6GT/s2UPI,11M緩存,HT(85W)DDR4-2400/256GB存/3×2TB轉SATA6Gb硬盤/支持RAID5/1Gb×2管理網絡接口/1Gb×2數據網絡接口/1+1冗余電源。2.網絡設備：為市場通用設備。3.客戶端：客戶端基本配置要求：處理器2G以上內存，顯示器要求1024*768以上。（承辦學校提供）。數量：參賽團隊+0.3*參賽團隊（備份）（二）軟件平臺1）服務器軟件：1.1操作系統（）1.2Hadoop分布式計算平臺1.3大數據實訓管理系統1.4Web站點2）客戶端軟件：2.1操作系統（）

2.2開發語言包（2.3數據分析工具（pdi-ce-7.1.0.0-12）2.4瀏覽器（Chrome)2.5文檔編輯器（或office）2.6OpenVPN客戶端（2.4.7）2.7遠程連接工具（教學/家庭版）2.8上傳/下載工具（5.9.0.6786）十一、成評定（一）評分標準總分，競賽結果文件的提交按照題目要求，提交符合模板的件和源碼文件以及相關要求截圖文件。（二）裁判工作原則1.按照《2019年全國職業院校技能大賽專家和裁判工作管理辦法》建立全國職業院校技能大賽賽項裁判庫裁判長由賽項執委會向大賽執委會推薦由大賽執委會聘任。賽前建立健全裁判組。裁判組為裁判長負責制，并設有專職督導裁判1名，負責比賽過程全程監督，防止營私舞弊。本賽項計劃需要裁判7名，分別為裁判長1名、專職督導裁判1名、加密裁判1名、現場裁判名和評分裁判2名。2.賽項需進行三次加密加密后參賽選手中途不得擅自離開賽場分別由1名加密裁判組織實施加密工作，管理加密結果。監督員全程監督加密過程。3.第一次加密裁判組織參賽選手進行第一次抽簽產生參賽編號替換選手參賽證等個人身份信息填寫一次加密記錄表連同選手參賽證等個人身份信息證件裝入一次加密結果密封袋中單獨保管。4.第二次加密裁判組織參賽選手進行第二次抽簽確定賽位號替換選手參賽編號寫二次加密記錄表連同選手參賽編號二次加密結果密封袋中單獨保管。5.第三次加密裁判對提交的競賽文檔進行加密。確定競賽文檔號，替換賽位號，填寫三次加密記錄表，裝入三次加密結果密封袋中單獨保管。6.所有加密結果密封袋的封條均需相應加密裁判和監督人員簽字封袋在監督人員監督下由加密裁判放置于保密室的保險柜中保存。（三）評分標準制定原則

1.競賽評分制定嚴格遵守公平公正的原則大數據技術與應用賽項評分采用賽項結果評分方法，始終貫徹落實大賽一貫堅持的公平、公正和公開原則。2.賽項評分依據選手固化在實操任務中的成果過評分裁判對比賽成果再現的方法評分，并兼顧團隊協作精神和職業素養綜合評定。3.選手在完成任務之后請務必向賽場中心競賽系統提交任務完成結果由賽項工作人員統一將提交的結果拷貝至U盤中手在確認U盤拷貝文件的內容與本工位操作內容一致后由參賽選手隊長簽字確認因選手未能正確提交任務完成情況致使在競賽系統中沒有正確記錄內容的或者記錄內容為空的，將計為零分。4.客觀性結果評分采用優先判斷功能實現評分原則依據功能實現的狀態信息截圖，判斷功能項是否實現，如果未實現功能，再按照配置步驟命令進行給分。5.三層加密原則比賽過程采取三層加密通過抽取參賽編號賽位號和競賽成果號，屏蔽參賽隊信息，每個環節設置一名獨立裁判，每個環節結束后，數據立即封存于裁判長，加密裁判直接隔離，確保成績評定公平、公正。6.獨立評分原則。根據裁判分工，負責相同模塊評分工作的不同裁判采取隨機抽簽獨立評分，確保成績評定嚴謹、客觀、準確。裁判進行隨機抽簽分組，杜絕主觀意愿組隊，各自完全獨立評分，裁判員間互不干涉，比賽監督人員可隨機監督。7.錯誤不傳遞原則各環節分別計算得分錯誤不傳遞按規定比例計入團隊總分。當總分相同時，再按照效率→成本排序。效率即用時少的排名靠前。8.參賽隊提交比賽任務結束請求或者在比賽時間終止后，不得再進行任何操作。否則，視為比賽作弊，給參賽團隊記警告一次。9.在競賽過程中選手如有不服從裁判判決亂賽場秩序舞弊等不文明行為，由裁判按照規定扣減相應分數并且給予警告情節嚴重的取消競賽資格競賽成績記0分，隊員退出比賽現場。（四）評分標準裁判員執裁過程中各模塊由分組裁判員進行背對背評分由小組長負責裁定成績一致方提交到成績統計組統計組再次核對每小題的得分并匯總產生每套競賽文檔號的對應成績。裁判長正式提交競賽文檔號對應的評分結果并復核無誤后密裁判在監督人員監督下對加密結果進行逐層解密形成成績一覽表成績表由裁判長監督員簽字確認。

競賽評分嚴格按照公平公正公開的原則評分標準注重考查參賽選手以下各方面的能力和水平：任Hadoop、Spark平臺的配置和部署數據獲取與分布式文件系統操作Spark數據清洗與分析

考點Linux命令、置文件Linux命令、Hadoop命令、HDFS編程SparkJavaAPI編程、SparkSQL函數應用、HDFS讀寫編程

描考察Hadoop+Spark集的部署能力，掌握常用的基本配置和基礎軟件安裝，能夠部署和管理高可用集群。掌握平的搭建掌握Linux基礎令Hadoop文件系統的常用命令，掌握分布式文件系統命令行操作與API操作。考察對分布式計算和分布式存儲架構下的數據讀寫、數據清洗、數據轉換、數據分析等綜合應用能力，使用Java開語言，完成Spark框下的HDFS讀、內存表構建函關聯合并過濾等一系列數據操作

評標主要評分點包括Linux系基本操作、集群免密配置、基礎軟件安裝配置、Hadoop集群配置、Spark集配置。主要評分點包括Linux基命令、文系統的操作命令、API操作代碼。主要評分點包括SparkJavaAPI編程、SparkSQL組件編程、數據讀寫、數據清洗、數據轉換、編譯打包、Spark任提交。HDFS讀編程。

分（）251025通過常見的數據可視化方法，將Web數可視化

Web編程、可視化

數據分析結果以圖表的形式進行呈現使Java、Python及HTML等編程語言，實現數據源分析結

主要評分點包括Web平搭建、后臺代碼開發、前端代碼開發、圖表展示。

20果展現綜合分析團隊協作

報告編寫、策分析團隊協作

考察學生對大數據技術與決策分析和歸納概括表述的綜合操作能力和表達能力團隊分工明確合理、操作規范、文明競賽

主要評分點包括能夠按照賽項要求編寫報告，關鍵點截圖、分析歸納、文字表述、決策分析能力。主要評分點包括：競賽團隊分工明確合理、操作規范、文明競賽。

155參賽選手應體現團隊風貌協作與溝通織與管理能力和工作計劃能力等，并注意相關文檔的準確性與規范性。競賽過程中參賽選手如有不服從裁判判決亂賽場秩序舞弊等不文明行為，由裁判組按照規定扣減相應分數情節嚴重的取消競賽資格選手有下列情形需從比賽成績中扣分：1.違反比賽規定提前進行操作或比賽終止后仍繼續操作的由現場裁判負責記錄并酌情扣1-5分。

2.在競賽過程中違反操作規程影響其他選手比賽的未造成設備損壞的參賽隊，扣5-10分。3.在競賽過程中成設備損壞或影響他人比賽節嚴重的報競賽執委會批準，終止該參賽隊的比賽，競賽成績以0分計算。（五）成績復核與公布1.為保障成績評判的準確性監督組將對賽項總成績排名前的所有參賽隊伍（選手）的成績進行復核；對其余成績進行抽檢復核，抽檢覆蓋率不得低于15%。如發現成績錯誤以書面方式及時告知裁判長由裁判長更正成績并簽字確認復核抽檢錯誤率超過5%的，裁判組將對所有成績進行復核。2.競賽成績以復核無誤后經項目裁判長監督人員審核簽字后確定競賽成績通過賽場顯示屏和網絡直播等方式進行實時公布同時在賽場及賽場外張貼紙質成績。若有異議，經過規定程序仲裁后，按照仲裁結果公布比賽成績。十二、獎設定由2020山西省職業院校技能大賽組委會統一設置，只設團體獎。賽項設參賽選手團體獎，以賽項實際參賽隊總數為基礎，一等獎占比10%，二等獎占比，三等獎占比30%，小數點后四舍五入。十三、賽安全賽事安全是技能競賽一切工作順利開展的先決條件賽事籌備和運行工作必須考慮的核心問題。賽項組委會采取切實有效措施保證大賽期間參賽選手、指導教師、裁判員、工作人員的人身安全。（一）組織機構成立由賽項執委會主任為組長的賽項安全保障小組員包括承辦院校主抓安全的校領導、學生工作處、后勤處、保衛處、合作企業技術工程師等相關人員。與地方行政、交通、司法、安全、消防、衛生、食品、質檢等相關部門建立協調機制，制定應急預案，及時處置突發事件，保證比賽安全進行。（二）比賽環境1.賽項組委會須在賽前組織專人對比賽現場住宿場所和交通保障進行考察并對安全工作提出明確要求。賽場的布置，賽場內的器材、設備，應符合國家有關安全規定。如有必要，也可進行賽場仿真模擬測試，以發現可能出現的問題。

2.賽場周圍要設立警戒線求所有參賽人員必須憑賽項組委會印發的有效證件進入場地防止無關人員進入發生意外事件比賽現場內應參照相關職業崗位的要求為選手提供必要的勞動保護在具有危險性的操作環節裁判員要嚴防選手出現錯誤操作。3.提供保證應急預案實施的條件對于比賽內容涉及高空作業可能有墜物大用電量、易發生火災等情況的賽項，必須明確制度和預案，并配備急救人員與設施。4.配備先進的儀器防止有人利用電磁波干擾比賽秩序大賽現場需對賽場進行網絡安全控制，以免場內外信息交互，充分體現大賽的嚴肅、公平和公正性。（三）組隊責任1.各學校組織代表隊時，須安排為參賽選手購買大賽期間的人身意外傷害保險。2.各學校代表隊組成后須制定相關管理制度并對所有選手指導教師進行安全教育。3.各參賽隊伍須加強對參與比賽人員的安全管理，實現與賽場安全管理的對接。（四）應急處理比賽期間發生意外事故時者應在第一時間報告賽項組委會時采取措施，避免事態擴大賽項組委會應立即啟動預案予以解決出現重大安全問題的賽項可以停賽是否停賽由賽區組委會決定后區執委會應向大賽執委會報告詳細情況。（五）處罰措施1.因參賽隊伍原因造成重大安全事故的，取消其獲獎資格。2.參賽隊伍有發生重大安全事故隱患經賽場工作人員提示警告無效的可取消其繼續比賽的資格。3.賽事工作人員違規的按照相應的制度追究責任情節惡劣并造成重大安全事故的，由司法機關追究相應法律責任。十四、競須知（一）參賽隊須知1.各參賽隊要發揚良好道德風尚，聽從指揮，服從裁判，不弄虛作假。如發現弄虛作假者，取消參賽資格，名次無效。2.各參賽隊領隊要堅決執行競賽的各項規定加強對參賽人員的管理做好賽前準備工作，督促選手帶好證件等競賽相關材料。

3.競賽過程中除參加當場次競賽的選手執行裁判員現場工作人員和經批準的人員外，領隊、指導教師及其他人員一律不得進入競賽現場。4.參賽隊若對競賽過程有異議規定的時間內由領隊向賽項仲裁工作組提出書面報告。5.對申訴的仲裁結果領隊要帶頭服從和執行并做好選手工作參賽選手不得因申訴或處理意見不服而停止競賽，否則以棄權處理。6.參賽隊領隊應對本隊參賽隊員和指導教師的參賽期間安全負責賽學校須為參賽選手和指導教師購買意外保險。7.領隊和指導教師應在賽后做好賽事總結和工作總結。（二）指導教師須知1.各參賽代表隊要發揚良好道德風尚，聽從指揮，服從裁判，不弄虛作假。如發現弄虛作假者，取消參賽資格，名次無效。2.各代表隊領隊要堅決執行競賽的各項規定加強對參賽人員的管理做好賽前準備工作，督促選手帶好證件等競賽相關材料。3.競賽過程中除參加當場次競賽的選手執行裁判員現場工作人員和經批準的人員外，領隊、指導教師及其他人員一律不得進入競賽現場。4.參賽代表隊若對競賽過程有異議規定的時間內由領隊向賽項仲裁工作組提出書面報告。5.對申訴的仲裁結果領隊要帶頭服從和執行并做好選手工作參賽選手不得因申訴或對處理意見不服而停止競賽，否則以棄權處理。6.指導老師應及時查看大賽專用網頁有關賽項的通知和內容真研究和掌握本賽項競賽的規程技術規范和賽場要求指導選手做好賽前的一切技術準備和競賽準備。（三）參賽選手須知1.參賽選手應按有關要求如實填報個人信息，否則取消競賽資格。2.參賽選手需持統一印制的參賽證和有效身份證件參加競賽。3.參加選手應認真學習領會本次競賽相關文件，自覺遵守大賽紀律，服從指揮，聽從安排，文明參賽。4.參加選手請勿攜帶任何電子設備及其他資料、用品進入賽場。

5.參賽選手應按照規定時間抵達賽場，憑參賽證、身份證件檢錄，按要求入場，不得遲到早退。6.參賽選手應增強角色意識