1、2019年浙江省高職院校技能大賽“大數據技術與應用”競賽賽項規程一、賽項名稱賽項名稱：大數據技術與應用賽項組別：高職組二、競賽目的為適應大數據產業對高素質技術技能型人才的職業需求，賽項以大數據技術與應用為核心內容和工作基礎，重點考查參賽選手基于Hadoop平臺環境下，充分利用Hadoop技術生態組件的特點，綜合軟件開發相關技術，解決實際問題的能力，激發學生對大數據相關知識和技術的學習興趣，提升學生職業素養和職業技能，努力為中國大數據產業的發展儲備及輸送新鮮血液。通過舉辦本賽項，可以搭建校企合作的平臺，提升大數據技術與應用專業及其他相關專業畢業生能力素質，滿足企業用人需求，促進校企合作協同育人，

2、對接產業發展，實現行業資源、企業資源與教學資源的有機融合，使高職院校在專業建設、課程建設、人才培養方案和人才培養模式等方面，跟蹤社會發展的最新需要，縮小人才培養與行業需求差距，引領職業院校專業建設與課程改革。三、競賽方式1、比賽以團隊方式進行，不得跨校組隊，同一學校的報名參賽隊伍不超過1支。 2、每個參賽隊由1名領隊（可由指導教師兼任）、2名指導教師、3名選手（其中1隊長1名）組成，指導教師須為本校專兼職教師，參賽選手和指導教師報名獲得確認后不得隨意更換。3、競賽時間4小時。四、競賽時間和地點時間：2019年3月21-22日地點：浙江經貿職業技術學院（浙江省杭州市下沙學林街280號）五、競賽內

3、容賽項以大數據技術與應用為核心內容和工作基礎，重點考查參賽選手基于Hadoop平臺環境下，充分利用Hadoop技術生態組件的特點，綜合軟件開發相關技術，解決實際問題的能力，具體包括：1. 掌握基于Hadoop離線分析平臺，按照項目需求配置大數據組件并按照需求進行合理配置；2. 掌握基于Web頁面的數據采集相關技術，完成指定數據的采集及處理能力；3. 綜合利用MapReduce技術、分布式存儲系統HDFS、數據倉庫Hive等工具及技術，使用Java、Python等開發語言，完成數據清洗、數據存儲、數據轉化、數據分析及數據推送等一系列大數據操作；4. 綜合運用HTML、CSS、JavaScript

4、等開發語言，結合Echarts數據可視化組件，對數據進行可視化呈現；5. 根據數據可視化結果，完成數據分析報告的編寫；6. 競賽時間4小時，競賽連續進行。競賽內容構成如下：考核環節考核知識點和技能點平臺組件配置Flume基本配置Flume Agent配置數據采集（Python）使用工具（Chrome開發者工具）查看網頁源碼，分析網頁結構，明確數據采集對象數據采集網絡請求構建采集數據解析及關鍵數據提取本地目錄操作、文件創建、讀寫數據清洗（Java、LinuxShell）HDFS數據文件讀取、解析、清洗過濾，分區MapReduce程序的編譯、打包、發布執行MapReduce程序，完成數據清洗數據存

5、儲分析（Linux Shell）Hive建庫、建表Hive數據加載HQL編寫、數據查詢統計Sqoop數據推送數據可視化（HTML、CSS、JavaScript）網頁后臺代碼編寫基于Echarts的數據可視化渲染編碼綜合分析文檔能力、數據分析能力競賽各階段分值權重和時間分布如下：階段競賽時間分值權重大數據組件配置4小時權重10%數據采集權重15%數據清洗權重20%數據存儲分析權重20%數據可視化權重20%數據分析報告權重10%團隊分工明確合理、操作規范、文明競賽權重5%六、競賽流程根據競賽任務要求，參賽隊伍在4小時競賽時間內須完成競賽任務，每項任務用時可自行掌握。競賽時間安排如下（具體以秩序冊為

6、準）。日期時間內容3月21日13：00-14：40各參賽隊報到15：00-15：40領隊會、賽前說明15：00-16：00選手熟悉賽場3月22日7：00-7：40參賽隊到侯考區報到，完成一次抽簽加密（競賽隊編號）7：20-7：40參賽隊完成二次抽簽加密（競賽工位號）7：40-8：00參賽隊進入競賽工位并領取競賽任務書8：00-12：00參賽隊正式比賽12：00-17：00裁判評分七、競賽規則1. 比賽時間為4個小時，比賽過程連續進行。2. 參賽隊的競賽工位號采用抽簽方式確定。賽題以任務書形式發放，競賽參考資料在賽前植入參賽選手的計算機，參賽隊根據任務書要求完成競賽任務。3. 賽項組委會統一布置

7、競賽需要的軟硬件環境。選手不得私自攜帶任何移動存儲、輔助工具、移動通信等進入賽場。4. 參賽選手報到當天可預先熟悉比賽場地，但不得進行現場練習。參賽選手按規定時間到達指定地點，憑參賽證、學生證和身份證（三證必須齊全）進入賽場。選手遲到10分鐘取消比賽資格。5. 各隊領隊和指導教師，在休息室休息。6. 參賽選手不得攜帶通訊工具和其它未經允許的資料、物品進入比賽場地，不得中途退場。如出現較嚴重的違規、違紀、舞弊等現象，經裁判組裁定取消比賽成績。7. 新聞媒體在賽場設定的媒體采訪區工作，并且聽從現場工作人員的安排和管理，不能影響比賽進行。8. 在競賽過程中，參賽選手如有疑問，應舉手示意，現場裁判應按

8、要求及時予以答疑。如遇設備或軟件等故障，參賽選手應舉手示意，現場裁判、技術人員等應及時予以解決。確因計算機軟件或硬件故障，致使操作無法繼續的，經裁判長確認，予以啟用備用設備。9. 比賽過程中，參賽選手須嚴格遵守操作標準和規范，保證自身安全，并接受裁判員的監督和警示；若因設備故障導致選手中斷或終止比賽，由裁判長視具體情況做出裁決。10. 參賽選手不得因各種原因提前結束比賽。如確因不可抗因素需要離開賽場的，須向現場裁判舉手示意，經裁判長許可并完成記錄后，方可離開。凡在競賽期間內提前離開的選手，不得返回賽場。11. 現場比賽結束，經裁判長確認后方可離開賽場。12. 競賽由評分裁判現場評分，經裁判長簽

9、字確認后予以公布，如有異議請直接向賽項仲裁工作組申請復核。13.參賽選手應嚴格遵守賽場紀律，服從指揮，著裝整潔，儀表端莊，講文明禮貌。各代表隊之間應團結、友好、協作，避免發生任何形式的矛盾。14. 其它未盡事宜，將在賽前向各領隊做詳細說明。八、競賽環境1. 競賽場地。競賽場地分為：競賽現場、裁判休息區、指導老師休息區、服務區。其中，競賽現場又劃分為：檢錄區、場內競賽區、技術支持區。2. 競賽設備。場內競賽區按照參賽隊數量準備比賽所需的軟硬件平臺，為參賽隊提供統一競賽設備和備用設備。選手無需自帶任何工具及附件。3. 競賽工位。競賽現場各個工作區配備單相220V/3A以上交流電源。每個比賽工位上標

10、明編號。4. 技術支持區。為技術支持人員提供固定工位、電源保障。5. 服務區。提供醫療等服務保障。6. 競賽場地應符合消防安全規定，現場消防器材和消防栓合格有效，應急照明設施狀態合格，賽場明顯位置張貼緊急疏散圖，賽場出入口專人負責。現場臨時用電滿足施工現場臨時用電安全技術規范JGJ46-2005的要求。競賽現場通風良好、照明需符合教室采光規范。九、技術規范本賽項的技術規范將包括：相關專業的教育教學要求、行業、職業技術標準，以及根據高職目錄修訂后的大數據技術與應用相關專業人才培養標準和規范，適時地修訂本賽項遵循的技術規范。（一）基礎標準標 準內 容GB/T 11457-2006信息技術、軟件工程

11、術語 GB8566-88計算機軟件開發規范GB/T 12991-2008信息技術數據庫語言SQL第1部分：框架GB/T 21025-2007XML使用指南GB/T 20009-2005信息安全技術數據庫管理系統安全評估準則已發布GB/T 20273-2006信息安全技術數據庫管理系統安全技術要求20100383-T-469信息技術安全技術信息安全管理體系實施指南（二）軟件開發標準標 準內 容GB/T 8566 -2001信息技術 軟件生存周期過程 GB/T 15853 -1995軟件支持環境 GB/T 14079 -1993軟件維護指南GB/T 17544-1998信息技術 軟件包 質量要求和

12、測試十、技術平臺（一）競賽設備設備類別數量設備用途基本配置競賽服務器每支參賽隊伍3臺。根據參賽團隊數量，配備10%的備份機器。離線分析平臺集群其中1臺性能相當于i5處理器，16G以上內存，1TB以上硬盤，網卡（千兆），顯示器要求1024*768以上；另外2臺性能相當于i5處理器，8G以上內存，1TB以上硬盤，網卡（千兆），顯示器要求1024*768以上。客戶端每支參賽隊伍3臺。根據參賽團隊數量，配備10%的備份機器。競賽選手比賽使用。性能相當于i5處理器，8G以上內存，1TB以上硬盤，顯示器要求1024*768以上。（二）軟件平臺采用四合天地大數據實訓管理系統V1.0（北京四合天地科技有限公司

13、研發）。（三）軟件環境設備類型軟件類別軟件名稱、版本號競賽服務器集群競賽環境大數據集群操作系統CentOS 7.4.1708 mini大數據分析平臺組件Hadoop 2.6.0Yarn 2.6.0Zookeeper 3.4.5Hive 1.1.0Flume 1.6.0開發客戶端PC操作系統Ubuntu16.04 64位瀏覽器Chrome開發語言Python 3.6.4 64bitJava 8開發工具Pycharm 2018.2.4（Community Edition）IDEA 2017.3（Community Edition）數據采集組件Requests 2.19.1數據可視化組件EChart

14、s 4.1.0文檔編輯器WPS linux版輸入法搜狗拼音輸入法 linux版虛擬機軟件VirtualBox 5.2.X linux版十一、成績評定（一）獎項設定競賽設參賽選手團體獎。獎項設置按參賽隊數量確定，其中一等獎10%，二等獎20%，三等獎30%。一、二、三等獎代表隊將獲得相應的獲獎證書。根據比賽成績確定代表浙江省參加全國職業院校技能競賽的隊伍，具體名額將根據教育部的要求確定。（二）評分標準制定原則競賽評分制定嚴格遵守公平、公正的原則，大數據技術與應用賽項評分采用賽項結果評分方法，始終貫徹落實競賽一貫堅持的公平、公正和公開原則。參與競賽成績管理的組織機構包括裁判組、監督組和仲裁組等。裁

15、判組實行“裁判長負責制”，設裁判長1名，全面負責競賽的裁判與管理工作。裁判員根據競賽工作需要分為檢錄裁判、加密裁判、現場裁判和評分裁判。檢錄裁判負責對參賽隊伍（選手）進行點名登記、身份核對等工作；加密裁判負責組織參賽隊伍（選手）抽簽并對參賽隊伍（選手）的信息進行加密、解密；現場裁判按規定做好賽場記錄，維護賽場紀律；評分裁判負責對參賽隊伍（選手）的技能展示、操作規范和競賽成果等按賽項評分標準進行評定。監督組對裁判組的工作進行全程監督，并對競賽成績抽檢復核。仲裁組負責接受由參賽隊領隊提出的對裁判結果的申訴，組織復議并及時反饋復議結果。（三）評分方法選手在完成任務之后，將任務完成結果拷貝至U盤中，由

16、參賽選手隊長簽字確認（簽工位號）。評分采取分步得分、錯誤不傳遞、累計總分的計分方式。不計參賽選手的個人得分，只記錄團體得分。參賽隊提交比賽任務結束請求或者在比賽時間終止后，不得再進行任何操作。否則，視為比賽作弊，給參賽隊記警告一次。在競賽過程中，選手如有不服從裁判判決、擾亂賽場秩序、舞弊等不文明行為，由裁判長按照規定扣減相應分數并且給予警告，情節嚴重的取消競賽資格，競賽成績記0分，隊員退出比賽現場。（四）評分細則任務考查點描述評分標準分值（分）環境配置（10分）組件與配置在已部署完成的大數據離線分析平臺集群的指定設備上完成數據采集組件Flume的配置，運行測試程序，確定配置正確。主要評分點包括

17、Flume Agent監聽端口配置、落地目錄內容配置、落地文件名稱前綴配置、落地文件大小配置、落地文件超時時間配置、能夠提交測試程序產生的Flume落地文件。10數據采集（15分）數據采集代碼編寫按照要求完成特定函數的編寫，使得數據采集程序能夠正常運行，將采集到的數據保存在文件中。主要評分點包括數據請求構建、數據解析、數據存儲、數據文件操作。15數據清洗（20分）數據清洗代碼編寫使用Java語言完成MapReduce程序的代碼編寫、程序打包發布并在服務器運行完成數據清洗工作，將清洗后的數據放置在指定路徑下主要評分點包括數據處理代碼編寫、Json數據解析、構建數據輸出格式、打包發布、數據清洗執行

18、。20數據分析（20分）數據分析代碼編寫將清洗后的數據加載到Hive數據倉庫中后，根據項目需求使用HQL語句，完成數據分析查詢，并將查詢結果導出為數據文件。主要評分點包括Hive建庫、Hive建表、HQL查詢。20數據可視化（20分）數據可視化代碼編寫通過編寫后臺數據訪問代碼完成數據可視化后臺開發，編寫前端Web界面，使用Echarts完成數據可視化。主要評分點包括可視化后臺代碼開發、可視化前端代碼開發、前端展示。20數據分析報告（10分）文檔編寫根據項目要求，以數據可視化結果為依據，得出數據分析結論，生成分析報告并提交。主要評分點包括能夠按照賽項要求編寫結論，能夠按照要求提出正確的建議。10

19、職業素養（5分）職業素養團隊分工明確合理、操作規范、文明競賽主要評分點包括：競賽團隊分工明確合理、操作規范、文明競賽。5（五）成績審核方法競賽結束后，由裁判長向裁判員核實競賽過程中有無異常。如無異常，成績單由裁判長簽字確認并封存直至公布成績時開啟。如有異常，在裁判長主持下，由專家組成員、裁判員、仲裁員和監督員共同處理。（六）成績公布方法競賽成績經復核無誤后，經裁判長、監督人員審核簽字后，以省教育廳最終公布結果為準。競賽結束后，如參賽隊對比賽成績有異議，提出異議申訴或仲裁，可按照相關規定進行申訴和仲裁，按照仲裁結果公布競賽成績。十二、賽項安全賽事安全是技能競賽一切工作順利開展的先決條件，是賽事籌

20、備和運行工作必須考慮的核心問題。賽項組委會采取切實有效措施保證競賽期間參賽選手、指導教師、裁判員、工作人員及觀眾的人身安全。（一）比賽環境1. 賽項組委會須在賽前組織專人對比賽現場、住宿場所和交通保障進行考察，并對安全工作提出明確要求。賽場的布置，賽場內的器材、設備，應符合國家有關安全規定。如有必要，也可進行賽場仿真模擬測試，以發現可能出現的問題。承辦單位賽前須按照組委會要求排除安全隱患。2. 嚴格控制與參賽無關的易燃易爆以及各類危險品進入比賽場地，不許隨便攜帶書包進入賽場。3. 配備先進的儀器，防止有人利用電磁波干擾比賽秩序。競賽現場需對賽場進行網絡安全控制，以免場內外信息交互，充分體現競賽

21、的嚴肅、公平和公正性。4. 競賽期間，承辦單位須在賽場管理的關鍵崗位，增加力量，建立安全管理日志。（二）生活條件1. 競賽期間，原則上由組委會統一安排參賽選手和指導教師食宿。承辦單位須尊重少數民族的信仰及文化，根據國家相關的民族政策，安排好少數民族選手和教師的飲食起居。2. 競賽期間安排的住宿地應具有賓館/住宿經營許可資質。以學校宿舍作為住宿地的，競賽期間的住宿、衛生、飲食安全等由賽項組委會和提供宿舍的學校共同負責。3. 賽項的安全管理，除了可以采取必要的安全隔離措施外，應嚴格遵守國家相關法律法規，保護個人隱私和人身自由。（三）組隊責任1. 各學校組織代表隊時，須安排為參賽選手購買競賽期間的人

22、身意外傷害保險。2. 各學校代表隊組成后，須制定相關管理制度，并對所有選手、指導教師進行安全教育。3. 各參賽隊伍須加強對參與競賽人員的安全管理，實現與賽場安全管理的對接。（四）應急處理競賽期間發生意外事故，發現者應第一時間報告賽項組委會，同時采取措施避免事態擴大。賽項組委會應立即啟動預案予以解決。賽項出現重大安全問題可以停賽。（五）處罰措施1. 因參賽隊伍原因造成重大安全事故的，取消其獲獎資格。2. 參賽隊伍有發生重大安全事故隱患，經賽場工作人員提示、警告無效的，可取消其繼續比賽的資格。3. 賽事工作人員違規的，按照相應的制度追究責任。情節惡劣并造成重大安全事故的，由司法機關追究相應法律責任

23、。十三、競賽須知（一）參賽隊須知1. 參賽隊名稱：統一使用規定的學校代表隊名稱，不使用其他組織、團體的名稱； 2. 參賽隊組成：每支參賽隊由3名參賽選手組成，須為同校在籍學生，其中隊長1名。每支參賽隊可配2名指導教師，指導教師須為本校教師。不接受跨校組隊，同一學校的報名參賽隊伍不超過1支；3. 各參賽院校應指定1名負責人任賽項領隊，全權負責該校參賽事務的組織、協調和領導工作。4. 參賽選手及指導教師在報名獲得確認后，原則上不再更換。如在籌備過程中，參賽選手和指導教師因故不能參賽，須由其所在學校供職部門于賽項開賽前10個工作日之前出具書面說明，經賽項組委會辦公室核實后予以更換。允許隊員缺席比賽；

24、允許指導教師缺席比賽。5. 參賽隊按照賽項競賽規程安排，憑賽項組委會頒發的參賽證和有效身份證件參加比賽及相關活動。6. 賽項組委會統一安排各參賽隊在比賽前一天進入賽場熟悉環境和設施情況。7. 參賽隊選手、領隊和指導教師要有良好的職業道德，嚴格遵守比賽規則和比賽紀律，服從裁判，尊重裁判和賽場工作人員，自覺維護賽場秩序。8. 領隊應負責賽事活動期間本隊所有選手的人身及財產安全，如發現意外事故，應及時向賽項組委會報告。9. 各學校組織代表隊時，須為參賽選手購買競賽期間的人身意外傷害保險。（二）領隊和指導教師須知1. 嚴格遵守賽場的各項規定，服從裁判，文明競賽。如發現弄虛作假者，取消參賽資格，名次無效

25、。2. 領隊和指導教師務必帶好有效身份證件，在活動過程中佩戴“指導教師證”參加競賽相關活動。3. 各代表隊領隊要堅決執行競賽的各項規定，加強對參賽人員的管理，做好賽前準備工作，督促選手帶好證件等競賽相關材料。4. 在比賽期間要嚴格遵守比賽規則，不得私自接觸裁判人員。5. 競賽過程中，未經裁判許可，領隊、指導教師及其他人員一律不得進入競賽現場。6. 如對競賽過程有疑議，由領隊和指導教師負責以書面形式向賽項仲裁委員會反映，但不得影響競賽進行。7. 對申訴的仲裁結果，領隊要帶頭服從和執行，并做好選手工作。參賽選手不得因申訴或對處理意見不服而停止競賽，否則以棄權處理。8. 領隊和指導老師應及時查看有關

26、賽項的通知和內容，認真研究和掌握本賽項競賽的規程、技術規范和賽場要求，指導選手做好賽前的一切技術準備和競賽準備。（三）參賽選手須知1. 參賽選手應嚴格遵守賽場規章、操作規程和工藝準則，保證人身及設備安全，接受裁判員的監督和警示，文明競賽。2. 參賽選手應按照規定時間抵達賽場，憑身份證、學生證，以及統一發放的參賽證，完成入場檢錄、抽簽確定競賽工位號，不得遲到早退。3. 參賽選手憑競賽工位號進入賽場，不允許攜帶任何電子設備及其他資料、用品。4. 參賽選手應在規定的時間段進入賽場，認真核對競賽工位號，在指定位置就座。5. 參賽選手入場后，迅速確認競賽設備狀況，填寫相關確認文件，并由參賽隊長確認簽字（

27、競賽工位號）。6. 參賽選手在收到開賽信號前不得啟動操作。在競賽過程中，確因計算機軟件或硬件故障，致使操作無法繼續的，經裁判長確認，予以啟用備用計算機。7. 參賽選手應在競賽規定時間內完成任務書內容，并按照要求，將相應文檔拷貝到U盤。8. 參賽選手需及時保存工作記錄。對于因各種原因造成的數據丟失，由參賽選手自行負責。9. 參賽隊所提交的答卷采用競賽工位號進行標識，不得出現地名、校名、姓名、參賽證編號等信息，否則取消競賽成績。10. 競賽過程中，因嚴重操作失誤或安全事故不能進行比賽的（例如因操作原因發生短路導致賽場斷電的、造成設備不能正常工作的），現場裁判有權中止該隊比賽。11. 在比賽中如遇非

28、人為因素造成的設備故障，經裁判確認后，可向裁判長申請補足排除故障的時間。12. 參賽選手不得因各種原因提前結束比賽。如確因不可抗因素需要離開賽場的，須向現場裁判舉手示意，經裁判長許可并完成記錄后，方可離開。凡在競賽期間內提前離開的選手，不得返回賽場。13. 競賽操作結束后，參賽選手需要根據任務書要求，將相關成果文件拷貝至U盤，填寫結束比賽相關確認文件，并由參賽隊長簽字確認（競賽工位號）。因參賽選手未能按要求，將相應的文檔等拷貝至U盤的，競賽成績計為零分。14. 競賽時間結束，選手應全體起立，停止操作。將資料和工具整齊擺放在操作平臺上，經工作人員清點后可離開賽場，離開賽場時不得帶走任何資料。15. 在競賽期間，未經組委會批準，參賽選手不得接受其他單位和個人進行的與競賽內容相關的采訪。參賽選手不得將競賽的相關信息私自公布。16. 符合下列情形之一的參賽選手，經裁判組裁定后中止其競賽:（1）不服從裁判員/監考員管理、擾亂賽場秩序、干擾其他參賽選手比賽，裁判員應提出警告，二次警告后無效，或情節特別嚴重，造成競賽中止的，經裁判長確認，中止比賽，并取消競賽資格和競賽成績。（2）競賽過程中，由于選手人為造成計算機、儀器設備及工具等嚴重損壞，負責賠償其損失，并由裁判組裁定其競賽結束與否、是否保留競賽資格、是否累計其有效競賽成績。（3）競賽過程中，產生重大安全事故、或