附件2深圳市第十二屆職工技術創新運動會暨2022年深圳技能大賽—大數據技術應用職業技能競賽技術文件深圳市第十二屆職工技術創新運動會暨2022年深圳技能大賽大數據技術應用職業技能競賽執委會2022年8月———一、技術描述（一）競賽項目大數據技術應用。（二）理論知識與能力要求權重比例理論知識大數據平臺基礎1.分布式系統基礎架構Hadoop及其核心組件知識2.分布式計算框架Spark及其核心組件知識30%數據分析與挖掘基礎1.Python基本語法，數據結構運用和程序流程控制等知識2.函數的語法、調用、參數以及自定義函數的編程實現知識3.正則表達式的字符獲取、匹配與替換知識4.不同形式的文件/數據讀取與存儲知識5.Numpy數值計算基礎知識6.Pandas統計分析基礎知識7.Pandas數據預處理知識網絡爬蟲1.爬蟲發展歷史、概念與反爬機制等知識2.網絡信息傳輸過程、HTTP與Cookie的概念與作用3.爬蟲環境、爬蟲基本流程與網頁前端知識4.靜態網頁與動態網頁的爬蟲常用技術應用知識5.模擬登錄基本流程數據可視化1.Matplotlib可視化圖形繪制運用知識2.Pyecharts可視化圖形繪制運用知識機器學習原理1.機器學習概念、基本流程與應用場景等知識2.機器學習的常用工具與相關庫3.基礎的聚類算法思想與模型搭建過程的知識4.基礎的分類算法思想與模型搭建過程的知識5.聚類與分類模型的評估方法的知識能力要求大數據平臺搭建具備在Linux下安裝Java并搭建完全分布式Hadoop集群的能力70%大數據信息采集具備運用Python網絡爬蟲技術采集指定網頁信息，存儲采集數據的能力大數據清洗與挖掘具備使用IDEA編寫Scala代碼，從HDFS加載數據，并結合Spark技術實現基礎的數據清洗操作，存儲清洗后的數據的能力大數據分析與可視化具備運用Python數據挖掘與可視化知識對數據進行統計與基本圖形繪制的能力大數據建模與評估具備運用Python機器學習知識實現數據建模與評估的能力合計100%二、賽題與評判標準（一）初賽1.初賽理論知識復習資料于報名開始后在/→技能競賽→技能競賽總覽欄目對應項目下公布300個知識點。2.賽前一天由裁判長根據公布的知識點編制初賽賽題，并封存保管。3.競賽當天由裁判長現場解封初賽賽題并導入競賽系統。（二）決賽1.決賽樣題于報名結束后在/→技能競賽→技能競賽總覽欄目對應項目下公布。2.根據公布的樣題進行編制決賽正式賽題，并封存保管3.競賽當天由裁判長現場解封正式賽題并組織裁判培訓及設備調試。（三）比賽時間及內容參照廣東省第二屆職業技能大賽大數據技術應用賽項標準，結合新時代行業企業發展情況，適當增加新知識、新技術、新設備、新技能的相關內容，由執委會組織專家制定。本次競賽為單人賽，分初賽和決賽兩個階段進行，由裁判長組織落實各項技術工作。初賽為理論知識競賽，決賽為實際操作競賽。1.初賽。采用理論知識上機考核，取排名前60名選手進入決賽。時間共60分鐘，滿分為100分，60分為合格。題型為單選題50題，每題1分；多選題10題，每題3分；判斷題20題，每題1分；各題型錯選、多選或少選均不得分。2.決賽。選手按賽場提供的實操任務書在競賽專用云主機上以現場實際操作的方式完成五個任務的實際操作，時間共240分鐘。滿分為100分，60分為合格。具體內容如下：任務一：根據提供的安裝包，按照題目要求在Linux下安裝Java并搭建完全分布式Hadoop集群。該任務主要考核選手分布式系統基礎架構Hadoop相關知識和搭建完全分布式Hadoop集群能力。任務二：按照題目要求，基于Python語言，運用requests、lxml、BeautifulSoup、Selenium等相關庫采集指定網頁信息并存儲采集數據。該任務主要考核選手使用網頁信息爬取技術和數據處理、存儲的能力。任務三：按照題目要求，使用IDEA編寫Scala代碼，從HDFS加載數據，并結合Spark技術實現基礎的數據清洗操作，存儲清洗后的數據。該任務主要考核選手使用Spark技術實現數據加載、清洗和存儲的能力。任務四：按照題目要求，基于Python語言，運用Pandas、NumPy、Matplotlib、Pyecharts等相關庫，對數據進行統計與基本圖形繪制。該任務主要考核選手對數據統計分析和可視化常用工具及技術熟練使用的能力。任務五：按題目要求，基于Python語言，運用Pandas、NumPy、sklearn等相關庫實現數據建模與評估。該任務主要考核選手合理運用算法與模型的能力，能調用模型完成訓練與預測且能實現模型評估操作。（四）評判標準1.初賽評分標準。采用上機考核，由競賽系統自動判分，各題型錯選、多選或少選均不得分；單選題共50題，每題1分；多選題共10題，每題3分；判斷題共20題，每題1分。2.決賽評分標準。競賽內容評分標準占比大數據平臺搭建1.JDK正確部署2.Hadoop集群正確部署25%大數據信息采集1.運用Python相關庫采集指定網頁信息2.采集數據滿足題目要求的數量3.采集數據存放于DataFrame，并更改列名4.將采集數據存儲為csv文件或Excel文件20%大數據清洗與挖掘1、在HDFS上實現上傳、讀取文件等操作2、結合Spark框架，在IDEA編寫Scala代碼實現數據清洗操作3、編寫Scala代碼完成數據集DataFrame以csv格式導出至指定路徑20%大數據分析與可視化1、運用Python的Pandas、NumPy等庫實現數據統計2、運用Python的Matpltlib、Pyecharts等庫繪制指定可視化圖形20%大數據建模與評估1、運用Python的Pandas、NumPy等庫完成數據處理，如類型轉換、特征編碼、數據標準化2、運用Python的sklearn庫實現數據集劃分3、運用Python的sklearn庫實現模型構建與模型評估15%3.評判方法。（1）參賽選手的成績評定由競賽裁判組負責，裁判長對最終成績簽字確認。（2）初賽理論知識競賽由競賽系統自動判分。（3）決賽實際操作競賽由現場裁判組依據參賽選手的實際操作情況按競賽評分標準集體評判和計分。4.綜合排名。選手最終名次依據初賽和決賽兩部分成績按比例累加的綜合成績進行排名，成績均四舍五入保留兩位小數點。其中初賽成績占30%、決賽成績占70%，參賽選手賽后綜合成績=初賽成績×30%+決賽成績×70%。當綜合成績相同時，以決賽成績高者名次在前，若仍相同時，決賽用時短者名次在前。三、競賽細則（一）初賽時間地點。時間：2022年9月24日。地點：廣東省深圳市龍崗區五聯社區將軍帽路1號深圳技師學院。（二）決賽時間地點時間：2022年9月25日。地點：廣東省深圳市龍崗區五聯社區將軍帽路1號深圳技師學院。（三）理論知識競賽守則1.參賽證由執委會于競賽開始前統一核發。2.參賽選手需提前20分鐘憑有效身份證和參賽證進入賽場，對號入座并將身份證和參賽證放在座位左上角明顯位置，以備查驗。遲到20分鐘不得入場，開賽20分鐘后方可交卷離場。3.參賽選手不能攜帶與競賽相關的文件資料、通訊工具進入賽場。在賽場上應自覺遵守賽場秩序，保持安靜，競賽進行過程中不允許任何形式的交談，更不得大聲喧嘩吵鬧，否則將給予警告直至取消競賽資格。4.冒名頂替、弄虛作假、作弊者，取消競賽資格及成績。5.競賽規定時間結束時，參賽選手應立即停止答題，有秩序的離開賽場。（四）實際操作競賽賽場守則1.實際操作競賽選手的出場順序和實操臺位置由抽簽決定。2.參賽選手需提前20分鐘憑有效身份證和參賽證進入賽場，對競賽工具設備進行檢查。3.開賽遲到30分鐘以上者，按自動棄權處理。4.參賽選手按賽題完成各競賽項目，并主動配合裁判員評分。5.參賽選手應嚴格遵守賽場紀律，所有的通訊工具、攝像工具不得帶入競賽現場，對競賽設施設備應愛護，防止丟失和損壞。6.冒名頂替、弄虛作假、作弊者，取消競賽資格及成績。7.參賽選手須嚴格遵守安全操作規程及勞動保護要求，接受裁判員、現場技術服務人員的監督和警示，確保設備及人身安全。8.在實際操作競賽過程中，裁判應對每名參賽選手的各道工序認真記錄，并填寫評分表。9.競賽過程中如果出現安全事故，裁判員應立即中止競賽。如查實事故責任屬參賽選手，即取消參賽選手競賽資格。（五）賽場規則1.各類賽務人員必須統一佩戴由大賽執委會簽發的相應證件，著裝整齊。2.各賽場除現場裁判、賽場配備的工作人員以外，其他人員未經允許不得進入賽場。3.新聞媒體等進入賽場必須經過大賽執委會允許，并且聽從現場工作人員的安排和管理，不能影響競賽進行。4.各參賽隊的領隊、指導老師以及隨行人員一律不得進入賽場。5.競賽期間，參賽選手未經大賽執委會批準，不得接受其他單位和個人對競賽相關內容的采訪。6.參賽選手不得私自公布競賽相關資料和情況。7.競賽過程中，參賽選手必須主動配合裁判工作，服從裁判安排，如果對競賽的裁決有異議，可按規定以書面形式向執委會申訴受理組提出申訴。8.競賽現場必須配備實時監控系統，對現場賽事進行完整的實時監控和錄像，并有專人對競賽環節進行全程錄像。（六）賽事安全要求1.賽場設有安全防衛人員，負責競賽期間安全事務。主要包括檢查競賽場地及其周圍環境的安全防衛；制定緊急應對方案；督導競賽場地用電等相關安全問題；監督參賽人員食品安全與衛生；分析和處理安全突發事件等工作。賽場配備醫務人員及常規藥品。2.嚴格按照安全應急預案加強對競賽全過程的動態管理，確保競賽活動安全有序。（七）申訴與仲裁1.參賽選手認為賽場提供的設備、工具不符合規定或工作人員存在違規行為的，均可向執委會申訴受理組提出申訴。2.現場申訴最遲應在競賽結束后1小時內提出，超過時效將不予受理。申訴時，應以書面形式向申訴受理組提出，技術問題由裁判長與裁判員共同商議解決；非技術問題由組委會辦公室進行調查、核實、裁決。3.組委會辦公室對違規行為做出的裁決為最終裁決。參賽選手不得因對仲裁處理意見不服而停止比賽或滋事，否則按棄權處理。4.如競賽出現不可預見的異常情況，由組委會辦公室與執委會商議后，做出處理決定。四、競賽場地、設施設備（一）賽場規格1.初賽。參照計算機類工種職業技能鑒定要求布置賽場，配備與參賽人數相適應的計算機及競賽答題軟件，保證單人單機并留有一定數量的備用機。2.決賽。競賽工位：各工位之間設置隔板，確保每個工位為相對獨立空間，每個工位標示編號，并配備電腦桌1張、座椅1把、計算機1臺并安裝了所需軟件。競賽場地光線充足，照明良好；供電供氣設施正常且安全有保障；場地整潔；場地布置60個工位，備用2個工位。有獨立的裁判室、候賽室、賽務室、隔離室等區域。（二）場地布局圖（三）設施清單1.初賽。本賽項禁止攜帶有存儲功能的設備，禁止在競賽用PC機上安裝任何軟件，也不允許將賽場提供的參賽設施帶出賽場。序號名稱型號規格參數數量1高性能PC機主機參數：i7-117008G256GB+1TB集顯操作系統：Windows11家庭版顯示器：23.8寸1502鍵盤、鼠標標準1503瀏覽器Chrome版本：100或以上2.決賽。本賽項禁止攜帶有存儲功能的設備，禁止在競賽用PC機上安裝任何軟件，也不允許將賽場提供的參賽設施帶出賽場。序號名稱型號規格參數數量1高性能PC機主機參數：i7-117008G256GB+1TB集顯操作系統：Windows11家庭版顯示器：23.8寸622鍵盤、鼠標標準623瀏覽器Chrome版本：100或以上本賽項賽題涉及如下環境，已在競賽環境中提前部署。序號賽題編號環境1賽題1CentOS7.9，火狐瀏覽器2賽題2、4、5Anaconda3（Python3.8.5,JupyterNotebook）、火狐瀏覽器/Chrome瀏覽器pandas==1.1.3、numpy==1.18.5、lxml==4.6.2、requests==2.25.1、selenium==3.4.0、beautifulsoup4==4.9.3、matplotlib==3.3.2、pyecharts==1.9.0、scikit-learn==0.23.23賽題3CentOS7.9，Hadoop3.1.4、IDEA2022.2、Spark3.2.1、Scala2.12.16五、主要參考資料1.《大數據工程技術人員國家職業技術技能標準（2021年版）》，職業編碼：2-02-10-112.張軍，張良均．Hadoop大數據開發基礎（第2版）（微課版）[M]．北京：人民郵電出版社．2021．3.肖芳，張良均．Spark