單元教學活動設計二級學院信息工程學院專業大數據技術設計者許慧課程名稱大數據挖掘與分析學年學期2授課類型□理論型，√理實一體型，□實踐型單元名稱單元1.大數據分析概述班級大數據技術1、2人數教材來源自編教材授課學時4學生學習條件分析1.起點分析：(1)學生具備Linux相關操作、大數據基礎運維的基本技能；(2)學生具備自主學習能力，能主動查閱資料預習。2.重點分析：(1)大數據分析的相關工具。(2)大數據分析可視化的概念及相關工具。3.難點分析：(1)SparkSQL的運行架構。(2)Catalyst查詢編譯器的工作流程。教學方法手段1.教學方法：講授法、討論法。2.教學手段：實例講解演示。教學資源1.個人資源：教材、教學PPT與相關素材2.學校資源：一體化教室、超星平臺中的公共資源3.網絡、社會或出版社資源：多媒體課件、網上教學資源、精品課網站能力指標掌握大數據分析基礎知識C1養成良好的自我管理素養B1提升學生溝通交流、小組協作能力E2教學目標知識1.了解大數據分析的概念、特點、類別、優缺點。2.知道大數據分析的相關工具3.了解大數據分析可視化的概念及相關工具。4.了解SparkSQL的背景、特點。能力1.知道SparkSQL的運行架構2.掌握Catalyst查詢編譯器的工作流程。素質1.養成良好的自我管理素養2.提升溝通交流、小組協作能力教師課前準備1.準備好一體化機房，保證機器正常運轉，安裝好軟件。2.準備好授課PPT，完成所有案例設計，熟練示范操作的過程。3.設計學生要完成的任務。4.設計好教學環節。5.服裝大方，自然得體。學生課前準備查閱資料，預習教材活動歷程一、準備活動1.活躍課堂氣氛，自我介紹，學習通簽到、點名。2.課程定位，課程教學內容安排與考核方式介紹。3.課程主要學習內容、學習方法介紹。二、發展活動1．關于大數據分析情境導入；2．學習目標和要求；3．提問：什么是大數據分析？大數據的“5V”特征大數據分析概念大數據分析的特點大數據分析類別大數據分析的優勢與缺點4．提問：大數據分析工具有哪些？Hadoop生態圈中的大數據分析工具大數據分析編程語言其他工具5.關于大數據分析可視化。三、課堂小結大數據分析概述、工具和可視化。——第1、2節結束——一、準備活動1.活躍課堂氣氛，學習通簽到、點名。2.認識SparkSQL情境導入。3.學習目標和要求。二、發展活動1.SparkSQL背景簡介SparkSQL的背景SparkSQL的特點2.SparkSQL運行原理。SparkSQL的運行架構Catalyst查詢編譯器SparkSQL的運行原理SessionCatalog保存元數據ANTLR生成未綁定的邏輯計劃Analyzer綁定邏輯計劃Optimizer優化邏輯計劃SparkPlanner生成可執行的物理計劃CostModel選擇最佳物理執行計劃execute執行物理計劃三、課堂小結與作業布置1．小結：本次課程學習重點，學習過程中出現的問題與解決方法。2．布置：完成第1章課后練習。——第3、4節結束——學習評量課堂練習中巡視指導課后作業紙筆作業：完成第1章課后練習題。教學后記目標或能力指針達成度、學習表現、內容、方法、資源、業師協同等向度1.目標或能力指標達成度全班80%學生達到了教學目標和能力指標。2.學習表現課內預習階段發現學生預習時個別同學沒有帶書，大部分同學沒有帶筆和筆記本，閱讀習慣有待改進。

單元教學活動設計二級學院信息工程學院專業大數據技術設計者許慧課程名稱大數據挖掘與分析學年學期2授課類型□理論型，√理實一體型，□實踐型單元名稱單元2.實踐環境準備班級大數據技術1、2人數教材來源自編教材授課學時6學生學習條件分析1.起點分析：(1)了解大數據分析概述、工具和可視化；(2)知道SparkSQL背景和運行原理。2.重點分析：(1)Hadoop集群環境搭建。(2)Spark集群安裝搭建。(3)Scala下載、安裝和配置3.難點分析：(1)Hadoop集群環境搭建。(2)Spark集群安裝搭建。教學方法手段1.教學方法：講授法、討論法。2.教學手段：實例講解演示。教學資源1.個人資源：教材、教學PPT與相關素材2.學校資源：一體化教室、超星平臺中的公共資源3.網絡、社會或出版社資源：多媒體課件、網上教學資源、精品課網站能力指標掌握Hadoop和Spark集群的安裝部署C1養成良好的自我管理素養B1提升學生溝通交流、小組協作能力E2教學目標知識1.了解Hadoop、Spark和Scala的基礎知識。能力1.掌握Hadoop集群環境搭建的環境準備工作，包括配置主機名、防火墻設置、免密登錄設置、Java環境設置。2.掌握安裝Hadoop的過程、配置文件設置及啟動集群的方法。3.掌握Spark集群安裝配置方法。4.能使用Spark-shell進行簡單編程測試。5.會下載、安裝配置Scala工具。6.能啟動Scala進行編程測試。素質1.養成良好的自我管理素養2.提升溝通交流、小組協作能力教師課前準備1.準備好一體化機房，保證機器正常運轉，安裝好軟件。2.準備好授課PPT，完成所有案例設計，熟練示范操作的過程。3.設計學生要完成的任務。4.設計好教學環節。5.服裝大方，自然得體。學生課前準備查閱資料，預習教材活動歷程一、準備活動1.活躍課堂氣氛，學習通簽到、點名。二、發展活動1．Hadoop集群環境搭建情境導入；2．學習目標和要求；3．操作演示Hadoop集群搭建集群節點規劃配置主機名和IP連接MobaXterm終端工具關閉防火墻關閉SElinux修改/etc/hosts文件配置免密登錄配置Java環境安裝Hadoop啟動Hadoop集群4．運行經典案例wordcount在本地root目錄下創建一個txt文件，輸入一段自定義文字。上傳文本到到hdfs。運行命令并查看結果三、課堂小結Hadoop集群搭建知識與技能回顧。——第1、2節結束——一、準備活動1.活躍課堂氣氛，學習通簽到、點名。2.Spark集群部署與使用情境導入。3.學習目標和要求。二、發展活動1.Spark安裝上傳軟件包修改環境變量修改Spark配置文件復制修改spark啟動腳本分發Spark安裝文件到slaver01和slaver02。2.啟動Spark。查看各節點服務進程狀態Web查看Spark主頁情況3.Spark集群測試使用spark-submit工具提交Spark作業使用Spark-sql使用Sparkshell三、課堂小結小結：本次課程學習重點，學習過程中出現的問題與解決方法。——第3、4節結束——一、準備活動1.活躍課堂氣氛，學習通簽到、點名。2.Scala安裝情境導入。3.學習目標和要求。二、發展活動1.下載Scala安裝包2.安裝配置上傳安裝包并解壓配置環境變量，添加Scala相關配置使環境變量生效，查看Scala版本啟動Scala三、課堂小結1．小結：本次課程學習重點，學習過程中出現的問題與解決方法。2．布置：完成第1章課后練習。——第5、6節結束——學習評量課堂練習中巡視指導課后作業紙筆作業：完成第2章課后練習題。教學后記目標或能力指針達成度、學習表現、內容、方法、資源、業師協同等向度1.目標或能力指標達成度全班80%學生達到了教學目標和能力指標。2.學習表現課內預習階段發現學生預習時個別同學沒有帶書，大部分同學沒有帶筆和筆記本，閱讀習慣有待改進。單元教學活動設計二級學院信息工程學院專業大數據技術設計者許慧課程名稱大數據挖掘與分析學年學期2授課類型□理論型，√理實一體型，□實踐型單元名稱單元3.學生信息處理分析班級大數據技術1、2人數教材來源自編教材授課學時16學生學習條件分析1.起點分析：(1)了解大數據分析概述、工具；(2)掌握基本的程序編寫語言。2.重點分析：Scala語言基礎。3.難點分析：能綜合應用Scala基礎知識編寫應用程序進行數據分析。。教學方法手段1.教學方法：講授法、討論法。2.教學手段：實例講解演示。教學資源1.個人資源：教材、教學PPT與相關素材2.學校資源：一體化教室、超星平臺中的公共資源3.網絡、社會或出版社資源：多媒體課件、網上教學資源、精品課網站能力指標掌握Scala基礎語言和編程C1養成良好的自我管理素養B1提升學生溝通交流、小組協作能力E2教學目標知識1.理解Scala數據類型、常量與變量、運算符。2.了解Scala類和對象、模式匹配的基本概念。能力1.掌握Scala判斷與循環、函數式編程。2.掌握Scala集合操作。3.掌握Scala類和對象、模式匹配的定義及操作方法。素質1.養成良好的自我管理素養2.提升溝通交流、小組協作能力教師課前準備1.準備好一體化機房，保證機器正常運轉，安裝好軟件。2.準備好授課PPT，完成所有案例設計，熟練示范操作的過程。3.設計學生要完成的任務。4.設計好教學環節。5.服裝大方，自然得體。學生課前準備查閱資料，預習教材活動歷程一、準備活動1.活躍課堂氣氛，學習通簽到、點名。二、發展活動1．班級基本情況分析情境導入；2．學習目標和要求；3．數據類型Scala與Java的數據類型相同，但是Scala中的數據類型都是對象即Scala沒有java中的原生類型。因此Scala可以對數字等基礎類型調用方法。4．常量與變量定義方法。數據類型推斷。多變量聲明5.運算符算數運算符關系運算符邏輯運算符位運算符賦值運算符6.數組聲明與定義方式基本操作方法三、課堂小結Scala數據類型、常量與變量、運算符、數組小結。——第1、2節結束——一、準備活動1.活躍課堂氣氛，學習通簽到、點名。2.學習目標和要求。二、發展活動1.判斷與循環if判斷if語句的語法格式如下：if(判斷條件){//如果判斷條件為true則執行該語句塊}if…else語句語法格式如下：if(判斷條件){//如果判斷條件為true則執行該語句塊}else{//如果判斷條件為false則執行該語句塊}if…elseif…else語句語法格式如下：if(判斷條件1){//如果判斷條件1為true則執行該語句塊}elseif(判斷條件2){//如果判斷條件2為true則執行該語句塊}else{//如果以上判斷條件都為false執行該語句塊}if...else嵌套語句語法格式如下：if(判斷條件1){//如果判斷條件1為true則執行該語句塊if(判斷條件2){//如果判斷條件2為true則執行該語句塊}}循環while循環語法格式如下：while(條件表達式){代碼塊}\o"CScala+do...while循環"do...while循環語法格式如下：do{代碼塊}while(條件表達式)\o"CScala+for循環"for循環的語法格式如下for(varx<-range){代碼塊}三、課堂小結小結：本次課程學習重點，學習過程中出現的問題與解決方法。——第3、4節結束——一、準備活動1.活躍課堂氣氛，學習通簽到、點名。2.學習目標和要求。二、發展活動1.函數式編程函數的定義和調用def函數名[參數列表]:[返回值類型]={函數體return[表達式]}函數調用的方法如下：函數名[參數列表]匿名函數匿名函數是指不含函數名稱的函數。使用“=>”定義，“=>”的左邊為參數列表，“=>”右邊為函數體表達式。高階函數高階函數是指使用其他函數作為參數，或者使用函數作為輸出結果的函數。閉包閉包是一個函數，是可以訪問一個函數里面局部變量的另外一個函數。函數柯里化函數編程中，接受多個參數的函數都可以轉化為接受單個參數的函數，這個轉化過程就是柯里化。柯里化本身也用到了閉包。嵌套函數嵌套函數即在函數內部定義函數，其中內部函數稱為局部函數。2.學生所屬班級和男女生數量——編程分析實現判斷學生所屬班級統計男女生人數信息三、課堂小結小結：本次課程學習重點，學習過程中出現的問題與解決方法。——第5、6節結束——一、準備活動1.活躍課堂氣氛，學習通簽到、點名。2.學習目標和要求。二、發展活動1.列表定義方法列表的常用操作2.Set集合定義Set集合Set的基本操作三、課堂小結Scala列表與Set集合小結。——第7、8節結束——一、準備活動1.活躍課堂氣氛，學習通簽到、點名。2.學習目標和要求。二、發展活動1.元組定義元組的語法一：valtuple=(元素1,元素2,元素3…)定義元組的語法二：valt=newTuplen(元素1,元素2,元素3...元素n)2.Map映射映射定義映射的常用操作三、課堂小結Scala元組與Map映射小結。——第9、10節結束——一、準備活動1.活躍課堂氣氛，學習通簽到、點名。2.學習目標和要求。二、發展活動1.函數組合器組合器包括map、filter、foreach、groupBy、flatten、drop、zip等。2.以班級為單位整理學生信息——編程分析實現以班級為單位整理學生信息，可以先將數據保存到列表中，然后使用groupBy組合器以班級為條件進行分組。三、課堂小結函數組合器小結。——第11、12節結束——一、準備活動1.活躍課堂氣氛，學習通簽到、點名。二、發展活動1．學生基本情況獲取情境導入；2．學習目標和要求；3.類和對象類的定義方式如下：Class類名稱(參數列表){//定義類的字段和方法}繼承的語法如下：class子類名extends父類名{類體}4.單例對象和伴生對象單例對象定義一個單例對象的語法如下：objec