《大數據技術與應用》教案

《大數據技術與應用》

教案

20XX～20XX學年第X學期

學院（部）：

教研室（系）：

授課班級：

課程學分：

課程學時：

課程周學時：

使用教材：大數據技術與應用-微視頻版

1/19

《大數據技術與應用》教案

周次1第1次課學時2

章節名稱第1章大數據概論

授課形式理論課■案例討論課□實驗課□習題課□其他□

掌握大數據分析的過程，技術及工具

教學目的及熟悉大數據的概念及特征

要求熟悉大數據的當前應用及前景發展

大數據采集方式

教學重點大數據存儲技術

大數據分析技術

●大數據特征的理解和大數據分析處理的過程

教學難點

大數據基本概念

大數據的特征

教學內容大數據的分析過程，涉及大數據的采集，存儲以及分析。

大數據的具體應用和大數據的發展前景

1、教學方法：

（1）介紹/演示大數據的基本概念和特征

（2）示例說明大數據的特征的類型，加強概念的理解。

教學方法與（3）示例說明使用大數據分析過程的步驟以及各自的類型

手段設計

（4）示例說明大數據與人工智能的關系，以及大數據的發展應用前

景

2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關大數據的發展背景或前景可以學生討論回答

（3）ppt的播放做到適時呈現、對過程有動態演示。

2/19

《大數據技術與應用》教案

思考題

第1章課后習題

和作業

實驗內容無

周次2第2次課學時2+2

章節名稱第2章大數據集群系統基礎

授課形式理論課■案例討論課□實驗課■習題課□其他□

熟悉大數據集群概念及系統組成

教學目的及熟悉Linux操作系統以及常用指令

要求

熟悉虛擬技術

掌握大數據集群部署

教學重點

VMwareWorkstation、CentOS7、SecureCRT的安裝和使

用

教學難點●使用三臺服務器作為集群節點，部署網絡配置、安全配置、時

間同步及實現登錄

大數據集群系統的概述及分類，集群的目的

Linux系統簡介與特性

安裝Linux

熟悉Linux常用命令，目錄操作，文件瀏覽查找以及歸檔，系

統類，網絡類，進程類等命令

教學內容

虛擬化技術簡介、原理及優勢劣勢

熟悉常見的虛擬化軟件，如VirtualBox，VMwareWorkstat

ion，KVM等

CentOS大數據集群系統的組成，架構

操作實踐：大數據集群的部署

3/19

《大數據技術與應用》教案

1、教學方法：

（1）介紹大數據集群系統的原理，組成，架構；

教學方法與

（2）演示使用Linux系統命令行進行集群的部署。

手段設計

2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關集群部署時，通過示例演示完成；

（3）ppt的播放做到適時呈現、對過程有動態演示。

思考題

第2章課后習題

和作業

實驗內容（1）完成課本實例集群的部署；（2）熟悉Linux系統的命令行操作

周次3第3次課學時2+2

章節名稱第3章Hadoop分布式系統

授課形式理論課■案例討論課□實驗課■習題課□其他□

了解Hadoop系統及其優點

教學目的及

熟悉Hadoop原理及運行機制

要求

安裝配置Hadoop環境并運行Hadoop

在Java環境下實現Hadoop安裝與配置

教學重點

在VMware下使用配置好的環境運行Hadoop

教學難點

●使用集成開發環境VMware執行Hadoop

4/19

《大數據技術與應用》教案

Hadoop系統的發展歷程及其優點的介紹

Hadoop原理的介紹

HDFS，MapReduce組件的介紹

教學內容

使用VMware安裝配置Hadoop運行環境

使用VMware和命令行編寫來執行Hadoop

在線幫助和相關資源

1、教學方法：

（1）介紹/演示Hadoop的運行環境

教學方法與

（2）示例說明使用VMware執行Hadoop

手段設計

2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關編寫和執行Hadoop時，通過示例演示；

（3）ppt的播放做到適時呈現、對過程有動態演示。

思考題

第3章復習題：填空題&思考題

和作業

實驗內容熟悉Hadoop運行環境

5/19

《大數據技術與應用》教案

周次4第4次課學時2+2

章節名稱第4章HDFS分布式文件系統

授課形式理論課■案例討論課□實驗課■習題課□其他□

熟悉HDFS的常規操作

教學目的及

要求

完成在Eclipse開發環境下進行HDFS的操作實踐

HDFS的設計前提與目標，及架構組成

教學重點

利用Eclipse進行操作實踐

●HDFS的原理、數據讀寫的原理

教學難點●在Eclipse環境下，對HDFS進行目錄創建刪除，列目錄以及文

件的上傳下載

HDFS的介紹

HDFS的設計前提與目標

Namenode和Datanode

文件系統的名字空間

數據復制，及其中的特性

教學內容

HDFS的讀寫流程

HDFS中Shell及JavaAPI

下載安裝Eclipse

綜合實例演示HDFS的操作

1、教學方法：

（1）介紹/演示HDFS相關知識點；

教學方法與

（2）示例說明使用Eclipse創建HDFS項目，及常規操作。

手段設計

2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

6/19

《大數據技術與應用》教案

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關HDFS的創建及操作時，通過示例演示；

（3）ppt的播放做到適時呈現、對過程有動態演示。

思考題

第4章習題：簡答題

和作業

實驗內容完成課本綜合實例，熟悉HDFS的應用

周次5第5次課學時2+2

章節名稱第5章MapReduce分布式計算

授課形式理論課■案例討論課□實驗課■習題課□其他□

熟悉MapReduce架構，原理及工作機制

教學目的及

編寫和執行MapReduceWordCount編程實例

要求

編寫和執行MapReduce倒排索引編程實例

教學重點MapReduce的基本原理、架構以及工作機制等知識內容

教學難點

●MapReduceWordCount編程實例；

●MapReduce倒排索引編程實例

MapReduce架構和原理

MapReduce的工作機制

使用集成開發環境IDLE編寫和執行MapReduceWordCou

教學內容

nt實例

使用集成開發環境IDLE編寫和執行MapReduce倒排索引實

例

7/19

《大數據技術與應用》教案

在線幫助和相關資源

1、教學方法：

（1）介紹MapReduce架構，原理及工作機制；

（2）示例說明使用集成開發環境IDLE編寫和執行MapReduce倒排

索引實例

教學方法與

手段設計（3）示例說明使用集成開發環境IDLE編寫和執行MapReduceWo

rdCount實例

2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關編寫和執行MapReduce實例時，通過示例演示；

（3）ppt的播放做到適時呈現、對過程有動態演示。

思考題

第5章復習題：填空題&思考題

和作業

實驗內容編寫MapReduceWordCount實例及MapReduce倒排索引編程

8/19

《大數據技術與應用》教案

周次6第6次課學時2+2

章節名稱第6章HBas分布式數據庫應用

授課形式理論課■案例討論課□實驗課■習題課□其他□

熟悉HBase的架構及存儲

教學目的及

熟悉HBase的集群部署，Shell操作，過濾器

要求

熟悉HBase編程

HBase架構與存儲的介紹

HBase部署時，參數配置，運行與測試

教學重點HBaseShell操作命令

HBase的各種過濾器

HBase的表編程及過濾查詢編程

●HBaseShell各種操作命令

教學難點●HBase相關過濾器

●HBase的編程

HBase簡介，包括架構與存儲

安裝HBase

HBase參數配置

HBase運行與測試

教學內容

HBase的general操作，namespace操作，DDL操作，DML

操作以及授權

HBase過濾器，包括行，列，列名，值，前綴，列前綴，行鍵，

首次行鍵，單列值，單列排除，包含結束，列計數等。

使用HBase提供的JavaAPI，實現表的創建刪除，數據查詢

等

9/19

《大數據技術與應用》教案

使用HBase提供的過濾類進行查詢

1、教學方法：

（1）介紹HBase的相關知識，演示HBase的配置及相關操作；

教學方法與

（2）示例說明HBase的Shell操作命令，過濾器及編程。

手段設計

2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關編寫和執行HBase代碼時，通過示例描述；

（3）ppt的播放做到適時呈現、對過程有動態演示。

思考題

第6章習題：簡答題&實踐題

和作業

完成課本中HBase的Shell操作命令，過濾器及編程等示例，熟悉H

實驗內容

Base的使用。

10/19

《大數據技術與應用》教案

周次7第7次課學時2+2

章節名稱第7章YARN資源分配

授課形式理論課■案例討論課□實驗課■習題課□其他□

了解統一資源調度平臺

教學目的及

要求熟悉YARN架構及其工作流程

YARN的基本原理、架構及其工作流程

教學重點

YARNShell實例操作

教學難點

YARNShell實例的命令及其操作

統一資源管理和調度平臺介紹

YARN的優勢對比

教學內容

YARN架構及工作流程

YARNShell實例的具體操作

1、教學方法：

（1）介紹統一資源管理和調度平臺；

（2）示例說明YARN技術，包擴YARN的架構和工作流程，介紹

教學方法與

手段設計

YARN的優勢，具體操作YARNShell實例。

2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關YARNShell實例的具體命令和操作，通過示例演示；

（3）ppt的播放做到適時呈現、對過程有動態演示。

11/19

《大數據技術與應用》教案

思考題

第7章復習題：填空題&思考題

和作業

實驗內容實現YARNShell實例的操作

周次8第8次課學時2+2

章節名稱第8章Spark集群計算

授課形式理論課■案例討論課□實驗課■習題課□其他□

熟悉Spark的生態系統及架構

教學目的及

熟悉SparkRDD

要求

完成Spark集群部署及應用案例

Spark的基本原理，框架設計以及RDD工作流程

教學重點

SparkRDD

●Spark編程應用，Spark算法實現

教學難點

簡單介紹Spark及其特性

介紹Spark生態系統的組成及應用框架

闡述RDDs，作業調度，內存管理，檢查點支持

下載Spark集群部署所需軟件包并解壓

教學內容完成參數配置及運行

Spark交互

進行基本RDD的轉化操作，行動操作

PairRDD的轉化操作，行動操作

RDD的其他操作

12/19

《大數據技術與應用》教案

Spark算法實例，如詞頻統計，相關系數

1、教學方法：

（1）文字介紹Spark的生態系統，架構及RDD；

（2）示例說明使用Python進行RDD的相關操作。

教學方法與

手段設計

（3）示例說明使用Python實現Spark算法實例。

2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關編寫和執行RDD操作及Spark算法時，通過示例描述；

（3）ppt的播放做到適時呈現、對過程有動態演示。

思考題

第8章習題：簡答題&實踐題

和作業

完成課本實例8-1~實例8-50及兩個算法案例，熟悉使用python進

實驗內容

行RDD相關操作

周次9第9次課學時2+2

章節名稱第9章Spark機器學習

授課形式理論課■案例討論課□實驗課■習題課□其他□

熟悉SparkMLlib的Localvector數據類型（本地向量）、

教學目的及

Labeled

要求

point類型（標簽向量）、Localmatrix數據類型（本地矩陣）、R

13/19

《大數據技術與應用》教案

owMatrix類型（分布式矩陣）、IndexedRowMatrix類型、Coordi

nateMatrix類型、BlockMatrix類型

了解基于DataFrame的API和基于RDD的API的基本統計

SparkMLlib的Localvector數據類型（本地向量）、Label

ed

point類型（標簽向量）、Localmatrix數據類型（本地矩陣）、R

owMatrix類型（分布式矩陣）、IndexedRowMatrix類型、Coordi

教學重點

nateMatrix類型、BlockMatrix類型

基于DataFrame的API和基于RDD的API的基本統計的具

體步驟比較

編譯實現Spark實例中的聚類問題和隨機森林問題

聚類問題中的K-Means算法

教學難點

分析鳶尾花數據，學習隨機森林算法，掌握數據集的訓練、評

估與預測方法

SparkMLlib數據類型概述

Localvector數據類型（本地向量）

Labeledpoint類型（標簽向量）

Localmatrix數據類型（本地矩陣）

RowMatrix類型（分布式矩陣）

教學內容

IndexedRowMatrix類型

CoordinateMatrix類型

BlockMatrix類型

基于DataFrame的API和基于RDD的API的基本統計比較

聚類問題和隨機森林問題的實例操作

14/19

《大數據技術與應用》教案

1、教學方法：

通過示例說明常用內置數據類型的定義、聲明和使用。

教學方法與

手段設計2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關常用數據類型的使用以及聚類問題和隨機森林問題，

通過示例描述；

（3）ppt的播放做到適時呈現、對過程有動態演示。

思考題

第9章復習題：填空題&思考題

和作業

實驗內容

周次10第10次課學時2+2

章節名稱第10章Hive數據倉庫應用

授課形式理論課■案例討論課□實驗課■習題課□其他□

熟悉Hive的數據類型和文件格式

教學目的及

熟悉數據定義，數據操作以及數據查詢

要求

掌握Hive編程

Hive原理及數據處理

教學重點

熟悉Hive的數據類型和文件格式

教學難點

●編寫Hive實例，如表、數據的命令應用

15/19

《大數據技術與應用》教案

Hive組成模塊，執行流程概述

Metastore存儲模式

安裝Hive，配置參數并運行測試

教學內容

HiveBeeline

了解基本數據類型與文件格式

數據的定義，操作，查詢

Hive編程

1、教學方法：

（1）介紹Hive運行環境，數據類型和文件格式；

（2）示例說明使用Hive進行數據相關操作。

教學方法與

手段設計

（3）示例說明Hive中，JDBC函數應用及相關實例。

2、輔助手段：多媒體演示。

3、對于重點和難點，通過例題討論講解、師生互動、作業等來突出。

（詳見ppt課件）

（1）以文字描述為主，要點及關鍵詞用不同顏色標注；

板書設計

（2）涉及有關編寫和執行Hive數據操作及編程時，通過示例描述；

（3）ppt的播放做到適時呈現、對過程有動態演示。

思考題

第10章習題：簡答題&實踐題

和作業

實驗內容完成課本中的實例，熟悉Hive的使用

16/19

《大數據技術與應用》教案

周次11第11次課學時2+2

章節名稱第11章ZooKeeper協調服務

授課形式理論課■案例討論課□實驗課■習題課□其他□

ZooKeeper的重要協議ZAB及數據模型，集群部署的過程

和配置

ZooKeeper在HadoopYARNHA、SparkHA和Hiv

教學目的及

要求eHA的應用及配置方法

ZooKeeper在單節點故障的解決辦法

ZooKeeper基本的讀寫操作編程案例實現

教學重點

ZooKeeper的特性及其應用

教學難點

ZooKeeper集群的操作編程

ZooKeeper的數據模型和事件監聽器的工作機制

ZooKeeper集群部署的操作及相關基本命令

了解ZooKeeper在Hadoop，HBase，Kafka，Hive和S

教學內容park等開源系統中的應用

使用集成開發環境IDEA編寫運行ZooKeeper的連接，刪

除和讀寫

使用集成開發環境IDEA編寫運行ZooK