1、大數(shù)據(jù)處理技術(shù)Big Data Technology課程代碼：08410128學(xué)分：3學(xué)時(shí)：56 （其中：課堂教學(xué)學(xué)時(shí)：40實(shí)驗(yàn)學(xué)時(shí)：0上機(jī)學(xué)時(shí)：16課程實(shí)踐學(xué)時(shí):0 ）先修課程：計(jì)算機(jī)基礎(chǔ)適用專業(yè)：信息管理與信息系統(tǒng)專業(yè)，電子商務(wù)專業(yè)，工業(yè)工程專業(yè) 教材：大數(shù)據(jù)技術(shù)原理與應(yīng)用（林子雨著，人民郵電出版社）一、課程性質(zhì)與課程目標(biāo)（一）課程性質(zhì)（需說(shuō)明課程對(duì)人才培養(yǎng)方面的貢獻(xiàn)）本課程是“信息管理與信息系統(tǒng)”專業(yè)的一門專業(yè)選修課。大數(shù)據(jù)作為繼云計(jì)算、 物聯(lián)網(wǎng)之后IT行業(yè)又一顛覆性的技術(shù)，備受關(guān)注。大數(shù)據(jù)時(shí)代的到來(lái)，迫切需要高校 及時(shí)建立大數(shù)據(jù)技術(shù)課程體系，為社會(huì)培養(yǎng)和輸送一大批具備大數(shù)據(jù)專業(yè)素養(yǎng)的高

2、級(jí)人 才，滿足社會(huì)對(duì)大數(shù)據(jù)人才日益旺盛的需求。本課程定位為大數(shù)據(jù)技術(shù)入門課程，為學(xué) 習(xí)者搭建起通向“大數(shù)據(jù)知識(shí)空間”的橋梁和紐帶，幫助學(xué)習(xí)者形成對(duì)大數(shù)據(jù)知識(shí)體系 及其應(yīng)用領(lǐng)域的輪廓性認(rèn)識(shí)，為他們?cè)诖髷?shù)據(jù)領(lǐng)域“深耕細(xì)作”奠定基礎(chǔ)、指明方向。（二）課程目標(biāo)（根據(jù)課程特點(diǎn)和對(duì)畢業(yè)要求的貢獻(xiàn)，確定課程目標(biāo)。應(yīng)包括知識(shí)目標(biāo)和能力 目標(biāo)。）.把握大數(shù)據(jù)基本概念和應(yīng)用領(lǐng)域，大數(shù)據(jù)處理架構(gòu)及相關(guān)流行技術(shù)等。培養(yǎng)學(xué) 生熟練運(yùn)用信息化工程理論、方法和工具，并具有大數(shù)據(jù)規(guī)范、分析和實(shí)施的基本技能;.對(duì)大數(shù)據(jù)存儲(chǔ)相關(guān)技術(shù)的概念和原理具有一般性認(rèn)識(shí)，并初步培養(yǎng)信息素養(yǎng)和 信息處理能力，從而具備在政府、企業(yè)信息化過(guò)程擔(dān)任

3、管理信息化咨詢，信息系統(tǒng)運(yùn)維 管理和信息化項(xiàng)目評(píng)價(jià)能力；.加強(qiáng)大數(shù)據(jù)處理和分析的核心技術(shù)的理解與學(xué)習(xí)，培養(yǎng)學(xué)習(xí)者將大數(shù)據(jù)與企業(yè) 和社會(huì)實(shí)踐緊密結(jié)合的意識(shí)，能系統(tǒng)掌握信息技術(shù)和信息管理基本理論、知識(shí)和技能， 并可承擔(dān)信息中心的信息處理技術(shù)工作與培訓(xùn)機(jī)構(gòu)的教育工作；.訓(xùn)練自主學(xué)習(xí)和探究分析大數(shù)據(jù)領(lǐng)域的研究?jī)?nèi)容及發(fā)展動(dòng)向的能力，能承擔(dān)軟 件公司的信息系統(tǒng)開(kāi)發(fā)、實(shí)施指導(dǎo)與監(jiān)理工作。注：工程類專業(yè)通識(shí)課程的課程目標(biāo)應(yīng)覆蓋相應(yīng)的工程教育認(rèn)證畢業(yè)要求通用標(biāo)準(zhǔn)；（三）課程目標(biāo)與專業(yè)畢業(yè)要求指標(biāo)點(diǎn)的對(duì)應(yīng)關(guān)系（認(rèn)證專業(yè)專業(yè)必修課程填寫）注：課程目標(biāo)與畢業(yè)要求指標(biāo)點(diǎn)對(duì)接的單元格中可輸入也可標(biāo)注“H、M、L”。二、課

4、程內(nèi)容與教學(xué)要求第一章大數(shù)據(jù)概述（一）課程內(nèi)容大數(shù)據(jù)時(shí)代，大數(shù)據(jù)的概念，大數(shù)據(jù)的影響，大數(shù)據(jù)的應(yīng)用，大數(shù)據(jù)關(guān)鍵技術(shù)，大數(shù)據(jù)計(jì)算模 式，大數(shù)據(jù)產(chǎn)業(yè)，大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)等。（二）教學(xué)要求掌握大數(shù)據(jù)及其相關(guān)技術(shù)的概念。（三）重點(diǎn)與難點(diǎn).重點(diǎn)了解大數(shù)據(jù)的概念，大數(shù)據(jù)關(guān)鍵技術(shù)，大數(shù)據(jù)計(jì)算模式。.難點(diǎn)了解大數(shù)據(jù)關(guān)鍵技術(shù)，大數(shù)據(jù)計(jì)算模式，大數(shù)據(jù)產(chǎn)業(yè)，大數(shù)據(jù)與云計(jì)算、物聯(lián)網(wǎng)。第二章大數(shù)據(jù)處理架構(gòu)Hadoop（一）課程內(nèi)容Hadoop概述，Hadoop生態(tài)系統(tǒng)，Hadoop的安裝與使用等。（二）教學(xué)要求了解Hadoop,理解Hadoop生態(tài)系統(tǒng)，學(xué)會(huì)Hadoop的安裝與使用。（三）重點(diǎn)與難點(diǎn).重點(diǎn)理解Had

5、oop生態(tài)系統(tǒng)，學(xué)會(huì)Hadoop的安裝與使用。.難點(diǎn)學(xué)會(huì)Hadoop的安裝與使用。第三章分布式文件系統(tǒng)HDFS（一）課程內(nèi)容分布式文件系統(tǒng)、HDFS簡(jiǎn)介、HDFS的相關(guān)概念、HDFS體系結(jié)構(gòu)、HDFS的存儲(chǔ)原理、HDFS的數(shù) 據(jù)讀寫過(guò)程、HDFS編程實(shí)踐等。（二）教學(xué)要求了解分布式文件系統(tǒng)、HDFS相關(guān)概念；理解IIDFS體系結(jié)構(gòu)、存儲(chǔ)原理和數(shù)據(jù)讀寫過(guò)程；初步 實(shí)踐HDFS編程。（三）重點(diǎn)與難點(diǎn)（若不單獨(dú)列出，需在教學(xué)要求中適當(dāng)注明）.重點(diǎn)理解HDFS體系結(jié)構(gòu)、存儲(chǔ)原理和數(shù)據(jù)讀寫過(guò)程。.難點(diǎn)初步實(shí)踐HDFS編程。第四章分布式數(shù)據(jù)庫(kù)Hbase（-）課程內(nèi)容分布式數(shù)據(jù)庫(kù)Hbase概述、HBase訪

6、問(wèn)接口、HBase數(shù)據(jù)模型、HBase的實(shí)現(xiàn)原理、HBase運(yùn)行 機(jī)制、HBase編程實(shí)踐等。（二）教學(xué)要求了解分布式數(shù)據(jù)庫(kù)Hbase相關(guān)概念和數(shù)據(jù)模型；理解HBase的實(shí)現(xiàn)原理和運(yùn)行機(jī)制；初步實(shí)踐 HBase編程。（三）重點(diǎn)與難點(diǎn).重點(diǎn)理解HBase的實(shí)現(xiàn)原理和運(yùn)行機(jī)制。.難點(diǎn)初步實(shí)踐HBase編程。第五章 NoSQL數(shù)據(jù)庫(kù)（-）課程內(nèi)容NoSQL數(shù)據(jù)庫(kù)簡(jiǎn)介、NoSQL興起的原因、NoSQL與關(guān)系數(shù)據(jù)庫(kù)的比較、NoSQL的四大類型、NoSQL 的三大基石、從NoSQL到NewSQL數(shù)據(jù)庫(kù)等。（二）教學(xué)要求了解NoSQL數(shù)據(jù)庫(kù)、興起的原因；理解NoSQL與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別；了解NoSQL的四大

7、類型、 三大基石，以及NewSQL數(shù)據(jù)庫(kù)。（三）重點(diǎn)與難點(diǎn)（若不單獨(dú)列出，需在教學(xué)要求中適當(dāng)注明）.重點(diǎn)了解NoSQL數(shù)據(jù)庫(kù)、興起的原因；理解NoSQL與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別。.難點(diǎn)理解NoSQL與關(guān)系數(shù)據(jù)庫(kù)的區(qū)別；了解NewSQL數(shù)據(jù)庫(kù)。第六章云數(shù)據(jù)庫(kù)（一）課程內(nèi)容云數(shù)據(jù)庫(kù)概述、云數(shù)據(jù)庫(kù)產(chǎn)品、云數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)、云數(shù)據(jù)庫(kù)實(shí)踐等。（二）教學(xué)要求了解云數(shù)據(jù)庫(kù)相關(guān)概念及其產(chǎn)品；理解云數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)；并實(shí)踐云數(shù)據(jù)庫(kù)。（三）重點(diǎn)與難點(diǎn)（若不單獨(dú)列出，需在教學(xué)要求中適當(dāng)注明）.重點(diǎn)理解云數(shù)據(jù)庫(kù)系統(tǒng)架構(gòu)；并實(shí)踐云數(shù)據(jù)庫(kù)。.難點(diǎn)初步實(shí)踐云數(shù)據(jù)庫(kù)。第七章 MapReduce（-）課程內(nèi)容MapReduce 簡(jiǎn)介、M

8、apReduce 的工作流程、MapReduce 實(shí)例分析：WordCount MapReduce 的具體 應(yīng)用、MapReduce編程實(shí)踐等。（二）教學(xué)要求了解MapReduce相關(guān)概念和工作流程；理解并分析MapReduce實(shí)例；掌握MapReduce的具體應(yīng) 用；初步實(shí)踐MapReduce編程。（三）重點(diǎn)與難點(diǎn)（若不單獨(dú)列出，需在教學(xué)要求中適當(dāng)注明）.重點(diǎn)了解MapReduce相關(guān)概念和工作流程；理解分析MapReduce實(shí)例；掌握MapReduce的具體應(yīng)用。.難點(diǎn)掌握MapReduce的具體應(yīng)用；初步實(shí)踐MapReduce編程。第八章 Hadoop再探討（一）課程內(nèi)容Hadoop的優(yōu)

9、化與發(fā)展、IIDFS2. 0的新特性、新一代資源管理調(diào)度框架YARN、Iladoop生態(tài)系統(tǒng)中具有代表性的功能組件介紹等。（二）教學(xué)要求了解Hadoop的優(yōu)化與發(fā)展、HDFS2.0的新特性、新一代資源管理調(diào)度框架YARN和Hadoop生態(tài) 系統(tǒng)中具有代表性的功能組件。（三）重點(diǎn)與難點(diǎn)（若不單獨(dú)列出，需在教學(xué)要求中適當(dāng)注明）.重點(diǎn)Hadoop的優(yōu)化與發(fā)展。.難點(diǎn)知曉HDFS2. 0的新特性、了解Hadoop生態(tài)系統(tǒng)中具有代表性的功能組件。第九章 Spark（-）課程內(nèi)容Spark概述、Spark生態(tài)系統(tǒng)、Spark運(yùn)行架構(gòu)、Spark的部署和應(yīng)用方式、Spark編程實(shí)踐等。（二）教學(xué)要求了解Sp

10、ark相關(guān)概念、其生態(tài)系統(tǒng)、運(yùn)行架構(gòu)、部署和應(yīng)用方式；初步掌握Spark編程實(shí)踐。（三）重點(diǎn)與難點(diǎn)（若不單獨(dú)列出，需在教學(xué)要求中適當(dāng)注明）.重點(diǎn)了解Spark相關(guān)內(nèi)容。.難點(diǎn)初步掌握Spark編程實(shí)踐。第十章流計(jì)算（一）課程內(nèi)容流計(jì)算概述、流計(jì)算的處理流程、流計(jì)算的應(yīng)用、開(kāi)源流計(jì)算框架Storm、Spark Streaming 設(shè)計(jì)等。（二）教學(xué)要求了解流計(jì)算相關(guān)概念、流計(jì)算的處理流程、流計(jì)算的應(yīng)用；理解開(kāi)源流計(jì)算框架Storm及 Spark Streaming 設(shè)計(jì)。（三）重點(diǎn)與難點(diǎn)（若不單獨(dú)列出，需在教學(xué)要求中適當(dāng)注明）.重點(diǎn)了解流計(jì)算相關(guān)概念及其應(yīng)用；理解開(kāi)源流計(jì)算框架Storm及Spa

11、rk Streaming設(shè)計(jì)。.難點(diǎn)理解開(kāi)源流計(jì)算框架Storm及Spark Streaming設(shè)計(jì)。第十一章圖計(jì)算（一）課程內(nèi)容圖計(jì)算簡(jiǎn)介、Pregel簡(jiǎn)介、Pregel圖計(jì)算模型、Pregel的C+ APRPregel的體系結(jié)構(gòu)、Pregel 的應(yīng)用實(shí)例、Pregel和MapReduce實(shí)現(xiàn)PageRank算法的對(duì)比等。（二）教學(xué)要求了解圖計(jì)算和Pregel相關(guān)內(nèi)容；理解Pregel圖計(jì)算模型、Pregel的C+ API、Pregel的體 系結(jié)構(gòu)；基本掌握Pregel的應(yīng)用；初步理解Pregel和MapReduce實(shí)現(xiàn)PageRank算法的對(duì)比。（三）重點(diǎn)與難點(diǎn)（若不單獨(dú)列出，需在教學(xué)要求

12、中適當(dāng)注明）.重點(diǎn)理解Pregel圖計(jì)算模型、Pregel的C+ API、Pregel的體系結(jié)構(gòu)；基本掌握Pregel的應(yīng)用。.難點(diǎn)初步理解Pregel和MapReduce實(shí)現(xiàn)PageRank算法的對(duì)比。第十二章數(shù)據(jù)可視化（-）課程內(nèi)容數(shù)據(jù)可視化概述、可視化工具、可視化典型案例等。（二）教學(xué)要求了解數(shù)據(jù)可視化相關(guān)概念、可視化工具；理解可視化典型案例。（三）重點(diǎn)與難點(diǎn)（若不單獨(dú)列出，需在教學(xué)要求中適當(dāng)注明）.重點(diǎn)理解可視化典型案例。.難點(diǎn)理解可視化典型案例。上機(jī)內(nèi)容編號(hào)上機(jī)項(xiàng)目名稱學(xué)時(shí)類型要求支撐的課程目標(biāo)1熟悉常用的Linux操作和Hadoop操作2驗(yàn)證性必做12熟悉常用的HDFS操作4驗(yàn)證性

13、必做23熟悉常用的HBase操作4驗(yàn)證性必做24NoSQL和關(guān)系數(shù)據(jù)庫(kù)的操作 比較4驗(yàn)證性必做25MapReduce編程初級(jí)實(shí)踐2綜合性必做3三、學(xué)時(shí)分配及教學(xué)方法章（按序填寫）教學(xué)形式及學(xué)時(shí)分配主要教學(xué)方法支撐的課程目標(biāo)課堂 教學(xué)實(shí)驗(yàn)上 機(jī)課程 實(shí)踐小 計(jì)第一章22講授法、討論法1, 4第二章224講授法、討論法1, 4第三章6410講授法、討論法、演示法2, 4第四章6410講授法、討論法、演示法2, 4第五章246講授法、討論法、演示法2, 4格第八早22講授法、討論法、演示法2, 4第七章8210講授法、討論法、演示法3, 4第八章22講授法、討論法、演示法3, 4第九章22講授法、討

14、論法、演示法3, 4第十章22講授法、討論法、演示法3, 4第十一章44講授法、討論法、演示法3, 4第十二章22講授法、討論法3, 4合計(jì)401656注：1.課程實(shí)踐學(xué)時(shí)按相關(guān)專業(yè)培養(yǎng)計(jì)劃列入表格；.主要教學(xué)方法包括講授法、討論法、演示法、研究型教學(xué)方法（基于問(wèn)題、項(xiàng)目、案例 等教學(xué)方法）等。四、課程考核考核形式考核要求考核權(quán)重備注平時(shí)作業(yè)作業(yè)次數(shù)30%項(xiàng)目設(shè)計(jì)與報(bào)告完成并成功運(yùn)行項(xiàng)目，完成項(xiàng)目設(shè)計(jì)報(bào)告70%注：1,分學(xué)期設(shè)置和考核的課程應(yīng)按學(xué)期分別填寫上表。.考核形式主要包括課堂表現(xiàn)、平時(shí)作業(yè)、階段測(cè)試、期中考試、期末考試、大作也、小 論文、項(xiàng)目設(shè)計(jì)和作品等。.考核要求包括作業(yè)次數(shù)、考試方式（開(kāi)卷、閉卷）、項(xiàng)目設(shè)計(jì)要求等。.考核權(quán)重指該考核方式或途徑在總成績(jī)中所占比重。五