1、大數(shù)據(jù)存儲(chǔ)教學(xué)大綱課程名稱：大數(shù)據(jù)存儲(chǔ)課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)：64學(xué)時(shí)（其中理論28學(xué)時(shí)，實(shí)驗(yàn)36學(xué)時(shí)）總學(xué)分：4.0學(xué)分一、課程的性質(zhì)大數(shù)據(jù)技術(shù)的開展對(duì)社會(huì)諸多領(lǐng)域都產(chǎn)生了巨大的推動(dòng)作用，同時(shí)也使得數(shù)據(jù)資源成為 各行各業(yè)開展的重要資源之一。大數(shù)據(jù)時(shí)代下，各類數(shù)據(jù)都呈現(xiàn)出爆炸式增長(zhǎng)的趨勢(shì)，各行 各業(yè)對(duì)海量數(shù)據(jù)資源的存儲(chǔ)要求也越來(lái)越高，這使得大數(shù)據(jù)存儲(chǔ)在大數(shù)據(jù)技術(shù)領(lǐng)域占有越來(lái) 越重要的地位。為了推動(dòng)我國(guó)大數(shù)據(jù)行業(yè)的開展，滿足存儲(chǔ)、分析海量數(shù)據(jù)的行業(yè)需求，特 開設(shè)大數(shù)據(jù)存儲(chǔ)課程。二、課程的任務(wù)通過(guò)本課程的學(xué)習(xí)，使學(xué)生了解大數(shù)據(jù)存儲(chǔ)，掌握使用存儲(chǔ)工具對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和

2、分析，并詳細(xì)拆解學(xué)習(xí)廣電用戶數(shù)據(jù)存儲(chǔ)與分析案例，根據(jù)實(shí)際業(yè)務(wù)需求，綜合利用各種存 儲(chǔ)工具對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)、分析和處理，將理論與實(shí)踐相結(jié)合，為將來(lái)從事數(shù)據(jù)存儲(chǔ)、數(shù) 據(jù)分析研究、工作奠定基礎(chǔ)。三、課程學(xué)時(shí)分配序號(hào)教學(xué)內(nèi)容理論學(xué)時(shí)實(shí)驗(yàn)學(xué)時(shí)其它1工程1 了解大數(shù)據(jù)302工程2結(jié)構(gòu)化數(shù)據(jù)倉(cāng)庫(kù)一一Hive573工程3列存儲(chǔ)數(shù)據(jù)庫(kù)一一HBase57聯(lián)系方式：189 2756 5259泰迪智能科技官網(wǎng)：打造數(shù)據(jù)智能職業(yè)敕育領(lǐng)軍企業(yè)4工程4文檔存儲(chǔ)數(shù)據(jù)庫(kù)一一MongoDB455工程5文檔存儲(chǔ)數(shù)據(jù)庫(kù)一一ElasticSearch566工程6數(shù)據(jù)傳輸工具Sqoop457工程7廣電用戶數(shù)據(jù)存儲(chǔ)與分析26總計(jì)2836

3、四、教學(xué)內(nèi)容及學(xué)時(shí)安排1.理論教學(xué)序 號(hào)章節(jié)名稱主要內(nèi)容教學(xué)目標(biāo)學(xué)時(shí)1了解大數(shù)據(jù).大數(shù)據(jù)的概念.數(shù)據(jù)的特征.大數(shù)據(jù)的應(yīng)用領(lǐng)域.大數(shù)據(jù)技術(shù)體系.了解數(shù)據(jù)存儲(chǔ).了解分布式數(shù)據(jù)庫(kù).了解大數(shù)據(jù)的概 念、特征和應(yīng)用領(lǐng) 域。.熟悉大數(shù)據(jù)技術(shù) 體系。. 了解基于文件系 統(tǒng)、數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng) 庫(kù)的數(shù)據(jù)存儲(chǔ)方式。. 了解NoSQL數(shù)據(jù) 庫(kù)的特點(diǎn)與分類。32結(jié)構(gòu)化數(shù)據(jù)倉(cāng)庫(kù) Hive.認(rèn)識(shí)Hive. 了解Hive的架構(gòu).搭建Hadoop集群.配置MySQL數(shù)據(jù)庫(kù).配置Hive數(shù)據(jù)倉(cāng)庫(kù).掌握Hive基礎(chǔ)數(shù)據(jù)類型.創(chuàng)立表.刪除表與表數(shù)據(jù).修改表結(jié)構(gòu).導(dǎo)入數(shù)據(jù).導(dǎo)出數(shù)據(jù).認(rèn)識(shí)SELECT語(yǔ)句結(jié)構(gòu).了解運(yùn)算符的使用.使用WH

4、ERE語(yǔ)句進(jìn)行條件查詢. 了解Hive及其架 構(gòu)原理。.熟悉Hive的安裝 流程。3,了解Hive的基礎(chǔ) 數(shù)據(jù)類型。.掌握HiveQL語(yǔ)句 的基本操作。.掌握Hive中UDF 的編寫方法。5聯(lián)系方式：189 2756 5259泰迪智能科技官網(wǎng)：打造數(shù)據(jù)智能職業(yè)敕育領(lǐng)軍企業(yè).認(rèn)識(shí)HiveQL內(nèi)置函數(shù).認(rèn)識(shí)HiveQL子查詢.編寫Hive中的UDF.過(guò)濾無(wú)效、異常數(shù)據(jù).選取有效字段.構(gòu)建模型指標(biāo)3列存儲(chǔ)數(shù)據(jù)庫(kù) HBase. 了解 HBase.掌握HBase核心功能模塊.了解HBase的數(shù)據(jù)模型.安裝前的準(zhǔn)備工作.安裝與配置Zookeeper.安裝與配置HBase.設(shè)計(jì)表結(jié)構(gòu)的原那么.創(chuàng)立與刪除表.

5、插入數(shù)據(jù).查詢數(shù)據(jù).刪除數(shù)據(jù).掃描全表.按時(shí)間版本查詢數(shù)據(jù).搭建HBase開發(fā)環(huán)境.創(chuàng)立表與刪除表的方法.調(diào)用表對(duì)象的put()方法插入數(shù)據(jù).調(diào)用表對(duì)象的get()方法進(jìn)行查詢.調(diào)用表對(duì)象的scan()方法進(jìn)行全 表查詢.編寫MapReduce實(shí)現(xiàn)數(shù)據(jù)交互.了解HBase的發(fā) 展歷程、功能模塊和 數(shù)據(jù)模型。.熟悉HBase的基 礎(chǔ)架構(gòu)及其各個(gè)模 塊的功能。.掌握HBase的安 裝與配置方法及過(guò) 程。.理解HBase數(shù)據(jù) 表的設(shè)計(jì)原那么。.掌握 HBase Shell 與 HBase Java API 的基礎(chǔ)語(yǔ)法。6,掌握利用 MapReduce 實(shí)現(xiàn) HBase 與 HDFS 的 數(shù)據(jù)交互的方

6、法。54文檔存儲(chǔ)數(shù)據(jù) 庫(kù) MongoDB.了解 MongoDB. 了解MongoDB數(shù)據(jù)模型.安裝與配置MongoDB.訪問(wèn) MongoDB HTTP 端 口.創(chuàng)立與刪除數(shù)據(jù)庫(kù).插入文檔數(shù)據(jù).刪除文檔數(shù)據(jù).更新文檔數(shù)據(jù).查詢文檔數(shù)據(jù).索引.聚合.搭建MongoDB的開發(fā)環(huán)境.創(chuàng)立電子商務(wù)日志數(shù)據(jù)存儲(chǔ)數(shù)據(jù) 庫(kù).了解 MongoDB 及 其數(shù)據(jù)模型。.掌握MongoDB的 安裝與配置方法。.掌握 MongoDB shell的基礎(chǔ)操作。.熟悉 MongoDB Java開發(fā)環(huán)境的搭 建過(guò)程。.能夠利用 MongoDB Java API 完成簡(jiǎn)單的數(shù)據(jù)分 析任務(wù)。45文檔存儲(chǔ)數(shù)據(jù) 庫(kù) ElasticSe

7、arch.了解 ElasticSearch.安裝分布式ElasticSearch.配置Head插件.創(chuàng)立與修改索引. 了解 ElasticSearch 的基礎(chǔ)概念、術(shù)語(yǔ)和 特點(diǎn)。.掌握 ElasticSearch5聯(lián)系方式：189 2756 5259聯(lián)系方式：189 2756 5259泰迪智能科技官網(wǎng)：打造數(shù)據(jù)智能職業(yè)敕育領(lǐng)軍企業(yè).增加、刪除與修改數(shù)據(jù).查詢數(shù)據(jù).搭建ElasticSearch開發(fā)環(huán)境.創(chuàng)立與修改索引.增加、刪除與修改數(shù)據(jù).批量操作.調(diào)用Get API查詢.調(diào)用Search API查詢.輸出設(shè)置.度量聚合.分組聚合集群的安裝過(guò)程和 配置方法。.掌握 ElasticSearch

8、Head插件的基礎(chǔ)操 作。.掌握 ElasticSearch Java API的基礎(chǔ)語(yǔ) 法。6數(shù)據(jù)傳輸工具 Sqoop.了解 Sqoop.安裝與配置Sqoop.掌握Sqoop eval的基本操作.掌握Sqoop import的基本操作.掌握Sqoop job的基本操作.使用Sqoop將MySQL中的數(shù)據(jù)導(dǎo) 入 Hive.掌握Sqoop export基本操作.使用Sqoop從Hive傳輸數(shù)據(jù)到 MySQL,了解Sqoop的基 礎(chǔ)概念及其安裝與 配置過(guò)程。.掌握Sqoop的基 本傳輸命令。.掌握Sqoop的傳 輸命令與參數(shù)的使 用方法。.掌握用Sqoop實(shí) 現(xiàn)增量導(dǎo)入、更新輸 出等操作的方法。47

9、廣電用戶數(shù)據(jù) 存儲(chǔ)與分析.業(yè)務(wù)需求分析.選擇存儲(chǔ)與分析技術(shù).設(shè)計(jì)存儲(chǔ)與分析架構(gòu). 了解數(shù)據(jù).將數(shù)據(jù)導(dǎo)入ElasticSearch.在Hive中創(chuàng)立數(shù)據(jù)管理表.查看Hive中的表數(shù)據(jù).統(tǒng)計(jì)各表宣傳數(shù)據(jù)記錄數(shù).統(tǒng)計(jì)各表政企用戶記錄數(shù).統(tǒng)計(jì)用戶收視時(shí)長(zhǎng)分布.統(tǒng)計(jì)機(jī)頂盒待機(jī)記錄數(shù).處理無(wú)效用戶信息.處理無(wú)效收視數(shù)據(jù).處理無(wú)效訂單數(shù)據(jù).計(jì)算電視消費(fèi)水平和寬帶消費(fèi)水 平.將數(shù)據(jù)保存至其他數(shù)據(jù)庫(kù).了解工程需求分 析的過(guò)程。.了解ElasticSearch Hive、 MySQL 和 HBase 在 大數(shù)據(jù)存儲(chǔ)中的適 用范圍。.掌握將CSV文件 導(dǎo)入 ElasticSearch 的方法。.掌握 將Elasti

10、cSearch 數(shù)據(jù)導(dǎo) 入Hive的方法。.了解在Hive中對(duì) 數(shù)據(jù)進(jìn)行清洗和統(tǒng) 計(jì)分析的方法。.掌握將Hive數(shù)據(jù) 導(dǎo)入MySQL的方 法。.掌握將Hive數(shù)據(jù) 導(dǎo)入HBase的方法。2學(xué)時(shí)合計(jì)28泰迪智能科技官網(wǎng)：聯(lián)系方式：189 2756 5259打造數(shù)據(jù)智能職業(yè)敕育領(lǐng)軍企業(yè)2.實(shí)驗(yàn)教學(xué)序號(hào)實(shí)驗(yàn)工程名稱實(shí)驗(yàn)要求學(xué)時(shí)1Hive的安裝與 使用.搭建Hadoop集群.配置MySQL數(shù)據(jù)庫(kù).配置Hive數(shù)據(jù)倉(cāng)庫(kù).創(chuàng)立表.刪除表與表數(shù)據(jù).修改表結(jié)構(gòu).導(dǎo)入數(shù)據(jù).導(dǎo)出數(shù)據(jù).認(rèn)識(shí)SELECT語(yǔ)句結(jié)構(gòu).使用WHERE語(yǔ)句進(jìn)行條件查詢.認(rèn)識(shí)HiveQL內(nèi)置函數(shù).認(rèn)識(shí)HiveQL子查詢.編寫Hive中的UDF

11、42航空客戶數(shù)據(jù) 存儲(chǔ)與分析L創(chuàng)立航空客戶信息表.導(dǎo)入航空客戶數(shù)據(jù)到航空客戶信息表.查詢航空客戶信息表空值記錄數(shù).查詢航空客戶信息表字段數(shù)據(jù)的最大值和最小值.統(tǒng)計(jì)會(huì)員數(shù)最多的會(huì)員級(jí)別.編寫UDF統(tǒng)計(jì)客戶入會(huì)時(shí)長(zhǎng).過(guò)濾無(wú)效、異常數(shù)據(jù).選取有效字段.構(gòu)建模型指標(biāo)33HBase的安裝 與使用.安裝前的準(zhǔn)備工作.安裝與配置Zookeeper.安裝與配置HBase.創(chuàng)立與刪除表.插入數(shù)據(jù).查詢數(shù)據(jù).刪除數(shù)據(jù).掃描全表.按時(shí)間版本查詢數(shù)據(jù).搭建HBase開發(fā)環(huán)境.創(chuàng)立表與刪除表的方法.調(diào)用表對(duì)象的put()方法插入數(shù)據(jù).調(diào)用表對(duì)象的get()方法進(jìn)行查詢.調(diào)用表對(duì)象的scan()方法進(jìn)行全表查詢.編寫Ma

12、pReduce實(shí)現(xiàn)數(shù)據(jù)交互44構(gòu)建冠字號(hào)存 儲(chǔ)管理系統(tǒng).設(shè)計(jì)與新建鈔票交易數(shù)據(jù)表.新增與刪除鈔票交易數(shù)據(jù)表數(shù)據(jù).查詢指定時(shí)間版本的鈔票數(shù)據(jù)3泰迪智能科技官網(wǎng)：聯(lián)系方式：189 2756 5259打造數(shù)據(jù)智能職業(yè)敕育領(lǐng)軍企業(yè).使用Java API創(chuàng)立鈔票交易數(shù)據(jù)表.搭建HBase開發(fā)環(huán)境.通過(guò)Java API插入數(shù)據(jù)到鈔票交易數(shù)據(jù)表并查詢.通過(guò)MapReduce導(dǎo)入數(shù)據(jù)到鈔票父易數(shù)據(jù)表5MongoDB 的安 裝與使用.安裝與配置MongoDB.訪問(wèn) MongoDB HTTP 端 口.創(chuàng)立與刪除數(shù)據(jù)庫(kù).插入文檔數(shù)據(jù).刪除文檔數(shù)據(jù).更新文檔數(shù)據(jù).查詢文檔數(shù)據(jù).索引.聚合.搭建MongoDB的開發(fā)環(huán)境

13、.創(chuàng)立電子商務(wù)日志數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)36用戶日志數(shù)據(jù) 的存儲(chǔ)與查詢.存儲(chǔ)用戶日志數(shù)據(jù)到MongoDB.查詢MongoDB中用戶訪問(wèn)HTML頁(yè)面的記錄數(shù).搭建MongoDB的開發(fā)環(huán)境4,使用MongoDB Java API創(chuàng)立電子商務(wù)日志數(shù)據(jù)存儲(chǔ) 系統(tǒng)27ElasticSearch 與 Head插件的安 裝與使用.環(huán)境準(zhǔn)備.安裝Node.js環(huán)境.配置分布式ElasticSearch.配置Head插件.創(chuàng)立與修改索引.增加、刪除與修改數(shù)據(jù).查詢數(shù)據(jù).搭建ElasticSearch開發(fā)環(huán)境.創(chuàng)立與修改索引.增加、刪除與修改數(shù)據(jù).批量操作.調(diào)用Get API查詢.調(diào)用Search API查詢.輸出設(shè)置.

14、度量聚合.分組聚合48電影評(píng)分?jǐn)?shù)據(jù) 的存儲(chǔ)與查詢.使用Head擴(kuò)展插件存儲(chǔ)用戶和電影信息數(shù)據(jù).搭建ElasticSearch開發(fā)環(huán)境.通過(guò)Java存儲(chǔ)用戶對(duì)電影的評(píng)分?jǐn)?shù)據(jù).通過(guò)Java查詢插入的數(shù)據(jù)記錄.查詢?cè)u(píng)價(jià)電影超過(guò)50次的用戶29Sqoop的安裝 與使用.安裝與配置Sqoop.掌握Sqoop eval的基本操作.掌握Sqoop import的基本操作3聯(lián)系方式：189 2756 5259泰迪智能科技官網(wǎng)：打造數(shù)據(jù)智能職業(yè)敕育領(lǐng)軍企業(yè).掌握Sqoop job的基本操作.使用Sqoop將MySQL中的數(shù)據(jù)導(dǎo)入Hive.掌握Sqoop export基本操作7,使用Sqoop從Hive傳輸數(shù)據(jù)到

15、MySQL10用戶瀏覽日志 數(shù)據(jù)傳輸、存儲(chǔ) 與查詢.查詢MySQL用戶日志數(shù)據(jù)表的記錄數(shù).將MySQL中的用戶日志數(shù)據(jù)增量導(dǎo)入Hive.導(dǎo)出Hive中的篩選結(jié)果至MySQL211廣電用戶數(shù)據(jù) 存儲(chǔ)與分析.業(yè)務(wù)需求分析.將數(shù)據(jù)導(dǎo)入ElasticSearch.在Hive中創(chuàng)立數(shù)據(jù)管理表.查看Hive中的表數(shù)據(jù).統(tǒng)計(jì)各表宣傳數(shù)據(jù)記錄數(shù).統(tǒng)計(jì)各表政企用戶記錄數(shù).統(tǒng)計(jì)用戶收視時(shí)長(zhǎng)分布.統(tǒng)計(jì)機(jī)頂盒待機(jī)記錄數(shù).處理無(wú)效用戶信息.處理無(wú)效收視數(shù)據(jù)1L處理無(wú)效訂單數(shù)據(jù).計(jì)算電視消費(fèi)水平和寬帶消費(fèi)水平.將數(shù)據(jù)保存至其他數(shù)據(jù)庫(kù)6學(xué)時(shí)合計(jì)36五、考核方式突出學(xué)生解決實(shí)際問(wèn)題的能力，加強(qiáng)過(guò)程性考核。課程考核的成績(jī)構(gòu)成=平時(shí)作業(yè) （10%） +課堂參與（20%） +期末考核（70%）,期末考試建議采用開卷形式，試題應(yīng)包括 基本概念、組件安裝步驟、開發(fā)環(huán)境搭建流程、數(shù)據(jù)存儲(chǔ)與查詢操作、案例分析實(shí)現(xiàn)流程等 局部，題型可采用選擇題、判斷題、簡(jiǎn)答題、應(yīng)用題等方式。六、教材與參考資料.教材譚旭，李程文.大數(shù)據(jù)存儲(chǔ).北京：人民郵電出版社.2022.參考資料聯(lián)系方式：189 2756 5259聯(lián)系方式：189 2756 5259泰迪智能科技官網(wǎng)：打造數(shù)據(jù)智能職業(yè)敕育領(lǐng)軍企業(yè)1孟憲偉，許桂秋.大數(shù)據(jù)導(dǎo)論M.北京：人民郵