HDFS分布式系統(tǒng)教學(xué)單元名稱分布式文件系統(tǒng)HDFS簡介教學(xué)目標能力目標具有自主學(xué)習(xí)的能力知識目標了解分布式文件系統(tǒng)、HDFS掌握HDFS體系架構(gòu)掌握HDFS存儲原理掌握HDFS數(shù)據(jù)讀寫過程素質(zhì)目標探索新知識、自主學(xué)習(xí)、查閱資料的能力教學(xué)重點1、了解分布式文件系統(tǒng)、HDFS2、HDFS體系架構(gòu)3、HDFS存儲原理4、HDFS數(shù)據(jù)讀寫過程教學(xué)難點HDFS存儲原理和數(shù)據(jù)存儲過程教學(xué)方法提問法、討論法、講授法教學(xué)時數(shù)2學(xué)時教學(xué)過程設(shè)計教學(xué)環(huán)節(jié)教學(xué)內(nèi)容教師活動學(xué)生活動新課引入常見的文件系統(tǒng)分布式文件系統(tǒng)產(chǎn)生的背景谷歌提出的GFS講解聽講記錄任務(wù)描述提出本次學(xué)習(xí)的任務(wù)——分布式文件系統(tǒng)HDFS講解聽講記錄課程要點講解1.分布式文件系統(tǒng)、HDFS重點介紹計算機集群、分布式文件系統(tǒng)結(jié)構(gòu)和HDFS相關(guān)概念講解提問搜集資料、交流HDFS體系架構(gòu)重點介紹HDFS的命名空間、通信協(xié)議以及客戶端講解聽講記錄3.HDFS存儲原理重點介紹數(shù)據(jù)冗余存儲、數(shù)據(jù)存取策略、數(shù)據(jù)錯誤與恢復(fù)

講解聽講記錄4.HDFS數(shù)據(jù)讀寫過程重點介紹HDFS讀數(shù)據(jù)和寫數(shù)據(jù)的過程

講解提問搜集資料、交流詳細講解1.分布式文件系統(tǒng)、HDFS1）計算機集群結(jié)構(gòu)分布式文件系統(tǒng)把文件分布存儲到多個計算機節(jié)點上，成千上萬的計算機節(jié)點構(gòu)成計算機集群分布式文件系統(tǒng)的結(jié)構(gòu)3）HDFS講解分組討論2.HDFS體系架構(gòu)1）HDFS體系結(jié)構(gòu)2）HDFS命名空間管理HDFS的命名空間包含目錄、文件和塊通信協(xié)議所有的HDFS通信協(xié)議都是構(gòu)建在TCP/IP協(xié)議基礎(chǔ)之上的客戶端HDFS客戶端是一個庫，暴露了HDFS文件系統(tǒng)接口，這些接口隱藏了HDFS實現(xiàn)中的大部分復(fù)雜性講解聽講記錄、交流3.HDFS存儲原理1）冗余數(shù)據(jù)保存數(shù)據(jù)存取策略講解分組討論、交流4.HDFS數(shù)據(jù)讀寫過程1）讀數(shù)據(jù)的過程2）寫數(shù)據(jù)的過程教學(xué)小結(jié)本節(jié)課內(nèi)容理解起來有一定的困難，根據(jù)課堂教學(xué)情況，之處學(xué)生對本堂課中知識點難以理解的地方，結(jié)合教學(xué)重點和難點，對所學(xué)知識進一步強化。講解學(xué)生記錄布置作業(yè)1、HDFS中的塊和普通文件系統(tǒng)中的塊的區(qū)別？2、HDFS中的名稱節(jié)點和數(shù)據(jù)節(jié)點的具體功能？3、HDFS在不發(fā)生故障的情況下讀文件和寫文件的過程？HDFS分布式系統(tǒng)教學(xué)單元名稱HDFS操作教學(xué)目標能力目標具有自主學(xué)習(xí)的能力知識目標掌握HDFS命令行基本操作。掌握使用Java語言編寫HDFSAPI。素質(zhì)目標探索新知識、自主學(xué)習(xí)、查閱資料的能力教學(xué)重點1、HDFS命令行基本操作。2、使用Java語言編寫HDFSAPI。教學(xué)難點使用Java語言編寫HDFSAPI教學(xué)方法提問法、討論法、講授法教學(xué)時數(shù)2學(xué)時教學(xué)過程設(shè)計教學(xué)環(huán)節(jié)教學(xué)內(nèi)容教師活動學(xué)生活動新課引入HDFS文件存儲使用Java語言編寫文件上傳功能講解聽講記錄任務(wù)描述提出本次學(xué)習(xí)的任務(wù)——HDFS操作講解聽講記錄課程要點講解1.HDFS命令行操作，包括文件創(chuàng)建、文件下載、文件重命名、文件刪除、目錄創(chuàng)建等操作。講解提問搜集資料、交流2.HDFSJavaAPI操作，包括文件創(chuàng)建、文件下載、文件重命名、文件刪除、目錄創(chuàng)建等操作。講解聽講記錄詳細講解1.在HDFS文件系統(tǒng)中創(chuàng)建目錄，目錄名為bigdata。hadoopfs-mkdir/bigdata如果想要級聯(lián)創(chuàng)建目錄（如果父目錄不存在，則自動創(chuàng)建父目錄），則執(zhí)行如下命令：hadoopfs-mkdir-p/bigdata/bigdata12.將本地Linux操作系統(tǒng)中的文件上傳文件到HDFS上，將Linux操作系統(tǒng)上的/usr/local/src/test.txt文件上傳到HDFS上的根目錄下面。hadoopfs-put/usr/local/src/test.txt/bigdata3.將HDFS上的文件下載到本地（Linux操作系統(tǒng)），將HDFS上的/bigdata/test.txt下載到Linux操作系統(tǒng)下的root用戶的家目錄下面。hadoopfs-get/bigdata/test.txt/root在上述命令中，/bigdata/test.txt是需要從HDFS文件系統(tǒng)上下載的文件，/root是要下載文件到本地（Linux操作系統(tǒng)）的路徑。4.將HDFS文件系統(tǒng)上的文件復(fù)制到其他目錄下。hadoopfs-cp/bigdata/test.txt/bigdata/bigdata1/test.txt在上述命令中，/bigdata/test.txt為需要復(fù)制的文件，/bigdata/bigdata1/test.txt為復(fù)制后的文件。5.將HDFS文件系統(tǒng)上的文件移動到其他目錄下hadoopfs-mv/bigdata/test.txt/bigdata/bigdata1/test1.txt在上述命令中，/bigdata/test.txt為需要移動的文件，/bigdata/bigdata1/test.txt為移動后的文件。執(zhí)行如下命令，則實現(xiàn)重命名功能。hadoopfs-mv/bigdata/bigdata1/test.txt/bigdata/bigdata1/test_bak.txt6.查看HDFS文件系統(tǒng)上的文件內(nèi)容hadoopfs-cat/bigdata/test.txt在上述命令中，/bigdata/test.txt為要查看的文件。7.查看HDFS文件系統(tǒng)上的文件內(nèi)容的前5行hadoopfs-cat/bigdata/test.txt|head-5在上述命令中，/bigdata/test.txt為要查看的文件。8.刪除HDFS文件系統(tǒng)上的文件或目錄。hadoopfs-rm/bigdata/test.txt在上述命令中，/bigdata/test.txt為要刪除的文件。如果想刪除目錄，則需要加上參數(shù)“-r”，命令如下所示：hadoopfs-rm-r/bigdata/bigdata19.查看HDFS文件系統(tǒng)支持的命令hadoopfs-help10.查看HDFS文件系統(tǒng)中根目錄下的文件和目錄hadoopfs-ls/講解分組討論在編寫代碼之前，需要引入開發(fā)HDFSAPI客戶端相應(yīng)的依賴，如下所示：<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.9.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.9.2</version></dependency></dependencies>首先，實現(xiàn)HDFS文件上傳將Windows系統(tǒng)上本地E盤下面report.txt文件上傳到HDFS集群。接下來，實現(xiàn)從HDFS上下載文件將HDFS集群上的report.txt文件下載到Windows系統(tǒng)，下載到E盤下面。然后，實現(xiàn)HDFS文件夾刪除刪除HDFS集群上文件。最后，介紹HDFS文件名更改和移動將HDFS集群上文件名進行更改和移動。講解聽講記錄、交流分組討論、交流教學(xué)小結(jié)本節(jié)課內(nèi)容理解起來有一定的困難，根據(jù)課堂教學(xué)情況，之處學(xué)生對本堂課中知識點難以理解的地方，結(jié)合教學(xué)重點和難點，對所學(xué)知識進一步強化。講解學(xué)生記錄布置作業(yè)1.使用HDFS命令行操作，實現(xiàn)如下功能：（1）在HDFS集群根目錄下創(chuàng)建目錄test。（2）在本地Linux操作系統(tǒng)創(chuàng)建test.txt文件，文件內(nèi)容為二十大報告內(nèi)容，將新創(chuàng)建的test.txt上傳到到HDFS上/test目錄。（3）將HDFS集群上/test/test.txt文件下載到本地。（4）將HDFS集群上/test/test.txt文件復(fù)制到根目錄下。（5）將HDFS集群上/test/test.txt文件重命名為test1.txt。（6）查看HDFS集群上/test/test1.txt文件前5行內(nèi)容。（7）刪除HDFS集群