1、精選文檔課 程 實 驗 報 告專 業 年 級 14級軟件工程 課 程 名 稱 大數據技術原理與應用 指 導 教 師 李均濤 學 生 姓 名 吳勇 學 號 20142205042026 實 驗 日 期 2017.05.04 實 驗 地 點 篤行樓B棟301 實 驗 成 績 教務處制2017年03月09日試驗項目名稱Liunx基本操作試驗目的及要求1. 了解Liunx操作系統進展歷史。2. 學習Liunx操作系統基本概念及操作。3. 學習Liunx操作系統用戶及文件權限管理。4. Linux 名目結構及文件基本操作。試驗內容1.試驗樓環境介紹，常用 Shell 命令及快捷鍵，Linux 使用小技巧

2、。2.Linux 中創建、刪除用戶，及用戶組等操作。Linux 中的文件權限設置。3.Linux 的文件組織名目結構，相對路徑和確定路徑，對文件的移動、復制、重命名、編輯等操作。試驗步驟1. Liunx輸入輸出命令。2. 使用touch命令創建文件夾，后綴都為txt。3. 學會在命令行中獵取掛念。4. 輸出圖形字符。5. 查看用戶。6. 創建新用戶。7. 刪除用戶。8. 查看文件權限。9. 用ls A/Al/dl/AsSh查看文件。10. 變更文件全部者。11. 修改文件權限。12. 名目路徑。13. 新建空白文件。14. 文件的復制、刪除、移動、重命名。試驗環境Liunx 操作系統試驗結果與

3、分析通過學習Liunx操作系統的進展歷史、基本操作、用戶及文件權限管理以及Linux 名目結構及文件基本操作。是得我大致了解Liunx操作系統的使用，并且能夠完成相應的練習。老師評語注：可依據實際狀況加頁課 程 實 驗 報 告專 業 年 級 14級軟件工程 課 程 名 稱 大數據技術原理與應用 指 導 教 師 李均濤 學 生 姓 名 吳勇 學 號 20142205042026 實 驗 日 期 2017.05.04 實 驗 地 點 篤行樓B棟301 實 驗 成 績 教務處制2017年03月09日試驗項目名稱Hadoop的基本操作試驗目的及要求1. Hadoop單機模式安裝.2. Hadoop偽分

4、布模式配置部署.3. Hadoop介紹及1.X偽分布式安裝.4. adoop2.X 64位編譯.5. Hadoop2.X 64位環境搭建.試驗內容1. hadoop三種安裝模式介紹,hadoop單機模式安裝,測試安裝2. hadoop配置文件介紹及修改,hdfs格式化,啟動hadoop進程，驗證安裝.3. Hadoop1.X偽分布安裝, Hadoop介紹,Hadoop變量配置.4. Hadoop2.X 64位編譯, 編譯Hadoop2.X 64位, 編譯Hadoop.5. 搭建環境, 部署Hadooop2.X, 啟動Hadoop.試驗步驟1. 用戶及用戶組, 添加用戶及用戶組, 添加sudo權

5、限.2. 安裝及配置依靠的軟件包, 安裝openssh-server、java、rsync等, 配置ssh免密碼登錄.3. 下載并安裝Hadoop, 下載Hadoop 2.6.0, 解壓并安裝, 配置Hadoop.4. 測試驗證.5. 相關配置文件修改:修改core-site.xml:6. 格式化HDFS文件系統.7. Hadoop集群啟動.8. 測試驗證.9. 設置Host映射文件.10. 下載并解壓hadoop安裝包11. 在Hadoop-1.1.2名目下創建子名目.12. 啟動hadoop.13. 編譯Hadoop2.X 64位.14.使用yum安裝sun.15. 部署Hadooop2.

6、X.與Hadoop1.X類似。試驗環境hadoop Xfce終端試驗結果與分析通過本次試驗，讓我對Hadoop有所了解，但是在試驗過程中消滅很多問題。例如，不知道該如何下載java jdk，甚至如何創建文件夾名目下的文件，以及Hadoop的環境配置原理以及編譯原理和方法。這些都是試驗中消滅的問題，但是通過自己查詢，問同學，部分問題已經得到解決，但是還存在一部分就只能通過課后自學進行解決！通過上述的學習，讓我對Hadoop的基本操作有了基礎的把握，包括Hadoop介紹及1.X偽分布式安裝，adoop2.X 64位編譯，Hadoop2.X 64位環境搭建等。老師評語注：可依據實際狀況加頁課 程 實

7、 驗 報 告專 業 年 級 14級軟件工程 課 程 名 稱 大數據技術原理與應用 指 導 教 師 李均濤 學 生 姓 名 吳勇 學 號 20142205042026 實 驗 日 期 2017.06.01 實 驗 地 點 篤行樓B棟301 實 驗 成 績 教務處制2017年03月09日試驗項目名稱HDFS和MapReduce試驗目的及要求1. HDFS原理及操作。2. MapReduce原理及操作。試驗內容1. HDFS原理及操作。環境說明，HDFS原理，HDFS架構，HDFS讀操作，HDFS寫操作，測試例子2MapReduce原理及操作。 環境說明，MapReduce原理，Map過程，Redu

8、ce過程，測試例子試驗步驟1.HDFS原理及操作。1.1 環境說明。虛擬機操作系統： CentOS6.6 64位，單核，1G內存JDK：1.7.0_55 64位Hadoop：1.1.21.2 HDFS原理。HDFS（Hadoop Distributed File System）是一個分布式文件系統，是谷歌的GFS山寨版本。它具有高容錯性并供應了高吞吐量的數據訪問，格外適合大規模數據集上的應用，它供應了一個高度容錯性和高吞吐量的海量數據存儲解決方案。1.3 HDFS架構。HDFS是Master和Slave的結構，分為NameNode、Secondary NameNode和DataNode三種角色

9、。1.4 HDFS讀操作。客戶端通過調用FileSystem對象的open()方法來打開期望讀取的文件。1.5 HDFS寫操作。客戶端通過調用DistributedFileSystem的create()方法創建新文件。1.6測試例子1。 1.創建代碼名目 2. 建立例子文件上傳到HDFS中 3. 配置本地環境 4. 編寫代碼 5. 編譯代碼 6. 使用編譯代碼讀取HDFS文件2. MapReduce原理及操作。 2.1環境說明。 虛擬機操作系統： CentOS6.6 64位，單核，1G內存JDK：1.7.0_55 64位Hadoop：1.1.22.2 MapReduce原理。Map 和Redu

10、ce。當你向MapReduce 框架提交一個計算作業時，它會首先把計算作業拆分成若干個Map 任務，然后安排到不同的節點上去執行，每一個Map 任務處理輸入數據中的一部分，當Map 任務完成后，它會生成一些中間文件，這些中間文件將會作為Reduce 任務的輸入數據。Reduce 任務的主要目標就是把前面若干個Map 的輸出匯總到一起并輸出。2.3 Map過程。每個輸入分片會讓一個map任務來處理，默認狀況下，以HDFS的一個塊的大小（默認為64M）為一個分片，當然我們也可以設置塊的大小。map輸出的結果會暫且放在一個環形內存緩沖區中（該緩沖區的大小默認為100M，由io.sort.mb屬性把握

11、），當該緩沖區快要溢出時（默認為緩沖區大小的80%，由io.sort.spill.percent屬性把握），會在本地文件系統中創建一個溢出文件，將該緩沖區中的數據寫入這個文件。2.4 Reduce過程。Reduce會接收到不同map任務傳來的數據，并且每個map傳來的數據都是有序的。假如reduce端接受的數據量相當小，則直接存儲在內存中（緩沖區大小由mapred.job.shuffle.input.buffer.percent屬性把握，表示用作此用途的堆空間的百分比），假如數據量超過了該緩沖區大小的肯定比例（由mapred.job.shuffle.merge.percent打算），則對數據合并后溢寫到磁盤中。 2.5測試例子。1 編寫代碼。2.編譯代碼。3.打包編譯文件。4.解壓氣象數據并上傳到HDFS中。 5. 運行程序。 6. 查看結果。試驗環境虛擬機操作系統： CentOS6.6 64位，單核，1G內存JDK：1.7.0_55 64