Hadoop大數據項目開發——虛擬機安裝目錄content01虛擬機安裝VMware簡介虛擬機指通過軟件模擬具有完整硬件系統功能的、運行在一個完全隔離環境中的完整計算機系統，在實體計算機中能夠完成的工作在虛擬機中基本都能夠實現。VMwareWorkstation是一款功能強大的桌面虛擬計算機軟件，提供用戶在單一的桌面上同時運行不同的操作系統，以及進行開發、測試、部署新的應用程序的最佳解決方案。新建虛擬機步驟1步驟2新建虛擬機步驟3步驟4新建虛擬機步驟5本章小結本節一起創建了虛擬機，相信大家對虛擬機創建已經有了初步的認識，為我們后續搭安裝CentOS7操作系統打下了堅實的基礎。Hadoop大數據項目開發——CentOS7操作系統安裝目錄content01CentOS7操作系統安裝安裝CentOS7操作系統步驟1步驟2安裝CentOS7操作系統步驟3設置時區界面設置鍵盤信息界面設置語言信息界面安裝CentOS7操作系統步驟4安裝資源界面軟件安裝選擇界面安裝CentOS7操作系統步驟5安裝位置界面選擇標準分區界面安裝CentOS7操作系統步驟6boot分區界面swap分區界面安裝CentOS7操作系統步驟7根分區界面安裝CentOS7操作系統步驟8手動分區界面安裝界面步驟9安裝CentOS7操作系統步驟8：安裝完成界面CentOS7登錄界面步驟9：本章小結本節一起創建了虛擬機，并在虛擬機上安裝了CentOS7，相信大家對CentOS7已經有了初步的認識，為我們后續搭建Hadoop分布式平臺打下了堅實的基礎。Hadoop大數據項目開發——虛擬機克隆目錄content01虛擬機克隆Hadoop集群搭建步驟—Hadoop安裝關閉要被克隆的虛擬機。步驟1：步驟2：Hadoop集群搭建步驟—Hadoop安裝步驟3：Hadoop集群搭建步驟—修改配置文件步驟4：步驟5：Hadoop集群搭建步驟—修改配置文件步驟6：步驟7：生成MAC地址后，需要重啟網絡服務，命令如下：systemctlrestartnetwork本章小結本節一起克隆了CentOS7操作系統，相信大家已經掌握了CentOS7操作系統的克隆，為我們后續搭建Hadoop分布式平臺打下了堅實的基礎。Hadoop大數據項目開發——虛擬機集群環境配置-修改IP地址目錄content01修改IP地址虛擬機集群環境配置-修改IP地址步驟1步驟2虛擬機集群環境配置-修改IP地址步驟3ifcfg-ens33修改前內容ifcfg-ens33修改后內容靜態IP地址網關子網掩碼，也可以寫成PREFIX=24DNS，與網關設置成一樣虛擬機集群環境配置-修改IP地址步驟4虛擬機集群環境配置-修改IP地址步驟5虛擬機集群環境配置-修改IP地址slave1節點中IP配置信息虛擬機集群環境配置-修改IP地址slave2節點中IP配置信息虛擬機集群環境配置-修改IP地址步驟6：slave2節點中IP配置信息虛擬機集群環境配置-修改IP地址虛擬機集群環境配置-修改IP地址虛擬機集群環境配置-修改IP地址本章小結本節一起修改了CentOS7操作系統的IP地址，為我們后續搭建Hadoop分布式平臺打下了堅實的基礎。Hadoop大數據項目開發——修改主機名和配置主機IP映射目錄content01修改主機名02配置主機映射修改主機名步驟1修改master節點主機名編輯/etc/hostname/etc/hostname原有內容/etc/hostname修改后內容重啟命令重啟之后修改主機名步驟2：修改slave1節點主機名編輯/etc/hostname/etc/hostname原有內容/etc/hostname修改后內容重啟命令重啟之后修改主機名步驟2：修改slave2節點主機名編輯/etc/hostname/etc/hostname原有內容/etc/hostname修改后內容重啟命令重啟之后配置主機IP映射步驟1編輯/etc/hostshosts文件中的內容配置主機IP映射步驟2復制hosts到另外兩個節點查看另外兩個節點hosts文件中內容配置主機IP映射步驟3重啟命令使用主機名驗證3個節點配置主機IP映射步驟4Windows系統下主機IP映射C:\Windows\System32\drivers\etc配置主機IP映射步驟5XShell使用主機名本章小結本節一起修改主機名和配置主機IP映射，為我們后續搭建Hadoop分布式平臺打下了堅實的基礎。Hadoop大數據項目開發——虛擬機集群環境配置-免密登錄目錄content01免密登錄免密登錄大數據集群的節點之間需要頻繁通信，但Linux系統在相互通信中需要驗證用戶身份。為了使Hadoop各節點之間能夠免密相互訪問，相互信任，無阻礙通信，可以為各節點配置SSH免密登錄。配置免密后，節點之間訪問時不需要輸密碼，方便快捷。虛擬機集群環境配置-免密登錄master節點生成秘鑰步驟1：直接按“回車鍵”即可.ssh目錄中的內容虛擬機集群環境配置-免密登錄slave1節點生成秘鑰步驟1：直接按“回車鍵”即可.ssh目錄中的內容虛擬機集群環境配置-免密登錄slave2節點生成秘鑰步驟1：直接按“回車鍵”即可.ssh目錄中的內容Hadoop集群搭建步驟—JDK安裝步驟2：重命名命令Hadoop集群搭建步驟—JDK安裝步驟2：重命名命令Hadoop集群搭建步驟—JDK安裝步驟2：重命名命令Hadoop集群搭建步驟—JDK安裝步驟4：免密登錄最終效果Hadoop集群搭建步驟—JDK安裝步驟6：查看JDK版本信息Hadoop集群搭建步驟—配置slave1和slave2拷貝JDK到slave1和slave2兩個節點拷貝profile文件到slave1和slave2兩個節點Hadoop集群搭建步驟—JDK安裝使profile文件生效，并查看slave1和slave2上JDK版本信息本章小結本節內容主要介紹了Linux操作系統下JDK的安裝，包括JDK的安裝和環境變量的配置。Hadoop大數據項目開發——JDK安裝目錄content01JDK安裝Hadoop集群搭建步驟—JDK安裝Xshell中的文件傳輸拖到文件傳輸窗口查看JDK安裝包步驟1：Hadoop集群搭建步驟—JDK安裝解壓JDK安裝包命令步驟2：步驟3：重命名命令Hadoop集群搭建步驟—JDK安裝JDK環境變量步驟4：編輯profile文件步驟5：使profile文件生效Hadoop集群搭建步驟—JDK安裝步驟6：查看JDK版本信息Hadoop集群搭建步驟—配置slave1和slave2拷貝JDK到slave1和slave2兩個節點拷貝profile文件到slave1和slave2兩個節點Hadoop集群搭建步驟—JDK安裝使profile文件生效，并查看slave1和slave2上JDK版本信息本章小結本節內容主要介紹了Linux操作系統下JDK的安裝，包括JDK的安裝和環境變量的配置。Hadoop大數據項目開發——Hadoop分布式集群搭建目錄content0201Hadoop集群部署方式Hadoop集群搭建Hadoop集群的部署方式單機模式：在該模式下，無須運行任何守護進程，所有的程序都在單個JVM上執行。偽分布式模式：Hadoop程序的守護進程運行在一臺主機節點上，通常使用偽分布式模式來調試Hadoop分布式程序的代碼。全分布式模式：Hadoop的守護進程分別運行在由多個主機搭建的集群上，不同節點擔任不同的角色，在實際工作應用開發中，通常使用該模式構建企業級Hadoop系統。Hadoop分布式集群部署規劃Hadoop分布式集群部署規劃如下所示：名稱節點在matser上，數據節點在master、slave1和slave2節點上，第二名稱節點與名稱節點要部署在不同的節點上。masterslave1slave2HDFSNameNodeDataNodeSecondaryNameNodeDataNodeDataNodeHadoop集群搭建步驟—Hadoop安裝Xshell中的文件傳輸拖到文件傳輸窗口查看Hadoop安裝包步驟1Hadoop集群搭建步驟—Hadoop安裝解壓Hadoop安裝包命令Hadoop系統環境變量步驟2步驟3重命名命令步驟4編輯profile文件步驟5使profile文件生效Hadoop安裝路徑Hadoop集群搭建步驟—Hadoop安裝步驟6查看Hadoop版本信息Hadoop目錄下的內容Hadoop集群搭建步驟—修改配置文件步驟1Hadoop的配置文件hadoop-env.sh配置文件內容Hadoop集群搭建步驟—修改配置文件步驟2core-site.xml配置文件內容Hadoop集群搭建步驟—修改配置文件步驟3hdfs-site.xml配置文件內容HDFS文件系統的元信息保存位置HDFS文件系統的數據保存位置第二名稱及誒點http服務器地址和端口Hadoop集群搭建步驟—修改配置文件步驟3hdfs-site.xml配置文件內容HDFS文件系統的元信息保存位置HDFS文件系統的數據保存位置第二名稱及誒點http服務器地址和端口Hadoop集群搭建步驟—修改配置文件步驟4slaves配置文件內容Hadoop集群搭建步驟—配置slave1和slave2拷貝Hadoop到slave1和slave2兩個節點拷貝profile文件到slave1和slave2兩個節點Hadoop集群搭建步驟—配置slave1和slave2使profile文件生效，并查看Hadoop版本信息本章小結本節我們介紹了Hadoop集群部署方式和Hadoop集群搭建，相信大家對Hadoop分布式集群搭建有了全新的認識，為我們后續學習啟動Hadoop集群打下了堅實的基礎。Hadoop官方配置文檔：/docs/stable/Hadoop大數據項目開發——Hadoop分布式集群啟動目錄content01Hadoop集群啟動Hadoop集群啟動步驟—格式化名稱節點格式化成功界面步驟1：格式化NameNode節點命令Hadoop集群搭建步驟—Hadoop安裝生成的name目錄步驟2：步驟3：master上執行啟動集群命令生成的data目錄啟動namenode節點啟動datanode節點Hadoop集群搭建步驟—查看節點步驟4master的節點salve1的節點salve2的節點Hadoop集群搭建步驟—關閉防火墻步驟5日志信息關閉防火墻Hadoop集群搭建步驟—Web界面Hado