第2章大數(shù)據(jù)處理平臺(tái)Hadoop大數(shù)據(jù)技術(shù)基礎(chǔ)（第2版）PREFACE本章導(dǎo)讀海量數(shù)據(jù)的存儲(chǔ)、處理和分析是大多數(shù)企業(yè)普遍遇到的問(wèn)題，Hadoop的出現(xiàn)有效地解決了數(shù)據(jù)存儲(chǔ)規(guī)模大、存儲(chǔ)管理復(fù)雜、數(shù)據(jù)傳輸效率低和計(jì)算速度慢等難題。Hadoop是一個(gè)開(kāi)源的分布式系統(tǒng)基礎(chǔ)架構(gòu)，它可以使用戶(hù)在不了解分布式底層細(xì)節(jié)的情況下開(kāi)發(fā)分布式程序，充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。01Hadoop及其生態(tài)系統(tǒng)02Hadoop的運(yùn)行模式03安裝部署Hadoop集群04實(shí)戰(zhàn)演練——在Eclipse中搭建Hadoop開(kāi)發(fā)環(huán)境CATALOG知識(shí)目標(biāo)04熟悉Hadoop的集群環(huán)境準(zhǔn)備工作。03了解Hadoop的三種運(yùn)行模式。02熟悉Hadoop生態(tài)系統(tǒng)。01了解Hadoop的概念、特性和發(fā)展歷程。010203能力目標(biāo)04能夠完成Hadoop的偽分布式安裝。能夠?qū)汗?jié)點(diǎn)進(jìn)行基本環(huán)境配置。能夠在Eclipse中搭建Hadoop開(kāi)發(fā)環(huán)境。能夠在Eclipse開(kāi)發(fā)環(huán)境中對(duì)已有Hadoop集群進(jìn)行HDFS文件管理。思政目標(biāo)01.增強(qiáng)憂患意識(shí)、風(fēng)險(xiǎn)意識(shí)和責(zé)任意識(shí)，充分認(rèn)識(shí)新形勢(shì)下科技自立自強(qiáng)的;緊迫性、必要性和重要意義，心懷“國(guó)之大者”，爭(zhēng)做“國(guó)之大才”。02.腳踏實(shí)地，勇于創(chuàng)新，與時(shí)俱進(jìn)，在實(shí)踐中練就過(guò)硬本領(lǐng)、錘煉品德修為，立志為國(guó)家科技自立自強(qiáng)、加快解決“卡脖子”難題等做出貢獻(xiàn)。01Hadoop及其生態(tài)系統(tǒng)2.1Hadoop及其生態(tài)系統(tǒng)Hadoop使用的開(kāi)發(fā)語(yǔ)言是Java，主要運(yùn)行于Linux平臺(tái)。它是一個(gè)允許使用簡(jiǎn)單編程模型跨計(jì)算機(jī)集群分布式處理大型數(shù)據(jù)集的系統(tǒng)，通過(guò)它可以方便地管理分布式集群，將海量數(shù)據(jù)分布式地存儲(chǔ)在集群中，并使用分布式并行程序來(lái)處理這些數(shù)據(jù)。2.1.1Hadoop簡(jiǎn)介什么是Hadoop2.1Hadoop及其生態(tài)系統(tǒng)Hadoop是對(duì)Google的文件系統(tǒng)GFS（Googlefilesystem）和分布式計(jì)算框架MapReduce等核心技術(shù)的開(kāi)源實(shí)現(xiàn)。Hadoop架構(gòu)的核心是HDFS（Hadoopdistributedfilesystem）和HadoopMapReduce，它們分別用于支持海量數(shù)據(jù)的存儲(chǔ)和并行計(jì)算。2.1.1Hadoop簡(jiǎn)介什么是HadoopHadoop的特性2.1Hadoop及其生態(tài)系統(tǒng)010203Hadoop采用冗余數(shù)據(jù)存儲(chǔ)方式，當(dāng)其中一個(gè)副本發(fā)生故障時(shí)，其他副本也可以保證集群正常對(duì)外提供服務(wù)。高可靠性。Hadoop實(shí)現(xiàn)了線性擴(kuò)展，可以從單個(gè)服務(wù)器擴(kuò)展到數(shù)千臺(tái)計(jì)算機(jī)，并且每臺(tái)計(jì)算機(jī)都提供了數(shù)據(jù)存儲(chǔ)和計(jì)算。高擴(kuò)展性。Hadoop具有HDFS、MapReduce和YARN等核心組件，能夠高效地并行處理PB級(jí)數(shù)據(jù)。高效性。2.1.1Hadoop簡(jiǎn)介2.1Hadoop及其生態(tài)系統(tǒng)0506Hadoop的NameNode包括active和standby兩種狀態(tài)，通過(guò)故障轉(zhuǎn)移機(jī)制（即當(dāng)activeNameNode意外終止時(shí)，快速啟用standbyNameNode）可保證HDFS的高可用性。高可用性。Hadoop可以使用廉價(jià)計(jì)算機(jī)搭建集群，從而大大降低了硬件成本，普通用戶(hù)也可以使用自己的個(gè)人計(jì)算機(jī)搭建和運(yùn)行Hadoop。低成本。2.1.1Hadoop簡(jiǎn)介04Hadoop能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。高容錯(cuò)性。Hadoop的特性2.1Hadoop及其生態(tài)系統(tǒng)070809Hadoop能夠較好地運(yùn)行在Linux平臺(tái)，也可以在Windows和macOS等平臺(tái)下搭建Hadoop環(huán)境。多平臺(tái)運(yùn)行。Hadoop主要使用Java語(yǔ)言開(kāi)發(fā)，不過(guò)，用戶(hù)也可以使用其他編程語(yǔ)言（如C++、Python）開(kāi)發(fā)基于Hadoop的應(yīng)用程序。支持多種編程語(yǔ)言。Hadoop盡可能在計(jì)算節(jié)點(diǎn)上存儲(chǔ)數(shù)據(jù)，以實(shí)現(xiàn)數(shù)據(jù)本地化和快速訪問(wèn)數(shù)據(jù)的目的。數(shù)據(jù)本地化。2.1.1Hadoop簡(jiǎn)介Hadoop的特性2.1Hadoop及其生態(tài)系統(tǒng)Hadoop的發(fā)展歷程STEP01STEP03STEP02STEP042002年DougCutting等人創(chuàng)建了開(kāi)源網(wǎng)絡(luò)搜索引擎Nutch，該引擎包括了網(wǎng)頁(yè)抓取、索引、查詢(xún)等功能。2005年Nutch將所有主要算法移植到了由NDFSMapReduce構(gòu)建的新框架中，在20個(gè)節(jié)點(diǎn)上可以穩(wěn)定運(yùn)行。2004年提出MapReduce模式能夠解決大型分布式并行計(jì)算問(wèn)題，可用于處理海量網(wǎng)頁(yè)的索引問(wèn)題。2003年Google搜索引擎網(wǎng)頁(yè)相關(guān)數(shù)據(jù)的存儲(chǔ)架構(gòu)，該架構(gòu)可解決Nutch遇到的網(wǎng)頁(yè)抓取和索引過(guò)程中產(chǎn)生的超大文件存儲(chǔ)需求的問(wèn)題。2.1.1Hadoop簡(jiǎn)介2.1Hadoop及其生態(tài)系統(tǒng)Hadoop的發(fā)展歷程STEP05STEP06STEP072006年NDFS和MapReduce被移出Nutch，并成為L(zhǎng)ucene的一個(gè)子項(xiàng)目，命名為Hadoop。2.1.1Hadoop簡(jiǎn)介2007年《紐約時(shí)報(bào)》將存檔的報(bào)紙掃描成4TB的圖片文件，并通過(guò)運(yùn)行在亞馬遜EC2云服務(wù)上的Hadoop應(yīng)用程序，將圖片文件轉(zhuǎn)換為用于網(wǎng)上共享的PDF文檔。2008年1月Hadoop成為Apache的頂級(jí)項(xiàng)目，迎來(lái)了快速發(fā)展期。2.1Hadoop及其生態(tài)系統(tǒng)STEP08STEP10STEP092009年4月Yahoo!再次對(duì)1TB數(shù)據(jù)進(jìn)行排序，此次耗時(shí)縮短至62s。2008年8月Facebook公司在Hadoop架構(gòu)的基礎(chǔ)上創(chuàng)建了數(shù)據(jù)倉(cāng)庫(kù)工具Hive。2008年6月Facebook、Google和Yahoo!的前工程師JeffHammerbacher、ChristopheBisciglia、AmrAwadallah，以及Oracle前高管MikeOlson共同創(chuàng)建了Hadoop數(shù)據(jù)管理軟件與服務(wù)公司Cloudera。2.1.1Hadoop簡(jiǎn)介Hadoop的發(fā)展歷程2.1Hadoop及其生態(tài)系統(tǒng)STEP12STEP11STEP132018年10月大數(shù)據(jù)領(lǐng)域的兩大巨頭公司Cloudera和Hortonworks宣布平等合并，表示要?jiǎng)?chuàng)建世界領(lǐng)先的數(shù)據(jù)平臺(tái)。2008年-2011年MapReduce、HDFS、Avro、HBase、Hive、Pig、ZooKeeper先后脫離Hadoop，成為Apache的頂級(jí)項(xiàng)目。2011年6月Yahoo!BenchmarkCapital公司聯(lián)合成立了Hortonworks公司。2.1.1Hadoop簡(jiǎn)介Hadoop的發(fā)展歷程2.1Hadoop及其生態(tài)系統(tǒng)Hadoop生態(tài)系統(tǒng)2.1.2Hadoop生態(tài)系統(tǒng)2.1Hadoop及其生態(tài)系統(tǒng)01HDFSHDFS是Hadoop的核心組成框架，在大數(shù)據(jù)開(kāi)發(fā)中通過(guò)分布式計(jì)算對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。02MapReduceMapReduce是Hadoop的另一個(gè)核心組成框架，它是一種容錯(cuò)的、可靠的、分布式并行計(jì)算模型，用來(lái)解決海量數(shù)據(jù)的計(jì)算問(wèn)題。03YARNYARN是一個(gè)通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。2.1.2Hadoop生態(tài)系統(tǒng)2.1Hadoop及其生態(tài)系統(tǒng)04ZooKeeperZooKeeper是一種適用于大型分布式應(yīng)用的高性能協(xié)調(diào)服務(wù)，源自Google的論文“TheChubbylockserviceforloosely-coupleddistributedsystems”，是對(duì)GoogleChubby的開(kāi)源實(shí)現(xiàn)。05HiveHive最初由Facebook開(kāi)發(fā)，是構(gòu)建在Hadoop之上的數(shù)據(jù)倉(cāng)庫(kù)工具，它可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表。2.1.2Hadoop生態(tài)系統(tǒng)06HbaseHBase是一個(gè)基于HDFS的面向列的分布式數(shù)據(jù)庫(kù)，可以實(shí)現(xiàn)大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)集的實(shí)時(shí)隨機(jī)讀寫(xiě)。2.1Hadoop及其生態(tài)系統(tǒng)07SqoopSqoop（SQL-to-Hadoop）是數(shù)據(jù)ETL（extract-transform-load，抽取、轉(zhuǎn)換和加載）工具。08FlumeFlume由Cloudera公司開(kāi)發(fā)，是Apache軟件基金會(huì)的一個(gè)頂級(jí)項(xiàng)目。09KafkaKafka是一個(gè)高吞吐量的分布式發(fā)布與訂閱消息系統(tǒng)，由LinkedIn開(kāi)源實(shí)現(xiàn)，它可以處理消費(fèi)者規(guī)模網(wǎng)站中的所有動(dòng)作數(shù)據(jù)，包括網(wǎng)頁(yè)瀏覽、搜索等。10SparkSpark是基于內(nèi)存的分布式計(jì)算框架，最初由加州大學(xué)伯克利分校的AMPLab研發(fā)，可用來(lái)構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。2.1.2Hadoop生態(tài)系統(tǒng)02Hadoop的運(yùn)行模式2.2Hadoop的運(yùn)行模式2.2.1單機(jī)模式單機(jī)模式又叫本地模式，即只在一臺(tái)機(jī)器上安裝Hadoop，其屬于默認(rèn)安裝模式，無(wú)須進(jìn)行其他配置就可以運(yùn)行Hadoop。該模式主要用于MapReduce應(yīng)用程序的調(diào)試，沒(méi)有使用分布式文件系統(tǒng)HDFS，也不會(huì)加載進(jìn)程。2.2Hadoop的運(yùn)行模式2.2.2偽分布式模式偽分布式模式同樣是運(yùn)行在一臺(tái)機(jī)器上，其增加了代碼調(diào)試功能，包括5個(gè)進(jìn)程（NameNode、SecondaryNameNode、DataNode、ResourceManager和NodeManager），即在一臺(tái)機(jī)器上模擬分布式，主要用于測(cè)試，這種模式對(duì)開(kāi)發(fā)非常有用。2.2Hadoop的運(yùn)行模式2.2.2偽分布式模式

偽分布式模式存儲(chǔ)采用分布式文件系統(tǒng)HDFS，同一節(jié)點(diǎn)既作為元數(shù)據(jù)節(jié)點(diǎn)NameNode，又作為數(shù)據(jù)節(jié)點(diǎn)DataNode。Hadoop啟動(dòng)上述5個(gè)進(jìn)程，這些守護(hù)進(jìn)程全部在同一臺(tái)機(jī)器上運(yùn)行，是相互獨(dú)立的Java進(jìn)程。2.2Hadoop的運(yùn)行模式2.2.3完全分布式模式完全分布式模式又叫集群模式，它由兩臺(tái)及兩臺(tái)以上的機(jī)器組成，是真正的分布式。2.2Hadoop的運(yùn)行模式2.2.3完全分布式模式Hadoop的守護(hù)進(jìn)程運(yùn)行在由多臺(tái)主機(jī)搭建的集群上，是真正的生產(chǎn)環(huán)境。其存儲(chǔ)采用分布式文件系統(tǒng)HDFS。集群中的節(jié)點(diǎn)可以分成兩大類(lèi)角色：master和slave，由一個(gè)NameNode和若干DataNode組成。其中，NameNode作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶(hù)端對(duì)文件系統(tǒng)的訪問(wèn)；集群中的DataNode管理存儲(chǔ)的數(shù)據(jù)。03安裝部署Hadoop集群2.3安裝部署Hadoop集群Hadoop偽分布式安裝是指在一臺(tái)機(jī)器上模擬一個(gè)小的集群，但是集群中只有一個(gè)節(jié)點(diǎn)。它通過(guò)多個(gè)線程模擬多臺(tái)真實(shí)機(jī)器，即模擬真實(shí)的分布式環(huán)境。也就是說(shuō)，Hadoop可以在單節(jié)點(diǎn)上以偽分布的方式運(yùn)行，Hadoop進(jìn)程以分離的Java進(jìn)程來(lái)運(yùn)行，節(jié)點(diǎn)既是NameNode又是DataNode，并且讀取的是HDFS中的文件。2.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境5配置SSH免密碼登錄本地節(jié)點(diǎn)（hadoop0）。4配置主機(jī)IP映射（修改hosts文件，添加“00hadoop0”。3安裝和配置JDK。2關(guān)閉防火墻和新建安裝目錄。1修改主機(jī)名和設(shè)置固定IP（主機(jī)名：hadoop0；固定IP：00）。在VMwareWorkstation軟件中創(chuàng)建一個(gè)虛擬機(jī)并安裝好CentOS7用root用戶(hù)進(jìn)行登錄對(duì)虛擬機(jī)系統(tǒng)進(jìn)行基本環(huán)境配置2.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境修改主機(jī)名在CentOS系統(tǒng)下打開(kāi)命令行終端，執(zhí)行以下命令，查看當(dāng)前的主機(jī)名：#hostname步驟執(zhí)行以下命令，修改hostname文件，將其內(nèi)容改為要使用的主機(jī)名：#vim/etc/hostname步驟執(zhí)行以下命令，修改hostname文件，將其內(nèi)容改為要使用的主機(jī)名：#vim/etc/hostname步驟2.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境設(shè)置固定IP打開(kāi)命令行終端，執(zhí)行以下命令，可以查看本機(jī)的網(wǎng)卡配置與網(wǎng)絡(luò)狀態(tài)等信息：#ifconfig步驟執(zhí)行以下命令，修改網(wǎng)卡配置文件ifcfg-ens33：#vim/etc/sysconfig/network-scripts/ifcfg-ens33步驟修改完成后，需執(zhí)行以下命令重啟網(wǎng)絡(luò)服務(wù)，使修改生效：#servicenetworkrestart步驟在命令行終端用ping命令測(cè)試本機(jī)與宿主主機(jī)是否可以連通。注意，要終止ping操作，需要按“Ctrl+C”組合鍵。步驟2.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境關(guān)閉防火墻打開(kāi)命令行終端，執(zhí)行以下命令，查看防火墻當(dāng)前的運(yùn)行狀態(tài)（默認(rèn)為running）：#firewall-cmd--state或#systemctlstatusfirewalld.service步驟執(zhí)行以下命令，關(guān)閉防火墻（運(yùn)行狀態(tài)變?yōu)閚otrunning）：#systemctlstopfirewalld.service步驟執(zhí)行以下命令，禁止防火墻開(kāi)機(jī)啟動(dòng)：#systemctldisablefirewalld.service步驟2.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境安裝和配置JDK通過(guò)頁(yè)面https:///java/technologies/javase/javase8u211-later-archive-downloads.html下載JDK安裝包jdk-8u211-linux-x64.tar.gz（下載時(shí)需要登錄Oracle賬戶(hù)）步驟2.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境安裝和配置JDKCentOS7系統(tǒng)預(yù)裝了OpenJDK（可執(zhí)行“rpm-qa|grepopenjdk”命令，查詢(xún)系統(tǒng)已安裝的OpenJDK），如圖所示，但該版本的JDK功能通常有所精簡(jiǎn)。為避免系統(tǒng)默認(rèn)使用OpenJDK，需要先將其卸載，然后再安裝要使用的標(biāo)準(zhǔn)版JDK8u211。步驟2.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境安裝和配置JDK將下載得到的JDK安裝包jdk-8u211-linux-x64.tar.gz上傳到虛擬機(jī)的“/opt/packages”目錄下，然后執(zhí)行以下命令進(jìn)入該目錄（此時(shí)可通過(guò)“l(fā)s”命令查看安裝包是否存在）：#cd/opt/packages步驟步驟執(zhí)行以下命令，將jdk-8u211-linux-x64.tar.gz解壓到目錄“/opt/programs”下：#tar-zxvfjdk-8u211-linux-x64.tar.gz-C/opt/programs步驟執(zhí)行以下命令修改文件“/etc/profile”，配置JDK系統(tǒng)環(huán)境變量：#vim/etc/profile52.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境安裝和配置JDK步驟執(zhí)行以下命令，刷新profile文件，使修改生效：#source/etc/profile6步驟執(zhí)行“java-version”命令，若能輸出以下JDK版本信息，則說(shuō)明安裝成功：javaversion"1.8.0_211"Java(TM)SERuntimeEnvironment(build1.8.0_211-b12)JavaHotSpot(TM)64-BitServerVM(build25.211-b12,mixedmode)72.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境配置主機(jī)IP映射啟動(dòng)虛擬機(jī)（節(jié)點(diǎn)）hadoop0。步驟執(zhí)行以下命令，修改hosts文件：#vim/etc/hosts步驟使用ping命令測(cè)試是否配置成功：#pinghadoop0步驟2.3安裝部署Hadoop集群2.3.1準(zhǔn)備集群環(huán)境配置SSH免密碼登錄本地節(jié)點(diǎn)在節(jié)點(diǎn)hadoop0中執(zhí)行以下命令，生成密鑰文件：#ssh-keygen步驟在節(jié)點(diǎn)hadoop0中執(zhí)行一遍以下命令，將自身的公鑰信息復(fù)制并追加到本節(jié)點(diǎn)的授權(quán)文件authorized_keys中（在命令執(zhí)行過(guò)程中需要確認(rèn)連接及輸入用戶(hù)密碼）：#ssh-copy-idhadoop0步驟在節(jié)點(diǎn)hadoop0中用以下命令測(cè)試SSH免密碼登錄：#sshhadoop0步驟2.3安裝部署Hadoop集群2.3.2安裝Hadoop0201

通過(guò)頁(yè)https:///dist/hadoop/core/hadoop-2.7.6/下載Hadoop安裝包hadoop2.7.6.tar.gz。使用WinSCP軟件將下載的Hadoop安裝包hadoop-2.7.6.tar.gz上傳到hadoop0節(jié)點(diǎn)的“/opt/packages”目錄下，然后執(zhí)行以下命令進(jìn)入該目錄：#cd/opt/packages2.3安裝部署Hadoop集群2.3.2安裝Hadoop0403執(zhí)行以下命令，將hadoop-2.7.6.tar.gz解壓到目錄“/opt/programs”下：#tar-zxvfhadoop-2.7.6.tar.gz-C/opt/programs進(jìn)入“/opt/programs/hadoop-2.7.6/etc/hadoop”目錄，依次修改配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves、hadoop-env.sh。2.3安裝部署Hadoop集群2.3.2安裝Hadoop0605修改文件“/etc/profile”，配置Hadoop環(huán)境變量：#vim/etc/profile

執(zhí)行以下命令，格式化HDFS：#hdfsnamenode-format2.3安裝部署Hadoop集群2.3.2安裝