1、第1節：環境準備1.1. VirtualBox 的安裝VirtualBox 簡介VirtualBox號稱是免費虛擬機軟件中最強的，擁有豐富的特色和出色的性能，在虛擬 機市場占用重要地位。我們選擇它的理由是：* 安裝程序體積小。相對于同類產品VMWare 的四五百兆的體積，VirtualBox 只有幾十兆的安裝程序，安裝完成后也只有120多兆，太小巧了。* 功能簡單實用。配置簡單、克隆系統、共享文件、虛擬化等一樣不缺* 免費。這是最大的誘惑。安裝讀者根據自己的電腦情況下載適合自己操作系統的安裝程序，作者的系統是 WindowsXP 32位，以下截圖是來自 Windows XP 的。Virtual

2、Box的安裝非常簡單，只需要根據提示一步步選擇 “Next ”即可，遇到回答“Yes” 還是“ No”的地方，選擇“ Yes”。在安裝過程中，會出現暫時的網絡中斷，不要驚慌， 一會就會恢復。VirtuaIEm: Kost-OnlyNetwork圖2-1點擊桌面上的 VirtualBox 圖標，就可以打開了，如圖 2-2所示。圖2-2我們現在對虛擬機進行一些優化設置。點擊菜單欄中的“管理”菜單項，選擇“全局設 定”命令，如圖2-3所示。圖2-3出現一個彈出對話框d1,在“常規”設置中，可以修改“默認虛擬電腦位置”，設圖2-4選擇“熱鍵”選項，可以修改什么按鍵作為熱鍵。如圖 2-5所示，當用鼠標選

3、中熱鍵的時候，可以接收鍵盤輸入。作者根據自己的習慣修改為組合鍵“ Ctrl” + “Alt”。圖2-5選擇“擴展”選項，點擊安裝符號，選擇一個擴展包進行安裝，如圖 2-6所示。-nJJJj圖2-6至此，虛擬機安裝結束。1.2. RedHat 安裝I.RedHat 簡介RedHat既是一個公司的名稱， 也是一款linux產品的名稱。RedHat公司生產 RedHat Linux。該公司發布的Linux是基于開源產品的，如果我們下載使用是免費的，如果進行升 級或者接收技術支持，那就需要收費了。RedHat主要應用于服務器領域，在服務器市場占有很大的市場份額。2 .RedHat 安裝2.1 新建虛擬

4、機并配置參數2-7所示，點擊“下點擊工具欄中的“新建”按鈕，彈出窗口，設置以下內容，如圖步”按鈕。圖2-7內存大小默認值是 512 ,修改為1024 ,如圖2-8所示，點擊“下一步”按鈕。圖2-8內存是安裝和運行操作系統使用的。當使用512MB內存安裝RedHat時，會自動安裝 服務器版本，即只有命令行，沒有圖形窗口。設置是否創建虛擬硬盤，使用默認值，如圖 2-9所示，點擊“創建”按鈕。2-10所示，點擊“下一步”按鈕。選擇虛擬磁盤類型，我們使用默認值，如圖圖 2-102-11所示，點擊“下一步”按鈕。設置是否動態分配磁盤空間，使用默認值，如圖圖 2-11設置磁盤文件大小和存放位置，使用默認值

5、，如圖2-12所示，點擊“創建”按鈕。彈出對話框關閉，如圖 2-13所示。圖 2-13點擊工具欄的設置，會彈出一個針對本操作系統設置的窗口，如圖 2-14所示。圖 2-14選擇“常規”選項，修改允許雙向粘貼和拖放功能，如圖 2-15所示。圖 2-15,把我們的 RedHat選擇“存儲”選項，增加光驅， 如圖2-16所示，點擊“選擇磁盤” 操作系統的iso文件選中。圖 2-16這樣系統啟動的時候會從虛擬光驅引導，進行安裝，這一步很重要。選擇“網絡”選項，將網絡連接方式修改為“僅主機適配器”，如圖 2-17所示。圖 2-17點擊彈出對話框右下角的“確定”按鈕，關閉對話框，如圖 2-18所示。Hos

6、t-Only 連接方式，使得宿主機和客戶機可以單獨構造一個網絡，不同于宿主機所在的網絡。這樣，兩個網絡完全隔離。新搭建的網絡的網段是192.168.56 。2.2 .操作系統的安裝點擊虛擬機工具欄的“啟動”，就會彈出窗口，進入操作系統的安裝界面，如圖2-19所示。圖 2-19用鼠標點擊窗口，然后按回車鍵，就進入了RedHat安裝的引導過程。小提示：現在鼠標已經被虛擬機獨占。這時鍵盤和鼠標操作都是針對客戶機的，不能針對宿主機操作。如果要退出獨占，按組合鍵“Ctrl”+ “Alt”。該按鍵在圖2-5中已經設置。如圖2-20，詢問是否檢查磁盤，選擇“ Skip”，然后按回車鍵。圖 2-20如圖2-2

7、1所示，點擊“ Next ”按鈕。圖 2-212-22所示，點擊選擇安裝語言，讀者可以根據自己的喜好選擇，建議使用英文，如圖“Next ” 按鈕。圖 2-22選擇鍵盤類型，這里使用默認值，如圖2-23所示，點擊“ Next ”按鈕。選擇設備類型，這里使用默認值，如圖 2-24所示，點擊“ Next ”按鈕。圖 2-24詢問是否格式化磁盤空間，選擇“ Yes”，如圖2-25所示，點擊“ Next ”按鈕。小提示：這里的格式化操作不會造成我們windows 系統的空間數據丟失，只是對空間 的空間進行格式化處理，大家不要擔心。修改主機名稱，我們使用"hadoopO : 如圖2-26所示，點

8、擊"Next "按鈕。圖 2-26hadoopO ",注意：在以后的章節中，會使用這里設定的主機名，如果讀者不使用“ 請在以后的操作時注意修改。選擇時區，我們修改為“Asia/Shanghai ”,如圖2-27所示，點擊"Next "按鈕。圖 2-27設置root賬戶的密碼，我們使用"wuchao ”作為密碼，如圖2-28所示，點擊"Next "按鈕。圖 2-28注意：該密碼是以后登錄linux系統時必須使用的，請讀者牢記。這里的密碼設置過于簡單，是為了學習方便。在正式生產服務器中絕對不能這么設置密碼，很容易被黑客

9、攻破，應該設置為數字、大小寫字母、特殊符號的組合。警告密碼過于簡單，不用理會，點擊“ Use Anyway ”按鈕，如圖2-29所示。圖 2-29選擇安裝類型，我們使用默認值，如圖 2-30所示，點擊“ Next ”按鈕。圖 2-30出現確認信息，詢問這樣做會造成磁盤數據丟失。由于是新的虛擬機磁盤，沒有數據, ”按鈕，如圖2-31所示。我們同意，點擊“ Write changes to disk圖 2-31詢問安裝的RedHat類型，我們選擇"Desktop ; 在最下面的軟件定制選項，我們選 擇"Customize now : 如圖2-32所示，點擊"Next

10、"按鈕。在軟件定制部分，我們選擇安裝MySQL數據庫，如圖2-33所示，在我們以后學習Hive時會用到，點擊"Next "按鈕。圖 2-33然后進入操作系統的安裝過程，如圖2-34 ,會持續很長時間，讀者不要隨時操作虛擬機，防止安裝失敗，請耐心等待。圖 2-34經過漫長的等待，終于安裝完了，如圖2-35所示，點擊右下角的“ Reboot ”按鈕。圖 2-353 .系統的初始配置系統重啟后進入系統初始配置頁面，如圖 2-36所示，點擊“Forward "按鈕。圖 2-36這是關于操作系統的使用協議，我們當然同意了，如圖2-37 所示，點擊“Forward按

11、鈕。圖 2-372-38所示，點擊Foward ”按鈕。圖 2-38進行軟件的自動更新，我們沒有聯網，沒有注冊，不能更新，如圖點擊“Foward詢問是否創建一個非管理員用戶，如圖2-39所示，我們這里不創建,按鈕。詢問是否修改系統時間，我們不做修改，如圖 2-40所示，點擊“Foward "按鈕。圖 2-40提示內存不足，我們不用理會，如圖 2-41所示，點擊“ OK”按鈕。圖 2-41正是因為上一步的內存不足，才造成下面的選項全是灰色，如圖2-42所示，點擊“Finish ”按鈕。圖 2-42系統加載剛才的配置信息，終于進入登錄頁面了，如圖 2-43所示。按鈕。圖 2-44圖2-4

12、3點擊“Other"，輸入用戶名root ,如圖2-44所示，點擊“ Log in輸入密碼wuchao ,如圖2-45所示，點擊“Log in ”按鈕。圖 2-45用戶進行的，一定使用root注意：root用戶具有最高權限，操作方便，本書所有操作都是以root實際工作中一般不會直接使用 root用戶。讀者如果對linux權限不熟悉，- 用戶操作，免得出現無謂的錯誤，自己搞不定。這樣，就看到了 RedHat的桌面，如圖2-46所示。圖 2-46桌面最上面是菜單欄，右上角有個紅叉, 這表明網絡沒有連通。在紅叉上點擊右鍵，出現右鍵菜單，如圖 2-47所示。圖 2-47點擊“Edit Con

13、nections ”，彈出對話框，如圖 2-48所示。圖 2-48選中連接，點擊右側“ Edit”，出現彈出對話框，如圖 2-49所示。Apply ”，然左上角有個復選框，請選中，表示啟用自動連接，然后點擊右下角的“后依次關閉彈出窗口。會發現桌面右上的紅叉消失了，這表明網絡已經連通了。在桌面上鼠標右鍵，選擇"Open in terminal : 輸入命令ifconfig ,可以查看到網卡地址是01,如圖2-50 所示。圖 2-50至此，RedHat安裝完畢。4 . Hadoop的偽分布安裝前準備可以安裝PieTTY 0.3.26.exe 進行遠程登錄進行命令操

14、作(1 )設置靜態ip在centos桌面右上角的網絡連接圖標，右鍵修改，Ip:00子網掩碼： 網關： dns:重啟 網卡： service network restart測試：執行ifconfig查看結果(2) 修改主機名<1> 修改當前會話的主機名：hostname XXX<2> 修改配置文件中的主機名：vi /etc/sysconfig/network注意： 需重啟機器：shutdown-r now 或 reboot-h now(3) 把 hostname 和 ip 綁

15、定Vi /etc/hosts增力口 00 XXX測試:ping XXX(4) 關閉防火墻Service iptables stop測試：service iptables status注意：如果重啟電腦，防火墻有可能自動啟動，可以通過 chkconfigTist |grep iptables查看，如果存在 on,可以通過 chkconfig iptables off 停止自動啟動1.3.JDK 安裝我們使用的版本是 Oracle 的 jdk-6u24-linux-i586.bin 。首先，把jdk移動到/usr/local目錄下。進入到/usr/local目錄下，通過&q

16、uot;."解壓文件， 如圖2-55所示。IMiEwrimt 2*刖, hHMi1*l*C4i|httt4h w Um iMhM- 做rwtlKAlhfirK ?n耽即WPWl|rtK4th»t "MM." arwiWmirvit UmUH /4i ma-llw LMN blnVKkJJIt圖 2-55解壓縮完成后，我們可以查看到新產生的目錄jdk1.6.0_24，使用mv命令重命名為jdk ,卜際值上|一ff 匕再，5；* - ' j-工） |o*= A » JL - ih I 一 口1，一 I圖 2-56接下來把jdk的命令配置到環

17、境變量中。在linux下，有很多配置環境變量的地方，分為全局環境變量和局部環境變量。linux加載的時候，會先找全局環境變量，如果找不到，就找局部變量。本書中，我們只設置全局 環境變量。使用gedit命令打開文件"/etc/profile : 如圖2-57所示。圖 2-57在文件最后增加以下內容，讀者可以復制粘貼我的內容。export JAVA_HOME=/usr/local/ jdkexport PATH=.:$ PATH$JAVA_HOME/bin保存關閉后，需要在 shell環境下執行命令如下命令。#source /etc/profile我解釋一下上面的配置內容：“ expor

18、t ”是關鍵字，用于設置環境變量。我們設置了兩個環境變量，一個是 JAVA_HOME , 一個是PATH。對于環境變量的引用，使用“ $”， 多個環境變量之間的連接，使用“：”。大家在設置環境變量的時候，一定與 windows下的 操作區分開，不要混淆。命令" source ”是為了讓文件中的設置立刻生效?，F在使用"java -version ”命令，如果看到如圖 2-58的輸出，那就證明一切順利。jrwtpinf E第Mt huRvtiJ票(4韓+ij i<wtc<na/中 圖 2-66其中，命令"cp id_rsa.pub authorized_k

19、eys ”用于生成授權文件。至此，配置 部分完成了。這里為什么要使用 ssh登錄本機哪？因為 hadoop在本機部署時，需要使用ssh訪問。注意：文件夾“ .ssh”中的三個文件的權限，是有要求的，“自己之外的任何人對每個文件都沒有寫權限”。另外，“ .ssh ”文件夾是700權限。如果權限有問題，會造成SSH訪問失敗。1M| rKTbtlOGflllVIt lQG4lr jlW lWMQflj*r* HfILUi 'l.ft.B WJmLTMi k intue 也加打相一彳 i8iig i « t " W町jw* mai jpccrhii Clc m i 國我u

20、m i'Mrr ee aM)r，口通j/*tfltM/lkiKt lDCAl« |1.4.SSH配置免密碼登陸如果我們需要遠程管理其他機器的話，一般使用遠程桌面或者 telnet。linxu服務器幾乎都是命令行，所以只能使用 telnet 了。telnet的缺點是通信不加密，非常不安全，只適 合于內網訪問。為解決這個問題，推出了加密的通信協議，即 SSH。SSH的全稱是Secure Shell ,使用非對稱加密方式，傳輸內容使用rsa或者dsa加密，可以有效避免網絡竊聽。hadoop的進程之間通信使用 ssh方式，需要每次都要輸入密碼。為了實現自動 化操作，我們下面配置 SS

21、H的免密碼登錄方式。首先到用戶主目錄下，如圖2-64所示。1 ? -I '= prtAa PMBHiMiImt 一 聲"""n-MM «- *- - I- GUW.Vimi,fcrH , xlI UI LI _ lii iFIfif-i*，* IILvhT - 1 .4 tutyf T f fl*frc«er«CLRfi¥«"e孫Entair ! lu 崢川畔 to mm - Iwvh/+d fm|iEmerI ar rt« 叩附什1 1Bnt»r IMFw Af*lH ：Fm

22、 BdetiT jl |£r ion- Im Kiu>ta |n frw“，師110 ruvw* pMit f *w mwI in /rwt/.t-iiwM7.；2.Kh* Gf 打中f/附* *-H：WTlc;H，7»3-；f*:3.|： t? M MF”/：H睚 F rwwfclFHi*>iU!»l Llwfr 141RS* 3Wtj - -*III I.lL q.E r'W.|FtHtwlMH -W .圖 2-65解釋下：命令 "ssh-keygen -t rsa”表示使用rsa加密方式生成密鑰，回車后，會提示三次輸入信息，我們

23、直接回車即可。然后進入密鑰文件夾，執行命令，如圖2-66所示。IrMttlocdLlhaiit ” cdWi時01*加nh|* U 4gt-l B- 1rHT -。-I <Ht mt ISM Jhufl 3Id fMni-r -r-1 rwc r*i m Jvn 3 1丸)* i*二pm.(i曲Fpvtflocillicit d'hl，p in raLgg utgmiM出3*占1%述 it -itoutl 12值I mt root un Jui 3 kd_ru rw r-r-I rut，岫t M> Jun 3 16>： M id ru j癌-ira-r r- -p 9

24、 rio«t regt 33； Jun 3 IQ-; 39 iiuEhflrjEcdE FDCtfl ik a-ltoit .s-ih |« |I現在開始驗證 SSH無密碼登錄，如圖 2-67所示。ku MV u»»rr尸"« M feh irii# rldrFliMani itlrt hiti HriMfliviM thMk FF 3Kw /*- Ei P*1 t« c«ML»vtI,e/fI 9 K* 產.Jaq kUMM!. riMW 'iM-lkfeH'l' !W I tt

25、 IM | Lit * iMai iVlifet i"w"!i|CD9M / "士 WwaN;1M. ” Zac、=MiE <ts4J|dFtniiw Al 吹I I«k|ii0 m I3uni loiki * M !Eli, f* ImIlWT圖 2-67執行"ssh localhost ”意味著使用"ssh”通信協議訪問主機"localhost ",第一次執行時需要確認；第二次不再確認了。這就是無密碼登錄。當登錄到對方機器后，退出使用命令“exit ”。這兩次操作時，注意觀察主機名變化。 讀者可以執行命令

26、"ssh book。"， 驗證dns對book。解析是否正確。注意：使用命令 ssh時，一定要觀察主機名的變化。很多同學在操作ssh時，由于大量的使用ssh登錄退出，忘記自己目前在哪臺機器了，執行了大量錯誤的操作。另外，如果多次執行 ssh,每次都要輸入確認信息的話，說明配置失敗了?？梢詣h除文件夾“.ssh”，重新配置。也可以重啟虛擬機再配置。只要嚴格按照上面的步驟操作，保證能夠成功的。如果還搞不定，給你個絕招” 刪除/etc/udev/rules.d/70-persistent-net.rules文件，重啟系統”。配置出錯，可以查看/var/log/secure日志文件，

27、找原因。至此，恭喜你，開發環境搭建完工。1.5.Hadoop偽分布安裝hadoop的安裝分為本地模式、偽分布模式、集群模式。本地模式是運行在本地，只負責存儲，沒有計算功能，本書不講述。偽分布模式是在一臺機器上模擬分布式部署，方便學習和調試。集群模式是在多個機器上配置hadoop ,是真正的“分布式”。本章講述偽分布模式和集群的安裝。1 .解壓縮hadoop使用 WinSCP把壓縮包hadoop-1.1.2.tar.gz從宿主機復制到linux的/usr/local目錄 下，如圖3-1 。rootbook0 Desktop# pwd /root/Desktoprootbooke Desktop#

28、 Is(rootbooke Desktop# mvIrootbook0 Desktop# cd(rootbookO local# Is bin gamesetc hadoop-1.0,4. tar «yz rootbook0 local# |hadoop-LO.4,taugz /usr/local /u$r/locatinclude jdk-6i!24-linux-i5B6.idk lib圖3-1解壓縮文件，并重命名為hadoop ,方便使用。重命名后，hadoop目錄的完整路徑是“/usr/local/hadoop ”。#tar-xzvf hadoop-1.0.4.tar. gz#

29、mv hadoop-1.0.4 hadoop設置環境變量 HADOOP_HOME ,修改文件“ /etc/profile : 如下圖：alias cdha=1 cd /usr/local/hadoop, Iexport JAVA HOME=/usr/local/jdkexport HADOOP HOME=/usr/loca1/hadoopexport PATH=.:$PATH:$JAVA HOHE/bin:$HADOOP HOME/binI .一 ，一一一一一一Plain Text p hb Width: 8 y ln81f Col 1圖3-2請讀者與jdk設置時配置文件對照。這里我們設置了一

30、個別名cdha ,可以快速轉到hadoop 的目錄。修改環境變量后，記得執行source命令哦。現在讓我們瀏覽一下 hadoop的目錄結構吧| rootbaok0口total niBdrwsr *-k.2rootr»t* i w.1rootrootcf rwxr'Jtr，置 +wrgtrgt rw- rv-r-.1rwtPMdrwxr xr +k.2rootrootdrwxr hwfWtrcatUrw*jtr »，*7rootroota rw- rw- r* - 上1rootrwt- m rwr/.1rootroat-rww.1T”tFQVtrw根.1rootroM

31、 ww.1rootroatt rw-c-.1Tgtroot-rw-rwr-事1rootrootdrvxr-xr .2fWt-rw- ru-r-,1rwtrootdrwxr'Mr-Jc.5rootroatMZjC Mt.2rootro*t*ftf'*=* *1rootroot w rw- r -，.1rootroot rw- rw-r -T1rootrootdrwMixr K.2rootroatiirwxr -xf3r«tdmxrieMtrootdrwxr -kt -x*9rootroot；:uu：匚 八El 二i?M 1 Jun 1198T5 OCt打6ag OctJ

32、un 4Mh Oct 出口 Jun C94Q OCt 41» DCtQU 14Ms? Oct 413 OCt 拈Oct 作？的7 OctJun wm oct 力籌6 JunJua DIM OCl l 由1 Oct 1珈 086 40% 曲6 的&4 «1iU 3 2fil3 3 »U3 2D 12 4 «L: 12 3 2912 4 ei ia ， 皿工 3 29123 2BU 3 2412 3 Z912 3 旗123 2B12 4 01:12 3 29124 0LU2 4 41 ；Ubin .-build .MlCHAH6ES,txt«

33、;n, *署坤配置文件fcfltflbMt、np i h4*0pyn，+ 1 , 4, j*r hddoop«tliant-l.O.t.jar hditosp-c ore 1、#, 4 j * h AZpTMI” T. 川“ h剃toop-Wnit lint。J】.*a jar hadoop-te«t-1.*.4.ar hi(toop*tooli-l.B.4.jir ivy ivy.k*L libI *Xkwti 2912 LICENSE.tut1 2(H2 MCTKt.txC2912 README Jxt4 Ok; 123 7012 .Mre4 BL： 12、”3 241

34、3 .rk.ippi圖3-3我們關注bin目錄和conf目錄。2 .修改配置文件hadoop配置文件默認是本地模式，我們修改四個配置文件，這些文件都位于$HADOOP_HOME/conf 目錄下。第一個是hadoop 環境變量腳本文件 hadoop-env.sh，修改第9行代碼為。exportJAVA_HOME=/usr/local/jdk保存并關閉。這里設置的是 JAVA_HOME ,注意去掉前面的“ #"。第二個是hadoop 核心配置文件core-site.xml ,結果如下configurationproperty<name>hadoop.tmp.dir</

35、name><value>/home/hadoop/tmp</value><description>hadoop的運行臨時文件的主目錄/description)</property><property><name></name><value>hdfs:book0:9000</value><description>HDFS的訪問路徑 </description></property></configuration&

36、gt;第三個是hdfs配置文件hdfs-site.xml ,結果如下<configuration><property><name>dfs.replication</name><value>1</value><description>存儲副本數</description></property></configuration>第四個是 MapReduce 配置文件 mapred-site.xml ,結果如下<configuration><property>

37、<name>mapred.job.tracker</name><value>book0:9001</value><description>JobTracker的訪問路徑/description/property/configuration這是安裝偽分布模式的最小化配置。目前的任務是把 置項什么含義，這些配置項還在后文會有詳細的解釋。hadoop跑起來，先不關注各配3.格式化文件系統hdfs是文件系統，所以在第一次使用之前需要進行格式化。執行命令$HADOOP_HOME/bin/hadoop namenode-format。見圖 3-4

38、root conf f hadoopMorning： SHADOOP hq* ($epresiE.04;W:U UFO rmenodc.Hmhode: STAATuP 詠;STJIRUJIP M50:STNTW MS6: 5nATW> HSG STMWP «SG1 SrARTVP MSG：St4rtlrwj 討存yModk hoi! - wg， pfonut) ver kier l.d.4 build - hltpi：/5vn.apache.r/fep©s/atf/h»4w/cc*»on/braftcMVbfnch l,1l)/M/e4 64:54

39、:17IHFO1VM/64 94：>a：lTIMFO1J/M/64IHFOB/M/64 M：54；17INTO1VM/64 &4zS8：17INFO1J/M/64 3I：W:17IKFQ1J/H/04INFO1VM/64 M：se；nIhFO1KF0B/H/44 M;5e：17INFOn/H/44 Mz59：uIhFQMM 18IWOD/M/e4INFOutlLGSet: 2 me nc4ory " 1機”“$ M: capacity-2*22 4194304 entriesutll.O5*t： r«C0«*erxM<41943041 Htgl

40、TlXSMnaBtfMKl*. F,SManesyitMi: f、CWie.rootfWJotftodc r FSftonesy 1 (e*: lupergrktaeM，FMiA"”$rc:此nMerwk； dfs,blockJnUdM乙liHUiegntfiefwic*F$H3«c5”tE； iAcce»TokenEn4bled-f«lse 箏KcyVX4V naas必，M4P4HQ4e； Cdf file occurir gf看 than 10 tiees Coan<>ni>Storage： f lit of IHe 】1。in 0

41、 lc<0ndl.COMOft.Sto: 4t，r妁4 dlfMtory /M*t/hadoop/t4p/dfMf 的 . U4*Noae: SWTDOWN! HSG:J* ， 0 SWT1XM M5G: £huUinq doun NMNMe at tmk«/192.16aa. 106»«.Bfl/:r 3二二 工匚二 1口 二：1" ： _注意：只在第一次啟動的時候格式化，不要每次啟動都格式化。理解為我們新買了塊移動硬盤，使用之前總要格式化硬盤。如果真的有必要再次格式化，請先把"$HADOOP_HOME/tmp ”目錄下的文件

42、全部刪除。讀者可以自己觀察目錄" $HADOOP_HOME/tmp ”在格式化前后的變化情況。格式化操作很少有出現失敗的情況。如果真出現了，請檢查配置是否正確。4 .啟動格式化完成后，開始啟動 hadoop程序。啟動hadoop 的命令腳本都在$HADOOP_HOME/bin/ 下，下面的所有命令都不再帶有完整路徑名稱。這里講述hadoop 啟動的三種方式：第一種，一次性全部啟動：rootbook6 conf# start-all.shWarning： $HAD00P HOME is deprecated.starting namenode, logging to /usr/loca

43、l/hadoop/lil localhost: starting datanode, logging to /usr/loca localhost: starting secondarynamenode, logging to . starting jobtracker, logging to /usr/local/hadoop/ localhost： starting tasktracker, logging to /usr/L執行start-all.sh 啟動hadoop，觀察控制臺的輸出，見圖3-5，可以看到正在啟動進程，分別是 namenode 、datanode 、secondary

44、namenode 、jobtracker 、tasktracker ,一 共5個，待執行完畢后，并不意味著這 5個進程成功啟動，上面僅僅表示系統正在啟動進 程而已。我們使用jdk的命令jps查看進程是否已經正確啟動。執行以下 jps ,如果看到了這個進程，見圖3-6,說明hadoop真的啟動成功了。如果缺少一個或者多個，那就進入到“Hadoop的常見啟動錯誤”章節尋找原因了。rootbook6 conf# jps8027 Jps7651 DataNode7777 Seconda ryNameNode7543 NameNode7970 TaskTracker7864 JobTracke圖3-6關

45、閉hadoop 的命令是stop-all.sh 。上面的命令是最簡單的， 可以一次性把所有節點都啟動、 關閉。除此之外，還有其他命 令，是分別啟動的。第二種，分別啟動 HDFS和MapReduceroot(abook0 conf# start-dfs.shwarning： SHADOOPHOME is deprecated.starting namenode, logging to /usr/local/h localhost: starting datanode, logging to / localhost: starting secondarynamenode, log rootbook

46、0 conf# jps11598 DataNode11737 SecondaryNameNode11794 Jps11483 NameNoder mntahccLrG 廣cnf 】天 圖3-7執行命令start-dfs.sh ,是單獨啟動hdfs,見圖3-7。執行完該命令后，通過 jps能夠看到NameNode 、DataNode、SecondaryNameNode 三個進程啟動了，該命令適合于只執行hdfs存儲不使用MapReduce 做計算的場景。關閉的命令就是 stop-dfs.sh 了。rootbookO conf# start-mapred,sh V/arning: SHADOOP

47、HOME is deprecated.starting jobtracker, logging to /usr/lo localhost: starting tasktracker, loggin rootbookO conf# jps12540 Jps12368 JobTracker 12487 TaskTracker rootbookO conf# |圖3-8執行命令start-mapred.sh ,可以單獨啟動 MapReduce 的兩個進程。關閉的命令就 是stop-mapred.sh 了。當然，也可以先啟動 MapReduce ，再啟動HDFS。這說明，HDFS 和MapReduce

48、 的進程之間是互相獨立的，沒有依賴關系。第三種，分別啟動各個進程：rootbook0 bin# jps14821 Jpsrootbook0 bin# hadoop-daemon.sh start namenoderootbook0 bin# hadoop-daemon.sh start datanoderootbook0 bin# hadoop-daemon.sh start secondarynamenoderootbook0 bin# hadoop-daemon.sh start jobtrackerrootbook0 bin# hadoop-daemon.sh start tasktra

49、ckerrootbook0 bin# jps14855 NameNode14946 DataNode15043 SecondaryNameNode15196 TaskTracker15115 JobTracker15303 Jps執行的命令是"hadoop-daemon.sh start 進程名稱”,這種啟動方式適合于單獨增加、刪除節點的情況，在安裝集群環境的時候會看到。5 .運行簡單的MapReduce 計算在$HADOOP_HOME 下有個 jar 包，叫 hadoop-example-1.1.2.jar, 見圖 3-9，這里面含有框架提供的很多例子.我們現在學習一下如何運行其中

50、的例子吧.皿共內置的研 $harTibexecsrcLICENSE.txt TestD logstnpNOTICE.txt webap pids README.txtroot(8hadoope hadoop# pwd /u(r/locaVhadoop (root(?hadoop9 hadoop)# Is 1 HinAdOOp-dnt 4 1«buildxwlhadoop-clientC+hddoQX0eTCHANGES.txt confhddoopfiniclcontribhadoop-test * 1dishadoop-tooldocsivv圖3-9hadoopjarhadoop-

51、example-1.1.2.jar執行如下命令可以看到圖3-10的輸出信息，可以看到18個輸出信息，都是內置的例子程序.我們選擇最后一個“ word count ”來運行 該程序的說明在最后，是統計文件中單詞的出現次數的.aaareaiAggregate based nap/reduce program that ctogran oAn Aggregate in the input files.nt： An example job that countreduce program that coi 二r這是南置的各種程 gevifrw counts from a damap/reduce pr

52、ogramounts the/matches of a regex ina join over socjed, equally partitionedob that counts words fpom several files.A map/reduce tile laying blems./ogram to find solutions to£ A map/reduce program that es/inates Pi using monte carU met! :A nap/reduc&i - -J./rogram that writes 19GB of randoie

53、r： A map/reduce:An exampsecondarysort：TTeepZjohat sle/program that writes 1OGB ofdefining a secondary sort toat each map and reduce task.random dathe reducemap/reduceA sudoku sGenerateorfigram that sorts the data written tver, data for the terasort(roothadoopO hadoop #Warning: SRAOOO? HOME is deprecated.An example program must Be given a$ the first argument. 查看jar中考Valid program names are:U