播客hadoop課程詳細筆記--第1天_第1頁
播客hadoop課程詳細筆記--第1天_第2頁
播客hadoop課程詳細筆記--第1天_第3頁
播客hadoop課程詳細筆記--第1天_第4頁
播客hadoop課程詳細筆記--第1天_第5頁
免費預覽已結束,剩余48頁可下載查看

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

2建開發環我們的開發是在虛擬機下進行的。在windows操作系統中安裝虛擬機軟件,在虛擬機中linux操作系統稱為“客戶機”。我們使用的OracleVirtualBox作為虛擬機RedHat公司linux版本。虛擬機軟件的安VirtualBox簡VirtualBox號稱是免費虛擬機軟件中最強的,擁有豐富的特色和出色的性能,在虛擬機我們選擇它的理由是十兆的安裝程序,安裝完成后也只有120多兆,太小巧了。功能簡單實用。配置簡單、克隆系統、共享文件、虛擬化等一樣不免費。這是最大的VirtualBox安讀者根據自己的電腦情況適合自己操作系統的安裝程序,作者的系統是WindowsXP32位,以下截圖是來自WindowsXP的。安裝完成后,在電腦的“網絡連接”中,會多出一個網絡連接,如圖2-12-點擊桌面上的VirtualBox圖標,就可以打開VirtualBox了,如圖2-2所示2-定”命令,如2-3所示。2-一個磁盤空間較大的位置,如2-4所示。2-2-選擇“擴展”選項,點擊安裝符號,選擇一個擴展包進行安裝,如圖2-62-至此,虛擬機安裝結操作系統的安該公司發布的Linux是基于開源產品的,如果我們使用是免費的,如果進行升級或者接收技術支持,那就需要了。RedHat主要應用于服務器領域,在服務器市場占有很大的我們使用虛擬機安裝RedHat新建虛擬機并配置參數2-內存大小默認值是512,修改為1024,如圖2-8所示,點擊“下一2-設置是否創建虛擬硬盤,使用默認值,如圖2- 所示,點擊“創建”按鈕2-選擇虛擬磁盤類型,我們使用默認值,如圖2- 所示,點擊“下一步”按鈕2-設置是否動態分配磁盤空間,使用默認值,如圖2- 所示,點擊“下一步”按鈕2-設置磁盤文件大小和存放位置,使用默認值,如圖2- 所示,點擊“創建”按鈕2-彈出窗口框關閉,如圖2-13所示2-點擊的設置,會彈出一個針對本操作系統設置的窗口,如圖2- 所示2-選擇“常規”選項,修改允許雙向粘貼和拖放功能,如圖2-15所示2-選擇“”選項,增加光驅,如圖2-16所示,點擊“選擇磁盤”,把我們的操作系統的iso文件選中2-這樣系統啟動的時候會從虛擬光驅引導,進行安裝,這一步很重要選擇“網絡”選項,將網絡連接方式修改為“僅主機適配器”,如圖2- 所示2-點擊彈出窗口框右下角的“確定”按鈕,關閉彈出窗口框,如圖2- 所示2-Host-Only連接方式,使得宿主機和客戶機可以單獨構造一個網絡,不同于宿主機所在的網絡。這樣,兩個網絡完全。新搭建的網絡的網段是192.168.56。操作系統的安裝點擊虛擬機的“啟動”,就會彈出窗口,進入操作系統的安裝界面,如圖2- 示2-用鼠標點擊窗口,然后按回車鍵,就進入了RedHat安裝的引導過程宿主機操作。如果要退出獨占,按組合鍵“Ctrl”+“Alt2-5中已經設置。如圖2-20,詢問是否檢查磁盤,選擇“Skip”,然后按回車鍵。如圖221,點擊“Next”2-如圖2-21所示,選擇點擊“Next”按鈕2-選擇安裝語言,讀者可以根據自己的喜好選擇,建議使用英文,如圖2-22所示,點擊2-選擇鍵盤類型,這里使用默認值,如圖2-23所示,點擊“Next2-選擇設備類型,這里使用默認值,如圖2-24所示,點擊“Next2-詢問是否格式化磁盤空間,選擇“Yes”,如圖2-25所示,點擊“Next2-小提示windows系統的空間數據丟失,只是對空間修改主機名稱,我們使用“hadoop0”,如圖2-26所示,點擊“Next2-注意:在以后的章節中,會使用這里設定的主機名,如果讀者不使用“hadoop0”,請選擇時區,我們修改為“Asia/Shanghai”,如圖2-27所示,點擊“Next”按鈕2-2-注意:該是以后登錄linux系統時必須使用的,請讀者牢記。這里的設置過于簡單,是為了學習方便。在正式生產服務器中絕對不能這么設置,很容易被攻破,應該設置為數字、大小寫字母、特殊符號的組合。警告過于簡單,不用理會,點擊“UseAnyway”按鈕,如圖2-29所示2-選擇安裝類型,我們使用默認值,如圖2-30所示,點擊“Next2-出現確認信息,詢問這樣做會造成磁盤數據丟失。由于是新的虛擬機磁盤,沒有數據,我們同意,點擊“iechagestoisk”按鈕,如圖2-31所示。2-“Customizenow2-32所示,點擊“Next”按鈕。2-在軟件定制部分,我們選擇安裝MySQL數據庫,如圖2-33所示,在我們以后學習時會用到,點擊“Next”按鈕2-然后進入操作系統的安裝過程,如圖2-34,會持續很長時間,讀者不要隨時操作虛擬機,防止安裝失敗,請耐心等待。2-經過漫長的等待,終于安裝完了,如圖2- 所示,點擊右下角的“Reboot”按鈕2-系統的初始配置系統重啟后進入系統初始配置頁面,如圖2-36所示,點擊“Forward”按鈕2-這是關于操作系統的使用協議,我們當然同意了,如圖2- 所示,點擊“Forward”鈕2-進行軟件的自動更新,我們沒有聯網,沒有,不能更新,如圖2-38所示,點擊2-詢問是否創建一個非管理員用戶,如圖2-39所示,我們不打算這里不創建,點擊2-詢問是否修改系統時間,我們不做修改,如圖2-40所示,點擊“Foward2-提示內存不足,我們不用例會理會,如圖2-41所示,點擊“OK”按鈕2-2-系統加載剛才的配置信息,終于進入登錄頁面了,如圖2-43所示2-點擊“Other…”,輸入用戶名root,如圖2-44所示,點擊“Login2-輸入wuchao,如圖2-45所示,點擊“Login”按鈕2-注意:root用戶具有最高權限,操作方便,本書所有操作都是以root用戶進行的,實際工作中一般不會直接使用root用戶。讀者如果對linux權限不熟悉,請一定使用root用這樣,就看到了RedHat的桌面,如圖2-462-現右鍵菜單,如2-47所示。,2-點擊“EditConnections…”,彈出窗口框,如圖2-48所示2-選中連接,點擊右側“Edit…”,出現彈出窗口框,如圖2-49所示2-左上角有個復選框,請選中,表示啟用自動連接,然后點擊右下角的“Apply…”,然后依次關閉彈出窗口。會發現桌面右上的紅叉了,這表明網絡已經連通了。是01,如圖2-50所示。2-至此,RedHat安裝完畢關于RedHat的 操作的只是,可以查看本書的附錄部分 連接工具的安Putty作為連接linux的工具,支持SSH和 該軟件不需要安裝,直接打開使用即可,如圖2-51所示2-HostNameRedHatip地址,其余設置使用默認值,然后點擊最wuchao即可連接。本操作就是使用PieTTY完成的。文件傳輸工具的安WinSCP是一個Windows環境下SSH的開源SFTP客戶端,同SCP協議。全球最大開源軟件托管平臺SourceForge。安裝分成非常簡單,按照提示一步步操作即可,中間沒有需要做出選擇、判斷的地方。安裝完成后,打開軟件,點擊右上方的“新建”按鈕,如圖-52所示,彈出新的窗口框,如圖2-532-2-具就會連接的機器。如果成功,會看到如圖2-54所示。2-可以使用該工具進行宿主機和客戶機之間的文件傳輸,類似FTP。下面章節,在RedHat中使用的很多軟件就是通過WinSCP從Windows傳輸過去的我們使用的版本是Oracle的jdk-6u24-linux-i586.binjdk移動到/usr/local下。進入到/usr/local下,通過“.”解壓文件,如圖2-55所示。2-解壓縮完成后,我們可以查看到新產生的jdk1.6.0_24mvjdk,目的是方便以后,如圖2-56所示。2-接下來把jdk令配置到環境變量中在linux下,有很多配置環境變量的地方,分為全局環境變量和局部環境變量。linux加載的時候,會先找全局環境變量,如果找不到,就找局部變量。本書中,我們只設置全局環境變量。2-export在文件最后增加以下內容,讀者可以粘貼我的export環境下執行命令如下命令保存關閉后,需要在 我解釋一下保存關閉后,需要在 個是PATH。對于環境變量的,使用“$”,多個環境變量之間的連接,使用“:”。大家在設置環境變量的時候,一定與windows下的操作區分開,不要。命令“source”是為了讓現在使用“java-version”命令,如果看到如圖2-58的輸出,那就證明一切2-關閉RedHat內置一個文本行的管理工具,可以管理、ip地址、各類服務等信息的設置。使用setup命令調出該工具,如圖2-59所示。注意:該工具不支持鼠標操作,以下所有操作都需要使用鍵盤2-選擇“Firewallconfiguration”,然后按回車,你會看到如圖2-60所示2-會看到中間的方括號中有“*,只需要按一下空格鍵,符號“*”就會。最后使用“ab”鍵移動到“OK回車,一步步退出就行了。那么,是否真的被關閉了哪?使用如圖2-61中令驗證2-在linux下稱作“iptables”。該命令的含義是查看服務iptables的狀態。如果提示信息如上圖所示,說明已經被關閉。注意:的目的是關閉盡可能不用的端口,避免被,保證服務器運行安全。我們這里是實驗環境,為了避免無謂的錯誤,選擇關閉。在實際工作中,盡可能不這么做。因為hadoop集群之間通過主機名互相,所以必須設置dns解析。使用gedit編2-在文本最后追加一行,“01hadoop0ip與主機名之間使用空格分開,如圖2-63所示2-保存并關閉編都是命令行,所以只能使用net了。net的缺點是通信不加密,非常不安全,只適合于內網。為解決這個問題,推出了加密的通信協議,即SSH。SSH的全稱是SecureS,使用非對稱,傳輸內容使用rsa或者dsa加密,可以有效避免網絡。hadoop的進程之間通信使用ssh方式,需要每次都要輸入。為了實現自動化操作,我們下面配置SSH的免登錄方式。首先到用戶主下,如圖2-64所示2-現在執行命令,生成密鑰,如圖2-652-解釋一下 rsa”表示使用rsa生成密鑰,回車后,會提示三次輸然后進入密鑰文件夾,執行命令,如圖2-66所示2-其中,命令“cpid_rsa.pubauthorized_keys”用于生成文件。至此,配置部分完注意:文件夾“.ssh”中的三個文件的權限,是有要求的,“自己之外的任何人對每個文件都沒有寫權限”。另外,“.ssh”文件夾是700權限。如果權限有問題,會造成SSH現在開始驗證SSH無登錄,如圖2-67所示2-執行“sshlocalhost”意味著使用“ssh”通信協議主機“localhost”,第一次執行時需要確認;第二次不再確認了。這就是無登錄。當登錄到對方機器后,退出使用命令exit”。這兩次操作時,注意觀察主機名變化。讀者可以執行命令“sshbook0”,驗證dns對book0解析是否正確。注意:使用命令ssh時,一定要觀察主機名的變化。很多同學在操作ssh時,由于大量的使用ssh登錄退

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論