畢業設計設計題IaaS與大數據平臺方案設計與實施專業班級：學生姓名：指導教師：設計時間：2019513日-201967日XXXXXXXXXXX學院XXXXXXXXXXXXXXXX學院畢業設計任務書任務下達日期：2019513-201967設計題目：IaaS設計主要內容和要求：以及配置資料。該平2臺效勞器組成，1臺掌握節點〔r，1臺計算節點〔e〕依據先電IaaSIaaS平臺上創立兩個云主機用來部署slaver1Ambari進展二先電大數據平臺支持作業與任務執行的可視化與分析，能夠更好地查看依靠和性能。它的用戶界面格外直觀，用戶可以輕松有效地查看信息并掌握集群。教學團隊負責人簽字： 指導教師簽字：年 月 日 年 月 日XXXXXXXXXXXXXX畢業設計指導教師評語評語：資料收集、加工和處理。本文是通過先電供給的軟件包，基于IaaS平臺的大數據平臺方案設計，該平臺由21臺掌握節點〔，1臺計算節點〔e〕IaaSAmbariHadoop分布式集群配置治理工具，該平臺通過安裝向導來進展集群的搭建，簡化了集群部署和治理，然后再簡潔介紹了大數據的應用等。關系清楚，格式符合標準要求。成績：指導教師簽名：年 月 日XXXXXXX名

XXX

系別 信息工程 專業班級 XXXX設計題目 IaaS平臺與大數據平臺方案設計與實施答 辯 情 況提 出 問 1234567

有一 有原根本 答復正確 般性 則性正確 不清錯誤 錯誤8辯論委員會評語及建議成績：辯論委員會主任：年 月 日IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計摘要隨著云時代的降臨，大數據也吸引越來越多的關注，企業在日常運營中生成、積存pb、ebzb。hadoop用。大數據〔bigdata〕，指無法在肯定時間范圍內用常規軟件工具進展捕獲、治理OpenStackhive設計與實現。美國國家航空航天局〕Rackspace合作研發并發起許可證授權的自由軟件和開放源代碼工程。OpenStack是一個開源的云計算治理平臺工程，由幾個主要的組件組合起來完成具體工作。OpenStack支持幾乎全部類型的云環境，工程目標是供給實施簡潔、可大規模擴展、豐富、標準統一的云計算治理平臺。OpenStack通過各種互補的效勞供給了根底API以進展集成。OpenStack是一個旨在為公共及私有云的建設與治理供給軟件的開源工程。它的社1350OpenStack作為根底設施即效勞〔IaaS〕資源的通用前端。OpenStack工程的首要任務是簡化云的部署過程并為其帶來良好的可擴展性。8Swift、Nova3個工程。Swift供給對象存儲效勞，Nova是供給虛擬換計算效勞Keystone身份認證效勞、Neutron網絡效勞等工程作為關心模塊。上述三大主要工程既可以單獨使用，也可以組合起來IaaS云平臺。關鍵字：OpenStack,云計算,Hadoop，MapReduce，Hive。目 錄TOC\o“1-3“\h\z\u\l“_TOC_250020“畢業設計單位概況 1\l“_TOC_250019“畢業設計時間 1\l“_TOC_250018“畢業設計地點 1\l“_TOC_250017“畢業設計單位簡介 1\l“_TOC_250016“畢業設計崗位簡介 1\l“_TOC_250015“緒論 2\l“_TOC_250014“爭論背景 2\l“_TOC_250013“爭論意義 2\l“_TOC_250012“相關技術分析 3\l“_TOC_250011“IaaS體系構造 3\l“_TOC_250010“大數據技術簡介 3\l“_TOC_250009“平臺實現 5\l“_TOC_250008“IaaS平臺方案設計 5\l“_TOC_250007“IaaS平臺部署 5\l“_TOC_250006“大數據平臺方案設計 9\l“_TOC_250005“大數據平臺部署 9\l“_TOC_250004“治理Hadoop集群 14\l“_TOC_250003“5總結 19\l“_TOC_250002“致 謝 20\l“_TOC_250001“參考文獻 21\l“_TOC_250000“附錄 22IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計11畢業設計單位概況畢業設計時間2019513201967日。畢業設計地點XXXXXXXXXXXXXX畢業設計單位簡介本人畢業設計期間的實習單位是：XX科技息學院與中興學院，具有強大的后備研發力氣支撐。經營范圍：作、代理、公布廣告、網絡維護程，效勞等。畢業設計崗位簡介方向，主持制定公司產品進展戰略規劃，組織制定和實施重大產品決策，準時了解和監視產品進展戰略規劃的執行狀況；領導分管部門制度建設并組織實施年度工作計劃，完成年度任務目標；審批立項申請報告，主持研發工程立項工作，組織配置各種資源投入工程開發工作，掌握開發本錢，并監視實施；主持開發產品工程所需的設備選型、試制、改進以及工藝設計等工作，指導、審核工程總體方案，對各工程進展質量掌握；與用戶進展技術溝通，了解用戶在技術與業務上的進展要求，并解答用戶提出的與產品技術相關問題；制定開發人員的培訓打算，并組織安排公司其他相關人員的技術培訓。協調研發中心與公司各部門的工作關系，對各部門供給產品技術支持；完成上級領導布置的其他任務。2緒論爭論背景普及將有越來越多的設備連入互聯網，IT系統將要處理更多的業務量。hadoopapache軟件基金會旗下的一個開源分布式計算平臺。以hadoop分布式文hadoop為用戶供給了系統底層細節透亮的分布式根底架hadoop部署在低廉的硬件上，形成分布式系統，mapreduce分布式編程模型允許用戶在不了解分布式系統底層細節的狀況下開發并行應用程序。mapreducehadoop分布式文件系統dhfspithivhbase等子工程，他們在hadoop的應用推廣起到了重要作用。ambari為平臺供給作業與任務執行的可視化與分析，能夠更好地API把監控信息暴露出來，集成了現有的運Nagios支持系統報警。爭論意義通過云計算，可以把分散的、低效的、低水平的數據中心逐步淘汰替換，讓子公都是封閉的。通過云計算，可以讓大家協同在一個社會化的云平臺，從而讓由客戶驅動的企業創成為可能。市場有什么動態，企業可以馬上做出反響，并快速進入市場。和可擴展的存儲系統。3相關技術分析IaaS體系構造計算〔e：。用于治理虛擬機實例，依據用戶需求來供給虛擬效勞。負責虛擬機創立、開機、關機、掛起、暫停、調整、遷移、重啟、銷毀等操作，配置CPU、內存等信息規格。對象存儲〔t：t。一套用于在大規模可擴展系統中通過內置冗余Glance供給鏡Cinder供給卷備份效勞。鏡像效勞〔Image：。一套虛擬機鏡像查找及檢索系統，支持多種虛擬機鏡像格式I、、、IS、2、、、D、，有創立上傳鏡像、刪除鏡像、編輯鏡像根本信息的功能。身份效勞〔Identity：k其他效勞供給身份驗證、效勞、Users、Groups、Roles。網絡地址治理〔k：。供給云計算的網絡虛擬化技術，為Network、、DNS、負載均衡、L3GRE、VLAN。OpenvSwitch。(BlockStorage)：Cinder。為運行實例供給穩定的數據塊存儲效勞，它的插件驅動架構有利于塊設備的創立和治理，如創立卷、刪除卷，在實例上掛載和卸載卷。界面。OpenStackWeb治理門戶，用于簡IP地址、配置訪問掌握等。測量OpenStack內部發生的幾乎全部的大事都收集起來，然后為計費和監控以及其它效勞供給數據支撐。(Orchestration)：Heat。供給了一種通過模板定義的協同部署方式，實現云根底設施軟件運行環境〔計算、存儲和網絡資源〕的自動化部署。數據庫效勞〔ee：k的環境供給可擴展和牢靠的關系和非關系數據庫引擎效勞。大數據技術簡介Apache的Hadoop軟件庫是允許通過相對簡潔的程序模型構建計算集群為浩大的數據集進展分布式計算的框架。Hadoop的設計思想可以將計算模式從單節點效勞器擴展為數以千計的計算集群，每一個單獨的效勞器都供給自主的本地計算及存儲力量。Hadoop各子工程供給各種工具。HDFS：是Hadoop應用程序中主要的分布式儲存系統，HDFS集群包含了一個NameNode〔主節點統在大批量小文件上的優化，HDFS優化的則是對小批量大型文件的訪問和存儲。〔TB級數據的并行應用程序，以牢靠和容錯的方式連接大型集群中上萬個節點。Hadoop兼容系統中的大型數據集分析。用的高級語言以及評估這些應用的根底設施。數據庫，一個分布式、可擴展的大數據存儲。它供給了大數據集上隨機和實時的讀/寫訪問，并針對了商用效勞器集群上的大型表格做出優化——上百億行，上千萬列。ZooKeeper：Zookeeper它是一個針對大型分布式系統的牢靠協調系統，供給的功能包括：配置維護、名字效勞、分布式同步、組效勞等。HadoopHDFSHDFS中數據導入關系型數據庫中。Mahout支持4個用例：聚攏：收集文件并進展相關文件分組。正確的歸類。頻繁項集挖掘：將一組項分組，并識別哪些個別項會常常一起消滅。Ambari：ApacheAmbariweb的工具，用于配置、治理和監視ApacheHiveHCatalog,HBaseZooKeeper、。Ambari同樣還供給了集群狀況儀表盤。Spark：SparkScalaScala用作其應用程序框架。4平臺實現IaaS平臺方案設計IaaS平臺部署以及配置資料。該平2臺效勞器組成，1臺掌握節點〔r，1臺計算節點〔e〕依據先電供給的腳本文件，可以快速的部署IaaS平臺。效勞器系統安裝時，兩個節點都要使用最小桌面安裝。IaaS的鏡像，并配置好兩個節點的yum源。掌握節點：[root@controller~]#cat/etc/yum.repos.d/local.repo[centos]name=centosbaseurl=file:///opt/centosgpgcheck=0enabled=1[iaas]name=iaasbaseurl=file:///opt/iaas-repogpgcheck=0enabled=1計算節點：[root@compute~]#cat/etc/yum.repos.d/ftp.repo[centos]name=centosbaseurl=ftp://controller/centosgpgcheck=0enabled=1[iaas]name=iaasbaseurl=ftp://controller/iaas-repogpgcheck=0enabled=1ftpcompute節點的磁盤分區，兩個節點分別安裝computeopenrc.sh配置。HOST_IP=0HOST_NAME=controllerRABBIT_USER=openstackRABBIT_PASS=000000DB_PASS=000000DOMAIN_NAME=demoADMIN_PASS=000000DEMO_PASS=000000KEYSTONE_DBPASS=000000GLANCE_DBPASS=000000GLANCE_PASS=000000NOVA_DBPASS=000000NOVA_PASS=000000NEUTRON_DBPASS=000000NEUTRON_PASS=000000METADATA_SECRET=000000INTERFACE_NAME=enp9s0CINDER_DBPASS=000000CINDER_PASS=000000TROVE_DBPASS=000000TROVE_PASS=000000BLOCK_DISK=md126p4SWIFT_PASS=000000OBJECT_DISK=md126p5HEAT_DBPASS=000000HEAT_PASS=000000CEILOMETER_DBPASS=000000CEILOMETER_PASS=000000AODH_PASS=000000ntp，防火墻等，安裝成功后要求重啟效勞器或者重連終端。MySQLOpenStack的效勞都需要一個數據庫來進展存儲信息。#controller[root@controller~]#iaas-install-mysql.shkeystone是云計算安全框架重要的組件，負責身份驗證、效勞規章和效勞令牌功能，它實現了云安全框架的IdentityAPI。#controller[root@controller~]#iaas-install-keystone.sh通過供給標準的接口，承受對不同后端存儲的鏡像的查詢懇求和返回鏡像的相關信息。#controller[root@controller~]#iaas-install-glance.sh上傳鏡像[root@controller~]#source/etc/keystone/admin-openrc.sh[root@controller~]# glanceimage-create--name“CentOS7.2“--disk-formatqcow2--container-formatbare--progress</opt/images/CentOS_7.2_x86_64_XD.qcow2計算效勞：nova組件的主要功能是供給按需安排的虛擬機。#controller[root@controller~]#iaas-install-nova-controller.sh#compute[root@compute~]#iaas-install-nova-compute.sh#controller[root@controller~]#iaas-install-neutron-controller.sh#compute[root@compute~]#iaas-install-neutron-compute.shneutron網絡本次使用的是gre網絡flat網絡IaaS 平臺與大數據平臺方案設計與實施IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計10#controller[root@controller~]#iaas-install-neutron-controller-flat.sh#compute[root@compute~]#iaas-install-neutron-compute-flat.shgre網絡#controller[root@controller~]#iaas-install-neutron-controller-gre.sh#compute[root@compute~]#iaas-install-neutron-compute-gre.shvlan網絡#controller[root@controller~]#iaas-install-neutron-controller-vlan.sh#compute[root@compute~]#iaas-install-neutron-compute-vlan.sh效勞：dashboardwebOpenStack的功能。#controller[root@controller~]#iaas-install-dashboard.sh創立云主機〔1〕治理員→網絡→創立網絡〔內外網〕→創立子網〔2〕工程→網絡→〔3〕工程→計算→訪問安全→治理規章→添加規章〔4〕工程→計算→云主機→創立云主機→綁定浮動IP創立好后如圖4.1IaaS網絡拓撲圖圖4.1IaaS網絡拓撲圖#controller[root@controller~]#iaas-install-cinder-controller.sh#compute[root@compute~]#iaas-install-cinder-compute.sh對象存儲效勞#controller[root@controller~]#source/etc/keystone/admin-openrc.sh[root@controller~]#iaas-install-swift-controller.sh#compute[root@compute~]#iaas-install-swift-compute.sh效勞(flatgre網絡)，創立好子網，并確認cinder兩個效勞，否則安裝會失敗。#controller[root@controller~]#iaas-install-trove.sh#controller[root@controller~]#iaas-install-heat.sh監控效勞#controller[root@controller~]#iaas-install-ceilometer-controller.sh#compute[root@compute~]#iaas-install-ceilometer-compute.sh#controller[root@controller~]#iaas-install-alarm.shiaas-uninstall-all.sh，它會把之前所安裝的全部組件全部卸載。大數據平臺方案設計大數據平臺部署AmbariHadoop分布式集群配置治理工Ambari是一個分和Agent4.2圖Ambari-Metrics，可以提前配置好關鍵的運維指標〔sMapReduce〕及相是否安康。它的用戶界面格外直觀，用戶可以輕松有效地查看信息并掌握集群。圖4.2Ambari架構圖masterslaver1進展大數據平臺部署，使用的是先電大數據平臺軟件〔o，SyumIaaS平臺controller的源。兩個節點部署大數據平臺。配置好兩個節點的主機名和yumyum源配置。[root@master~]#cat/etc/yum.repos.d/yum.repo[centos]name=centosbaseurl=0/centosgpgcheck=0enabled=1[ambari]name=ambariIaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計13baseurl=file:///opt/ambarigpgcheck=0enabled=1[root@slaver1~]#cat/etc/yum.repos.d/yum.repo[centos]name=centosbaseurl=0/centosgpgcheck=0enabled=1[ambari]name=ambaribaseurl=01/ambarigpgcheck=0enabled=1ntp時鐘同步效勞[root@master~]#yum-yinstallntp[root@slaver1~]yum-yinstallntpdate[root@master~]vi/etc/ntp.conf注釋或者刪除以下四行iburst添加以下兩行serverfudgestratum10[root@slaver1~]ntpdatemaster.hadoop29Apr20:08:31ntpdate[1034]:adjusttimeserver01offset0.066568sec#master&slave1SSH無密碼公鑰認證配置。如下：#yuminstallopenssh-clients#ssh-keygen#ssh-copy-idmaster.hadoop#ssh-copy-idslave1.hadoopssh登錄遠程主機查看是否成功。jdk環境，修改/etc/profile文件，在文件末尾添加以下內容。jdk環境配置好了。#java-versionjavaversion“1.8.0_77“Java(TM)SERuntimeEnvironment(build1.8.0_77-b03)JavaHotSpot(TM)64-BitServerVM(build25.77-b03,mixedmode)、mysql-connector-java、d效勞MySQL數據庫。#mysql_secure_installationbigdata”Removeanonymoususers?[Y/n]yDisallowrootloginremotely?[Y/n]nRemovetestdatabaseandaccesstoit?[Y/n]yReloadprivilegetablesnow?[Y/n]yambari數據庫。#mysql-uroot-pbigdataMariaDB[(none)]>createdatabaseambari;MariaDB[(none)]>grantallprivilegesonambari.*to”ambari”@”localhost”identifiedby”bigdata”;MariaDB[(none)]>grantallprivilegesonambari.*to”ambari”@”%”identifiedby”bigdata”;MariaDB[(none)]>useambari;MariaDB[ambari]>source/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sqlMariaDB[ambari]>quit效勞，具體操作步驟如下。ambari-serversetupWARNING:SELinuxissetto”permissive”modeandtemporarilydisabled.OKtocontinue[y/n](y)?Customizeuseraccountforambari-serverdaemon[y/n](n)?nCheckingJDK...OracleJDK1.8+JavaCryptographyExtension(JCE)PolicyFiles8OracleJDK1.7+JavaCryptographyExtension(JCE)PolicyFiles7CustomJDK===============================================================Enterchoice(1):3ValidatingJDKonAmbariServer...done.Completingsetup...database...Enteradvanceddatabaseconfiguration[y/n](n)?yConfiguringdatabase...===============================================================Chooseoneofthefollowingoptions:-PostgreSQL(Embedded)-Oracle-MySQL-PostgreSQL-MicrosoftSQLServer(TechPreview)-SQLAnywhere===============================================================Enterchoice(1):3Hostname(localhost):Port(3306):Databasename(ambari):Username(ambari):EnterDatabasePassword(bigdata):Proceedwithconfiguringremotedatabaseconnectionproperties[y/n](y)?AmbariServer”setup”completedsuccessfully.#ambari-serversetup--jdbc-db=mysql--jdbc-driver=/usr/share/java/mysql-connector-java.jarIaaS 平臺與大數據平臺方案設計與實施IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計14ambari-agent配置文件，將配置文件中效勞。Hadoop集群://01:8080用戶名密碼為。接下來就可以啟動安裝向導，創立集群，安裝效勞以及自定義效勞，4.3Hadoop集群。圖4.3Hadoop集群集群的效勞進程信息。[root@master~]jps15874QuorumPeerMain19171HMaster19267ApplicationHistoryServer18213RunJar17639Jps17448RunJar18704HistoryServer17649HMaster13587AmbariServer18900HRegionServer16022DataNode20663NodeManager16478NameNode[root@slaver1~]#jps19104RunJar15345ApplicationHistoryServer16418SecondaryNameNode14419DataNode17123NodeManager9524Jps16025JobHistoryServer16905HRegionServer14267QuorumPeerMain19484RunJar16238ResourceManager安裝完成后，在LinuxShellHadoop集群的根本統計信息。[hdfs@master~]$hdfsfsck/Connectingtonamenodevia://master.hadoop:50070/fsck?ugi=hdfs&path=%2FFSCKstartedbyhdfs(auth:SIMPLE)from/03forpath/atFriMay0310:24:35UTC2019Status:HEALTHYTotalsize: 768102881B(Totalopenfilessize:249B)Totaldirs: 85Totalfiles: 26Totalsymlinks: 0(Filescurrentlybeingwritten:4)Totalblocks(validated): 27(avg.blocksize28448254B)(Totalopenfileblocks(notvalidated):3)Minimallyreplicatedblocks:27(100.0%)Over-replicatedblocks:0(0.0%)Under-replicatedblocks:27(100.0%)Mis-replicatedblocks:0(0.0%)Defaultreplicationfactor:3Averageblockreplication:2.0Corruptblocks:0Missingreplicas:27(33.333332%)Numberofdata-nodes:2Numberofracks:1FSCKendedatFriMay0310:24:35UTC2019in6millisecondsThefilesystemunderpath”/”isHEALTHY名目下，存在一個案例JAR包。運行JAR包中的sudoku4.4中數獨運算題的結果。圖4.4數獨[root@master~]#cd/usr/hdp/-129/hadoop-mapreduce/[root@masterhadoop-mapreduce]#hadoopjarhadoop-mapreduce-examples.jarsudoku/opt/puzzle1.dtaSolving/opt/puzzle1.dta812753649943682175675491283154237896369845721287169534521974368438526917796318452Found1solutionsSqoopmasterMySQL中全部數據庫。IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計19[root@master~]#sqooplist-databases--connectjdbc:mysql://localhost--usernameroot--passwordbigdataWarning:/usr/hdp/-129/accumulodoesnotexist!Accumuloimportswillfail.Pleaseset$ACCUMULO_HOMEtotherootofyourAccumuloinstallation.19/05/0912:13:51INFOsqoop.Sqoop:RunningSqoopversion:.6.1.0-12919/05/0912:13:51WARNtool.BaseSqoopTool:Settingyourpasswordonthecommand-lineisinsecure.Considerusing-Pinstead.19/05/0912:13:51INFOmanager.MySQLManager:PreparingtouseaMySQLstreamingresultset.ambarihiveperformance_schematestPig工具在Localaccess-log.txt中的IP的點擊數,要求GROUPBY語句依據IP進展分組,通過FOREACH運算符,對關系的列進展迭代,統計每個分組的總行數,DUMP語句查詢統計結果。grunt>copyFromLocal/opt/access.log/user/root/input/grunt>A=load”/user/root/log1.txt”using PigStorage(”\t”)AS(ip,others);grunt>group_ip=groupAbyip;grunt>result=foreachgroup_ipgenerategroup,COUNT(A);grunt>dumpresult;(8--[12/Jan/2019:23:30:31+0800]““4000“-““-“,1)(8--[13/Feb/2019:13:03:14+0800]““4000“-““-“,1)(8--[23/Jan/2019:17:22:36+0800]““4000“-““-“,1)(8--[29/Jan/2019:18:30:56+0800]““4000“-““-“,1)(36--[14/Feb/2019:08:59:02+0800]“\x05\x01\x00“400166“-““-“,1)(3--[19/Jan/2019:14:04:06+0800]“GET//1.0“403162“-““-“,1)(3--[21/Feb/2019:13:54:37+0800]“GET//1.0“403162“-““-“,1)(3--[24/Dec/2018:06:49:19+0800]“GET//1.0“403162“-““-“,1)登錄“spark-shell”交互界面。給定數據,spark工具,統計每個日期增加的用戶數,最終顯示統計結果。scala>valdata= 01“,“f“),(“2017-01-01“,“g“),(“2017-01-02“,“h“),(“2017-01-02“,“j“),(“2017-01-02“,“k“),(“2017-01-02“,“l“),(“2017-01-03“,“x“),(“2017-01-03“,“y“),(“2017-01-03“,“z“)))data:org.apache.spark.rdd.RDD[(String,String)]=ParallelCollectionRDD[15]atparallelizeat<console>:23scala>valdate=data.map(kv=>(kv._2,kv._1))date:org.apache.spark.rdd.RDD[(String,String)]=MapPartitionsRDD[16]atmapat<console>:25scala>valdate1=date.groupByKeydate1:org.apache.spark.rdd.RDD[(String,Iterable[String])]=ShuffledRDD[18]atgroupByKeyat<console>:27scala>valdate2=date1.map(kv=>(kv._2.min,1))date2:org.apache.spark.rdd.RDD[(String,Int)]=MapPartitionsRDD[20]atmapat<console>:29scala>date2.countByKey.foreach(println)(2017-01-01,3)(2017-01-02,4)+(2017-01-03,3)登錄“spark-shell”交互界面。定義一個函數,函數的作用是比較傳入的兩個變量,返回大的那個。scala>defmax(a:Int,b:Int)=if(a>b)aelsebmax:(a:Int,b:Int)Intscala>varx=66x:Int=66scala>vary=88y:Int=88scala>max(x,y)res1:Int=885總結controllercompute的computexiandianopenrc.sh這個文件，里面是后面跑腳本所需要的變量，密碼已及其它重要配置。假設openrc.sh這個文件配IaaS平臺搭建起來也很輕松。遇到過很多問題題，但最終在教師或網上查資料的狀況下，都被一一解決。在搭建大ambari的數據庫，以及權限是否配ambari數據庫配置錯誤。之前一段時間大數據平臺始終無法部署那些組件，經過很屢次的試驗，最終我自己寫了一個搭建大數據平臺的腳本，通過編寫腳本逐步排查，又經過了屢次試驗，最終最終找到問題所在。解決組件無法啟動問題，以及組件無法部署問題。在自己電腦上部署兩個版本的平臺成功，在兩臺效勞器上也解決了相關問題。搭建大數據平臺腳本見附錄。Mahout組件，它供給了數據挖掘庫、人工智能，以及語音識別，人臉識別等，都能通過大數據供給效勞。致 謝表示感謝，祝你們身體安康，工作順當！并祝福母校蒸蒸日上。和報答他們。教師表示感謝。誠意地感謝在百忙之中評閱論文和參與辯論的各位專家、教授！XXX二〇一九年六月于重慶IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計參考文獻s:///wrnxrbb/article/details/80563430openstack平臺搭建〔先電版〕“:///content/qita/710164“s:///content/qita/710164openstack平臺搭建〔先電版〕“://taodocs/p-164383513.html“s://taodocs/p-164383513.html先電大數據平臺操作手冊s:///qq_28513801/article/details/83512194先電大數據安裝手冊s:///mn525520大數據運維IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計附錄以下腳本是自動化部署大數據平臺#############master節點執行。##################################執行腳本前，兩個節點必需是純潔的系統。先將大數據鏡像放到master節點/opt名目下，然后配置好兩臺主機的hosts文件和hostname以及免密登陸。################master=2slave=3controller=00cat>>/etc/profile<<EOFexportJAVA_HOME=/usr/jdk1.8.0_77exportbuildNumber=EOFrm-rf/etc/yum.repos.d/*touch/etc/yum.repos.d/ambari.repocat>/etc/yum.repos.d/ambari.repo<<EOF[centos]name=centosbaseurl=ftp://$controller/centosgpgcheck=0enable=1[ambari]name=ambaribaseurl=file:///opt/ambarigpgcheck=0enabled=1EOFmount/opt/XianDian-BigData-v2.2.iso/mntecho-e“################\e[1;32mcopyBigDatato/opt\e[0m####################“cp-rf/mnt/*/optmv/opt/ambari*/opt/ambariIaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計umount/mnttar-zxf/opt/jdk*-C/usr/source/etc/profilejava-versionyumcleanallyum-yinstallntpdvsftpdambari-servermariadbmariadb-servermysql-connector-javaambari-agentexpectsystemctlenabledvsftpdmariadbntpdecho-e“############\e[1;32mcopyHDP-*to/var/www/html/\e[0m###################“cp-rf/opt/HDP-*/var/www/html/cat>>/etc/vsftpd/vsftpd.conf<<EOFanon_root=/optEOFsed-i”21,24d”/etc/ntp.confcat>>/etc/ntp.conf<<EOFserverfudgestratum10EOFiptables-Fiptables-Xiptables-X/usr/sbin/iptables-save#echonever>/sys/kernel/mm/transparent_huge/enabled#echonever>/sys/kernel/mm/transparent_huge/defragsystemctlstartdvsftpdntpdmariadbecho-e“################\e[1;32mstartdvsftpdntpdmariadbsucceed!!!\e[0m###################“expect-c“spawn/usr/bin/mysql_secure_installationexpect\“Entercurrentpasswordforroot(enterfornone):\“send\“\r\“expect\“Setrootpassword?\“send\“y\r\“expect\“Newpassword:\“send\“bigdata\r\“IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計IaaS 平臺與大數據平臺方案設計與實施信息工程學院畢業設計expect\“Re-enternewpassword:\“send\“bigdata\r\“expect\“Removeanonymoususers?\“send\“y\r\“expect\“Disallowrootloginremotely?\“send\“n\r\“expect\“Removetestdatabaseandaccesstoit?\“send\“y\r\“expect\“Reloadprivilegetablesnow?\“send\“y\r\“expecteof“echo-e“############\e[1;32msetupambari-server\e[0m##############“mysql-uroot-pbigdata-e“createdatabaseambari;“mysql-uroot-pbigdata-e“grantallprivilegesonambari.*to”ambari”@”localhost”identifiedby”bigdata”;“mysql-uroot-pbigdata-e“grantallprivilegesonambari.*to”ambari”@”%”identifiedby”bigdata”;“mysql-uroot-pbigdataambari</var/lib/a