大數(shù)據(jù)技術(shù)與應(yīng)用項目——Storm環(huán)境搭建原理

項目來自北京諾程佳華教育科技有限公司教學目標熟悉storm環(huán)境搭建熟悉storm相關(guān)基本概念

Storm環(huán)境搭建原理

Storm是一個分布式實時計算系統(tǒng)。Storm能夠輕松可靠處理無界的數(shù)據(jù)流，就像hadoop對數(shù)據(jù)進行批處理；但是Storm能持續(xù)地運作下去。

Storm相關(guān)特性1)用例非常廣泛2)可伸縮性4)異常健壯5）容錯性好3)保證沒有數(shù)據(jù)丟失6）語言無關(guān)性

Storm環(huán)境搭建原理1)用例非常廣泛Storm可以實時處理消息和更新DB，對一個數(shù)據(jù)量進行持續(xù)的查詢并返回客戶端（持續(xù)計算），對一個耗資源的查詢作實時并行化的處理(分布式方法調(diào)用，即DRPC），Storm的這些基礎(chǔ)API可以滿足大量的場景。2)可伸縮性Storm的可伸縮性可以讓storm每秒可以處理的消息量達到很高。擴展一個實時計算任務(wù)，你所需要做的就是加機器并且提高這個計算任務(wù)的并行度。Storm使用ZooKeeper來協(xié)調(diào)集群內(nèi)的各種配置使得Storm的集群可以很容易的擴展。3)保證沒有數(shù)據(jù)丟失Storm保證每個消息至少能得到一次完整處理。任務(wù)失敗時，它會負責從消息源重試消息。

Storm環(huán)境搭建原理4)異常健壯Storm集群非常容易管理，輪流重啟節(jié)點不影響應(yīng)用。5)容錯性好在消息處理過程中出現(xiàn)異常，Storm會進行重試。6)語言無關(guān)性Storm的topology和消息處理組件(Bolt)可以用任何語言來定義，這一點使得任何人都可以使用Storm。

Storm的核心技術(shù)和基本組成TopologyStream:消息流Spout:消息源Bolt:消息處理者Streamgrouping:消息分發(fā)策略TaskWorkerExecutor

Storm環(huán)境搭建原理—集群框架nimbus守護進程nimbus守護進程的主要職責是管理，協(xié)調(diào)和監(jiān)控在集群上運行的topology。包括topology的發(fā)布，任務(wù)支派，事件處理失敗時重新指派任務(wù)。將topology發(fā)布到Storm集群，將預(yù)先打包的jar文件的topology和配置信息提交到nimbus服務(wù)器上，一旦nimbus接收到了topology的壓縮包，會將jar包分發(fā)到足夠數(shù)量的supervisor節(jié)點上。當supervisor節(jié)點接收到了topology壓縮文件，nimbus就會指派task(bolt和spout實例)到每個supervisor并且發(fā)送信號指示supervisor生成足夠的worker來執(zhí)行指派的task。

Storm環(huán)境搭建原理—集群框架nimbus守護進程nimbus記錄所有supervisor節(jié)點的狀態(tài)和分配給它們的task。如果nimbus發(fā)現(xiàn)某個supervisor沒有上報心跳或者已經(jīng)不可達了，它會將故障supervisor分配的task重新分配到集群中的其他supervisor節(jié)點。嚴格意義上講nimbus不會引起單點故障。這個特性是因為nimubs并不參與topology的數(shù)據(jù)處理過程,它僅僅是管理topology的初始化,任務(wù)分發(fā)和進行監(jiān)控。實際上,如果nimbus守護進程在topology運行時停止了,只要分配的supervisor和worker健康運行,topology一直繼續(xù)數(shù)據(jù)處理。要注意的是,在nimbus已經(jīng)停止的情況下supervisor異常終止,因為沒有nimbus守護進程來重新指派失敗這個終止的supervisor的任務(wù),數(shù)據(jù)處理就會失敗。

Storm環(huán)境搭建原理—集群框架supervisor守護進程supervisor守護進程等待nimbus分配任務(wù)后生成并監(jiān)控workers(JVM進程)執(zhí)行任務(wù)。supervisor和worker都是運行在不同的JVM進程上,如果由supervisor拉起的一個woker進程因為錯誤(或者因為Unix終端的kill-9命令,Window的tskkill命令強制結(jié)束)異常退出,supervisor守護進程會嘗試重新生成新的worker進程。如果一個worker甚至整個supervisor節(jié)點都故障了，Storm怎么保障出錯時正在處理的tuples的傳輸呢？答案就在Storm的tuple的錨定和應(yīng)答確認