Hadoop大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)——MapReduce工作流程目錄content02Reduce過(guò)程Map過(guò)程0405寫(xiě)入文件01分片和格式化數(shù)據(jù)源03Shuffle過(guò)程MapReduce工作流程概述MapReduce編程簡(jiǎn)單且功能強(qiáng)大。專(zhuān)門(mén)為并行處理大規(guī)模數(shù)據(jù)而設(shè)計(jì)。對(duì)于簡(jiǎn)單數(shù)據(jù)處理，只需要執(zhí)行Map任務(wù)。對(duì)于復(fù)雜任務(wù)，根據(jù)實(shí)際的業(yè)務(wù)需求設(shè)置合適的Reduce任務(wù)數(shù)。MapReduce工作流程MapReduce工作流程第一步：分片和格式化數(shù)據(jù)源將存儲(chǔ)在分布式文件系統(tǒng)中數(shù)據(jù)集切分成獨(dú)立的輸入分片。每一個(gè)輸入分片對(duì)應(yīng)一個(gè)Map任務(wù)(有多少輸入分片就會(huì)存在多少M(fèi)ap任務(wù)）。輸入分片是邏輯概念。輸入分片中存儲(chǔ)了一些元數(shù)據(jù)信息。輸入分片處理成<key1,value1>形式的數(shù)據(jù)，再傳遞給Map任務(wù)。第二步：Map過(guò)程TWITTERSKYPEFACEBOOK經(jīng)過(guò)map()函數(shù)處理后，獲得一系列<key2,value2>形式的輸出。Map過(guò)程利用map()函數(shù)來(lái)處理數(shù)據(jù)。map()函數(shù)中具體的數(shù)據(jù)處理方法由用戶(hù)自己定義。map()函數(shù)接收<key1,value1>形式的數(shù)據(jù)輸入。1234YOUTUBE第三步：Shuffle過(guò)程

Shuffle過(guò)程map()函數(shù)的輸出并不會(huì)直接交給Reduce任務(wù)，而是需要經(jīng)過(guò)分區(qū)、排序、合并、溢寫(xiě)、歸并等處理，將處理后的數(shù)據(jù)作為Reduce任務(wù)的輸入。這一系列處理過(guò)程稱(chēng)為Shuffle。第三步：Shuffle過(guò)程

Map的Shuffle過(guò)程1．Map端的Shuffle過(guò)程（1）map()函數(shù)的輸出并不會(huì)立即寫(xiě)入磁盤(pán)，MapReduce會(huì)為每個(gè)Map任務(wù)分配一個(gè)環(huán)形內(nèi)存緩沖區(qū)（bufferinmemory），用于存儲(chǔ)map()函數(shù)的輸出。（2）在將環(huán)形內(nèi)存緩沖區(qū)中的數(shù)據(jù)寫(xiě)入磁盤(pán)之前，需要對(duì)數(shù)據(jù)進(jìn)行分區(qū)、排序和合并（可選）操作。第三步：Shuffle過(guò)程

Map的Shuffle過(guò)程1．Map端的Shuffle過(guò)程分區(qū):主要目的是將數(shù)據(jù)均勻地分配給Reduce任務(wù)，以實(shí)現(xiàn)MapReduce的負(fù)載均衡。排序:MapReduce的默認(rèn)操作，主要是將Map任務(wù)的輸出按key進(jìn)行排序。每個(gè)分區(qū)中的數(shù)據(jù)都是有序的。合并:排序結(jié)束后，合并操作可根據(jù)需求選擇是否要執(zhí)行;合并操作是將具有相同key的<key,value>的value加起來(lái),從而減少溢寫(xiě)的數(shù)據(jù)量。第三步：Shuffle過(guò)程

Map的Shuffle過(guò)程1．Map端的Shuffle過(guò)程(3)環(huán)形內(nèi)存緩沖區(qū)中的數(shù)據(jù)一旦達(dá)到閾值，后臺(tái)線程便開(kāi)始把數(shù)據(jù)溢寫(xiě)到本地磁盤(pán)的臨時(shí)文件（即溢寫(xiě)文件）中。(4)系統(tǒng)需要將所有溢寫(xiě)文件中的數(shù)據(jù)進(jìn)行歸并，以生成一個(gè)大的溢寫(xiě)文件。歸并操作就是將相同key的value歸并成一個(gè)集合，形成新的鍵值對(duì)。(5)文件歸并操作完成后生成最終的Map任務(wù)輸出文件，文件保存在Map任務(wù)所在節(jié)點(diǎn)的本地磁盤(pán)上，Map任務(wù)執(zhí)行結(jié)束。第三步：Shuffle過(guò)程2．Reduce端的Shuffle過(guò)程(1)Map任務(wù)結(jié)束，Reduce任務(wù)啟動(dòng)相同數(shù)量的復(fù)制線程并行復(fù)制Map任務(wù)的輸出文件。（2)當(dāng)緩存中的數(shù)據(jù)達(dá)到閾值，即需要溢寫(xiě)到磁盤(pán)時(shí)，Reduce任務(wù)會(huì)將復(fù)制數(shù)據(jù)進(jìn)行歸并排序（MergeSort），生成溢寫(xiě)文件。

Reduce的Shuffle過(guò)程Reduce過(guò)程Reduce任務(wù)接收歸并排序后的數(shù)據(jù)流，并對(duì)已有序的相同key的鍵值對(duì)調(diào)用一次reduce()函數(shù)。Reduce任務(wù)輸入是<key2,list(value2)>形式的中間結(jié)果，輸出的是<key3,value3>形式的計(jì)算結(jié)果。Reduce任務(wù)輸出結(jié)果經(jīng)過(guò)輸出格式化后再輸出到文件系統(tǒng)中，并且每個(gè)作業(yè)輸出文件默認(rèn)以“part-r-00000”開(kāi)始，并用后5位數(shù)遞增的方式命名。123

Reduce過(guò)程寫(xiě)入文件MapReduce框架會(huì)自動(dòng)把ReduceTask生成的<key,value>傳入Ou