主講：侯磊創(chuàng)建動(dòng)態(tài)工作流目錄0102動(dòng)態(tài)工作流初步認(rèn)識(shí)Oozie協(xié)調(diào)器動(dòng)態(tài)工作流1動(dòng)態(tài)工作流動(dòng)態(tài)工作流通過參數(shù)化來節(jié)省時(shí)間和精力，避免不必要的重復(fù)。在這種情況下，參數(shù)化是指使用參數(shù)而不是硬編碼的值，因此可以在多個(gè)地方使用相同的作業(yè)。例如，你希望使用Sqoop導(dǎo)入作業(yè)將數(shù)據(jù)從Teradata或Oracle數(shù)據(jù)庫(kù)移動(dòng)到集群中。你想要執(zhí)行相同的作業(yè)，但在一天或一周內(nèi)進(jìn)行輕微的修改。在這種情況下，使用動(dòng)態(tài)工作流可以提高工作效率，并減少對(duì)工作流和協(xié)調(diào)器配置文件的煩瑣修改。動(dòng)態(tài)工作流Oozie通過使用變量、函數(shù)甚至表達(dá)式來參數(shù)化工作流、協(xié)調(diào)器和捆綁作業(yè)。例如，在Oozie工作流中使用廣泛的參數(shù)可以使工作流動(dòng)態(tài)化，而不是每次要運(yùn)行它時(shí)重新配Oozie可以使用JSPEL語法，在EL語法中指定的變量、常量、函數(shù)和表達(dá)式分別被稱為EL變量、EL常量、EL函數(shù)和EL表達(dá)式。通常，使用EL變量參數(shù)化Oozie工作流和協(xié)調(diào)器。以下是EL變量的一個(gè)示例。<name-node>${nameNode}</name-node>動(dòng)態(tài)工作流當(dāng)提交執(zhí)行工作流時(shí)，Oozie使用在perties文件中為變量指定的值替換變量。Oozie還提供了一組EL常量,例如KB、MB、GB、TB和PB,表示千字節(jié)、兆字節(jié)等。在Oozie協(xié)調(diào)器中，Oozie還支持系統(tǒng)變量，如${YEAR}、${MONTH}、${DAY}和${HOUR}。在工作流中，可以使用系統(tǒng)變量來表示Hadoop作業(yè)計(jì)數(shù)器，例如FILE_BYTES_READ、MAP_IN和MAP_OUT。動(dòng)態(tài)工作流工作流可以使用這些作業(yè)計(jì)數(shù)器，如下所示：${hadoop:counters("testMRNode")["FileSystemCounters"]["FILE_BYTES_READ"]}可以在日志文件中打印Hadoop計(jì)數(shù)器的信息，或者在完成mapper/reducer處理之后，根據(jù)mapper和reducer計(jì)數(shù)器的值進(jìn)行特定操作。動(dòng)態(tài)工作流Oozie提供了幾個(gè)EL功能，用來執(zhí)行有用的任務(wù)。例如:■使用內(nèi)置函數(shù)wf:id()獲取正在執(zhí)行的工作流的ID。■使用timestamp函數(shù)以YYYY-MM-DDThh:mm:ss:sZ格式提供當(dāng)前UTC時(shí)間。■fs:fileSize(Stringpath)函數(shù)是一個(gè)HDFSEL函數(shù)，返回指定文件的大小(以字節(jié)為單位)。初步認(rèn)識(shí)Oozie協(xié)調(diào)器2初步認(rèn)識(shí)Oozie協(xié)調(diào)器雖然Oozie工作流包含所有的作業(yè)邏輯，但是還缺少一些東西，工作流不提供任何調(diào)度功能。Oozie工作流可以幫助我們以指定的順序運(yùn)行Hadoop應(yīng)用程序。因此，工作流對(duì)于手動(dòng)運(yùn)行應(yīng)用程序很有用。然而，在實(shí)踐中,經(jīng)常需要調(diào)度預(yù)先創(chuàng)建的Oozie工作流。可以通過Oozie協(xié)調(diào)器調(diào)度Oozie工