張義目錄0102Spark執行模型shuffle操作以及如何減少shuffle操作Spark執行模型1Spark執行模型Spark應用程序包含一個驅動程序進程和一組在各種集群節點上運行的執行器進程。驅動程序管理工作流程，執行器通過多個任務執行工作。在YARNSpark設置中，ResourceManager決定任務可以在哪些節點上運行。Spark執行模型Spark應用程序Spark應用程序由RDD操作（轉換和動作）組成。RDD是所有Spark編程的核心。DataFrame是RDD的核心抽象，其有助于將數據轉換成單個對象，從而掩蓋它分布在大量機器上的事實。啟動Spark應用程序時，會創建一個Spark作業來執行此工作。Spark首先根據動作使用的RDD創建一個執行計劃。Spark執行模型作業應用程序通過啟動一個或一組作業來獲取結果。一個作業涉及Spark執行的一組計算，以將RDD上的動作結果返回到啟動應用程序的驅動程序。應用程序通過調用RDD的action方法啟動作業。當調用action方法時，作業啟動。例如檢索緩存的RDD數據或從存儲器讀取數據時作業啟動。然后Spark應用必要的轉換來創建action方法所需的RDD。它還執行該動作需要的任何計算。一旦完成所有的轉換和計算，并將結果傳遞給了驅動程序，則作業完成。Spark執行模型Spark執行術語■任務:在單個節點上運行的執行單元，每個執行器都有一個或多個任務。■階段:一組任務，基于輸入數據的分區，它們對數據塊并行執行相同的計算■作業:與應用程序相同，可能有一個或多個階段。■管道;當RDD轉換可以在不移動數據的情況下執行時，將RDD壓縮成單個階段。■有向無環圖(DAG):RDD操作的邏輯圖。■彈性分布式數據集（RDD):并行只讀數據集（包含一個或多個分區)。Spark執行模型執行計劃執行計劃源自于和緩存數據有關的RDD或者不依賴于緩存數據的RDD，執行計劃的目標是得到最終結果的RDD。階段執行計劃將作業的轉換納入不同的階段。作業的每個階段包括一組類似編碼的任務，每個任務在數據子集上工作。這里的關鍵在于，每個階段的轉換都可以完成，而不會shuffle所有的數據。Spark執行模型shuffle是在集群節點之間重新分配數據的昂貴操作。每個數據塊都成為RDD的一個分區。跨節點的數據分布不是隨機的，而是基于具體的標準。作業由幾個階段組成,每個階段由一個或一組任務組成。一個作業被分成DAG階段。Spark組任務進入階段的方式是使用shuffle邊界。在不執行shuffle的情況下把可以執行的一組任務放在同一個階段。如果隨后的任務需要將數據進行shuffle，則標志著不同階段的開始。任務任務是做實際工作的實體。Spark將任務提交給執行器。集群節點上的任務調度與數據本地化有很大關系。shuffle操作以及如何減少

shuffle操作2shuffle操作以及如何減少shuffle操作shuffle操作是Spark重新分配數據的操作，因此它在所有分區中的分組不同。我們來看一下reduceByKey操作,當對(K,V)對的數據集進行調用時,返回一個數據集(K,V）對，每個鍵的值都使用給定的reduce函數func進行聚合。shuffle操作以及如何減少shuffle操作reduceByKey操作生成一個新的RDD,其中包含組合在元組中的單個鍵的所有值。為了計算這個單鍵，鍵的所有值必須位于同一分區上。因此，為了執行reduceByKey的reduce任務，Spark執行所謂的all-to-all操作，它從所有分區讀取并檢索所有鍵的所有值，并將它們放在單個分區中，以便它可以計算每個鍵的結果。這就是shuffle操作。reduc