1、Kafka原理剖析及實戰演練Kafka運維DATAGURU專業數據分析社區Kafka原理剖析及實戰演練(Jason Guo)Kafka 運維n Topic增刪改查n Partition/Replica重新分配n 設置Preferred Replica ElectionDATAGURU專業數據分析社區Kafka原理剖析及實戰演練(Jason Guo)Topic增刪改查n Topic的設置，影響分布式處理的并行度，從而影響性能，甚至結果的正確性n bin/kafka-topics.shDATAGURU專業數據分析社區Kafka原理剖析及實戰演練(Jason Guo)Partition/Replic

2、a重新分配n Partition/Replica重新分配Ø 增加Broker后，已有的數據自動遷移到新Broker上Ø 刪除Broker前，需要將待刪除的Broker上的數據遷移到其它Broker上n bin/kafka-reassign-partitions.shDATAGURU專業數據分析社區Kafka原理剖析及實戰演練(Jason Guo)Partition/Replica重新分配n Partition/Replica重新分配過程.5.6.7.將Zookeeper中的AR（Current Assigned Replicas）更新為OAR（Original

3、 list of replicas for partition） + RAR（Reassigned replicas）。強制更新Zookeeper中的leader epoch，向AR中的每個Replica將RAR - OAR中的Replica設置為NewReplica狀態等待直到RAR中所有的Replica都與其Leader同步將RAR中所有的Replica都設置為OnlineReplica狀態將Cache中的AR設置為RARLeaderAndIsrRequest若Leader不在RAR中，則從RAR中重新Zookeeper中的leader epoch出一個新的Leader并LeaderAnd

4、IsrRequest。若新的Leader不是從RAR中而出，則還要增加8.將OAR - RAR中的所有Replica設置為OfflineReplica狀態，該過程包含兩部分。第一，將Zookeeper上ISR中的OAR - RAR移除并向LeaderLeaderAndIsrRequest從而通知這些Replica已經從ISR中移除；第二，向OAR - RAR中的ReplicaPartition的Replica將OAR - RAR中的所有Replica設置為NonExistentReplica狀態從而將其從磁盤上刪除將Zookeeper中的AR設置為RAR刪除/admin/reassign_pa

5、rtitionStopReplicaRequest從而停止不再分配給該9.10.11.DATAGURU專業數據分析社區Kafka原理剖析及實戰演練(Jason Guo)Partition/Replica重新分配n Partition/Replica重新分配過程以下是Partition重新分配的案例，OAR = 1，2，3，RAR = 4，5，6，Partition重新分配過程中Zookeeper中的AR和Leader/ISR路徑如下DATAGURU專業數據分析社區Kafka原理剖析及實戰演練(Jason Guo)ARleader/ISRStep1,2,31/1,2,3(initial stat

6、e)1,2,3,4,5,61/1,2,3(step 2)1,2,3,4,5,61/1,2,3,4,5,6(step 4)1,2,3,4,5,64/1,2,3,4,5,6(step 7)1,2,3,4,5,64/4,5,6(step 8)4,5,64/4,5,6(step 10)Preferred Replica Leader Electionn Preferred Replica Leader ElectionØ 所有的讀寫都發生在Leader上，Leader的分布是否均勻，直接影響集群的負載均衡Ø Preferred Replica只有在ISR中被選為Leadernbin

7、/kafka-preferred-replica-election.shn 可通過如下配置來啟用和自動Leadership平衡Ø erval.seconds=300Ø leader.imbalance.per.broker.percentage=10Ø auto.leader.rebalance.enable=trueDATAGURU專業數據分析社區Kafka原理剖析及實戰演練(Jason Guo)Preferred Replica Leader Electionn Preferred Replica Leader Election1.在Zookeeper上創建/admin/preferred_replica_election節點，并存入需要調整Preferred Replica的Partition信息Controller一直Watch該節點，一旦該節點被創建，Controller會收到通知，并獲取該內容2.3.ControllerPreferred Replica，如果發現該Replica當前并非是Leader并且它在該Partition的ISR中，Controller向該ReplicaLeaderAndIsrRequest，使該Replica成為Leader。如果該R