觸發(fā)流式構(gòu)建目錄CONTENTS2觸發(fā)流式構(gòu)建1數(shù)據(jù)源準(zhǔn)備數(shù)據(jù)源準(zhǔn)備PART0101數(shù)據(jù)源的準(zhǔn)備[root@cm-masterbin]#./kafka-topics.sh--create--zookeepercm-master:2181,cm-slave1:2181,cm-slave2:2181--replication-factor3--partitions3--topickylin_demoKAFKA創(chuàng)建Topic

調(diào)用Kylin自帶的數(shù)據(jù)生成器向KAFKA推送數(shù)據(jù)，這個(gè)工具每2秒鐘將會(huì)生成一條數(shù)據(jù)，并發(fā)送到Kafka隊(duì)列中

數(shù)據(jù)源準(zhǔn)備調(diào)用Kylin自帶的數(shù)據(jù)生成器向KAFKA推送數(shù)據(jù)，這個(gè)工具每2秒鐘將會(huì)生成一條數(shù)據(jù)，并發(fā)送到Kafka隊(duì)列中?？赡軙?huì)出現(xiàn)Exceptioninthread“main”java.lang.NoClassDefFoundError:org/apache/kafka/clients/producer/Producer將KAFKA添加到環(huán)境變量中即可數(shù)據(jù)源準(zhǔn)備使用Kafka的控制臺(tái)消費(fèi)者（ConsoleConsumer）查看隊(duì)列中的數(shù)據(jù)，以確保數(shù)據(jù)按照需要生成KAFKA消費(fèi)端接收數(shù)據(jù)

[root@cm-masterbin]#./kafka-console-consumer.sh--zookeepercm-master:2181--topickylin_demo--from-beginning觸發(fā)流式構(gòu)建PART0202觸發(fā)流式構(gòu)建單次觸發(fā)Kylin目前不支持從WebGUI上觸發(fā)流式構(gòu)建。自動(dòng)化多次觸發(fā)基于CrobJob的一種方案單次觸發(fā)Kylin目前不支持從WebGUI上觸發(fā)流式構(gòu)建。自動(dòng)化多次觸發(fā)基于CrobJob的一種方案出錯(cuò)處理1.流式構(gòu)建出錯(cuò)如果出現(xiàn)Kafka讀取出錯(cuò)的情況，可能會(huì)導(dǎo)致某個(gè)單次的微構(gòu)建失敗。2.合并出錯(cuò)如果出現(xiàn)自動(dòng)合并的構(gòu)建出錯(cuò)的情況，它會(huì)阻礙所有其他的在這個(gè)Cube上的合并操作，因?yàn)橐粋€(gè)Cube同時(shí)只允許有一個(gè)未完成的構(gòu)建操作。出錯(cuò)的原因，往往在Hadoop集群本身上出錯(cuò)處理1.流式構(gòu)建出錯(cuò)如果出現(xiàn)Kafka讀取出錯(cuò)的情況，可能會(huì)導(dǎo)致某個(gè)單次的微構(gòu)建失敗。2.合并出錯(cuò)如果出現(xiàn)自動(dòng)合并的構(gòu)建出錯(cuò)的情況，它會(huì)阻礙所有其他的在這個(gè)Cube上的合并操作，因?yàn)橐粋€(gè)Cube同時(shí)只允許有一個(gè)未完成的構(gòu)建操作。出錯(cuò)的原因，往往在Hadoop集群本身上單次觸發(fā)Kylin目前不支持從WebGUI上觸發(fā)流式構(gòu)建。自動(dòng)化多次觸發(fā)基于CrobJob的一種方案觸發(fā)流式構(gòu)建

流式構(gòu)建與增量構(gòu)建的區(qū)別：主要區(qū)別在于數(shù)據(jù)源不同，前者的數(shù)據(jù)源是Kafka這樣的消息隊(duì)列，后者的數(shù)據(jù)源是Hive這樣的數(shù)據(jù)倉(cāng)庫(kù)；因此，當(dāng)數(shù)據(jù)量變大的時(shí)候，整個(gè)系統(tǒng)的出錯(cuò)率可能會(huì)增加。另一個(gè)不同之處在于，增量構(gòu)建是由MapReduce作業(yè)來(lái)產(chǎn)生Cube的HDFS數(shù)據(jù)文件的，它會(huì)使用MapReduce將HDFS數(shù)據(jù)文件轉(zhuǎn)化為符合存儲(chǔ)引擎（HBase）的數(shù)據(jù)格式（HFile），而在流式構(gòu)建中，HDFS數(shù)據(jù)文件并