主講：朱佳目錄0102配置Web服務器Flumeagent配置收集器agent配置Web服務器的Flumeagent1配置Web服務器的Flumeagent由于我們使用兩個Flumeagent，因此需要兩份配置，每個agent一份。可以將這兩份配置放在單個文件中，也可以為每個agent使用單獨的配置文件。在這里，我們使用單獨的配置文件，對于在Web服務器上運行的第一個agent,/opt/flume/conf/flume-webagent.conf文件具有以下配置:webagent.sources=apachewebagent.sources.apache.type=execmand=tail-Fvar/log/httpd/access_logwebagent.sources.apache.batchSize=1配置Web服務器的Flumeagentwebagent.sources.apache.channels=memoryChanne1erceptors=itimeihostitypeerceptors.itime.type=timestamperceptors.ihost.type=hosterceptors.ihost.useIP=false配置Web服務器的Flumeagenterceptors.ihost.hostHeader=hosterceptors.itype.type=staticerceptors.itype.key=1og_typeerceptors.itype.value=apache_access_combined配置Web服務器的Flumeagentwebagent.channels=memoryChannelwebagent.channels.memoryChannel.type=memorywebagent.channels.memoryChannel.capacity=100##SendtoFlumeCollectoron(HadoopSlaveNode)#agent.sinks=AvroSinkwebagent.sinks.AvroSink.type=avrowebagent.sinks.AvroSink.channel=memoryChannelwebagent.sinks.AvroSink.hostname=webagent.sinks.AvroSink.port=4545配置Web服務器的Flumeagent啟動第一個agent,如下所示;$cd/opt/flume$bin/flume-ngagent-fconf/flume-webagent.conf-nwebagent將webagent指定為Flumeagent的名稱，因為這是我們在fumewebagent.conf文件中配置的名稱。配置收集器agent2配置收集器agent以下是“收集器”agent的配置:#collector.sources=AvroIncollector.sources.AvroIn.type=avrocollector.sources.AvroIn.bind=collector.sources.AvroIn.port=4545collector.sources.AvroIn.channels=memChannellmemChannel2配置收集器agent##Sourcewritesto2channels,oneforeachsink(FanOut)collector.channels=memChannellmemChanne12#collector.channels.memChannel1.type=memorycollector.channels.memChannel1.capacity=100collector.channels.memChannel2.type=memorycollector.channels.memChannel2.capacity=100配置收集器agent##Sinkscollector.sinks=LocalOutHadoopOut##OptionalllywritetotheLocalFilesystem(ForDebuggingpurposes)Collector.sinks.Local0ut.type=file_rollCollector.sinks.Localout.sink.directory=/var/1og/flumecollector.sinks.Local0ut.sink.rollinterval=0collector.sinks.LocalOut.channel=memChannel1配置收集器agent##WritetoHDFScollector.sinks.HadoopOut.type=hdfscollector.sinks.HadoopOut.channel=memChanne12collector.sinks.Hadoop0ut.hdfs.path=/flume/events/%{1og_type}/%{host}/%y-%m-%d配置收集器agentcollector.sinks.HadoopOut.hdfs.fileType=DataStreamcollector.sinks.Hadoopout.hdfs.writeFormat=Textcollector.sinks.HadoopOut.hdfs.rollSize=0collector.sinks.HadoopOut.hdfs.rollCount=10000collector.sinks.HadoopOut.hdfs.rollInterval=600配置收集器agent啟動第二個Flumeagent,如下所示:$bin/flume-ngagent-Cconf-f/etc/flume-ng/conf/flume-conne