微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在循环中获取“检查flume.conf中的更改”

我使用Apache Flume 1.4.0来收集日志文件(auth.log)并存储在HDFS(Hadoop 2.6.0)中。 使用的命令是:

bin/flume-ng agent --conf ./conf/ -f flume.conf -Dflume.root.logger=DEBUG,console -n agent

flume.conf文件包含以下内容

agent.channels.memory-channel.type = memory agent.sources.tail-source.type = exec agent.sources.tail-source.command = tail -F /var/log/auth.log agent.sources.tail-source.channels = memory-channel agent.sinks.log-sink.channel = memory-channel agent.sinks.log-sink.type = logger agent.sinks.hdfs-sink.channel = memory-channel agent.sinks.hdfs-sink.type = hdfs agent.sinks.hdfs-sink.hdfs.path = hdfs://localhost:54310/usr/auth.log agent.sinks.hdfs-sink.hdfs.fileType = DataStream agent.channels = memory-channel agent.sources = tail-source agent.sinks = log-sink hdfs-sink

命令运行后,以下消息在循环中不断重复:

(conf-file-poller-0) [DEBUG - org.apache.flume.node.PollingPropertiesFileConfigurationProvider$FileWatcherRunnable.run(PollingPropertiesFileConfigurationProvider.java:126)] Checking file:flume.conf for changes

可能是什么原因 ?

当使用假脱机时,Flume throw classpath找不到错误

JSON数据下沉到Apache Phoenix与Apache Flume错误

JMeter – 找不到TestPlan类

apache flume hdfs可以接受dynamicpath写吗?

读取Flume spoolDir并行

Flume认设计为每30秒检查一次(这是硬编码的 )配置文件寻找变化。 如果发生这种情况,它会重新创建受影响的组件(源,接收器或通道)以便应用新的配置。 如果要禁用此行为,只需使用--no-reload-conf选项启动代理。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐