Logstash没有读入MySQL的新条目

我在Windows 7计算机上本地安装了Logstash和Elasticsearch.
我在Logstash中安装了logstash-input-jdbc.

我在MysqL 数据库中有数据,我使用Logstash发送给Elasticsearch,所以我可以做一些报告生成.

执行此操作的Logstash配置文件.

input {
 jdbc {
   jdbc_driver_library => "C:/logstash/lib/mysql-connector-java-5.1.37-bin.jar"
   jdbc_driver_class => "com.MysqL.jdbc.Driver"
   jdbc_connection_string => "jdbc:MysqL://127.0.0.1:3306/test"
   jdbc_user => "root"
   jdbc_password => ""
   statement => "SELECT * FROM transport.audit"
   jdbc_paging_enabled => "true"
   jdbc_page_size => "50000"
}
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "transport-audit-%{+YYYY.mm.dd}"
}
}

这工作正常,当我运行时,Logstash将数据发送到Elasticsearch：

bin\logstash agent -f \logstash\conf\01_input.conf

这是该命令的响应

io/console not supported; tty will not be manipulated
Default settings used: Filter workers: 4
Logstash startup completed
Logstash shutdown completed

为什么Logstash会关闭？

当我检查Elasticsearch数据时,如果我再次运行该命令,数据将被重新编入索引(重复).

这是MysqL数据：

我想做什么(实现)：

我希望Logstash运行并监听审计表上的新条目,并仅对该数据编制索引(当新的审计条目输入到表中时,Logstash会知道并将该条目发送到Elasticsearch.

另外,为什么Logstash在我运行该命令时会停止,如果它没有运行？我是Logstash和Elasticsearch的新手.

谢谢

我也在Elastic forum发布了同样的问题,如果我得到答案,我会在这里发帖帮助其他人.

解决方法:

默认情况下,logstash-input-jdbc插件将运行一次SELECT语句,然后退出.您可以通过在配置中添加带有cron表达式的schedule parameter来更改此行为,如下所示：

input {
 jdbc {
   jdbc_driver_library => "C:/logstash/lib/mysql-connector-java-5.1.37-bin.jar"
   jdbc_driver_class => "com.MysqL.jdbc.Driver"
   jdbc_connection_string => "jdbc:MysqL://127.0.0.1:3306/test"
   jdbc_user => "root"
   jdbc_password => ""
   statement => "SELECT * FROM transport.audit"
   schedule => "* * * * *"               <----- add this line
   jdbc_paging_enabled => "true"
   jdbc_page_size => "50000"
 }
}

结果是SELECT语句现在每分钟运行一次.

如果你的MysqL表中有一个日期字段(但似乎不是这种情况),你也可以使用预定义的sql_last_start参数,以便在每次运行时不重新索引所有记录.该参数可以在您的查询中使用,如下所示：

   statement => "SELECT * FROM transport.audit WHERE your_date_field >= :sql_last_start"

Logstash没有读入MySQL的新条目

相关推荐