一、MysqL的Hadoop Applier
实现原理是:把hadoop作为MysqL 的slave,实时把数据同步到hadoop,支持apache hadoop
通过分析MysqL的binlog日志,在hdfs产生一个目录(同表名),所有的表记录都存储在一个文件中,用户的操作如插入,更新,删除都会产生一笔记录追加到文件末尾.
但如何利用hdfs上的这个数据,需要用户自己定义逻辑,把表中的数据插入到hbase表
详见:http://dev.MysqL.com/tech-resources/articles/MysqL-hadoop-applier.html
二、GoldenGate的HDFS Adapter
Oracle GoldGate's 也有类似的工具,通过分析Trails File把数据实时同步到hadoop
ORACLE官方网站提供了Hdfs Adapter,但不提供服务支持
详见:https://blogs.oracle.com/dataintegration/entry/streaming_relational_transactions_to_hadoop
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。