文章目录
1 Sqoop 简介
Sqoop是一个用于在 Hadoop 和关系数据库之间传输数据的工具
将导入或导出命令翻译成 MapReduce 程序来并行操作和容错,在翻译出的 MapReduce 中主要是对 inputformat 和 outputformat 进行定制
2 Sqoop 工作流程
- 读取要导入数据的表的结构,生成运行类,默认是 QueryResult,打成 jar 包,然后提交给 Hadoop
- 设置好 job 的各种参数,如 InputFormatClass、OutputFormatClass、Mapper、taskNumbers等
- 之后就是由 Hadoop 执行 MapReduce 来执行 Import 命令了
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。