微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

知识点整理:Sqoop

文章目录

1 Sqoop 简介

Sqoop是一个用于在 Hadoop 和关系数据库之间传输数据的工具

将导入或导出命令翻译成 MapReduce 程序来并行操作和容错,在翻译出的 MapReduce 中主要是对 inputformat 和 outputformat 进行定制


2 Sqoop 工作流程

  1. 读取要导入数据的表的结构,生成运行类,认是 QueryResult,打成 jar 包,然后提交给 Hadoop
  2. 设置好 job 的各种参数,如 InputFormatClass、OutputFormatClass、Mapper、taskNumbers等
  3. 之后就是由 Hadoop 执行 MapReduce 来执行 Import 命令了

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐