构建数据管道需要考虑的问题：
及时性 可靠性 高吞吐量和动态吞吐量 数据格式 转换 安全性 故障处理能力 耦合性与灵活性
数据管道的构建分为2个阵营，ETL和ELT
ETL：提取-转换-加载 当数据流经管道时，数据管道负责处理他们
ELT：提取-加载-转换：数据管道只做少量的转换，高保真
数据管道最重要的作用是解耦数据源和数据池
发生耦合情况： 临时数据管道 元数据丢失 末端处理
Connect工作原理
连接器和任务
连接器实现了ConnectorAPI ,API 包含以下2部分：
连接器负责以下3件事： 决定运行多少任务，按照任务拆分数据复制，从worker进程获取任务配置并将其传递下去
任务：负责将数据移入/移出Kafka
work进程
转化器和Connect数据模型
偏移量管理器
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
