flink中清洗思路:kafka数据:MysqL的操作日志。主要有INSERT和DELETE对三张表的操作类型;三张表中员工表作为中间表,进行两两关联;再将关联的流在根据异常标准过滤出来,最后在分成A、B两种类型写入到Redis中。 @H_404_0@整体的思路:JSON流 -> INSERT流 和 DELETE流(分流)
INSERT流 -> 三张表的字符流 (过滤) -> 将字符流转换为对象流
员工对象流作为中间流,两两关联 -> 变成两条字符流(关联)
两条字符流 -> 两条异常信息流(过滤) -> 变成四条字符流(根据A、B类型过滤) -> 字符流转换成对象流
四条对象流 -> Redis
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。