structure steaming在spark streaming上进行了全新架构，持续处理模式支持很快很快，微批处理模式支持毫秒响应，select where groupBy map filter flatMap操作都支持
支持sparksql，数据抽象是dataframe 和DataSet Sparksql只能处理静态数据
spark streaming是dstream
structure streaming关键是将实时数据流看作一张正在不断添加的无界表，spark不断添加数据进行批量计算和增量计算
在无界表上对输入的查询生成结果表，系统每隔一段时间会触发对无界表的计算并更新结果表
默认是微批处理模式，定期检查流数据源，对上一批结束后到达的新处理进行批量查询，有一点延迟因为在微批处理之前要先把处理数据的偏移量写于预写日志，这是害怕处理时发生宕机之类的，保证数据只被处理一次
持续处理模式，满足更高响应速度，需求场景比如银行卡欺诈盗刷，spark2.3.0版本以后支持这个模式，不会根据触发器来周期性处理，而是启动一系列的连续读取处理和写入写过的长时间运行任务，，它在输入流里面加一系列标记，每个时期的数据偏移量异步写入预写日志，不需要等待写入，代价就是只能实现至少一次的一致性，就是只能保证数据至少被处理一次，不能保证仅处理一次
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
