Spark Streaming 是微批处理。
SparkConf sparkConf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]");
JavaStreamingContext javaStreamingContext = new JavaStreamingContext(sparkConf, Durations.seconds(1000));
Durations.seconds(1000)设置的是sparkstreaming批处理的时间间隔，每个Batch Duration时间去提交一次job，如果job的处理时间超过Batch Duration，会使得job无法按时提交，随着时间推移，越来越多的作业被拖延，最后导致整个Streaming作业被阻塞，无法做到实时处理数据
这种情况
- 可以观察cpu，内存占用情况，判断是否可以通过提高硬件配置来保证性能
- 优化SparkStreaming的处理代码，缩短流程的执行时间
- 当然最简单的是试试改动batch Duration的大小，看看可不可以有所改善，一般这个值的大小如果能够使得Streaming作业刚好处理好上一个的批处理的数据，那么这个就是最优值
转载于：https://blog.csdn.net/qq_32635069/article/details/82286696
END
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
