我们计划将大量的度量数据放入某种nosql数据库中,可能是cassandra,也许是其他服务器上的其他内容.
我们希望在地图缩减样式中对数据进行计算(在机器所在的位置聚合数据,然后合并结果).
我使用Cassandra和Hadoop以及mapreduce进行了POC.启动mapreduce作业并获得结果的开销对我们的需求来说太高了.
在我们自己开始之前,还有其他任何强调性能的分布式Java框架吗？
解决方法:
在我们自己开始之前,还有其他任何强调性能的分布式Java框架吗？ – 每个框架都会尝试强调性能作为维度之一.
I made a POC using Cassandra and Hadoop and mapreduce. The overhead starting the mapreduce jobs and getting the results was too high for our needs.
Cassandra是MR的输入源类型之一.使用MR将涉及地图任务开始/完成,改组和减少任务开始/完成的时间. MR设计用于批处理,而不是用于瞬时结果.可以进行一定程度的调整,但您应该寻找实时或流处理框架.
看看HStreaming(注意我还没用过它)
HStreaming enables to use the same MapReduce and Apache Pig algorithms and functions for real-time or batch processing. Existing code such as user-defined functions (UDF) can be migrated to stream processing with no or minimal changes. It brings your business a rapid development cycle and gives you the agility to adapt fast to changing business requirements.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
