微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

PostgreSQL和S3QL用于存储/访问大量数据

我们目前正在亚马逊的EC2上使用Postgres 9,并且对性能非常满意.现在我们正在考虑向Postgres添加大约2TB的数据,这比我们的EC2小实例可以容纳的大.

我找到了S3QL并且正在考虑将它与将Postgres数据目录移动到S3存储一起使用.有没有人有这样做的经验?我主要关心的是性能(频繁读取,写频率较低).欢迎任何建议,谢谢.

解决方法

我的建议是“不要那样做”.我对你的问题的上下文一无所知,但我想解决方案不必涉及通过Postgresql进行批量数据处理.网格处理系统发明的全部原因是为了解决分析大数据集的问题.我认为您应该考虑构建一个遵循标准BI实践的系统来提取维度数据.然后获取该规范化数据,并假设它仍然非常大,将其加载到Hadoop / Pig中.在那里进行分析和汇总.将生成的聚合数据转储到文件中,并将其加载到维度数据库旁边的PG数据库中.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐