微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

【Elasticsearch】我们如何在 5 天内在同一个 Elasticsearch 集群中重新索引 360 亿份文档

在这里插入图片描述

1.概述

翻译:https://thoughts.t37.net/how-we-reindexed-36-billions-documents-in-5-days-within-the-same-elasticsearch-cluster-cd9c054d1db8

这篇文章以及更多内容现在是我的免费电子书的一部分,可以在 Github 上找到运行 Elasticsearch for Fun and Profit 的内容。分叉它,给它加星标,打开问题并发送 PR!

在Synthesio,我们在各个地方使用ElasticSearch来运行复杂的查询,眨眼间从数百亿个文档中获取多达 5000 万个丰富的文档。Elasticsearch 使其快速且易于扩展,其中在多个 MysqL 集群上运行相同的查询需要几分钟,并且在途中会导致一些服务器崩溃。每一天,我们都在进一步推动 Elasticsearch 的边界,深入了解其内部结构会带来更多的爱。

上周,我们决定使用全新的映射重新索引 136TB 数据集。在大型索引上更新 Elasticsearch 映射很容易

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐