问题
我正在为几十万种产品建立一个postgres数据库.我将设置一个索引(Solr或ElasticSearch)来改善复杂搜索查询的查询时间.
现在的重点是如何让索引与数据库同步？
在过去,我有一种应用程序定期轮询数据库以检查应该完成的更新,但是我会有一个过时的索引状态时间(从数据库更新到索引更新拉动).
我更喜欢一种解决方案,数据库会通知我的应用程序(java应用程序)数据库中已经更改了某些内容,此时应用程序将决定是否需要更新索引.为了更准确,我将构建一种生产者和消费者结构,希望副本将从postgres接收有关更改的通知,如果这与索引的数据相关,则将其存储在待执行更新的堆栈中.消费者将使用此堆栈并构建要存储到索引中的文档.
可能的解决方案
一种解决方案是编写一种副本端点,其中应用程序将表现为用于从原始数据库复制数据的postgres实例.有人对这种方法有一些经验吗？
我对此问题有哪些其他解决方案？
解决方法:
Which other solution do I have for this problem?
使用LISTEN and NOTIFY告诉您的应用程序已发生变化.
您可以从也记录队列表中的更改的触发器发送NOTIFY.
你需要一个PgJDBC连接,它已经为你正在使用的事件发送了一个LISTEN.如果您使用SSL,它必须通过定期发送空查询(“”)来轮询数据库;如果您不使用SSL,则可以通过使用异步通知检查来避免这种情况.您需要从连接池中解包Connection对象,以便能够将基础连接转换为PgConnection以使用listen / notify.见related answer
生产者/消费者的位将更难.要在Postgresql中拥有多个崩溃安全并发使用者,您需要使用pg_try_advisory_lock(…)进行咨询锁定.如果你不需要并发消费者那么这很容易,你只需要SELECT … LIMIT 1 FOR一次更新一行.
希望9.4将包含一个更简单的方法来跳过具有FOR UPDATE的锁定行,因为它正在开发中.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
