postgresql：偏移限制变得非常慢

我有一个表tmp_drop_ids,有一列,id和330万条目.我想迭代表,每200个条目做一些事情.我有这个代码：

LIMIT = 200
for offset in xrange(0,drop_count+LIMIT,LIMIT):
    print "Making tmp table with ids %s to %s/%s" % (offset,offset+LIMIT,drop_count)
    query = """DROP TABLE IF EXISTS tmp_cur_drop_ids; CREATE TABLE tmp_cur_drop_ids AS
    SELECT id FROM tmp_drop_ids ORDER BY id OFFSET %s LIMIT %s;""" % (offset,LIMIT)
    cursor.execute(query)

这首先运行良好(~0.15s以生成tmp表),但它偶尔会减慢,例如,大约300k门票开始用11-12秒生成这个tmp表,再次大约400k.它基本上似乎不可靠.

我将在其他查询中使用这些ID,因此我认为将它们放在tmp表中的最佳位置.有没有更好的方法来迭代这样的结果？

解决方法

请改用光标.使用OFFSET和LIMIT非常昂贵 – 因为pg必须执行查询,处理和跳过OFFSET行. OFFSET就像“跳过行”,这很昂贵.

cursor documentation

游标允许对一个查询进行迭代.

BEGIN
DECLARE C CURSOR FOR SELECT * FROM big_table;
FETCH 300 FROM C; -- get 300 rows
FETCH 300 FROM C; -- get 300 rows
...
COMMIT;

可能您可以使用服务器端游标而无需显式使用DECLARE语句,只需在psycopg中支持(关于服务器端游标的搜索部分).