使用需要转储到Postgresql表中的大型pandas DataFrame.从我所读到的,一次性转储所有并不是一个好主意,(我正在锁定数据库)而是使用chunksize参数.答案here对工作流程很有帮助,但我只想问一下影响性能的chunksize的价值.
In [5]: df.shape
Out[5]: (24594591, 4)
In [6]: df.to_sql('existing_table',
con=engine,
index=False,
if_exists='append',
chunksize=10000)
是否存在建议的默认值,并且在将参数设置为更高或更低时性能是否存在差异？假设我有内存支持更大的chunksize,它会执行得更快吗？
解决方法:
我反过来尝试了一些东西.从sql到csv,我注意到chunksize越小,工作就越快.在作业中添加额外的cpu(多处理)并没有改变任何东西.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
