从Postgresql将大数据加载到R data.table

我将我的数据存储在 Postgresql服务器中.我想将一个包含15mil行的表加载到data.frame或data.table

我使用RPostgresql来加载数据.

library(RPostgresql)
drv <- dbDriver("Postgresql")
con <- dbConnect(drv,...)

# Select data from a table
system.time(
df <- dbGetQuery(con,"SELECT * FROM 15mil_rows_table")
)

将数据从DB加载到df需要20分钟.我使用谷歌云服务器,它有60GB RAM和16核cpu

我该怎么做才能减少加载时间？

解决方法

不确定这是否会减少加载时间,因为它可以减少加载时间,因为这两个过程都具有很高的性能效率.您可以发表关于调整的评论.

>使用bash运行psql作为转储表到csv：

copY 15mil_rows_table TO '/path/15mil_rows_table.csv' DELIMITER ',' CSV HEADER;

>在R中只是畏惧它：

library(data.table)
DT <- fread("/path/15mil_rows_table.csv")