我正在研究一个Java项目,我需要准备一个大的(对我来说)MysqL数据库.我必须使用Jsoup进行网页抓取并将结果存储到我的数据库中.据我估计,我将插入大约1,500,000到2,000,000条记录.在我的第一次试验中,我只是使用一个循环来插入这些记录,我需要一周的时间来插入大约1/3的所需记录,我认为这太慢了.是否有可能使这个过程成为多线程的,这样我就可以将我的记录分成3组,比如每组500,000条记录,然后将它们插入一个数据库(具体是一个表)？
解决方法:
多线程不会对你有所帮助.您只需将争用瓶颈从应用服务器移至数据库即可.
相反,尝试使用批量插入,它们通常会使这种事情的速度提高几个数量级.见“3.4 Making Batch Updates” in the JDBC tutorial.
编辑：正如@Jon评论的那样,您需要将网页的提取与插入到数据库中的方式分离,否则整个过程将以最慢的操作速度进行.您可以有多个线程获取网页,这会将数据添加到队列数据结构中,然后让一个线程使用批量插入将队列排入数据库.
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
