微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如果使用pandas存在于mysql中,则插入或更新

我试图将数据从xlsx文件插入到mysqdl表中.我想在表中插入数据,如果主键上有重复,我想更新现有数据,否则插入.我已经编写了脚本,但我意识到这是太多的工作,使用熊猫很快.我怎样才能在熊猫中实现它?

#!/usr/bin/env python3

import pandas as pd
import sqlalchemy

engine_str = 'MysqL+pyMysqL://admin:mypass@localhost/mydb'
engine = sqlalchemy.create_engine(engine_str, echo=False, encoding='utf-8')\

file_name = "tmp/results.xlsx"
df = pd.read_excel(file_name)

解决方法:

我可以想到两个选项,但是数字1可能更清晰/更快:

1)让sql决定更新/插入.检查this other question.您可以按’df’的行迭代,从i = 1到n.在插入循环内部,您可以编写如下内容

query = """INSERT INTO table (id, name, age) VALUES(%s, %s, %s)
ON DUPLICATE KEY UPDATE name=%s, age=%s"""
engine.execute(query, (df.id[i], df.name[i], df.age[i], df.name[i], df.age[i]))

2)定义一个python函数,当记录存在时返回True或False,然后在循环中使用它:

def check_existence(user_id):
    query = "SELECT EXISTS (SELECT 1 FROM your_table where user_id_str = %s);"
    return list(engine.execute(query,  (user_id, ) ) )[0][0] == 1

您可以迭代行并在插入之前执行此检查

另请查看the solution in this questionthis one too,这可能适用于您的情况.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐