我试图将数据从xlsx文件插入到mysqdl表中.我想在表中插入数据,如果主键上有重复,我想更新现有数据,否则插入.我已经编写了脚本,但我意识到这是太多的工作,使用熊猫很快.我怎样才能在熊猫中实现它?
#!/usr/bin/env python3
import pandas as pd
import sqlalchemy
engine_str = 'MysqL+pyMysqL://admin:mypass@localhost/mydb'
engine = sqlalchemy.create_engine(engine_str, echo=False, encoding='utf-8')\
file_name = "tmp/results.xlsx"
df = pd.read_excel(file_name)
解决方法:
我可以想到两个选项,但是数字1可能更清晰/更快:
1)让sql决定更新/插入.检查this other question.您可以按’df’的行迭代,从i = 1到n.在插入循环内部,您可以编写如下内容:
query = """INSERT INTO table (id, name, age) VALUES(%s, %s, %s)
ON DUPLICATE KEY UPDATE name=%s, age=%s"""
engine.execute(query, (df.id[i], df.name[i], df.age[i], df.name[i], df.age[i]))
2)定义一个python函数,当记录存在时返回True或False,然后在循环中使用它:
def check_existence(user_id):
query = "SELECT EXISTS (SELECT 1 FROM your_table where user_id_str = %s);"
return list(engine.execute(query, (user_id, ) ) )[0][0] == 1
您可以迭代行并在插入之前执行此检查
另请查看the solution in this question和this one too,这可能适用于您的情况.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。