python – 删除列表中的重复数据帧

我在python中有一个包含重复数据帧的列表.目标是整体删除这些重复的数据帧.这是一些代码：

import pandas as pd
import numpy as np
##Creating Dataframes
data1_1 =[[1,2018,80], [2,2018,70]]

data1_2 =  [[1,2017,77], [3,2017,62]]


df1 = pd.DataFrame(data1_1, columns = ['ID', 'Year', 'score'])
df2 = pd.DataFrame(data1_2, columns = ['ID', 'Year', 'score'])


###Creating list with duplicates
all_df_list = [df1,df1,df1,df2,df2,df2]

期望的结果是：

###Desired results
desired_list = [df1,df2]

有没有办法删除python列表中的任何重复数据帧？

谢谢

解决方法:

我们可以将带有列表推导的pandas DataFrame.equals与枚举结合使用来比较列表中的项目：

desired_list = [all_df_list[x] for x, _ in enumerate(all_df_list) if all_df_list[x].equals(all_df_list[x-1]) is False]

print(desired_list)
[   ID  Year  score
0   1  2018     80
1   2  2018     70,    ID  Year  score
0   1  2017     77
1   3  2017     62]

如果比较的数据帧相等,DataFrame.equals返回True：

df1.equals(df1)
True

df1.equals(df2)
False

注意
正如文本在评论中指出的那样.您的列表应按[df1,df1,df1,df2,df2,df2]排序.或者更多的df：[df1,df1,df2,df2,df3,df3]