python – 在Pandas中查找重复行,其中列值的顺序无关紧要

示例数据帧：

import pandas as pd

data = data = { 'num1': [1,2,3,4,5], 
        'num2': [1,1,2,3,1],
        'num3': [5,4,3,2,1]}

df = pd.DataFrame(data)

print(df.head())




>>> df.head()
   num1  num2  num3          
0     1     1     5                   #dups with row 4
1     2     1     4
2     3     2     3
3     4     3     2
4     5     1     1                  #dups with row 1

在此示例数据框中,我正在尝试提取第一行和最后一行,
因为他们的内容是彼此重复的(1,1,5)

如果值的顺序相同,则下面的代码只会找到重复的行(看起来)：

dups =df[df.duplicated(subset=None, keep='first')]

因此导致空数据集.

谢谢.

解决方法:

这是你想要的吗？

In [257]: df[pd.DataFrame(np.sort(df.values), columns=df.columns, index=df.index)
               .duplicated(keep='first')]
Out[257]:
   num1  num2  num3
4     5     1     1

或者如果您需要所有重复项：

In [258]: df[pd.DataFrame(np.sort(df.values), columns=df.columns, index=df.index)
               .duplicated(keep=False)]
Out[258]:
   num1  num2  num3
0     1     1     5
4     5     1     1