微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

python – 计算熊猫事件的最有效方法是什么?

我有一个大的(大约12M行)数据帧df说:

df.columns = ['word','documents','frequency']

所以以下内容及时进行:

word_grouping = df[['word','frequency']].groupby('word')
MaxFrequency_perWord = word_grouping[['frequency']].max().reset_index()
MaxFrequency_perWord.columns = ['word','MaxFrequency']

但是,这需要很长时间才能运行:

Occurrences_of_Words = word_grouping[['word']].count().reset_index()

在这做错了什么?有没有更好的方法来计算大型数据框中的出现次数

df.word.describe()

运行得很好,所以我真的没想到这个Occurrences_of_Words数据帧需要很长时间才能构建.

ps:如果答案很明显,你觉得有必要惩罚我提出这个问题,请同时提供答案.谢谢.

解决方法:

我认为df [‘word’].value_counts()应该服务.通过跳过groupby机器,你将节省一些时间.我不确定为什么数量应该比最大值慢得多.两者都需要一些时间来避免缺失值. (与尺寸比较.)

在任何情况下,value_counts都是specifically optimized来处理对象类型,就像你的单词一样,所以我怀疑你会做得更好.

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐