如何使用计算将数据帧行分区到bin中

我有一个数据帧

df = pd.DataFrame({'x':[1,1,3,7,8,8,9], 'y':[1,0,1,1,1,0,1]})
df
   x  y
0  1  1
1  1  0
2  3  1
3  7  1
4  8  1
5  8  0
6  9  1

我想将其划分为[(1,3),(3,5),(5,7),(7,9),(9,11)](左行包含,右行除外).对于每个组,我想获得进入bin的行数,以及每组中1的部分.

结果应该是另一个数据帧

result = pd.DataFrame({'LB':[1,3,5,7,9], 'RB':[2,4,6,8,10], 'N':[2,1,0,3,1], 'Pcnt1':[.5,1,np.nan,2/3,1]})
print(result)
   LB  N     Pcnt1  RB
0   1  2  0.500000   2
1   3  1  1.000000   4
2   5  0       NaN   6
3   7  3  0.666667   8
4   9  1  1.000000  10

我该怎么做呢？

解决方法:

你可以做点什么

bin_edges = [1,3,5,7,9,11]
bins = pd.cut(df.x, bin_edges, right=False)

df_new = pd.DataFrame({"LB": bin_edges[:-1], "RB": bin_edges[1:]})
binned = df.groupby(bins.values.codes)["y"]
df_new["N"] = binned.count()
df_new["N"] = df_new["N"].fillna(0)
df_new["Pcnt1"] = binned.mean()

这使

>>> df_new
   LB  RB  N     Pcnt1
0   1   3  2  0.500000
1   3   5  1  1.000000
2   5   7  0       NaN
3   7   9  3  0.666667
4   9  11  1  1.000000

(这使用RB专用约定.)

这里所有的努力都是由pd.cut完成的,它返回一系列类别dtype：

>>> bins
0     [1, 3)
1     [1, 3)
2     [3, 5)
3     [7, 9)
4     [7, 9)
5     [7, 9)
6    [9, 11)
Name: x, dtype: category
Categories (5, object): [[1, 3) < [3, 5) < [5, 7) < [7, 9) < [9, 11)]

由于我们想要在边界上对齐,我下降到底层bin索引：

>>> bins.values.codes
array([0, 0, 1, 3, 3, 3, 4], dtype=int8)

请注意,如果我们有一个不适合bin的元素,比如100,那么分类将给出NaN和代码-1,因此当我们插入到df_new时它将被(正确地)跳过.