如何从分类变量创建交互设计矩阵？

我来自主要在R工作的统计建模/机器学习,并希望提高我的Python技能.我想知道在python中创建分类交互(任意程度)的设计矩阵的最佳方法.

玩具示例：

import pandas as pd
from urllib import urlopen
page = urlopen("http://www.shatterline.com/MachineLearning/data/tennis_anyone.csv")
df = pd.read_csv(page)
df.head(n=5)

让我们说我们想要创建Outlook,Temp和Humidity之间的交互.有没有一种有效的方法来做到这一点？我可以手动在熊猫中做这样的事情：

OutTempFact=pd.Series(pd.factorize(pd.lib.fast_zip([df.Outlook.values, df.Temperature.values]))[0],name='OutTemp')
OutHumFact=pd.Series(pd.factorize(pd.lib.fast_zip([df.Outlook.values, df.Humidity.values]))[0],name='OutHum')
TempHumFact=pd.Series(pd.factorize(pd.lib.fast_zip([df.Temperature.values, df.Humidity.values]))[0],name='TempHum')

IntFacts=pd.concat([OutTempFact,OutHumFact,TempHumFact],axis=1)
IntFacts.head(n=5)

然后,我可以将其传递给scikit-learn one-hot编码器,但是有一种更好的,更少手动的方式来创建分类变量之间的交互,而无需逐步完成每个组合.

import sklearn as sk
enc = sk.preprocessing.OneHotEncoder()
IntFacts_OH=enc.fit_transform(IntFacts)
IntFacts_OH.todense()

解决方法:

如果在设计矩阵上使用OneHotEncoder来获得单热设计矩阵,那么交互只不过是列之间的乘法.如果X_1hot是你的单热设计矩阵,其中样本是线,那么对于二阶交互,你可以写

X_2nd_order = (X_1hot[:, np.newaxis, :] * X_1hot[:, :, np.newaxis]).reshape(len(X_1hot), -1)

将有重复的交互,它也将包含原始功能.

任意顺序会使你的设计矩阵爆炸.如果你真的想这样做,那么你应该研究使用多项式内核进行内核化,这样可以轻松地进入任意度数.

使用您提供的数据框,我们可以按照以下步骤操作.首先,从数据框中构建单热设计的手动方法：

import numpy as np
indicators = []
state_names = []
for column_name in df.columns:
    column = df[column_name].values
    one_hot = (column[:, np.newaxis] == np.unique(column)).astype(float)
    indicators.append(one_hot)
    state_names = state_names + ["%s__%s" % (column_name, state) for state in np.unique(column)]

X_1hot = np.hstack(indicators)

然后将列名存储在state_names中,指示符矩阵为X_1hot.然后我们计算二阶特征

X_2nd_order = (X_1hot[:, np.newaxis, :] * X_1hot[:, :, np.newaxis]).reshape(len(X_1hot), -1)

为了知道二阶矩阵的列的名称,我们像这样构造它们

from itertools import product
one_hot_interaction_names = ["%s___%s" % (column1, column2) 
                             for column1, column2 in product(state_names, state_names)]