python – Pandas：使用`df.loc`从datetime64到int的类型转换

当尝试使用df.loc []在列中重新分配某些值时,我得到一个奇怪的类型转换错误,将日期时间转换为整数.

最小例子：

import numpy as np
import pandas as pd
import datetime
d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
print(d)
d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))
print(d)

完整示例：

这是我的数据框(包含NaN)：

>>> df.head()

  prior_ea_date quarter
0    12/31/2015      Q2
1    12/31/2015      Q3
2    12/31/2015      Q3
3    12/31/2015      Q3
4    12/31/2015      Q2

>>> df.prior_ea_date

0         12/31/2015
1         12/31/2015
...
341486     1/19/2016
341487      1/6/2016
Name: prior_ea_date, dtype: object

我想运行以下代码行：

df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)

其中dt是一个字符串到日期时间解析器,当正常运行时给出：

>>> df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True).head()

0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
Name: prior_ea_date, dtype: datetime64[ns]

但是,当我运行.loc []时,我得到以下内容：

>>> df.loc[pd.notnull(df.prior_ea_date), 'prior_ea_date'] = df.prior_ea_date[pd.notnull(df.prior_ea_date)].apply(dt, usa=True)
>>> df.head()

         prior_ea_date quarter
0  1451520000000000000      Q2
1  1451520000000000000      Q3
2  1451520000000000000      Q3
3  1451520000000000000      Q3
4  1451520000000000000      Q2

它已将我的日期时间对象转换为整数.

>为什么会这样？
>我该如何避免这种行为？

我已经设法建立了一个临时工作,所以我会欣赏任何一线黑客,我想要一个熊猫风格的解决方案.

谢谢.

解决方法:

我们将从第一个问题开始：如何避免这种行为？

我的理解是你想将prior_eta_date列转换为datetime对象. Pandas风格的方法是使用to_datetime：

df.prior_ea_date = pd.to_datetime(df.prior_ea_date, format='%m/%d/%Y')
df.prior_ea_date

0   2015-12-31
1   2015-12-31
2   2015-12-31
3   2015-12-31
4   2015-12-31
5          NaT
Name: prior_ea_date, dtype: datetime64[ns]

你的第一个问题更有趣：为什么会这样？

我认为发生的是当你使用df.loc [pd.notnull(df.prior_ea_date),’prior_ea_date’] = ….你在prevIoUs_ea_date列的一个切片上设置值而不是覆盖整个列.在这种情况下,Pandas执行默认类型转换以将右侧转换为原始prior_ea_date列的类型.请注意,那些长整数是所需日期的纪元时间.

我们可以用最小的例子看到这个：

##
# Example of type casting on slice
##

d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))

# Column-a is still dtype: object
d.a
0    12/6/2015
1          NaN
Name: a, dtype: object

d.loc[pd.notnull(d.a), 'a'] = d.a[pd.notnull(d.a)].apply(lambda x: datetime.datetime(2015,12,6))

# Column-a is still dtype: object
d.a
0    1449360000000000000
1                    NaN
Name: a, dtype: object

##
# Example of overwriting whole column
##

d = pd.DataFrame(zip(['12/6/2015', np.nan], [1, 2]), columns=list('ab'))
d.a = pd.to_datetime(d.a, format='%m/%d/%Y')

# Column-a dtype is Now datetime
d.a
0   2015-12-06
1          NaT
Name: a, dtype: datetime64[ns]

更多详情：

为了响应OP对更多底层细节的要求,我在Pycharm中跟踪调用堆栈以了解正在发生的事情. TLDR的答案是：最终,将日期时间dtypes转换为整数的意外行为是由于Numpy的内部行为.

d = np.datetime64('2015-12-30T16:00:00.000000000-0800')
d.astype(np.dtype(object))
#>>> 1451520000000000000L

…你能详细说明为什么在使用.loc时会发生这种类型的转换以及如何避免它…

我原来答案中的直觉是正确的.这是因为datetime对象被转换为通用对象类型.这是因为在loc切片上的设置保留了具有设置值的列的dtype.

当使用loc设置值时,Pandas使用indexing module中的_LocationIndexer.经过大量检查维度和条件后,self.obj._data = self.obj._data.setitem(indexer,value)行实际上设置了新值.

走进那一行,我们发现日期时间被转换为整数,line 742 pandas.core.internals.py：

values[indexer] = value

在此语句中,values是对象dtypes的Numpy ndarray.这是原始作业左侧的数据.它包含日期字符串.索引器只是一个元组.而值是Numpy datetime64对象的ndarray.

此操作使用Numpy自己的setitem方法,通过调用np.asarray(value,self.dtype)填充单个“单元格”.在您的情况下,self.dtype是左侧：对象的类型,值参数在各个日期时间中.

np.asarray(d, np.dtype(object))
#>>> array(1451520000000000000L, dtype=object)

……以及如何避免……
不要使用loc.覆盖整个列,如上例所示.

…我认为使用dtype = object的列会避免pandas假设对象类型.无论哪种方式,当原始列包含字符串和NaN时,为什么它应该将其转换为int,这似乎是出乎意料的.

最终,行为是由于Numpy如何实现从datetime到object的转换.现在为什么Numpy这样做呢？我不知道.这是一个很好的新问题和另一个兔子洞.

python – Pandas：使用`df.loc`从datetime64到int的类型转换

相关推荐