python – 使用均值填写数据框中的缺失日期

我有日期,我定期进入数据帧.
数据通常是格式良好的,但有时在其他日期列中存在错误数据.

我总是希望在解析的9位数字表格中有一个日期：

(tm_year=2000, tm_mon=11, tm_mday=30, tm_hour=0, tm_min=0, tm_sec=0, tm_wday=3, tm_yday=335, tm_isdst=-1)
(2015, 12, 29, 0, 30, 50, 1, 363, 0)

我该如何检查并修复此问题？

我想要做的是替换任何不是日期的日期,基于表示更新间隔的last_update 1/2的变量的日期,因此这些项目不会被后面的函数过滤掉.

显示的数据是从Feedparser发布的.

import pandas as pd
import datetime

# date with ugly data
df_date_ugly = pd.DataFrame({'date': [
                             (2015, 12, 29, 0, 30, 50, 1, 363, 0), 
                             (2015, 12, 28, 23, 59, 12, 0, 362, 0),
                            'None', '',
                             (2015, 12, 28, 23, 59, 12, 0, 362, 0)
                            ]})

# date is fine
df_date =  pd.DataFrame({'date': [
                             (2015, 12, 29, 0, 30, 50, 1, 363, 0), 
                             (2015, 12, 28, 23, 59, 12, 0, 362, 0),
                             (2015, 12, 28, 23, 59, 12, 0, 362, 0)
                            ]})

Pseudocode
  if the original_date is valid
     return original_date
  else
     return substitute_date

解决方法:

>在pandas中处理日期和时间时,使用pandas.to_datetime将它们转换为pandas timestamp.要使用此功能,我们将列表转换为仅包含日期和时间元素的字符串.对于您的情况,不是长度为9的列表的值将被视为错误,并替换为空字符串”.

#convert list into string with date & time
#only elements with lists of length 9 will be parsed
dates_df = df_date_ugly.applymap(lambda x: "{0}/{1}/{2} {3}:{4}:{5}".format(x[0],x[1],x[2], x[3], x[4], x[5]) if len(x)==9 else '')

#convert to a pandas timestamp
dates_df = pd.to_datetime(dates_df['date'], errors = 'coerce'))

    date
0   2015-12-29 00:30:50
1   2015-12-28 23:59:12
2   NaT
3   NaT
4   2015-12-28 23:59:12

>找到缺少日期的索引使用pd.isnull()：

>>>missing = pd.isnull(dates_df['date']).index
>>>missing
Int64Index([2, 3], dtype='int64')

>要将缺失日期设置为2个日期之间的中点：

start_date = dates_df.iloc[0,:]
end_date = dates_df.iloc[4,:]
missing_date = start_date + (end_date - start_date)/2