Python Pandas DataFrame read_csv UnicodeDecodeError

我有一个129 MB的CSV文件,包含849,275行和18列.我正在尝试使用read_csv将CSV文件读入pandas DataFrame.

当我使用encoding =’cp1252’时：

read_file = pd.read_csv('myfile.csv', encoding='cp1252')

错误很长,但最终在底部说：

 UnicodeDecodeError: 'charmap' codec can't decode byte 0x9d in position 41:
 character maps to <undefined>

当我指定：no encoding,encoding =’utf-8′,或encoding =’utf-8-sig’时,我得到：

 UnicodeDecodeError: 'utf-8' codec can't decode byte 0x96 in position 65:
 invalid start byte

题：

我可以完全删除这些有问题的字符.更好的是将它们标准化为127以下的ASCII字符.如何使用JUST PANDAS执行此操作？如果它存在,我正在寻找最像熊猫的方式.

不要过分夸大这个问题,但这里列出了我确定导致问题的一个列中的字符类型：

Character   Ord
    32
!   33
"   34
#   35
$   36
%   37
&   38
'   39
(   40
)   41
*   42
+   43
,   44
-   45
.   46
/   47
0   48
1   49
2   50
3   51
4   52
5   53
6   54
7   55
8   56
9   57
:   58
;   59
<   60
=   61
>   62
?   63
@   64
A   65
B   66
C   67
D   68
E   69
F   70
G   71
H   72
I   73
J   74
K   75
L   76
M   77
N   78
O   79
P   80
Q   81
R   82
S   83
T   84
U   85
V   86
W   87
X   88
Y   89
Z   90
[   91
\   92
]   93
^   94
_   95
`   96
a   97
b   98
c   99
d   100
e   101
f   102
g   103
h   104
i   105
j   106
k   107
l   108
m   109
n   110
o   111
p   112
q   113
r   114
s   115
t   116
u   117
v   118
w   119
x   120
y   121
z   122
{   123
|   124
}   125
~   126
   129
   143
   157
    160
¡   161
¢   162
£   163
§   167
¨   168
©   169
«   171
¬   172
®   174
°   176
±   177
²   178
³   179
´   180
µ   181
·   183
¸   184
¹   185
º   186
¼   188
½   189
¾   190
×   215
ß   223
à   224
á   225
â   226
ã   227
ä   228
å   229
æ   230
ç   231
è   232
é   233
ì   236
í   237
î   238
ï   239
ð   240
ñ   241
ó   243
ô   244
ö   246
ú   250
û   251
ü   252
š   353
Ž   381
ƒ   402
–   8211
—   8212
‘   8216
’   8217
‚   8218
“   8220
”   8221
„   8222
†   8224
•   8226
…   8230
‹   8249
›   8250
€   8364
™   8482

解决方法:

最好的方法是使用Python 3.或者,这有助于我在read_csv中的一些情况下string.encode(‘ascii’,errors =’ignore’)：

read_csv(..., converters={column_x= lambda v: v.encode('ascii',errors='ignore')})

此链接有更多示例：Python: Convert Unicode to ASCII without errors