我可以从小文本文件中删除重复的条目,但不能删除大文本文件.
我有一个4MB的文件.
该文件的开头如下所示：
aa
aah
aahed
aahed
aahing
aahing
aahs
aahs
aal
aalii
aalii
aaliis
aaliis
...
我想删除重复项.
例如,“aahed”出现两次,我只希望它出现一次.
无论我试过什么单线,大名单都不会改变.
如果它输入：
sort big_list.txt | uniq |减
我知道了：
aa
aah
aahed
aahed <-- didn't get rid of it
aahing
aahing <-- didn't get rid of it
aahs
aahs <-- didn't get rid of it
aal
...
但是,如果我从这个文本文件的顶部复制一小部分单词并在小块数据上重新运行命令,那么它就能达到预期效果.
这些程序是否拒绝排序,因为文件太大了？我不认为4MB非常大.它不输出警告或任何东西.
我很快编写了自己的“uniq”程序,它具有相同的行为.它适用于列表的一小部分,但对4MB文本文件没有任何作用.我的问题是什么？
编辑：
这是一个十六进制转储：
00000000 61 61 0a 61 61 68 0a 61 61 68 65 64 0a 61 61 68 |aa.aah.aahed.aah|
00000010 65 64 0d 0a 61 61 68 69 6e 67 0a 61 61 68 69 6e |ed..aahing.aahin|
00000020 67 0d 0a 61 61 68 73 0a 61 61 68 73 0d 0a 61 61 |g..aahs.aahs..aa|
00000030 6c 0a 61 61 6c 69 69 0a 61 61 6c 69 69 0d 0a 61 |l.aalii.aalii..a|
00000040 61 6c 69 69 73 0a 61 61 6c 69 69 73 0d 0a 61 61 |aliis.aaliis..aa|
61 61 68 65 64 0a
a a h e d \r
61 61 68 65 64 0d
a a h e d \n
解决：不同的行分隔符
解决方法:
您可以规范化行分界符(将CR LF转换为LF)：
sed 's/\r//' big_list.txt | sort -u
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
