微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

在纯文本文件中查找和列出重复的单词

我有一个相当大的文件,我正在试图理解。 我使用du -ah命令生成了包含大量文件的整个目录结构的列表。 结果基本上以纯文本格式列出了特定文件夹下的所有文件夹以及文件夹内的后续文件

例如:

4.0G ./REEL_02/SCANS/200113/001/Promise Pegasus/BMB 10/RED EPIC DATA/R3D/18-09-12/CAM B/B119_0918NO/B119_0918NO.RDM/B119_C004_0918XJ.RDC/B119_C004_0918XJ_003.R3D 3.1G ./REEL_02/SCANS/200113/001/Promise Pegasus/BMB 10/RED EPIC DATA/R3D/18-09-12/CAM B/B119_0918NO/B119_0918NO.RDM/B119_C004_0918XJ.RDC/B119_C004_0918XJ_004.R3D 15G ./REEL_02/SCANS/200113/001/Promise Pegasus/BMB 10/RED EPIC DATA/R3D/18-09-12/CAM B/B119_0918NO/B119_0918NO.RDM/B119_C004_0918XJ.RDC

有没有我可以运行的任何命令或者我可以使用的实用程序,这将帮助我确定是否有多个相同文件名的logging(通常是每行+扩展名中最后16个字符) ,如果存在这样的重复条目,写出整个path(全行)到不同的文本文件,所以我可以find并从我的NAS中移出重复的文件,使用脚本或其他东西。

请让我知道,因为这是令人难以置信的压力,当明文文件本身是5.2Mb

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐