微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

有效地计算文本文件的行数200mb +

如何解决有效地计算文本文件的行数200mb +

这将使用较少的内存,因为它不会将整个文件加载到内存中:

$file="largefile.txt";
$linecount = 0;
$handle = fopen($file, "r");
while(!feof($handle)){
  $line = fgets($handle);
  $linecount++;
}

fclose($handle);

echo $linecount;

fgets将一行加载到内存中(如果$length省略第二个参数,它将继续从流中读取数据,直到到达行尾为止,这就是我们想要的)。如果您关心墙壁时间和内存使用情况,这仍然不太可能像使用PHP之外的其他工具一样快。

唯一的危险是,如果任何行特别长(如果遇到2GB的文件而没有换行怎么办?)。在这种情况下,最好将其分成几大块,然后计算行尾字符:

$file="largefile.txt";
$linecount = 0;
$handle = fopen($file, "r");
while(!feof($handle)){
  $line = fgets($handle, 4096);
  $linecount = $linecount + substr_count($line, PHP_EOL);
}

fclose($handle);

echo $linecount;

解决方法

我刚刚发现我的脚本给了我一个致命错误:

Fatal error: Allowed memory size of 268435456 bytes exhausted (tried to allocate 440 bytes) in C:\process_txt.php on line 109

那行是这样的:

$lines = count(file($path)) - 1;

因此,我认为将文件加载到内存中并计算行数有困难,是否有更有效的方法可以在没有内存问题的情况下执行此操作?

我需要计算行数从2MB到500MB的文本文件。有时候也许是演出。

谢谢大家的帮助。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。