linux – Bash虽然读取循环比cat慢得多,为什么？

一个简单的测试脚本：

while read LINE; do
        LINECOUNT=$(($LINECOUNT+1))
        if [[ $(($LINECOUNT % 1000)) -eq 0 ]]; then echo $LINECOUNT; fi
done

当我做cat my450klinefile.txt | myscript cpu锁定为100％,每秒可处理大约1000行.大约5分钟处理cat my450klinefile.txt> / dev / null在半秒内完成的事情.

有没有更有效的方法来实现这一点.我只需要从stdin读取一行,计算字节数,然后将其写入命名管道.但即便是这个例子的速度也很慢.

每1Gb的输入行我需要做一些更复杂的脚本操作(关闭并打开一些数据被输入的管道).

解决方法:

读取速度太慢的原因是shell需要为每个字节进行系统调用.它无法从管道中读取大缓冲区,因为shell不能从输入流中读取多行,因此必须将每个字符与换行符进行比较.如果在while循环中运行strace,则可以看到此行为.这种行为是可取的,因为它可以可靠地执行以下操作：

while read size; do dd bs=$size count=1 of=file$(( i++ )); done

其中循环内的命令是从shell读取的相同流中读取的.如果shell通过读取大缓冲区消耗了大量数据,则内部命令将无法访问该数据.一个令人遗憾的副作用是读取是非常缓慢的.