与所有核心Gzip

我有一套服务器填充每一个可以gzipped一堆文件。 这些服务器都有不同数量的内核。 我如何编写一个bash脚本来为每个核心启动gzip，并确保gzip不是压缩同一个文件？

如何获得使用文本文件的命令行参数？

以自动方式移动目录

检查文件是否存在Linux bash

这个叫什么名字？

是否有可能抓住wget的最后一行？

如果你在Linux上，你可以使用GNU的xargs来启动尽可能多的进程。

CORES=$(grep -c '^processor' /proc/cpuinfo) find /source -type f -print0 | xargs -0 -n 1 -P $CORES gzip -9

find -print0 / xargs -0保护你免受文件名中的空白

xargs -n 1表示每个文件一个gzip进程

xargs -P指定作业的数量

gzip -9表示最大压缩

有一个多线程gzip的实现， pigz 。 由于它在多个线程上压缩一个文件，与一次压缩多个文件相比，它应该能够更高效地从磁盘读取数据。

你可能要考虑检查GNU并行 。 我也在YouTube上发现了这个视频，这似乎是做你正在寻找的东西。