linux – 并行运行bash shell并等待

我在一个目录中有100个文件,并希望通过几个步骤处理每个文件,而step1非常耗时.所以伪代码就像：

for filename in ~/dir/*; do
  run_step1 filename >${filename}.out &
done

for outfile in ~/dir/*.out; do
  run_step2 outfile >${outfile}.result
done

我的问题是如何检查给定输入文件的step1是否完整.我以前在C#中使用threads.join,但不确定bash shell是否具有等价物.

解决方法:

试试这个：

declare -a PROCNUMS
IteraTOR=0
for filename in ~/dir/*; do
    run_step1 filename >${filename}.out &
    PROCNUMS[$IteraTOR]=$!
    let "IteraTOR=IteraTOR+1"
done

IteraTOR=0
for outfile in ~/dir/*.out; do
    wait ${PROCNUMS[$IteraTOR]}
    run_step2 outfile >${outfile}.result
    let "IteraTOR=IteraTOR+1"
done

这将使所创建进程的数组按顺序等待它们,因为它们需要完成,而不是依赖于in和out文件之间存在1对1的关系,并且目录在运行时不会更改.

如果您希望假设每个文件都是独立的,那么现在也可以异步运行第二个循环.

我希望这会有所帮助,但如果您有任何疑问,请发表评论.