Add QP parallelization to rd_collect for x264.
authorJustin Nickelsburg <nickelsburg99@gmail.com>
Tue, 9 Jul 2019 18:24:45 +0000 (14:24 -0400)
committerNathan E. Egge <negge@dgql.org>
Wed, 24 Jul 2019 02:54:48 +0000 (22:54 -0400)
tools/rd_collect.sh
tools/rd_collect_x264.sh

index fa96ce4..10b0ea1 100755 (executable)
@@ -177,6 +177,10 @@ case $CODEC in
       exit 1
     fi
 
+    if [ -z "$QPS" ]; then
+      QPS=$(seq 1 51)
+    fi
+
     export RD_COLLECT_SUB=$(dirname $0)/rd_collect_x264.sh
     ;;
   x265)
@@ -501,7 +505,7 @@ if [ -z "$CORES" ]; then
 fi
 
 case $CODEC in
-  libaom | libaom-rt | daala | rav1e | svt-av1 | vp8 | vp9)
+  libaom | libaom-rt | daala | rav1e | svt-av1 | vp8 | vp9 | x264)
     FILES=$(find -L "$@" -type f -name "*.y4m")
     for f in $FILES; do for q in $QPS; do printf "%s\0" $f $q; done; done | xargs -0 -n2 -P$CORES $RD_COLLECT_SUB
     for f in $FILES; do cat $(basename $f)-$CODEC-*.out | sort -n > $(basename $f)-$CODEC.out && rm $(basename $f)-$CODEC-*.out; done
index 16f3962..3bd2f65 100755 (executable)
@@ -7,30 +7,28 @@ if [ -z $RD_COLLECT_SUB ]; then
 fi
 
 FILE=$1
+QP=$2
 
-BASENAME=$(basename $FILE)-$CODEC
+BASENAME=$(basename $FILE)-$CODEC-$QP
 rm $BASENAME.out 2> /dev/null || true
 echo $BASENAME
 
 WIDTH=$(head -1 $FILE | cut -d\  -f 2 | tr -d 'W')
 HEIGHT=$(head -1 $FILE | cut -d\  -f 3 | tr -d 'H')
 
-RANGE=$(seq 1 51)
 QSTR="--preset placebo --min-keyint 256 --keyint 256 --no-scenecut --crf=\$x"
 
-for x in $RANGE; do
-  $X264 --dump-yuv $BASENAME.yuv $(echo $QSTR | sed 's/\$x/'$x'/g') -o $BASENAME.x264 $FILE 2> $BASENAME-$x-enc.out > /dev/null
-  $YUV2YUV4MPEG $BASENAME -w$WIDTH -h$HEIGHT -an0 -ad0 -c420mpeg2
-  SIZE=$(wc -c $BASENAME.x264 | awk '{ print $1 }')
-  $DUMP_PSNR $FILE $BASENAME.y4m > $BASENAME-$x-psnr.out 2> /dev/null
-  FRAMES=$(cat $BASENAME-$x-psnr.out | grep ^0 | wc -l)
-  PIXELS=$(($WIDTH*$HEIGHT*$FRAMES))
-  PSNR=$(cat $BASENAME-$x-psnr.out | grep Total | tr -s ' ' | cut -d\  -f $((4+$PLANE*2)))
-  PSNRHVS=$($DUMP_PSNRHVS $FILE $BASENAME.y4m 2> /dev/null | grep Total | tr -s ' ' | cut -d\  -f $((4+$PLANE*2)))
-  SSIM=$($DUMP_SSIM $FILE $BASENAME.y4m 2> /dev/null | grep Total | tr -s ' ' | cut -d\  -f $((4+$PLANE*2)))
-  FASTSSIM=$($DUMP_FASTSSIM -c $FILE $BASENAME.y4m 2> /dev/null | grep Total | tr -s ' ' | cut -d\  -f $((4+$PLANE*2)))
-  CIEDE=$($DUMP_CIEDE $FILE $BASENAME.y4m 2> /dev/null | grep Total | cut -d' ' -f2-)
-  rm $BASENAME.x264 $BASENAME.y4m $BASENAME.yuv $BASENAME-$x-enc.out $BASENAME-$x-psnr.out
-  echo $x $PIXELS $SIZE $PSNR $PSNRHVS $SSIM $FASTSSIM $CIEDE >> $BASENAME.out
-  #tail -1 $BASENAME.out
-done
+$X264 --dump-yuv $BASENAME.yuv $(echo $QSTR | sed 's/\$x/'$QP'/g') -o $BASENAME.x264 $FILE 2> $BASENAME-$QP-enc.out > /dev/null
+$YUV2YUV4MPEG $BASENAME -w$WIDTH -h$HEIGHT -an0 -ad0 -c420mpeg2
+SIZE=$(wc -c $BASENAME.x264 | awk '{ print $1 }')
+$DUMP_PSNR $FILE $BASENAME.y4m > $BASENAME-$QP-psnr.out 2> /dev/null
+FRAMES=$(cat $BASENAME-$QP-psnr.out | grep ^0 | wc -l)
+PIXELS=$(($WIDTH*$HEIGHT*$FRAMES))
+PSNR=$(cat $BASENAME-$QP-psnr.out | grep Total | tr -s ' ' | cut -d\  -f $((4+$PLANE*2)))
+PSNRHVS=$($DUMP_PSNRHVS $FILE $BASENAME.y4m 2> /dev/null | grep Total | tr -s ' ' | cut -d\  -f $((4+$PLANE*2)))
+SSIM=$($DUMP_SSIM $FILE $BASENAME.y4m 2> /dev/null | grep Total | tr -s ' ' | cut -d\  -f $((4+$PLANE*2)))
+FASTSSIM=$($DUMP_FASTSSIM -c $FILE $BASENAME.y4m 2> /dev/null | grep Total | tr -s ' ' | cut -d\  -f $((4+$PLANE*2)))
+CIEDE=$($DUMP_CIEDE $FILE $BASENAME.y4m 2> /dev/null | grep Total | cut -d' ' -f2-)
+rm $BASENAME.x264 $BASENAME.y4m $BASENAME.yuv $BASENAME-$QP-enc.out $BASENAME-$QP-psnr.out
+echo $QP $PIXELS $SIZE $PSNR $PSNRHVS $SSIM $FASTSSIM $CIEDE >> $BASENAME.out
+#tail -1 $BASENAME.out