#!/bin/bash
# Drena a fila de ~/Downloads pro S3 com o subidor-paralelo.py e depois arruma
# o que o subidor.py antigo deixou: duplicatas "(N)" identicas e manifests com
# linha de derivado. Log em pipeline/subidor-paralelo.log.
# O caffeinate e amarrado a este script: segura o Mac acordado so enquanto roda.
set -u
cd "$(dirname "$0")"
set -a; . ./.s3env; set +a
exec >> subidor-paralelo.log 2>&1
caffeinate -is -w $$ &
echo "===== $(date -u +%FT%TZ) inicio (pid $$)"
python3 -u subidor-paralelo.py --catalogo catalogo.jsonl --threads 6 --lote 400 || echo "!!! drenagem saiu com erro $?"
echo "===== $(date -u +%FT%TZ) limpeza de duplicatas"
python3 -u subidor-paralelo.py --catalogo catalogo.jsonl --limpar-duplicatas || echo "!!! limpeza saiu com erro $?"
echo "===== $(date -u +%FT%TZ) regravando todos os manifests"
python3 -u subidor-paralelo.py --catalogo catalogo.jsonl --so-manifestos --threads 6 || echo "!!! manifests saiu com erro $?"
echo "===== $(date -u +%FT%TZ) FIM"