rodado
290c4cc21d
Captura integral do acervo da Brasiliana Fotográfica (Biblioteca Nacional) para s3://brasiliana: 13.060 itens, 12.985 com imagem de preservação, 13.059 com miniatura derivada, 2.137 cópias legadas e 636 posts do blog. 41.444 objetos no ledger. Os 75 itens sem preservação estão em errors.md: a página do item responde 200, mas a origem serve o bitstream com HTTP 500. Nenhum fica fora do mural, porque todos têm thumbnail. Não versionado, por viver no bucket ou ser reconstruível: catálogo, posts .jsonl, atlas .webp, sqlite de estado e logs. Credenciais ficam de fora pelo .gitignore.
18 lines
687 B
Bash
Executable File
18 lines
687 B
Bash
Executable File
#!/bin/bash
|
|
# A cada 30 min: sobe pro S3 o que o navegador tiver deixado em ~/Downloads e
|
|
# apaga o local do que subiu (o subidor-paralelo.py so apaga depois do HEAD
|
|
# confirmar o objeto no bucket). Passada vazia nao faz nada.
|
|
set -u
|
|
cd "$(dirname "$0")"
|
|
set -a; . ./.s3env; set +a
|
|
exec >> subidor-paralelo.log 2>&1
|
|
echo "===== $(date -u +%FT%TZ) vigia-30min iniciado (pid $$)"
|
|
while true; do
|
|
n=$(ls ~/Downloads 2>/dev/null | grep -c '^BRAS__' || true)
|
|
if [ "${n:-0}" -gt 0 ]; then
|
|
echo "----- $(date -u +%FT%TZ) vigia: $n arquivo(s) na fila"
|
|
python3 -u subidor-paralelo.py --catalogo catalogo.jsonl --threads 6 --lote 400 || echo "!!! vigia: erro $?"
|
|
fi
|
|
sleep 1800
|
|
done
|