rodado
290c4cc21d
Captura integral do acervo da Brasiliana Fotográfica (Biblioteca Nacional) para s3://brasiliana: 13.060 itens, 12.985 com imagem de preservação, 13.059 com miniatura derivada, 2.137 cópias legadas e 636 posts do blog. 41.444 objetos no ledger. Os 75 itens sem preservação estão em errors.md: a página do item responde 200, mas a origem serve o bitstream com HTTP 500. Nenhum fica fora do mural, porque todos têm thumbnail. Não versionado, por viver no bucket ou ser reconstruível: catálogo, posts .jsonl, atlas .webp, sqlite de estado e logs. Credenciais ficam de fora pelo .gitignore.
18 lines
984 B
Bash
Executable File
18 lines
984 B
Bash
Executable File
#!/bin/bash
|
|
# Drena a fila de ~/Downloads pro S3 com o subidor-paralelo.py e depois arruma
|
|
# o que o subidor.py antigo deixou: duplicatas "(N)" identicas e manifests com
|
|
# linha de derivado. Log em pipeline/subidor-paralelo.log.
|
|
# O caffeinate e amarrado a este script: segura o Mac acordado so enquanto roda.
|
|
set -u
|
|
cd "$(dirname "$0")"
|
|
set -a; . ./.s3env; set +a
|
|
exec >> subidor-paralelo.log 2>&1
|
|
caffeinate -is -w $$ &
|
|
echo "===== $(date -u +%FT%TZ) inicio (pid $$)"
|
|
python3 -u subidor-paralelo.py --catalogo catalogo.jsonl --threads 6 --lote 400 || echo "!!! drenagem saiu com erro $?"
|
|
echo "===== $(date -u +%FT%TZ) limpeza de duplicatas"
|
|
python3 -u subidor-paralelo.py --catalogo catalogo.jsonl --limpar-duplicatas || echo "!!! limpeza saiu com erro $?"
|
|
echo "===== $(date -u +%FT%TZ) regravando todos os manifests"
|
|
python3 -u subidor-paralelo.py --catalogo catalogo.jsonl --so-manifestos --threads 6 || echo "!!! manifests saiu com erro $?"
|
|
echo "===== $(date -u +%FT%TZ) FIM"
|