feat: acervo Brasiliana Fotográfica coletado e mural 3D no ar
Captura integral do acervo da Brasiliana Fotográfica (Biblioteca Nacional) para s3://brasiliana: 13.060 itens, 12.985 com imagem de preservação, 13.059 com miniatura derivada, 2.137 cópias legadas e 636 posts do blog. 41.444 objetos no ledger. Os 75 itens sem preservação estão em errors.md: a página do item responde 200, mas a origem serve o bitstream com HTTP 500. Nenhum fica fora do mural, porque todos têm thumbnail. Não versionado, por viver no bucket ou ser reconstruível: catálogo, posts .jsonl, atlas .webp, sqlite de estado e logs. Credenciais ficam de fora pelo .gitignore.
This commit is contained in:
Executable
+17
@@ -0,0 +1,17 @@
|
||||
#!/bin/bash
|
||||
# A cada 30 min: sobe pro S3 o que o navegador tiver deixado em ~/Downloads e
|
||||
# apaga o local do que subiu (o subidor-paralelo.py so apaga depois do HEAD
|
||||
# confirmar o objeto no bucket). Passada vazia nao faz nada.
|
||||
set -u
|
||||
cd "$(dirname "$0")"
|
||||
set -a; . ./.s3env; set +a
|
||||
exec >> subidor-paralelo.log 2>&1
|
||||
echo "===== $(date -u +%FT%TZ) vigia-30min iniciado (pid $$)"
|
||||
while true; do
|
||||
n=$(ls ~/Downloads 2>/dev/null | grep -c '^BRAS__' || true)
|
||||
if [ "${n:-0}" -gt 0 ]; then
|
||||
echo "----- $(date -u +%FT%TZ) vigia: $n arquivo(s) na fila"
|
||||
python3 -u subidor-paralelo.py --catalogo catalogo.jsonl --threads 6 --lote 400 || echo "!!! vigia: erro $?"
|
||||
fi
|
||||
sleep 1800
|
||||
done
|
||||
Reference in New Issue
Block a user