rodado
290c4cc21d
Captura integral do acervo da Brasiliana Fotográfica (Biblioteca Nacional) para s3://brasiliana: 13.060 itens, 12.985 com imagem de preservação, 13.059 com miniatura derivada, 2.137 cópias legadas e 636 posts do blog. 41.444 objetos no ledger. Os 75 itens sem preservação estão em errors.md: a página do item responde 200, mas a origem serve o bitstream com HTTP 500. Nenhum fica fora do mural, porque todos têm thumbnail. Não versionado, por viver no bucket ou ser reconstruível: catálogo, posts .jsonl, atlas .webp, sqlite de estado e logs. Credenciais ficam de fora pelo .gitignore.
2.4 KiB
2.4 KiB
TODO concluído — 2026-09-10
Itens já fechados, tirados do tasks/TODO.md ativo pra não poluir. Ver
tasks/PLANO.md pros achados permanentes (Cloudflare bloqueando bitstream,
multi-bitstream, padrão de sequência de thumbnail etc.) — isso aqui é só o
histórico de execução.
- Re-exportar
brasiliana-catalogo.jsonl— feito às 10:46, 13.058 itens, 119 comall_preservation_urlsconfirmados no arquivo. - Reiniciar
subidor.pycom o catálogo atualizado (PID 3171) — confirmado processando. - Fase 4 (legado objdigital): não era bloqueio Cloudflare — o domínio só responde em HTTPS (HTTP puro tem a porta resetada). Corrigido em
baixador.py(força https nolegacy_url). Rodando local (PID 14570, sem navegador, curl direto funciona) — 2.707 itens comlegacy_url. - 34 itens que falharam no reparo multi-bitstream: 33/34 corrigidos com reparo v3 (nome real do arquivo via
<img src>da miniatura, tira o.jpgduplicado, busca por/bitstream/handle/PREFIX/h/{nome real}— necessário porque esses itens não tinham<a href sequence=>no wrapper e a sequência não era contígua a partir de 1). Extras disparados (BAIXA_EXTRA, 63 imagens novas). Catálogo re-exportado (152 itens comall_preservation_urlsconfirmados) esubidor.pyreiniciado.- 1 exceção sem conserto: handle
20.500.12156.1/7523("Vista Aérea de Cabo Frio") —HTTP 500do próprio servidor da BN ao buscar os bitstreams, não é problema de nome/padrão. Provável arquivo corrompido/quebrado do lado deles. Documentado no MANIFEST final como exceção conhecida. - Total: 152/154 itens sem imagem original corrigidos (152 + o falso-positivo
.../1+ o7523= 154).
- 1 exceção sem conserto: handle
- Reorganização de pastas (feita por outra sessão em paralelo): scripts/estado →
pipeline/, visualizações →web/,exemplo-item/→examples/,censo.py→archive/.subidor.pymorreu no meio da troca (não estava com FD aberto que sobrevivesse ao rename como obaixador.pyteve) — reiniciado do novo caminho (PID 28923), backlog de ~2.963 arquivos em~/Downloadsescoou normalmente depois. - Atualizar
PLANO.mdcom os achados desta sessão (2.6-2.9): Cloudflare bloqueia bitstream via curl também, estratégia virou "tudo via navegador", multi-bitstream (115 itens), padrão de sequência do thumbnail, objdigital só em HTTPS.