Captura integral do acervo da Brasiliana Fotográfica (Biblioteca Nacional) para s3://brasiliana: 13.060 itens, 12.985 com imagem de preservação, 13.059 com miniatura derivada, 2.137 cópias legadas e 636 posts do blog. 41.444 objetos no ledger. Os 75 itens sem preservação estão em errors.md: a página do item responde 200, mas a origem serve o bitstream com HTTP 500. Nenhum fica fora do mural, porque todos têm thumbnail. Não versionado, por viver no bucket ou ser reconstruível: catálogo, posts .jsonl, atlas .webp, sqlite de estado e logs. Credenciais ficam de fora pelo .gitignore.
3.3 KiB
Arquivado em 2026-09-10 — superado. Prompt de handoff original da Fase
- Cumpriu seu papel (a Fase 1 terminou, catálogo saiu). Boa parte do conteúdo abaixo (trilha A via servidor, "não mexa na aba do Brave") não vale mais — ver
tasks/PLANO.mdpro estado e runbook atuais. Mantido só como registro histórico.
Retomando o projeto Brasiliana → S3. Leia primeiro tasks/PLANO.md (estado, achados, runbook) e depois README.md se precisar de mais detalhe técnico.
Nota (2026-09-10): reorganização de pastas —
baixador.py,subidor.py,coletor.js,baixador-navegador.js,catalogo.jsonle.s3envagora moram empipeline/. Os comandos deste arquivo ainda usam os nomes antigos sem prefixo; rode-os de dentro depipeline/(cd pipelineprimeiro) ou ajuste os caminhos.tasks/PLANO.mdjá está com os caminhos corrigidos — prefira aquele runbook.
Contexto rápido: a Fase 1 (coletor.js, metadados) está rodando numa aba do Chrome controlada por outra sessão de Claude (Cowork, na nuvem) — não mexa nela, ela é independente. Ela vai exportar brasiliana-catalogo.jsonl para ~/Downloads sozinha quando terminar (ETA ~15-16h a partir de ~10:31 de 2026-09-09, checar se já não terminou antes de você ler isso).
Seu trabalho é tocar as Fases 2-4 assim que o catálogo existir — você tem rede real (SSH, S3), a sessão na nuvem não tem.
- Verifique se
~/Downloads/brasiliana-catalogo.jsonl(ou algo com esse padrão de nome) já existe. Se não, esse é o bloqueador: espere ou me avise para eu checar o progresso da fase 1. - Fase 2 (trilha A, servidor Finlândia):
As credenciais reais (AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY) para preencher
scp baixador.py catalogo.jsonl finland:/root/brasiliana/ ssh finland set -a; . /root/.s3env; set +a cd /root/brasiliana python3 baixador.py --catalogo catalogo.jsonl --pular-legado python3 baixador.py --status.s3envestão em/Users/polux/Projetos/tocador/.env. Na Finlândia já deve haver/root/.s3envconfigurado — confirme antes de reescrever. - Fase 3 (trilha B, nomes com encoding — precisa do navegador):
- Cole
baixador-navegador.jsno console da MESMA aba do coletor (a aba já tem o catálogo em memória/IndexedDB da fase 1).BAIXA.quantos()para saber quantos,BAIXA.iniciar()para começar — os arquivos caem em~/Downloads. - Em paralelo, no terminal local:
set -a; . .s3env; set +a python3 subidor.py --vigiar --catalogo catalogo.jsonl
- Cole
- Fase 4 (cópias legadas do objdigital, só alcançável localmente):
set -a; . .s3env; set +a python3 baixador.py --catalogo catalogo.jsonl --somente-legado - Ao final: gere
MANIFEST.md(o que é, como foi coletado, quando) e confirme no bucket que a contagem de itens/checksums bate com os 13.036 esperados (ou o número real que saiu da fase 1, que pode ser ligeiramente diferente).
Regras não-negociáveis (do PLANO.md): SHA-256 de cada arquivo, e URL de origem + data/hora UTC de captura em cada metadata.json. dc.rights e a instituição de origem são preservados por item.
Se algo travar (disco cheio — aborta abaixo de 2GB livres na Finlândia —, erro de rede, item corrompido), pare, registre o que aconteceu em tasks/PLANO.md e me avise em vez de insistir.