rodado
290c4cc21d
Captura integral do acervo da Brasiliana Fotográfica (Biblioteca Nacional) para s3://brasiliana: 13.060 itens, 12.985 com imagem de preservação, 13.059 com miniatura derivada, 2.137 cópias legadas e 636 posts do blog. 41.444 objetos no ledger. Os 75 itens sem preservação estão em errors.md: a página do item responde 200, mas a origem serve o bitstream com HTTP 500. Nenhum fica fora do mural, porque todos têm thumbnail. Não versionado, por viver no bucket ou ser reconstruível: catálogo, posts .jsonl, atlas .webp, sqlite de estado e logs. Credenciais ficam de fora pelo .gitignore.
43 lines
3.3 KiB
Markdown
43 lines
3.3 KiB
Markdown
> **Arquivado em 2026-09-10 — superado.** Prompt de handoff original da Fase
|
|
> 1. Cumpriu seu papel (a Fase 1 terminou, catálogo saiu). Boa parte do
|
|
> conteúdo abaixo (trilha A via servidor, "não mexa na aba do Brave") não
|
|
> vale mais — ver `tasks/PLANO.md` pro estado e runbook atuais. Mantido só
|
|
> como registro histórico.
|
|
|
|
Retomando o projeto Brasiliana → S3. Leia primeiro `tasks/PLANO.md` (estado, achados, runbook) e depois `README.md` se precisar de mais detalhe técnico.
|
|
|
|
> Nota (2026-09-10): reorganização de pastas — `baixador.py`, `subidor.py`, `coletor.js`, `baixador-navegador.js`, `catalogo.jsonl` e `.s3env` agora moram em `pipeline/`. Os comandos deste arquivo ainda usam os nomes antigos sem prefixo; rode-os de dentro de `pipeline/` (`cd pipeline` primeiro) ou ajuste os caminhos. `tasks/PLANO.md` já está com os caminhos corrigidos — prefira aquele runbook.
|
|
|
|
Contexto rápido: a Fase 1 (coletor.js, metadados) está rodando numa aba do Chrome controlada por outra sessão de Claude (Cowork, na nuvem) — não mexa nela, ela é independente. Ela vai exportar `brasiliana-catalogo.jsonl` para `~/Downloads` sozinha quando terminar (ETA ~15-16h a partir de ~10:31 de 2026-09-09, checar se já não terminou antes de você ler isso).
|
|
|
|
Seu trabalho é tocar as Fases 2-4 assim que o catálogo existir — você tem rede real (SSH, S3), a sessão na nuvem não tem.
|
|
|
|
1. Verifique se `~/Downloads/brasiliana-catalogo.jsonl` (ou algo com esse padrão de nome) já existe. Se não, esse é o bloqueador: espere ou me avise para eu checar o progresso da fase 1.
|
|
2. Fase 2 (trilha A, servidor Finlândia):
|
|
```bash
|
|
scp baixador.py catalogo.jsonl finland:/root/brasiliana/
|
|
ssh finland
|
|
set -a; . /root/.s3env; set +a
|
|
cd /root/brasiliana
|
|
python3 baixador.py --catalogo catalogo.jsonl --pular-legado
|
|
python3 baixador.py --status
|
|
```
|
|
As credenciais reais (AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY) para preencher `.s3env` estão em `/Users/polux/Projetos/tocador/.env`. Na Finlândia já deve haver `/root/.s3env` configurado — confirme antes de reescrever.
|
|
3. Fase 3 (trilha B, nomes com encoding — precisa do navegador):
|
|
- Cole `baixador-navegador.js` no console da MESMA aba do coletor (a aba já tem o catálogo em memória/IndexedDB da fase 1). `BAIXA.quantos()` para saber quantos, `BAIXA.iniciar()` para começar — os arquivos caem em `~/Downloads`.
|
|
- Em paralelo, no terminal local:
|
|
```bash
|
|
set -a; . .s3env; set +a
|
|
python3 subidor.py --vigiar --catalogo catalogo.jsonl
|
|
```
|
|
4. Fase 4 (cópias legadas do objdigital, só alcançável localmente):
|
|
```bash
|
|
set -a; . .s3env; set +a
|
|
python3 baixador.py --catalogo catalogo.jsonl --somente-legado
|
|
```
|
|
5. Ao final: gere `MANIFEST.md` (o que é, como foi coletado, quando) e confirme no bucket que a contagem de itens/checksums bate com os 13.036 esperados (ou o número real que saiu da fase 1, que pode ser ligeiramente diferente).
|
|
|
|
Regras não-negociáveis (do PLANO.md): SHA-256 de cada arquivo, e URL de origem + data/hora UTC de captura em cada `metadata.json`. `dc.rights` e a instituição de origem são preservados por item.
|
|
|
|
Se algo travar (disco cheio — aborta abaixo de 2GB livres na Finlândia —, erro de rede, item corrompido), pare, registre o que aconteceu em `tasks/PLANO.md` e me avise em vez de insistir.
|