feat: liga a derivada grande no visor e registra as derivadas de acesso

- medio/ 1.200 px e grande/ 2.000 px para os 13.059 itens (6,0 GB)
- 9 matrizes com JPEG corrompido viram tarefa; derivadas delas saem da
  imagem do DSpace
- MANIFEST com as contagens novas, reenviado ao bucket
This commit is contained in:
2026-10-01 11:32:52 +02:00
parent fd37348811
commit da105a1a46
6 changed files with 19 additions and 18 deletions
+1
View File
@@ -27,3 +27,4 @@ descricao/ead/
descricao/eac/
descricao/atom.csv
__pycache__/
pipeline/deriva-acesso.resultados.jsonl
+7 -2
View File
@@ -126,7 +126,11 @@ acesso), metadados embutidos removidos, e **nunca ampliar** — a matriz menor
que o alvo fica no próprio tamanho. Também chega ao nível 3–4 do Europeana
Publishing Framework (≥ 0,95 megapixel). Gerado por
`pipeline/deriva-acesso.py` a partir da matriz (ou, nos 68 itens sem ela, da
imagem servida pelo DSpace).
imagem servida pelo DSpace). Em 9 itens (`6574`, `6969`, `6975`, `6994`,
`7153`, `7161`, `7169`, `7173`, `7203`) a matriz é um JPEG com dados
corrompidos (marcador RST quebrado; o arquivo está inteiro e o SHA-256 confere
com o ledger), e as derivadas saíram da imagem do DSpace. No fim,
134 `medio` e 991 `grande` ficaram abaixo do alvo porque a matriz é menor.
Contagem de itens: o `catalogo.jsonl` final tem **13.060 handles distintos**,
todos itens reais. O falso-positivo `20.500.12156.1/1` (página raiz da
@@ -158,7 +162,8 @@ miniaturas de listagem.
| Cópia legada (objdigital) | 2.137 (1.899 JPG, 213 PDF, 25 outros) | 2.137 | 9,6 GB |
| `metadata.json` + `manifest-sha256.txt` | 26.118 | 13.059 | 65 MB |
| Derivado `thumb256` | 13.059 | 13.059 | 101 MB |
| Derivado `medio` | 13.059 | 13.059 | 499 MB |
| Derivado `medio` (1.200 px) | 13.059 | 13.059 | 1,61 GB |
| Derivado `grande` (2.000 px) | 13.059 | 13.059 | 4,37 GB |
| Posts do blog (`wordpress/`) | 636 | — | 10 MB |
| **Total no bucket** (sem `descricao/`) | **81.269 objetos** | | **139,2 GB** |
+1 -1
View File
@@ -29,7 +29,7 @@ RESPONSAVEL = 'rafapolo'
# thumb256/ 256 px (navegação) · medio/ 1.200 px (acesso) · grande/ 2.000 px
# (acesso ampliado). GRANDE liga a troca para grande/ no zoom do visor —
# só True depois que pipeline/deriva-acesso.py cobriu o acervo inteiro.
GRANDE = False
GRANDE = True
BUCKET = 's3://brasiliana'
REGRAS = ('NOBRADE: Norma brasileira de descrição arquivística (CONARQ, 2006); '
+1 -1
View File
@@ -456,4 +456,4 @@ Implementação no branch `feat/nobrade`: `cd pipeline && python3 -m nobrade &&
| 7.2b | Filtros reagrupados pela NOBRADE: Arranjo (instituição → série em cascata), Data, Pontos de acesso (autor pela autoridade ISAAR, lugar, assunto, pessoa, coleção citada), Suporte e uso (espécie e suporte da 1.5, e condição de reprodução da 4.2, filtro novo); link direto `#BR RJXYZ…` abre a peça pelo código de referência | `web/wall.html` | 7.2 | ✅ |
| 7.2c | Correções de dados que saíram do visor: ano implausível na origem (ex. `20-12-1395`) vira data ilegível, com nota; datas atribuídas por série ou instituição usam o miolo p10–p90 (`[1933-1943?]` em vez de `[1800-1999?]`); o histograma do mural só usa datas com até 30 anos de amplitude | `nobrade/datas.py`, `montar.py`, `mural.py` | 1.1 | ✅ |
| 7.3 | Publicar em `xyz/brasiliana` | commit | 7.x | ✅ publicado em 30/09 (`index.html` + `atlas-map.json`), no ar em https://xn--2dk.xyz/brasiliana/ |
| 7.4 | Derivado `derivados/grande/` (WebP de 2.560 px) para zoom nítido. O visor já carrega sob demanda se o mapa tiver `grande: true`; falta gerar a partir das imagens de preservação no bucket | `derivados/grande/` | 7.1 | ⏳ |
| 7.4 | Derivadas de acesso `medio/` (1.200 px) e `grande/` (2.000 px), tamanhos pela NARA 2004 e CONARQ Res. 31/2010 | `derivados/medio/`, `derivados/grande/` | 7.1 | ✅ 2026-10-01: 13.059 itens cada, gerados no finland por `pipeline/deriva-acesso.py`; o visor troca para `grande/` no zoom |
+8 -13
View File
@@ -38,19 +38,6 @@ roda no `finland` · **local** = roda nesta máquina.
## 2. Mural (`web/wall.html`)
- [ ] **Gerar `derivados/grande/` para o zoom do visor** — *você* autoriza,
depois *servidor*. Hoje o visor mostra a cópia `medio/` de **640 px**, que
já aparece ampliada numa tela comum. Pelo CONARQ (Res. 31/2010,
*Recomendações para digitalização*) isto é uma **Derivada de Acesso** (JPEG
ou PNG, formato aberto, "em variados tamanhos de acordo com a banda"); a
`thumb256/` é a **Derivada de Navegação** e a preservação faz o papel de
**Matriz**. A norma não fixa pixels: os 2.560 px são escolha nossa, pela tela. Plano: no `finland`, para cada
`itens/*/preservacao/*`, `vipsthumbnail --size 2560` em WebP e subir em
`derivados/grande/` (~13 mil arquivos, ~5 GB, algumas horas, tráfego
intra-Hetzner). Ao terminar, pôr `"grande": true` no `atlas-map.json` e
republicar; o visor já troca a imagem sem pulo.
- [ ] **Decidir se regera `medio/` com 1.024 px** na mesma passada — *você*.
Melhora a primeira impressão mesmo sem zoom, com uns 30% a mais de peso.
- [ ] **`.git` do `rafapolo/xyz` em 2,5 GB** — *você*. Cada republicação dos
`.webp` do atlas soma ~51 MB permanentes. Se o atlas for regerado com
frequência, tirar os `.webp` do git (LFS ou servir do bucket). Publicar só
@@ -63,6 +50,14 @@ roda no `finland` · **local** = roda nesta máquina.
## 3. Acervo no bucket
- [ ] **9 matrizes com JPEG corrompido** — *aba*. Itens `6574`, `6969`,
`6975`, `6994`, `7153`, `7161`, `7169`, `7173`, `7203`: o arquivo de
preservação está inteiro (SHA-256 confere com o ledger) mas os dados JPEG
quebram (`Corrupt JPEG data: found marker 0xd9 instead of RST7`).
Rebaixar da origem para saber se o defeito é dela ou da coleta; se vier
bom, substituir e regerar as derivadas com `pipeline/deriva-acesso.py`
(hoje elas saem da imagem do DSpace).
- [ ] **Rebaixar os 69 itens sem preservação** — *aba*, quando a origem
voltar. A origem responde HTTP 500 ao bitstream (achados 2.25–2.27); todos
têm miniatura. `FALTA3.retomar()`/`F5.iniciar()` na aba basta; o progresso
File diff suppressed because one or more lines are too long