feat: liga a derivada grande no visor e registra as derivadas de acesso
- medio/ 1.200 px e grande/ 2.000 px para os 13.059 itens (6,0 GB) - 9 matrizes com JPEG corrompido viram tarefa; derivadas delas saem da imagem do DSpace - MANIFEST com as contagens novas, reenviado ao bucket
This commit is contained in:
@@ -27,3 +27,4 @@ descricao/ead/
|
||||
descricao/eac/
|
||||
descricao/atom.csv
|
||||
__pycache__/
|
||||
pipeline/deriva-acesso.resultados.jsonl
|
||||
|
||||
+7
-2
@@ -126,7 +126,11 @@ acesso), metadados embutidos removidos, e **nunca ampliar** — a matriz menor
|
||||
que o alvo fica no próprio tamanho. Também chega ao nível 3–4 do Europeana
|
||||
Publishing Framework (≥ 0,95 megapixel). Gerado por
|
||||
`pipeline/deriva-acesso.py` a partir da matriz (ou, nos 68 itens sem ela, da
|
||||
imagem servida pelo DSpace).
|
||||
imagem servida pelo DSpace). Em 9 itens (`6574`, `6969`, `6975`, `6994`,
|
||||
`7153`, `7161`, `7169`, `7173`, `7203`) a matriz é um JPEG com dados
|
||||
corrompidos (marcador RST quebrado; o arquivo está inteiro e o SHA-256 confere
|
||||
com o ledger), e as derivadas saíram da imagem do DSpace. No fim,
|
||||
134 `medio` e 991 `grande` ficaram abaixo do alvo porque a matriz é menor.
|
||||
|
||||
Contagem de itens: o `catalogo.jsonl` final tem **13.060 handles distintos**,
|
||||
todos itens reais. O falso-positivo `20.500.12156.1/1` (página raiz da
|
||||
@@ -158,7 +162,8 @@ miniaturas de listagem.
|
||||
| Cópia legada (objdigital) | 2.137 (1.899 JPG, 213 PDF, 25 outros) | 2.137 | 9,6 GB |
|
||||
| `metadata.json` + `manifest-sha256.txt` | 26.118 | 13.059 | 65 MB |
|
||||
| Derivado `thumb256` | 13.059 | 13.059 | 101 MB |
|
||||
| Derivado `medio` | 13.059 | 13.059 | 499 MB |
|
||||
| Derivado `medio` (1.200 px) | 13.059 | 13.059 | 1,61 GB |
|
||||
| Derivado `grande` (2.000 px) | 13.059 | 13.059 | 4,37 GB |
|
||||
| Posts do blog (`wordpress/`) | 636 | — | 10 MB |
|
||||
| **Total no bucket** (sem `descricao/`) | **81.269 objetos** | | **139,2 GB** |
|
||||
|
||||
|
||||
@@ -29,7 +29,7 @@ RESPONSAVEL = 'rafapolo'
|
||||
# thumb256/ 256 px (navegação) · medio/ 1.200 px (acesso) · grande/ 2.000 px
|
||||
# (acesso ampliado). GRANDE liga a troca para grande/ no zoom do visor —
|
||||
# só True depois que pipeline/deriva-acesso.py cobriu o acervo inteiro.
|
||||
GRANDE = False
|
||||
GRANDE = True
|
||||
BUCKET = 's3://brasiliana'
|
||||
|
||||
REGRAS = ('NOBRADE: Norma brasileira de descrição arquivística (CONARQ, 2006); '
|
||||
|
||||
+1
-1
@@ -456,4 +456,4 @@ Implementação no branch `feat/nobrade`: `cd pipeline && python3 -m nobrade &&
|
||||
| 7.2b | Filtros reagrupados pela NOBRADE: Arranjo (instituição → série em cascata), Data, Pontos de acesso (autor pela autoridade ISAAR, lugar, assunto, pessoa, coleção citada), Suporte e uso (espécie e suporte da 1.5, e condição de reprodução da 4.2, filtro novo); link direto `#BR RJXYZ…` abre a peça pelo código de referência | `web/wall.html` | 7.2 | ✅ |
|
||||
| 7.2c | Correções de dados que saíram do visor: ano implausível na origem (ex. `20-12-1395`) vira data ilegível, com nota; datas atribuídas por série ou instituição usam o miolo p10–p90 (`[1933-1943?]` em vez de `[1800-1999?]`); o histograma do mural só usa datas com até 30 anos de amplitude | `nobrade/datas.py`, `montar.py`, `mural.py` | 1.1 | ✅ |
|
||||
| 7.3 | Publicar em `xyz/brasiliana` | commit | 7.x | ✅ publicado em 30/09 (`index.html` + `atlas-map.json`), no ar em https://xn--2dk.xyz/brasiliana/ |
|
||||
| 7.4 | Derivado `derivados/grande/` (WebP de 2.560 px) para zoom nítido. O visor já carrega sob demanda se o mapa tiver `grande: true`; falta gerar a partir das imagens de preservação no bucket | `derivados/grande/` | 7.1 | ⏳ |
|
||||
| 7.4 | Derivadas de acesso `medio/` (1.200 px) e `grande/` (2.000 px), tamanhos pela NARA 2004 e CONARQ Res. 31/2010 | `derivados/medio/`, `derivados/grande/` | 7.1 | ✅ 2026-10-01: 13.059 itens cada, gerados no finland por `pipeline/deriva-acesso.py`; o visor troca para `grande/` no zoom |
|
||||
|
||||
+8
-13
@@ -38,19 +38,6 @@ roda no `finland` · **local** = roda nesta máquina.
|
||||
|
||||
## 2. Mural (`web/wall.html`)
|
||||
|
||||
- [ ] **Gerar `derivados/grande/` para o zoom do visor** — *você* autoriza,
|
||||
depois *servidor*. Hoje o visor mostra a cópia `medio/` de **640 px**, que
|
||||
já aparece ampliada numa tela comum. Pelo CONARQ (Res. 31/2010,
|
||||
*Recomendações para digitalização*) isto é uma **Derivada de Acesso** (JPEG
|
||||
ou PNG, formato aberto, "em variados tamanhos de acordo com a banda"); a
|
||||
`thumb256/` é a **Derivada de Navegação** e a preservação faz o papel de
|
||||
**Matriz**. A norma não fixa pixels: os 2.560 px são escolha nossa, pela tela. Plano: no `finland`, para cada
|
||||
`itens/*/preservacao/*`, `vipsthumbnail --size 2560` em WebP e subir em
|
||||
`derivados/grande/` (~13 mil arquivos, ~5 GB, algumas horas, tráfego
|
||||
intra-Hetzner). Ao terminar, pôr `"grande": true` no `atlas-map.json` e
|
||||
republicar; o visor já troca a imagem sem pulo.
|
||||
- [ ] **Decidir se regera `medio/` com 1.024 px** na mesma passada — *você*.
|
||||
Melhora a primeira impressão mesmo sem zoom, com uns 30% a mais de peso.
|
||||
- [ ] **`.git` do `rafapolo/xyz` em 2,5 GB** — *você*. Cada republicação dos
|
||||
`.webp` do atlas soma ~51 MB permanentes. Se o atlas for regerado com
|
||||
frequência, tirar os `.webp` do git (LFS ou servir do bucket). Publicar só
|
||||
@@ -63,6 +50,14 @@ roda no `finland` · **local** = roda nesta máquina.
|
||||
|
||||
## 3. Acervo no bucket
|
||||
|
||||
- [ ] **9 matrizes com JPEG corrompido** — *aba*. Itens `6574`, `6969`,
|
||||
`6975`, `6994`, `7153`, `7161`, `7169`, `7173`, `7203`: o arquivo de
|
||||
preservação está inteiro (SHA-256 confere com o ledger) mas os dados JPEG
|
||||
quebram (`Corrupt JPEG data: found marker 0xd9 instead of RST7`).
|
||||
Rebaixar da origem para saber se o defeito é dela ou da coleta; se vier
|
||||
bom, substituir e regerar as derivadas com `pipeline/deriva-acesso.py`
|
||||
(hoje elas saem da imagem do DSpace).
|
||||
|
||||
- [ ] **Rebaixar os 69 itens sem preservação** — *aba*, quando a origem
|
||||
voltar. A origem responde HTTP 500 ao bitstream (achados 2.25–2.27); todos
|
||||
têm miniatura. `FALTA3.retomar()`/`F5.iniciar()` na aba basta; o progresso
|
||||
|
||||
File diff suppressed because one or more lines are too long
Reference in New Issue
Block a user