docs: plano, manifest e textos da descrição conferidos; descrição publicada no bucket

- PLANO §1/§7 com o estado real (ledger e bucket em 2026-09-30) e §9 com o
  visor do mural (7.1–7.2c), 7.3 e 7.4 pendentes
- MANIFEST final com contagens fechadas e seção sobre a descrição NOBRADE
- textos das 15 seções e do nível 1 conferidos na web, com fontes fora da descrição
- rascunho do pedido de CODEARQ ao CONARQ
- descricao/ enviada a s3://brasiliana/descricao/ com manifest-sha256.txt
This commit is contained in:
2026-09-30 22:35:21 +02:00
parent f05cdc5b9d
commit dfb6362e30
27 changed files with 4024 additions and 3336 deletions
+66 -35
View File
@@ -1,16 +1,15 @@
# MANIFEST — Brasiliana Fotográfica → S3
> **Rascunho, gerado em 2026-09-10.** Os pipelines de download ainda estavam
> em andamento quando este arquivo foi escrito pela última vez — os números
> marcados como "em andamento" precisam de uma passada final antes de
> publicar. Ver `tasks/PLANO.md` pro detalhe técnico completo.
> **Versão final, 2026-09-30.** Coleta concluída em 2026-09-13. Números
> conferidos contra o ledger de envio (`pipeline/subidor.sqlite`) e a listagem
> do bucket. Detalhe técnico em `tasks/PLANO.md` e `README.md`.
## O que é
Cópia de preservação do acervo da **Brasiliana Fotográfica**
(brasilianafotografica.bn.gov.br), um repositório DSpace mantido pela
Biblioteca Nacional do Brasil reunindo fotografias de 15 instituições
brasileiras e uma alemã (handles `20.500.12156.1/*`). Depositada em
(14 brasileiras e uma alemã) (handles `20.500.12156.1/*`). Depositada em
`s3://brasiliana` como acervo arquivístico — procedência e checksums
preservados por item, não uma cópia solta de imagens.
@@ -27,7 +26,7 @@ coletor mantidos ao longo de toda a coleta.
## Como foi coletado
**Metadados** (13.058 itens reais — ver nota sobre falso-positivo abaixo):
**Metadados** (13.060 itens):
enumerados via `browse?type=title` por comunidade (o sitemap oficial está
desatualizado desde 2019 e cobre só 41% do acervo), colhidos um a um do
DSpace (`?show=full`), executado a partir de um navegador real — o site
@@ -36,7 +35,7 @@ navegadores sem sessão real, mesmo pra bitstreams de imagem, não só
páginas HTML.
**Imagens**: cada item pode ter mais de uma imagem original (achado desta
coleta — 115 itens tinham 2 a 6 bitstreams reais, não um). Pra cada item
coleta — 121 itens tinham de 2 a 8 bitstreams reais, não um). Pra cada item
coletamos: a imagem de preservação (a de maior resolução), a(s) imagem(ns)
adicional(is) quando existem, e a miniatura gerada pelo próprio DSpace.
Uma cópia legada de menor resolução (`objdigital.bn.br`) também foi
@@ -44,7 +43,7 @@ preservada quando disponível — é a mesma proveniência, resolução inferior
mantida por referência histórica, nunca como substituta da imagem de
preservação.
**Posts do blog**: 637 posts únicos identificados (8 categorias do
**Posts do blog**: 636 posts únicos coletados (637 identificados, 1 com erro na origem; 8 categorias do
WordPress, com sobreposição substancial entre elas), com título, autor,
data, categorias e corpo do texto, mais a lista de handles do acervo que
cada post referencia.
@@ -54,8 +53,12 @@ cada post referencia.
```
s3://brasiliana/
MANIFEST.md este arquivo
INDEX.md índice legível dos itens
catalogo.jsonl metadados completos, 1 linha por item
wordpress-posts.jsonl posts do blog, 1 linha por post
wordpress/ um Markdown por post
falhas-500-2026-09-13.txt itens cuja preservação a origem não serve
descricao/ descrição arquivística NOBRADE (ver abaixo)
itens/{handle-com-underscore}/
metadata.json Dublin Core completo + URL de origem
+ data/hora UTC de captura
@@ -74,6 +77,9 @@ s3://brasiliana/
derivados/thumb256/
{handle-com-underscore}.webp miniatura DERIVADA por nós (não é
material de origem — ver abaixo)
derivados/medio/
{handle-com-underscore}.webp imagem média (~1000 px) DERIVADA, usada
no cartão do mural
```
### Sobre `derivados/`
@@ -91,12 +97,13 @@ imagem de preservação quando ela existe e, nos 69 itens sem ela, do
então o conjunto é uniforme.
Cobre **13.059 dos 13.060 handles do catálogo (99,99%)**. O único ausente
é `7523`, cujos bitstreams a origem serve com HTTP 500.
é `7523`, cujos bitstreams a origem serve com HTTP 500. `derivados/medio/`
tem a mesma cobertura (13.059).
Nota sobre a contagem de itens: este manifesto fala em 13.058 itens reais,
mas o `catalogo.jsonl` tem 13.060 handles distintos. A diferença de 2 não
foi reconciliada — vale conferir antes de tratar qualquer um dos dois
números como definitivo.
Contagem de itens: o `catalogo.jsonl` final tem **13.060 handles distintos**,
todos itens reais. O falso-positivo `20.500.12156.1/1` (página raiz da
comunidade) não está nele. A cifra de 13.058 de rascunhos anteriores está
superada.
Note que `itens/{handle}/thumbnail/` **não** é uma miniatura no sentido
usual: os arquivos que o DSpace chama de thumbnail têm 721 a 3.709 px no
@@ -112,21 +119,47 @@ miniaturas de listagem.
`metadata.json` traz `community` (100% dos itens) e `rights` (quando a
instituição de origem o preencheu — ver nota abaixo)
## Contagens (⚠️ conferir antes de publicar — pipelines em andamento)
## Contagens (fechadas em 2026-09-30)
| | Total esperado | Status |
|---|--:|---|
| Itens no catálogo | 13.058 | ✅ fechado |
| Imagem de preservação | **12.991** | ✅ fechado |
| Miniatura (thumbnail do DSpace) | **13.059** | ✅ fechado |
| Miniatura derivada (`derivados/thumb256/`) | **13.059** | ✅ fechado |
| Imagens extras (multi-bitstream) | 245 | ✅ completo |
| Cópia legada (objdigital) | **2.112** imagens (1.899 JPG + 213 PDF) de 2.702 elegíveis; 565 × HTTP 404; 25 são páginas HTML de visualizador, não imagem | ✅ fechado |
| Posts do blog | 637 | 🟡 em andamento |
| | Arquivos | Itens | Tamanho |
|---|--:|--:|--:|
| Itens no catálogo | — | 13.060 | 45,9 MB (`catalogo.jsonl`) |
| Imagem de preservação | 13.194 | 12.991 | 127,4 GB |
| ↳ extras (itens com 2 a 8 imagens) | 203 | 121 | incluídos acima |
| Miniatura do DSpace (`thumbnail/`) | 13.060 | 13.059 | 1,5 GB |
| Cópia legada (objdigital) | 2.137 (1.899 JPG, 213 PDF, 25 outros) | 2.137 | 9,6 GB |
| `metadata.json` + `manifest-sha256.txt` | 26.118 | 13.059 | 65 MB |
| Derivado `thumb256` | 13.059 | 13.059 | 101 MB |
| Derivado `medio` | 13.059 | 13.059 | 499 MB |
| Posts do blog (`wordpress/`) | 636 | — | 10 MB |
| **Total no bucket** (sem `descricao/`) | **81.269 objetos** | | **139,2 GB** |
**Antes de publicar**: rodar a verificação final (contagem de pastas no
bucket vs. catálogo, checksums batendo) e atualizar esta tabela com os
números fechados.
Sem imagem de preservação: **69 itens**, listados em `errors.md` e
`falhas-500-2026-09-13.txt`. A origem responde HTTP 500 ao bitstream, e
todos, menos o `7523`, têm a miniatura do DSpace.
## Descrição arquivística (NOBRADE)
`descricao/` descreve esta coleção segundo a NOBRADE (CONARQ, 2006), em seis
níveis: acervo › coleção › 15 seções (instituição de origem) › 115 séries
(coleção ou fundo de origem) › 13.060 dossiês (itens do DSpace) › 13.262
itens documentais (cada imagem). Código de referência
`BR RJXYZ.BF.<seção>.<série>.<handle>.<imagem>`, com a entidade `RJXYZ`
provisória até o CONARQ atribuir um CODEARQ.
| Arquivo | Conteúdo |
|---|---|
| `unidades.jsonl` | 26.454 unidades de descrição, elementos pelo número da norma |
| `autoridades.jsonl`, `eac/` | 457 registros de autoridade (ISAAR(CPF)), também em EAC-CPF |
| `ead/brasiliana.xml` | a coleção inteira em EAD 3, validada contra o XSD oficial |
| `atom.csv` | importação no AtoM (modelo ISAD) |
| `pendencias.md` | validador dos obrigatórios: 0 pendências |
| `revisao/`, `textos/` | tabelas dos normalizadores e textos dos níveis 1–2 |
| `manifest-sha256.txt` | SHA-256 de cada arquivo de `descricao/` |
A descrição é derivada, como `derivados/`: regenera-se com
`python3 -m nobrade` a partir do catálogo e do ledger. Decisões e mapeamentos
estão em `CONARQ.md`, no repositório.
## Exceções conhecidas (não são bugs)
@@ -148,18 +181,16 @@ números fechados.
Aeroespacial) — sem imagem. O servidor da Biblioteca Nacional retorna
`HTTP 500` ao tentar servir os bitstreams desse item especificamente;
não é um problema do nosso lado. Metadados preservados normalmente.
- **Handles `20.500.12156.1/6656` e `20.500.12156.1/7939`** — o que foi
baixado como imagem de preservação é, na verdade, o bitstream de
LICENÇA do DSpace (777 bytes de texto UTF-8 com extensão `.jpg`). É a
mesma contaminação do achado 2.8b, desta vez na trilha de preservação e
não na de miniatura. A validação de magic bytes do `subidor.py` barra
esses arquivos no upload, então eles nunca chegaram ao bucket — mas
significa que esses dois itens ainda não têm imagem coletada.
- **Handles `20.500.12156.1/6656` e `20.500.12156.1/7939`**: a primeira
tentativa baixou o bitstream de LICENÇA do DSpace (777 bytes de texto com
extensão `.jpg`), que a validação de magic bytes barrou. Na rodada de
2026-09-13 os dois foram recuperados, e a imagem de preservação real está
no bucket.
## Direitos
Majoritariamente domínio público por antiguidade, mas as 16 instituições
de origem (15 brasileiras + 1 alemã) têm políticas distintas. `dc.rights`
Majoritariamente domínio público por antiguidade, mas as 15 instituições
de origem (14 brasileiras + 1 alemã) têm políticas distintas. `dc.rights`
e a instituição de origem são preservados **por item**: a decisão de
redistribuir é item a item, não do acervo em bloco. Arquivar para si é
uma coisa; republicar é outra.