docs: plano, manifest e textos da descrição conferidos; descrição publicada no bucket
- PLANO §1/§7 com o estado real (ledger e bucket em 2026-09-30) e §9 com o visor do mural (7.1–7.2c), 7.3 e 7.4 pendentes - MANIFEST final com contagens fechadas e seção sobre a descrição NOBRADE - textos das 15 seções e do nível 1 conferidos na web, com fontes fora da descrição - rascunho do pedido de CODEARQ ao CONARQ - descricao/ enviada a s3://brasiliana/descricao/ com manifest-sha256.txt
This commit is contained in:
+66
-35
@@ -1,16 +1,15 @@
|
||||
# MANIFEST — Brasiliana Fotográfica → S3
|
||||
|
||||
> **Rascunho, gerado em 2026-09-10.** Os pipelines de download ainda estavam
|
||||
> em andamento quando este arquivo foi escrito pela última vez — os números
|
||||
> marcados como "em andamento" precisam de uma passada final antes de
|
||||
> publicar. Ver `tasks/PLANO.md` pro detalhe técnico completo.
|
||||
> **Versão final, 2026-09-30.** Coleta concluída em 2026-09-13. Números
|
||||
> conferidos contra o ledger de envio (`pipeline/subidor.sqlite`) e a listagem
|
||||
> do bucket. Detalhe técnico em `tasks/PLANO.md` e `README.md`.
|
||||
|
||||
## O que é
|
||||
|
||||
Cópia de preservação do acervo da **Brasiliana Fotográfica**
|
||||
(brasilianafotografica.bn.gov.br), um repositório DSpace mantido pela
|
||||
Biblioteca Nacional do Brasil reunindo fotografias de 15 instituições
|
||||
brasileiras e uma alemã (handles `20.500.12156.1/*`). Depositada em
|
||||
(14 brasileiras e uma alemã) (handles `20.500.12156.1/*`). Depositada em
|
||||
`s3://brasiliana` como acervo arquivístico — procedência e checksums
|
||||
preservados por item, não uma cópia solta de imagens.
|
||||
|
||||
@@ -27,7 +26,7 @@ coletor mantidos ao longo de toda a coleta.
|
||||
|
||||
## Como foi coletado
|
||||
|
||||
**Metadados** (13.058 itens reais — ver nota sobre falso-positivo abaixo):
|
||||
**Metadados** (13.060 itens):
|
||||
enumerados via `browse?type=title` por comunidade (o sitemap oficial está
|
||||
desatualizado desde 2019 e cobre só 41% do acervo), colhidos um a um do
|
||||
DSpace (`?show=full`), executado a partir de um navegador real — o site
|
||||
@@ -36,7 +35,7 @@ navegadores sem sessão real, mesmo pra bitstreams de imagem, não só
|
||||
páginas HTML.
|
||||
|
||||
**Imagens**: cada item pode ter mais de uma imagem original (achado desta
|
||||
coleta — 115 itens tinham 2 a 6 bitstreams reais, não um). Pra cada item
|
||||
coleta — 121 itens tinham de 2 a 8 bitstreams reais, não um). Pra cada item
|
||||
coletamos: a imagem de preservação (a de maior resolução), a(s) imagem(ns)
|
||||
adicional(is) quando existem, e a miniatura gerada pelo próprio DSpace.
|
||||
Uma cópia legada de menor resolução (`objdigital.bn.br`) também foi
|
||||
@@ -44,7 +43,7 @@ preservada quando disponível — é a mesma proveniência, resolução inferior
|
||||
mantida por referência histórica, nunca como substituta da imagem de
|
||||
preservação.
|
||||
|
||||
**Posts do blog**: 637 posts únicos identificados (8 categorias do
|
||||
**Posts do blog**: 636 posts únicos coletados (637 identificados, 1 com erro na origem; 8 categorias do
|
||||
WordPress, com sobreposição substancial entre elas), com título, autor,
|
||||
data, categorias e corpo do texto, mais a lista de handles do acervo que
|
||||
cada post referencia.
|
||||
@@ -54,8 +53,12 @@ cada post referencia.
|
||||
```
|
||||
s3://brasiliana/
|
||||
MANIFEST.md este arquivo
|
||||
INDEX.md índice legível dos itens
|
||||
catalogo.jsonl metadados completos, 1 linha por item
|
||||
wordpress-posts.jsonl posts do blog, 1 linha por post
|
||||
wordpress/ um Markdown por post
|
||||
falhas-500-2026-09-13.txt itens cuja preservação a origem não serve
|
||||
descricao/ descrição arquivística NOBRADE (ver abaixo)
|
||||
itens/{handle-com-underscore}/
|
||||
metadata.json Dublin Core completo + URL de origem
|
||||
+ data/hora UTC de captura
|
||||
@@ -74,6 +77,9 @@ s3://brasiliana/
|
||||
derivados/thumb256/
|
||||
{handle-com-underscore}.webp miniatura DERIVADA por nós (não é
|
||||
material de origem — ver abaixo)
|
||||
derivados/medio/
|
||||
{handle-com-underscore}.webp imagem média (~1000 px) DERIVADA, usada
|
||||
no cartão do mural
|
||||
```
|
||||
|
||||
### Sobre `derivados/`
|
||||
@@ -91,12 +97,13 @@ imagem de preservação quando ela existe e, nos 69 itens sem ela, do
|
||||
então o conjunto é uniforme.
|
||||
|
||||
Cobre **13.059 dos 13.060 handles do catálogo (99,99%)**. O único ausente
|
||||
é `7523`, cujos bitstreams a origem serve com HTTP 500.
|
||||
é `7523`, cujos bitstreams a origem serve com HTTP 500. `derivados/medio/`
|
||||
tem a mesma cobertura (13.059).
|
||||
|
||||
Nota sobre a contagem de itens: este manifesto fala em 13.058 itens reais,
|
||||
mas o `catalogo.jsonl` tem 13.060 handles distintos. A diferença de 2 não
|
||||
foi reconciliada — vale conferir antes de tratar qualquer um dos dois
|
||||
números como definitivo.
|
||||
Contagem de itens: o `catalogo.jsonl` final tem **13.060 handles distintos**,
|
||||
todos itens reais. O falso-positivo `20.500.12156.1/1` (página raiz da
|
||||
comunidade) não está nele. A cifra de 13.058 de rascunhos anteriores está
|
||||
superada.
|
||||
|
||||
Note que `itens/{handle}/thumbnail/` **não** é uma miniatura no sentido
|
||||
usual: os arquivos que o DSpace chama de thumbnail têm 721 a 3.709 px no
|
||||
@@ -112,21 +119,47 @@ miniaturas de listagem.
|
||||
`metadata.json` traz `community` (100% dos itens) e `rights` (quando a
|
||||
instituição de origem o preencheu — ver nota abaixo)
|
||||
|
||||
## Contagens (⚠️ conferir antes de publicar — pipelines em andamento)
|
||||
## Contagens (fechadas em 2026-09-30)
|
||||
|
||||
| | Total esperado | Status |
|
||||
|---|--:|---|
|
||||
| Itens no catálogo | 13.058 | ✅ fechado |
|
||||
| Imagem de preservação | **12.991** | ✅ fechado |
|
||||
| Miniatura (thumbnail do DSpace) | **13.059** | ✅ fechado |
|
||||
| Miniatura derivada (`derivados/thumb256/`) | **13.059** | ✅ fechado |
|
||||
| Imagens extras (multi-bitstream) | 245 | ✅ completo |
|
||||
| Cópia legada (objdigital) | **2.112** imagens (1.899 JPG + 213 PDF) de 2.702 elegíveis; 565 × HTTP 404; 25 são páginas HTML de visualizador, não imagem | ✅ fechado |
|
||||
| Posts do blog | 637 | 🟡 em andamento |
|
||||
| | Arquivos | Itens | Tamanho |
|
||||
|---|--:|--:|--:|
|
||||
| Itens no catálogo | — | 13.060 | 45,9 MB (`catalogo.jsonl`) |
|
||||
| Imagem de preservação | 13.194 | 12.991 | 127,4 GB |
|
||||
| ↳ extras (itens com 2 a 8 imagens) | 203 | 121 | incluídos acima |
|
||||
| Miniatura do DSpace (`thumbnail/`) | 13.060 | 13.059 | 1,5 GB |
|
||||
| Cópia legada (objdigital) | 2.137 (1.899 JPG, 213 PDF, 25 outros) | 2.137 | 9,6 GB |
|
||||
| `metadata.json` + `manifest-sha256.txt` | 26.118 | 13.059 | 65 MB |
|
||||
| Derivado `thumb256` | 13.059 | 13.059 | 101 MB |
|
||||
| Derivado `medio` | 13.059 | 13.059 | 499 MB |
|
||||
| Posts do blog (`wordpress/`) | 636 | — | 10 MB |
|
||||
| **Total no bucket** (sem `descricao/`) | **81.269 objetos** | | **139,2 GB** |
|
||||
|
||||
**Antes de publicar**: rodar a verificação final (contagem de pastas no
|
||||
bucket vs. catálogo, checksums batendo) e atualizar esta tabela com os
|
||||
números fechados.
|
||||
Sem imagem de preservação: **69 itens**, listados em `errors.md` e
|
||||
`falhas-500-2026-09-13.txt`. A origem responde HTTP 500 ao bitstream, e
|
||||
todos, menos o `7523`, têm a miniatura do DSpace.
|
||||
|
||||
## Descrição arquivística (NOBRADE)
|
||||
|
||||
`descricao/` descreve esta coleção segundo a NOBRADE (CONARQ, 2006), em seis
|
||||
níveis: acervo › coleção › 15 seções (instituição de origem) › 115 séries
|
||||
(coleção ou fundo de origem) › 13.060 dossiês (itens do DSpace) › 13.262
|
||||
itens documentais (cada imagem). Código de referência
|
||||
`BR RJXYZ.BF.<seção>.<série>.<handle>.<imagem>`, com a entidade `RJXYZ`
|
||||
provisória até o CONARQ atribuir um CODEARQ.
|
||||
|
||||
| Arquivo | Conteúdo |
|
||||
|---|---|
|
||||
| `unidades.jsonl` | 26.454 unidades de descrição, elementos pelo número da norma |
|
||||
| `autoridades.jsonl`, `eac/` | 457 registros de autoridade (ISAAR(CPF)), também em EAC-CPF |
|
||||
| `ead/brasiliana.xml` | a coleção inteira em EAD 3, validada contra o XSD oficial |
|
||||
| `atom.csv` | importação no AtoM (modelo ISAD) |
|
||||
| `pendencias.md` | validador dos obrigatórios: 0 pendências |
|
||||
| `revisao/`, `textos/` | tabelas dos normalizadores e textos dos níveis 1–2 |
|
||||
| `manifest-sha256.txt` | SHA-256 de cada arquivo de `descricao/` |
|
||||
|
||||
A descrição é derivada, como `derivados/`: regenera-se com
|
||||
`python3 -m nobrade` a partir do catálogo e do ledger. Decisões e mapeamentos
|
||||
estão em `CONARQ.md`, no repositório.
|
||||
|
||||
## Exceções conhecidas (não são bugs)
|
||||
|
||||
@@ -148,18 +181,16 @@ números fechados.
|
||||
Aeroespacial) — sem imagem. O servidor da Biblioteca Nacional retorna
|
||||
`HTTP 500` ao tentar servir os bitstreams desse item especificamente;
|
||||
não é um problema do nosso lado. Metadados preservados normalmente.
|
||||
- **Handles `20.500.12156.1/6656` e `20.500.12156.1/7939`** — o que foi
|
||||
baixado como imagem de preservação é, na verdade, o bitstream de
|
||||
LICENÇA do DSpace (777 bytes de texto UTF-8 com extensão `.jpg`). É a
|
||||
mesma contaminação do achado 2.8b, desta vez na trilha de preservação e
|
||||
não na de miniatura. A validação de magic bytes do `subidor.py` barra
|
||||
esses arquivos no upload, então eles nunca chegaram ao bucket — mas
|
||||
significa que esses dois itens ainda não têm imagem coletada.
|
||||
- **Handles `20.500.12156.1/6656` e `20.500.12156.1/7939`**: a primeira
|
||||
tentativa baixou o bitstream de LICENÇA do DSpace (777 bytes de texto com
|
||||
extensão `.jpg`), que a validação de magic bytes barrou. Na rodada de
|
||||
2026-09-13 os dois foram recuperados, e a imagem de preservação real está
|
||||
no bucket.
|
||||
|
||||
## Direitos
|
||||
|
||||
Majoritariamente domínio público por antiguidade, mas as 16 instituições
|
||||
de origem (15 brasileiras + 1 alemã) têm políticas distintas. `dc.rights`
|
||||
Majoritariamente domínio público por antiguidade, mas as 15 instituições
|
||||
de origem (14 brasileiras + 1 alemã) têm políticas distintas. `dc.rights`
|
||||
e a instituição de origem são preservados **por item**: a decisão de
|
||||
redistribuir é item a item, não do acervo em bloco. Arquivar para si é
|
||||
uma coisa; republicar é outra.
|
||||
|
||||
Reference in New Issue
Block a user