docs: cópia legada mudou para o endereço https do objdigital
O objdigital fechou a porta 80 e passou a servir em https://objdigital.bn.br/objdigital2/acervo_digital/. Três cópias legadas do bucket baixadas pelo endereço novo voltaram com sha256 idêntico. Dos 565 legados marcados como 404 permanente, 348 existem no endereço novo (330 JPEG, 18 PDF), 41 são páginas de visualizador Deep Zoom e 176 seguem 404. Lista em pipeline/legado-caminho-novo.tsv. MANIFEST corrigido: 2.112 cópias legadas são imagem; as outras 25 no bucket são páginas HTML do visualizador.
This commit is contained in:
rodado
@@ -428,6 +428,57 @@ Recuperado nesta rodada: `8396` (Biblioteca Nacional, sequência 3, 13,5 MB,
|
||||
3361×4453) — mesmo padrão de `6656` e `7939`, onde o catálogo aponta a
|
||||
sequência 2 (licença) e a imagem está na 3.
|
||||
|
||||
### Achado 2.28 — a cópia legada: só existe para a Biblioteca Nacional, e 25 "cópias" são páginas HTML
|
||||
|
||||
Medido em 14/09. A cópia legada vem do `objdigital.bn.br` e **só existe para
|
||||
itens da Biblioteca Nacional**: 2.702 dos 13.060 têm `legacy_url`, todos da BN.
|
||||
Os 16% de cobertura não são falta — os outros 10.358 itens não têm cópia legada
|
||||
na origem.
|
||||
|
||||
| | |
|
||||
|---|--:|
|
||||
| elegíveis (`legacy_url` no catálogo) | 2.702 |
|
||||
| no bucket como `legado/` | 2.137 |
|
||||
| — imagens JPG | 1.899 (859 MB) |
|
||||
| — PDF de álbum | 213 (8,3 GB) |
|
||||
| — **páginas HTML** | **25** (~2,4 KB cada) |
|
||||
| HTTP 404 permanente | 565 (499 jpg, 41 html, 22 pdf, 2 htm, 1 sid) |
|
||||
|
||||
**As 25 páginas HTML não são imagem.** São o visualizador Seadragon do
|
||||
objdigital (`viewer.openDzi("GeneratedImages/dzc_output.xml")`): a imagem mora
|
||||
numa pirâmide de tiles Deep Zoom ao lado da página. Itens: `586`, `587`, `630`,
|
||||
`802`–`806`, `808`, `809`, `811`, `812`, `814`, `816`, `817`, `870`, `1080`,
|
||||
`1083`, `1085`, `1086`, `3198`, `3545`, `3546`, `3866`, `6655`. **Todos têm
|
||||
imagem de preservação no bucket**, então nenhum ficou sem imagem. Não foram
|
||||
apagados — é decisão do usuário (ver pendência). Mesma família do bug de
|
||||
`1081`/`1082`/`1084` (HTML de visualizador subido como legado), que foi limpo
|
||||
na época; estes 25 escaparam.
|
||||
|
||||
**O objdigital não saiu do ar — mudou de endereço.** Em 14/09 a porta 80
|
||||
fechou nos dois IPs (`200.9.175.46`, `177.223.196.160`), mas a 443 está aberta
|
||||
e o site responde em **`https://objdigital.bn.br/objdigital2/acervo_digital/...`**
|
||||
(o próprio visualizador Seadragon carrega o script desse prefixo). Prova de que
|
||||
é a mesma fonte: 3 cópias legadas sorteadas do bucket, baixadas pelo endereço
|
||||
novo, voltaram com **sha256 idêntico**. Correção de uma afirmação anterior
|
||||
desta sessão: o `icon573843.jpg` usado como "controle" **não** tinha baixado
|
||||
antes — ele é um dos 565 erros (item `10`), e responde `200` no endereço novo.
|
||||
|
||||
Consequência: **a maior parte dos 565 "404 permanentes" existe no endereço
|
||||
novo.** Sondagem completa por `HEAD` em 14/09 (`pipeline/legado-caminho-novo.tsv`):
|
||||
|
||||
| no endereço novo | itens |
|
||||
|---|--:|
|
||||
| `200` com `image/jpeg` | 330 |
|
||||
| `200` com `application/pdf` | 18 (o maior, 52 MB) |
|
||||
| `200` com `text/html` (visualizador Deep Zoom, não arquivo) | 41 |
|
||||
| `404` de verdade | 176 |
|
||||
|
||||
Recuperáveis como arquivo: **348** (~0,3 GB). As 41 páginas HTML somam-se às 25
|
||||
já no bucket: **66 itens** cuja imagem só existe como pirâmide de tiles. A pirâmide Deep Zoom das 25 páginas HTML
|
||||
também responde (item `3545`: `dzc_output.xml`, 5744×4245, tiles de 256 px).
|
||||
**O `baixador.py` usa o endereço antigo (`http://…/acervo_digital/`) e precisa
|
||||
ser atualizado antes de qualquer nova passada.
|
||||
|
||||
### Achado 2.22 — o gargalo do upload era o `subidor.py`, não o link; troca pelo paralelo
|
||||
|
||||
Eu tinha escrito aqui que o gargalo era o link de casa. **Errado.** Medido em
|
||||
@@ -621,6 +672,9 @@ handle.
|
||||
- [ ] **`.git` do `rafapolo/xyz` está em 2,5 GB** e cada publicação do atlas soma ~51 MB permanentes (binário não faz delta). Se o mural for republicar atlas com frequência, tirar os `.webp` do git — LFS, ou servir do próprio bucket, que já tem os thumbs em `derivados/thumb256/`.
|
||||
- [ ] **Crawl da Fase 1 pode ter mais buracos** (achado 2.10 do PLANO.md): 2 itens reais (`1799`, `4798`) foram achados faltando no catálogo só porque o WordPress os citava — já corrigidos, mas não existe verificação exaustiva de que a enumeração por `browse?type=title` pegou 100% de cada comunidade. Sem ideia barata de auditar isso por completo agora.
|
||||
|
||||
- [ ] **Baixar os 348 legados recuperáveis pelo endereço novo** (achado 2.28) — atualizar antes o `baixador.py` para `https://objdigital.bn.br/objdigital2/acervo_digital/`.
|
||||
- [ ] **Decidir o que fazer com as 66 páginas HTML de visualizador** (25 já em `legado/` + 41 no endereço novo; achado 2.28): apagar do bucket e do ledger (não são imagem), ou montar a imagem a partir dos tiles Deep Zoom quando o objdigital voltar. Todos os 25 itens já têm preservação.
|
||||
|
||||
## Ao final (não fazer antes do download terminar)
|
||||
|
||||
- [x] Gerar `MANIFEST.md` (o que é, como foi coletado, quando) — feito; atualizado em 2026-09-12 com `derivados/` e os achados 2.19/2.20/3.3
|
||||
|
||||
Reference in New Issue
Block a user