Thumbnails ontbraken: providerlijst eruit, en grote pagina-s worden gelezen i.p.v. geweigerd
Twee bugs die elkaar maskeerden, allebei van mij.
DE PROVIDERLIJST WAS HET PROBLEEM, NIET DE OPLOSSING. Een YouTube-link matchte de
hardcoded lijst, kortsloot voor oEmbed, en kwam eruit als een kaart zonder titel
en zonder thumbnail. Er werd dus niets opgeslagen. YouTube levert gewoon oEmbed
en og:image, net als de rest, dus de generieke weg doet het beter dan het
speciale geval. De lijst is weg: geen whitelist meer om te onderhouden, en of een
embed getoond mag worden is een guardian-besluit, geen kwestie van welke host het
is.
DE BODY-CAP SLOEG DE KOP ERAF. Een pagina werd geweigerd als hij groot was.
YouTube propt ~665kB inline script voor zijn og:image en sluit <head> pas op
673kB, dus we knipten net voor de tags af en hielden niets over. Nu lezen we een
pagina vanaf het BEGIN en stoppen zodra we de tags hebben (of </head>), met 1MB
als achtervang. Een normale pagina kost daardoor nog steeds een paar tientallen
kB. Het scannen kijkt alleen naar het nieuwe stuk plus wat overlap, anders wordt
een pagina van 1MB kwadratisch werk.
Echt getest, niet aangenomen: youtube.com en youtu.be leveren nu titel +
thumbnail (oembed, ~2s), linuxguides ook, boiert.eu via opengraph in 144ms.
Changed files:
src/services/EmbedResolver.js
- providerstap verwijderd uit de keten (AudioEmbedService blijft voor de web-spelers)
- safeHead: streamt de kop, stopt bij og:image of </head>, cap 1MB
- safeJsonText: JSON moet heel zijn, dus daar blijft weigeren juist
src/services/ActivityPubService.js
- self-heal 16 -> 17, en nu ook rijen die eerder niets opleverden opnieuw proberen
test/embed-resolver.test.js
- regressietest: een videohost is geen speciaal geval en krijgt een echte kaart
- regressietest: een grote pagina wordt afgekapt, niet geweigerd
remarks: 214 tests groen.
-robo
Co-Authored-By: Claude Opus 4.8 <noreply@…>
![(please configure the [header_logo] section in trac.ini)](/chrome/site/your_project_logo.png){kind=logo}
