Changeset 9f9b45f in Klonkt

Timestamp:

08/14/2026 01:36:52 AM (4 weeks ago)

Author:

Robin <roboburr@…>

Branches:

main

Children:

861c228

Parents:

f894be5

Message:

De omslag zat in image, en daar keek de ingest niet

Robin: nog steeds niet alle plaatjes. Gemeten op soundfabrics.nl: 35 posts
binnen (de paginatiefix werkt), maar 9 covers van de 36.

DE OORZAAK STAAT IN ONS EIGEN COMMENTAAR. buildNote onderdrukt de beeldbijlage
zodra een post een speler of embed heeft (noImages), zodat Mastodon zijn
spelerkaart toont in plaats van de cover, en zet de omslag dan in image. Bij
dat stuk staat letterlijk "a Klonkt receiver reads it (handleInbox o.image)".
Alleen: de ingest is ook een Klonkt receiver, en die keek uitsluitend naar
attachment. Op pagina 1 hadden 18 van de 20 berichten daardoor geen enkele
bijlage en toch een cover.

Een Audio-bijlage draagt bovendien zijn eigen hoes in icon, en ook die viel
buiten de boot.

coverKandidaten() haalt nu alle drie de plekken op: o.image, o.icon, en de icon
van elke bijlage. Zowel bij een vers bericht als bij het repareren van een
bericht dat er al staat.

WAT GEEN FOUT WAS: de 23 berichten die nog naar sound-fabrics.com wijzen. Dat
zijn geen plaatjes maar de gebakken tracklinks (/tiktik#track-... en ?fc=2),
die bewust naar de bronpost verwijzen. Die laat ik met rust; ze verdwijnen pas
als de oude site weggaat, en dan is een dode link eerlijker dan een link naar
een pagina die hier niet bestaat.

Changed files:
src/services/MigrationService.js

• coverKandidaten(): image, icon, en de icon van een bijlage
• beide takken gebruiken hem: verse posts en de reparatieronde

test/fep1580-migration.test.js

• een speler-post zonder bijlage met omslag in image, plus een Audio-bijlage met hoes in icon

remarks: in de mediamap van soundfabrics.nl staan 308 bestanden onder migrated/
uit de rondes van voor de padbehoud-fix. Die zijn dubbel: dezelfde plaatjes
staan nu ook onder hun eigen pad. Opruimen kan, maar niet blind: eerst
nagaan welke rijen er nog naar wijzen. Suite 998 groen, tegenproef gedaan.

-robo
Co-Authored-By: Claude Opus 4.8 <noreply@…>

Files:

• src/services/MigrationService.js (modified) (3 diffs)
• test/fep1580-migration.test.js (modified) (1 diff)

src/services/MigrationService.js

@@ -239 +239 @@
 
 const AFBEELDING = /^image\//i;
+
+/**
+ * Waar kan de omslag van een bericht zitten?
+ *
+ * Niet alleen in `attachment`. Klonkt onderdrukt de beeldbijlage met opzet
+ * zodra een post een speler of embed heeft (zie noImages in buildNote), en zet
+ * de cover dan in `image` zodat Mastodon zijn spelerkaart toont en een Klonkt
+ * hem alsnog vindt. Dat is precies wat er bij Robin misging: 18 van de 20
+ * berichten op pagina 1 hadden geen enkele bijlage, en toch een cover, en die
+ * viel er stil tussenuit.
+ *
+ * En een Audio-bijlage draagt zijn eigen hoes in `icon`; die telt ook mee.
+ */
+function coverKandidaten(o) {
+  const uit = [];
+  const pak = (v) => {
+    if (!v) return;
+    const u = typeof v === 'string' ? v : (v.url && (typeof v.url === 'string' ? v.url : v.url.href)) || v.href;
+    if (u && /^https?:\/\//i.test(String(u))) uit.push(String(u));
+  };
+  pak(o.image);
+  pak(o.icon);
+  for (const a of (Array.isArray(o.attachment) ? o.attachment : [])) pak(a && a.icon);
+  return [...new Set(uit)];
+}
 
 /**
@@ -521 +546 @@
           }
           if (!bestaand.cover_image_url && safeFetch && fs && path && mediaRoot) {
-            // De cover alsnog: hij zit als bijlage op de Note.
-            for (const a of (Array.isArray(o.attachment) ? o.attachment : []).slice(0, 20)) {
-              const u = a && (typeof a === 'string' ? a : (a.url && (typeof a.url === 'string' ? a.url : a.url.href)));
-              if (!u || !AFBEELDING.test(String((a && a.mediaType) || ''))) continue;
+            // De omslag alsnog. Uit de beeldbijlage als die er is, anders uit
+            // image/icon: bij een post met een speler staat hij daar.
+            const uit = [
+              ...(Array.isArray(o.attachment) ? o.attachment : [])
+                .filter((a) => AFBEELDING.test(String((a && a.mediaType) || '')))
+                .map((a) => (typeof a.url === 'string' ? a.url : (a.url && a.url.href)))
+                .filter(Boolean),
+              ...coverKandidaten(o),
+            ];
+            for (const u of uit) {
               const doel = bronMediaPad(u, bronOrigin, { mediaRoot, path });
               const g = await haalBijlage(String(u), { safeFetch, mediaRoot, fs, path, maxBytes, doel }).catch(() => null);
-              if (g) {
-                db.prepare('UPDATE posts SET cover_image_url = ? WHERE id = ?').run(g.url, bestaand.id);
-                rapport.media++;
-                rapport.postsBijgewerkt++;
-              }
+              if (!g) continue;
+              db.prepare('UPDATE posts SET cover_image_url = ? WHERE id = ?').run(g.url, bestaand.id);
+              rapport.media++;
+              rapport.postsBijgewerkt++;
               break;
             }
@@ -569 +599 @@
           const r2 = await inhoudMediaBinnen(inhoud, bronOrigin, site, rapport, { safeFetch, mediaRoot, fs, path, maxBytes });
           inhoud = r2.inhoud;
+          // De omslag zit lang niet altijd in attachment (zie coverKandidaten).
+          if (!binnen.some((b) => AFBEELDING.test(b.type || ''))) {
+            for (const u of coverKandidaten(o)) {
+              const doel = bronMediaPad(u, bronOrigin, { mediaRoot, path });
+              const g = await haalBijlage(u, { safeFetch, mediaRoot, fs, path, maxBytes, doel }).catch(() => null);
+              if (!g) { rapport.mediaMislukt++; rapport.waarschuwingen.push(`omslag niet opgehaald: ${u}`); continue; }
+              binnen.unshift({ ...g, naam: null, type: g.mediaType });
+              rapport.media++;
+              try {
+                db.prepare('INSERT INTO media (id, site_id, filename, mime_type, size, storage_path) VALUES (?, ?, ?, ?, ?, ?)')
+                  .run(crypto.randomUUID(), site.id, g.filename, g.mediaType, g.size, g.storage_path);
+              } catch { /* administratie */ }
+              break;                       // een omslag is genoeg
+            }
+          }
         }
 

test/fep1580-migration.test.js

@@ -536 +536 @@
 });
 
+test('de omslag komt ook mee als hij in `image` zit in plaats van in attachment', async () => {
+  // Robins 9 covers van de 36. Klonkt onderdrukt de beeldbijlage met opzet
+  // zodra een post een speler of embed heeft (noImages in buildNote), en zet
+  // de omslag dan in `image` zodat Mastodon zijn spelerkaart toont. 18 van de
+  // 20 berichten op pagina 1 hadden daardoor geen enkele bijlage, en toch een
+  // cover. Mijn ingest keek alleen naar attachment.
+  const s = site({ aliases: [BRON] });
+  const OMSLAG = 'https://oud.example/media/post-images/omslag.png';
+  const HOES = 'https://oud.example/media/audio-covers/hoes.webp';
+  const kaart = new Map([
+    [BRON, { id: BRON, type: 'Person', movedTo: IK, outbox: `${BRON}/outbox` }],
+    [`${BRON}/outbox`, { type: 'OrderedCollection', totalItems: 2, first: `${BRON}/outbox?page=1` }],
+    [`${BRON}/outbox?page=1`, { type: 'OrderedCollectionPage', orderedItems: [
+      // een speler-post: GEEN attachment, omslag in image
+      note(`${BRON}/notes/speler`, { content: '<p>muziek</p>', image: { type: 'Image', url: OMSLAG } }),
+      // een audio-bijlage draagt zijn eigen hoes in icon
+      note(`${BRON}/notes/audio`, { content: '<p>track</p>', attachment: [
+        { type: 'Audio', mediaType: 'audio/mpeg', url: 'https://oud.example/audio/stream/x.mp3',
+          icon: { type: 'Image', mediaType: 'image/webp', url: HOES } },
+      ] }),
+    ] }],
+  ]);
+  const opgehaald = [];
+  const r = await stil(() => Mig.ingestFromSource(s, { deps: {
+    getJson: async (_s, url) => kaart.get(url) || null,
+    noteId: (b, id) => `${b}/ap/notes/${id}`,
+    noteVisibility: AP.noteVisibility,
+    mediaRoot: '/nep/media', audioRoot: '/nep/audio',
+    signHeaders: () => ({ Signature: 'nep' }),
+    safeFetch: async (url) => { opgehaald.push(url); return { ok: true, arrayBuffer: async () => Buffer.from('x'), headers: { get: () => 'image/png' } }; },
+    fs: { mkdirSync() {}, writeFileSync() {}, statSync() { throw new Error('ENOENT'); } },
+    path,
+  } }));
+  assert.equal(r.posts, 2);
+  assert.ok(opgehaald.includes(OMSLAG), 'de omslag uit `image` hoort opgehaald te worden');
+  assert.ok(opgehaald.includes(HOES), 'en de hoes uit de icon van een Audio-bijlage ook');
+  const covers = db.prepare('SELECT cover_image_url c FROM posts WHERE site_id = ?').all('s1').map((x) => x.c);
+  assert.equal(covers.filter(Boolean).length, 2, 'beide berichten krijgen hun omslag');
+  assert.ok(covers.includes('/media/post-images/omslag.png'), 'op het pad van de bron');
+});
+
 test('een bericht dat je zelf hebt verwijderd komt bij een tweede ronde terug', async () => {
   // Robin: "ik kan handmatig deze keer de posts verwijderen en opnieuw ophalen."