Changeset 919b82d in Klonkt

Timestamp:

08/14/2026 12:29:06 AM (4 weeks ago)

Author:

Robin <roboburr@…>

Branches:

main

Children:

19430fa, 2365630

Parents:

eb071a7

Message:

De shortcode in een bericht wees nergens meer heen

Robin stuurde een schermafbeelding van TikTik: het bericht toonde
[[track:8df2d8a4-...]] als kale tekst in plaats van een speler. Plus: playlists
hadden nog geen hoes.

WAAROM DIE SHORTHAND BREEKT. Zijn berichten kwamen uit de ZIP, die posts.content
letterlijk bewaart inclusief [[track:<oud id>]]. Zijn nummers kwamen uit de
PULL, en die gaf ze een nieuw id. De tekst wees dus naar een nummer dat hier
niet bestaat, en dan valt de weergave terug op de code zelf. Twee wegen die
allebei werken en samen niet.

Na de tracks worden die verwijzingen nu bijgetrokken, met een kaart van het
RUWE bron-id naar het onze. Alleen waar het id echt veranderde.

Onderweg bleek de outbox de shorthand overigens al gebakken door te geven, als
een link terug naar de oude site. Dus via de pull alleen zag je dit niet, en
via de zip alleen ook niet. Alleen de combinatie.

EN DEZELFDE VAL BIJ POSTS. Robin schreef dat hij de berichten handmatig zou
verwijderen om opnieuw op te halen. Dat had niet gewerkt: de mapping in
ap_migration zei "al gehad" en dan werd alles overgeslagen, hoe leeg de site
ook was. Nu telt de mapping alleen als het bericht er OOK nog staat; is het weg,
dan is opnieuw ophalen precies wat je bedoelt.

Gemeten door de combinatie na te spelen: post via de zip met [[track:t-a]],
daarna ophalen. De inhoud werd [[track:3bc1f5d9-...]] en dat nummer bestaat.

Changed files:
src/services/MigrationService.js

• ruwId() en ruwKaart: het id zoals het in de posttekst staat
• na de tracks worden [[track:]]-verwijzingen bijgetrokken
• een verwijderd bericht wordt opnieuw opgehaald in plaats van overgeslagen
• de hoes van een playlist wordt opgehaald uit icon/image
• nieuw rapportveld opnieuw

test/fep1580-migration.test.js

• de shorthand-herschrijving, en een verwijderd bericht dat terugkomt

remarks: over AP komen posts binnen met een gebakken link naar de OUDE site in
plaats van de shorthand. Dat werkt, maar het verwijst wel naar een domein dat je
gaat opzeggen. Aparte kwestie, nog niet aangepakt. Suite 990 groen; tegenproef
op beide fixes.

-robo
Co-Authored-By: Claude Opus 4.8 <noreply@…>

Files:

• src/services/MigrationService.js (modified) (9 diffs)
• test/fep1580-migration.test.js (modified) (1 diff)

src/services/MigrationService.js

@@ -226 +226 @@
   for (let n = 2; n < 500; n++) if (!bestaat.get(siteId, `${schoon}-${n}`)) return `${schoon}-${n}`;
   return `${schoon}-${crypto.randomBytes(4).toString('hex')}`;
+}
+
+/** Het kale id uit een track-URI: .../tracks/t-een -> t-een. */
+function ruwId(uri) {
+  try { return decodeURIComponent(String(uri).split('/').filter(Boolean).pop() || ''); } catch { return ''; }
 }
 
@@ -361 +366 @@
 
   const rapport = {
-    bron: bronActor.id, posts: 0, overgeslagen: 0, media: 0, mediaMislukt: 0,
+    bron: bronActor.id, posts: 0, overgeslagen: 0, opnieuw: 0, media: 0, mediaMislukt: 0,
     blocks: 0, tracksBinnen: 0, tracksMislukt: 0, tracksBijgewerkt: 0, overgeslagenTracks: 0,
     playlistsBinnen: 0, playlistsMislukt: 0, waarschuwingen: [],
@@ -412 +417 @@
         if (auteur && auteur !== bronActor.id) continue;              // alleen wat van HEM was
         gezien++;
-        if (alGemigreerd(site.slug, o.id)) { rapport.overgeslagen++; continue; }
+        // Al binnen? Alleen overslaan als het bericht er OOK nog staat. Heb je
+        // het verwijderd, dan is opnieuw ophalen precies wat je bedoelt, en
+        // een mapping die dat blokkeert is een val: opruimen hielp dan niet,
+        // want de blokkade zat in ap_migration en niet in de posts.
+        const eerderPost = migrationTarget(site.slug, o.id);
+        if (eerderPost) {
+          const postId = String(eerderPost).split('/').pop();
+          if (db.prepare('SELECT 1 FROM posts WHERE id = ? AND site_id = ?').get(decodeURIComponent(postId), site.id)) {
+            rapport.overgeslagen++;
+            continue;
+          }
+          rapport.opnieuw++;   // weg hier, dus opnieuw binnenhalen
+        }
 
         // Media eerst, want een post die naar een plaatje wijst dat we niet
@@ -487 +504 @@
     // blijven.
     const trackKaart = new Map();   // bron-URI van een nummer -> ons nieuwe id
+    // En het RUWE id zoals het in de posttekst staat. Klonkt schrijft
+    // [[track:<id>]] in de content, en die tekst reist letterlijk mee over AP.
+    // Krijgt het nummer hier een ander id, dan wijst die shorthand nergens meer
+    // heen en zie je de code zelf in je bericht staan.
+    const ruwKaart = new Map();     // ruw bron-id -> ons id
     const streams = [].concat(bronActor.streams || []).filter((u) => typeof u === 'string');
     const tracksUrl = streams.find((u) => /\/tracks\/?$/.test(u));
@@ -511 +533 @@
           if (rij) {
             trackKaart.set(String(a.id), rij.id);   // MOET, anders vinden de playlists hem niet
+            ruwKaart.set(ruwId(a.id), rij.id);
             const duur = rij.duration ? null : duurSeconden(a.duration);
             const artiest = rij.artist ? null : (a.summary || a.artist || null);
@@ -571 +594 @@
           recordMigrated(site.slug, { origin: a.id, target: `${me}/ap/tracks/${trackId}`, sourceActor: bronActor.id, isPublic: false });
           trackKaart.set(String(a.id), trackId);
+          ruwKaart.set(ruwId(a.id), trackId);
           rapport.tracksBinnen++;
         } catch (e) {
@@ -579 +603 @@
     } else if (tracksUrl) {
       rapport.waarschuwingen.push('muziekbibliotheek overgeslagen: geen audiomap meegegeven');
+    }
+
+    // ── De verwijzingen in de tekst bijtrekken ────────────────────
+    //
+    // Klonkt schrijft [[track:<id>]] in posts.content, en die tekst reist
+    // letterlijk mee. Krijgt het nummer hier een ander id, dan wijst de
+    // shorthand nergens heen en zie je de code zelf in je bericht staan in
+    // plaats van een speler. Precies wat Robin op TikTik zag.
+    //
+    // Pas NA de tracks, want daarvoor is de kaart nog leeg. En alleen waar het
+    // id echt veranderde: een gelijk id hoeft niet aangeraakt.
+    {
+      const paren = [...ruwKaart.entries()].filter(([oud, nieuwId]) => oud && oud !== nieuwId);
+      if (paren.length) {
+        const upd = db.prepare('UPDATE posts SET content = REPLACE(content, ?, ?) WHERE site_id = ? AND content LIKE ?');
+        let n = 0;
+        for (const [oud, nieuwId] of paren) {
+          const r = upd.run(`[[track:${oud}]]`, `[[track:${nieuwId}]]`, site.id, `%[[track:${oud}]]%`);
+          if (r && r.changes) n += r.changes;
+        }
+        if (n) { rapport.tekstBijgewerkt = n; console.log('[FEP-1580] track-verwijzingen bijgetrokken in', n, 'bericht(en)'); }
+      }
     }
 
@@ -608 +654 @@
         // elke tweede ronde een dubbele plaat op.
         const eerderPl = migrationTarget(site.slug, uri);
+        // De hoes van de plaat, net als bij een nummer.
+        let plHoes = null;
+        const plHoesUrl = (plc.icon && (plc.icon.url || plc.icon)) || (plc.image && (plc.image.url || plc.image)) || null;
+        if (plHoesUrl && /^https?:\/\//i.test(String(plHoesUrl)) && safeFetch && fs && path && mediaRoot) {
+          const h = await haalBijlage(String(plHoesUrl), {
+            safeFetch, mediaRoot, fs, path, maxBytes,
+            headers: signHeaders ? signHeaders(site.slug, String(plHoesUrl), '*/*') : null,
+          }).catch(() => null);
+          if (h) { plHoes = h.url; rapport.media++; }
+          else rapport.waarschuwingen.push(`hoes van playlist niet opgehaald: ${plc.name || uri}`);
+        }
         const plId = (() => {
           if (!eerderPl) return crypto.randomUUID();
@@ -615 +672 @@
         })();
         try {
-          db.prepare(`INSERT INTO playlists (id, site_id, title, artist, year, kind) VALUES (?,?,?,?,?,?)
-                      ON CONFLICT(id) DO UPDATE SET title = excluded.title, artist = COALESCE(playlists.artist, excluded.artist)`)
+          db.prepare(`INSERT INTO playlists (id, site_id, title, artist, year, kind, cover_url) VALUES (?,?,?,?,?,?,?)
+                      ON CONFLICT(id) DO UPDATE SET
+                        title = excluded.title,
+                        artist = COALESCE(playlists.artist, excluded.artist),
+                        cover_url = COALESCE(playlists.cover_url, excluded.cover_url)`)
             .run(plId, site.id, plc.name || 'zonder titel', plc.artist || null,
-              plc.year || null, plc['shaer:kind'] || null);
+              plc.year || null, plc['shaer:kind'] || null, plHoes);
           // De volgorde opnieuw zetten: die IS de plaat, en een halve
           // bijgewerkte volgorde is erger dan een verse.

test/fep1580-migration.test.js

@@ -458 +458 @@
 });
 
+test('een bericht dat je zelf hebt verwijderd komt bij een tweede ronde terug', async () => {
+  // Robin: "ik kan handmatig deze keer de posts verwijderen en opnieuw ophalen."
+  // Met de eerste opzet kon dat niet: de mapping in ap_migration zei "al gehad"
+  // en dan werd alles overgeslagen, hoe leeg je site ook was. Dezelfde val als
+  // bij de nummers, en juist deze zou hij als eerste tegenkomen.
+  const s = site({ aliases: [BRON] });
+  const deps = bronnetje({ items: [note(`${BRON}/notes/1`), note(`${BRON}/notes/2`)] });
+
+  const r1 = await stil(() => Mig.ingestFromSource(s, { deps }));
+  assert.equal(r1.posts, 2);
+
+  // Eentje weg, de mapping blijft staan.
+  const weg = db.prepare('SELECT id FROM posts LIMIT 1').get().id;
+  db.prepare('DELETE FROM posts WHERE id = ?').run(weg);
+  assert.equal(db.prepare('SELECT COUNT(*) n FROM posts').get().n, 1);
+
+  const r2 = await stil(() => Mig.ingestFromSource(s, { deps }));
+  assert.equal(r2.posts, 1, 'het verwijderde bericht hoort terug te komen');
+  assert.equal(r2.opnieuw, 1, 'en het verslag zegt dat het opnieuw is opgehaald');
+  assert.equal(r2.overgeslagen, 1, 'terwijl het bericht dat er nog stond met rust blijft');
+  assert.equal(db.prepare('SELECT COUNT(*) n FROM posts').get().n, 2, 'geen dubbele');
+});
+
+test('de [[track:]]-verwijzing in een bericht wordt bijgetrokken', async () => {
+  // Wat Robin op TikTik zag: het bericht toonde de shorthand zelf in plaats van
+  // een speler. Zijn posts kwamen uit de ZIP (die bewaart posts.content
+  // letterlijk, inclusief [[track:<oud id>]]) en zijn nummers uit de PULL (die
+  // gaf ze een nieuw id). De tekst wees dus naar een nummer dat hier niet
+  // bestaat, en dan valt hij terug op de kale code.
+  const s = site({ aliases: [BRON] });
+  db.prepare(`INSERT INTO posts (id, site_id, author_id, slug, title, content, status, published_at)
+              VALUES ('pz','s1','u1','tiktik','TikTik','<p>[[track:t-oud]]</p>','published','2026-08-13T10:00:00Z')`).run();
+
+  const kaart = new Map([
+    [BRON, { id: BRON, type: 'Person', movedTo: IK, outbox: `${BRON}/outbox`, streams: [`${BRON}/tracks`] }],
+    [`${BRON}/outbox`, { type: 'OrderedCollection', orderedItems: [] }],
+    [`${BRON}/tracks`, {
+      type: 'OrderedCollection',
+      orderedItems: [{
+        id: `${BRON}/tracks/t-oud`, type: 'Audio', name: 'Nummer',
+        url: [{ type: 'Link', href: `${BRON}/audio/x.mp3`, mediaType: 'audio/mpeg' }],
+      }],
+    }],
+  ]);
+  await stil(() => Mig.ingestFromSource(s, {
+    deps: {
+      getJson: async (_slug, url) => kaart.get(url) || null,
+      noteId: (b, id) => `${b}/ap/notes/${id}`,
+      noteVisibility: AP.noteVisibility,
+      audioRoot: '/nep/audio', mediaRoot: '/nep/media',
+      signHeaders: () => ({ Signature: 'nep' }),
+      safeFetch: async () => ({ ok: true, arrayBuffer: async () => Buffer.from('x'), headers: { get: () => 'audio/mpeg' } }),
+      fs: { mkdirSync() {}, writeFileSync() {} },
+      path,
+    },
+  }));
+
+  const inhoud = db.prepare("SELECT content FROM posts WHERE id = 'pz'").get().content;
+  const m = /\[\[track:([^\]]+)\]\]/.exec(inhoud);
+  assert.ok(m, 'de shorthand blijft staan, alleen het id verandert');
+  assert.notEqual(m[1], 't-oud', 'het oude id wijst hier nergens heen');
+  const bestaat = db.prepare('SELECT 1 FROM audio_tracks WHERE id = ? AND site_id = ?').get(m[1], 's1');
+  assert.ok(bestaat, 'en het nieuwe id hoort bij een nummer dat er echt is');
+});
+
 test('een niet-publiek bericht komt wel mee maar niet in de publieke tabel', async () => {
   const s = site({ aliases: [BRON] });