Changes in / [2365630:5a49eba] in Klonkt

Files:

• src/services/ArchiveImportService.js (modified) (2 diffs)
• src/services/MigrationService.js (modified) (7 diffs)
• test/archive-import.test.js (modified) (2 diffs)
• test/fep1580-migration.test.js (modified) (2 diffs)

src/services/ArchiveImportService.js

@@ -285 +285 @@
   rapport.origin = manifest.origin || null;
 
-  // IDENTITEIT. Gelijke origin -> de AP-ids blijven, en daarmee vinden de boosts
-  // en antwoorden die er al naar wijzen hun post terug. Anders nieuwe ids, want
-  // een id op andermans domein publiceren is een vervalsingsoppervlak en andere
-  // servers halen het daar toch op.
+  // IDENTITEIT. Het INTERNE id blijft altijd (Robins besluit, 14-8).
+  //
+  // Dat is iets anders dan de AP-URI. Die is domeingebonden en wordt hoe dan
+  // ook nieuw: https://nieuw/ap/notes/<id> is een ander adres dan
+  // https://oud/ap/notes/<id>. Je claimt dus niets van een ander door het GUID
+  // te hergebruiken, en je wint dat elke INTERNE verwijzing blijft kloppen:
+  // [[track:]], [[playlist:]] en [[album:]] wijzen na een verhuizing nog naar
+  // het goede ding.
+  //
+  // Voorheen hing dit aan de origin, en alleen voor posts; tracks en playlists
+  // hielden hun id al wel. Die scheve tabel was precies waarom een post uit de
+  // zip met [[track:oud]] naast een nummer uit de pull met een nieuw id kwam te
+  // staan, en je de shorthand als kale tekst in je bericht zag.
+  //
+  // `idsBehouden` gaat hieronder alleen nog over de AP-URI: gelijke origin
+  // betekent dat ook die identiek blijft, en dan valt er niets te vertalen.
   const idsBehouden = !!(manifest.origin && eigenOrigin && manifest.origin === eigenOrigin);
   rapport.idsBehouden = idsBehouden;
   if (!idsBehouden) {
     rapport.waarschuwingen.push(
-      `origin verschilt (archief ${manifest.origin || '?'} vs deze site ${eigenOrigin || '?'}): nieuwe AP-ids, de oude blijven als verwijzing staan`,
+      `origin verschilt (archief ${manifest.origin || '?'} vs deze site ${eigenOrigin || '?'}): de berichten krijgen een nieuw AP-adres. Hun interne id blijft, dus verwijzingen binnen je site blijven kloppen.`,
     );
   }
@@ -307 +319 @@
     const o = JSON.parse(files.get(pad).toString('utf8'));
     const oudId = decodeURIComponent(String(o.id || '').split('/ap/notes/')[1] || path.basename(pad, '.json'));
-    const nieuwId = idsBehouden ? oudId : randomUUID();
+    // Altijd het id uit het archief. Staat er hier al iets met dat id, dan is
+    // dat hetzelfde object, en dat handelt de botsingscontrole hieronder af.
+    const nieuwId = oudId;
     idKaart.set(oudId, nieuwId);
 

src/services/MigrationService.js

@@ -417 +417 @@
         if (auteur && auteur !== bronActor.id) continue;              // alleen wat van HEM was
         gezien++;
-        // Al binnen? Alleen overslaan als het bericht er OOK nog staat. Heb je
-        // het verwijderd, dan is opnieuw ophalen precies wat je bedoelt, en
-        // een mapping die dat blokkeert is een val: opruimen hielp dan niet,
-        // want de blokkade zat in ap_migration en niet in de posts.
-        const eerderPost = migrationTarget(site.slug, o.id);
-        if (eerderPost) {
-          const postId = String(eerderPost).split('/').pop();
-          if (db.prepare('SELECT 1 FROM posts WHERE id = ? AND site_id = ?').get(decodeURIComponent(postId), site.id)) {
-            rapport.overgeslagen++;
-            continue;
-          }
-          rapport.opnieuw++;   // weg hier, dus opnieuw binnenhalen
-        }
+        // Het interne id BLIJFT (Robins besluit, 14-8). Daarmee is "staat hij
+        // hier al" gewoon een blik in de tabel, en niet iets dat je uit een
+        // aparte mapping moet afleiden. Verwijder je een bericht en haal je
+        // opnieuw op, dan komt het gewoon terug: er staat immers niets meer.
+        const id = ruwId(o.id) || crypto.randomUUID();
+        if (db.prepare('SELECT 1 FROM posts WHERE id = ? AND site_id = ?').get(id, site.id)) {
+          rapport.overgeslagen++;
+          continue;
+        }
+        if (migrationTarget(site.slug, o.id)) rapport.opnieuw++;   // was er, is weg, komt terug
 
         // Media eerst, want een post die naar een plaatje wijst dat we niet
@@ -451 +448 @@
         }
 
-        const id = crypto.randomUUID();
         const cover = binnen.find((b) => AFBEELDING.test(b.type || ''));
         const rest = binnen.filter((b) => b !== cover);
@@ -526 +522 @@
         // Alleen LEGE velden worden gevuld. Wat jij zelf hebt aangepast blijft
         // staan; een migratie hoort je correcties niet terug te draaien.
-        const eerder = migrationTarget(site.slug, a.id);
-        if (eerder) {
-          const lokaalId = String(eerder).split('/').pop();
+        const trackId = ruwId(a.id) || crypto.randomUUID();
+        {
           const rij = db.prepare('SELECT id, cover_url, duration, artist FROM audio_tracks WHERE id = ? AND site_id = ?')
-            .get(lokaalId, site.id);
+            .get(trackId, site.id);
           if (rij) {
             trackKaart.set(String(a.id), rij.id);   // MOET, anders vinden de playlists hem niet
@@ -557 +552 @@
             continue;
           }
-          // De rij is weg maar de mapping staat er nog. Dan is opnieuw ophalen
-          // precies wat je wilt, dus we vallen door naar de gewone tak.
         }
         const bron = a.url && (typeof a.url === 'string' ? a.url : (Array.isArray(a.url) ? (a.url[0] && (a.url[0].href || a.url[0])) : a.url.href));
@@ -583 +576 @@
           else rapport.waarschuwingen.push(`hoes niet opgehaald: ${a.name || hoesUrl}`);
         }
-        const trackId = crypto.randomUUID();
         const mediaId = crypto.randomUUID();
         try {
@@ -651 +643 @@
           continue;
         }
-        // Bestond hij al? Dan dezelfde rij bijwerken. Zonder deze stap levert
-        // elke tweede ronde een dubbele plaat op.
-        const eerderPl = migrationTarget(site.slug, uri);
         // De hoes van de plaat, net als bij een nummer.
         let plHoes = null;
@@ -665 +654 @@
           else rapport.waarschuwingen.push(`hoes van playlist niet opgehaald: ${plc.name || uri}`);
         }
-        const plId = (() => {
-          if (!eerderPl) return crypto.randomUUID();
-          const bestaand = String(eerderPl).split('/').pop();
-          return db.prepare('SELECT 1 FROM playlists WHERE id = ? AND site_id = ?').get(bestaand, site.id)
-            ? bestaand : crypto.randomUUID();
-        })();
+        // Ook hier het id van de bron. Dan blijft [[playlist:<id>]] in een
+        // bericht wijzen, en is een tweede ronde vanzelf dezelfde rij.
+        const plId = ruwId(uri) || crypto.randomUUID();
         try {
           db.prepare(`INSERT INTO playlists (id, site_id, title, artist, year, kind, cover_url) VALUES (?,?,?,?,?,?,?)

test/archive-import.test.js

@@ -126 +126 @@
 });
 
-test('een andere origin levert NIEUWE ids op, met een waarschuwing', () => {
-  // Oude ids houden op een ander domein zou objecten publiceren onder een id dat
-  // je niet beheert -- andere servers halen dat daar op, en het is bovendien een
-  // vervalsingsoppervlak.
+test('een andere origin geeft een nieuw AP-adres, maar het interne id BLIJFT', () => {
+  // Omgedraaid op 14-8 (Robin: "altijd behouden"). Het interne id is niet
+  // hetzelfde als de AP-URI: https://nieuw/ap/notes/<id> is een ander adres dan
+  // https://oud/ap/notes/<id>, dus je claimt niets van een ander door het GUID
+  // te hergebruiken. Wat je wint is dat elke INTERNE verwijzing blijft kloppen.
+  //
+  // Het oude gedrag brak precies dat: een post uit de zip hield
+  // [[track:<oud id>]] in zijn tekst terwijl het nummer een nieuw id kreeg, en
+  // dan zie je de shorthand als kale tekst in je bericht staan.
   leeg();
   const files = new Map(ARCHIEF.files);
@@ -136 +141 @@
   files.set('manifest.json', Buffer.from(JSON.stringify(m)));
   const r = AI.importArchive(files, { slug: 'me' });
-  assert.equal(r.idsBehouden, false);
+  assert.equal(r.idsBehouden, false, 'de AP-URI verandert wel, en dat blijft gemeld');
   assert.match(r.waarschuwingen.join(' '), /origin verschilt/);
-  assert.equal(db.prepare("SELECT COUNT(*) AS n FROM posts WHERE id = 'zwaar'").get().n, 0);
-  assert.equal(db.prepare('SELECT COUNT(*) AS n FROM posts').get().n, 1, 'wel geimporteerd, met een nieuw id');
+  assert.equal(db.prepare("SELECT COUNT(*) AS n FROM posts WHERE id = 'zwaar'").get().n, 1,
+    'het interne id komt ongewijzigd terug');
+  assert.equal(db.prepare('SELECT COUNT(*) AS n FROM posts').get().n, 1);
 });
 

test/fep1580-migration.test.js

@@ -481 +481 @@
 });
 
-test('de [[track:]]-verwijzing in een bericht wordt bijgetrokken', async () => {
+test('de [[track:]]-verwijzing in een bericht blijft naar een bestaand nummer wijzen', async () => {
   // Wat Robin op TikTik zag: het bericht toonde de shorthand zelf in plaats van
   // een speler. Zijn posts kwamen uit de ZIP (die bewaart posts.content
@@ -515 +515 @@
   }));
 
+  // DE EIS, ongeacht hoe: na een verhuizing wijst de shorthand naar een nummer
+  // dat hier bestaat. Sinds "altijd behouden" (14-8) klopt dat meestal vanzelf,
+  // want het id verandert niet meer. Botst het id wel, dan trekt de ingest de
+  // tekst bij. Deze test toetst de UITKOMST en niet de route ernaartoe.
   const inhoud = db.prepare("SELECT content FROM posts WHERE id = 'pz'").get().content;
   const m = /\[\[track:([^\]]+)\]\]/.exec(inhoud);
-  assert.ok(m, 'de shorthand blijft staan, alleen het id verandert');
-  assert.notEqual(m[1], 't-oud', 'het oude id wijst hier nergens heen');
+  assert.ok(m, 'de shorthand blijft staan');
   const bestaat = db.prepare('SELECT 1 FROM audio_tracks WHERE id = ? AND site_id = ?').get(m[1], 's1');
-  assert.ok(bestaat, 'en het nieuwe id hoort bij een nummer dat er echt is');
+  assert.ok(bestaat, `[[track:${m[1]}]] hoort bij een nummer dat er echt is`);
+  assert.equal(m[1], 't-oud', 'en omdat het id behouden blijft, hoefde er niets herschreven');
+});
+
+test('botst het track-id wel, dan wordt de tekst bijgetrokken', async () => {
+  // Het vangnet. "Altijd behouden" kan niet als er hier al iets anders met dat
+  // id staat; dan krijgt het nummer een ander id en moet de shorthand mee.
+  const s2 = site({ aliases: [BRON] });
+  db.prepare(`INSERT INTO posts (id, site_id, author_id, slug, title, content, status, published_at)
+              VALUES ('pb','s1','u1','botsing','Botsing','<p>[[track:t-bots]]</p>','published','2026-08-13T10:00:00Z')`).run();
+  // Een nummer dat hier AL bestaat onder datzelfde id, van iets anders.
+  db.prepare("INSERT INTO media (id, site_id, filename, mime_type, size, storage_path) VALUES ('mx','s1','x.mp3','audio/mpeg',1,'/x')").run();
+  db.prepare("INSERT INTO audio_tracks (id, site_id, title, media_id) VALUES ('t-bots','s1','Al van mij','mx')").run();
+
+  const kaart2 = new Map([
+    [BRON, { id: BRON, type: 'Person', movedTo: IK, outbox: `${BRON}/outbox`, streams: [`${BRON}/tracks`] }],
+    [`${BRON}/outbox`, { type: 'OrderedCollection', orderedItems: [] }],
+    [`${BRON}/tracks`, {
+      type: 'OrderedCollection',
+      orderedItems: [{
+        id: `${BRON}/tracks/t-bots`, type: 'Audio', name: 'Van de bron',
+        url: [{ type: 'Link', href: `${BRON}/audio/y.mp3`, mediaType: 'audio/mpeg' }],
+      }],
+    }],
+  ]);
+  await stil(() => Mig.ingestFromSource(s2, {
+    deps: {
+      getJson: async (_slug, url) => kaart2.get(url) || null,
+      noteId: (b, id) => `${b}/ap/notes/${id}`,
+      noteVisibility: AP.noteVisibility,
+      audioRoot: '/nep/audio', mediaRoot: '/nep/media',
+      signHeaders: () => ({ Signature: 'nep' }),
+      safeFetch: async () => ({ ok: true, arrayBuffer: async () => Buffer.from('y'), headers: { get: () => 'audio/mpeg' } }),
+      fs: { mkdirSync() {}, writeFileSync() {} },
+      path,
+    },
+  }));
+  // Het bestaande nummer blijft van jou; de tekst wijst naar iets dat bestaat.
+  const inhoud = db.prepare("SELECT content FROM posts WHERE id = 'pb'").get().content;
+  const m = /\[\[track:([^\]]+)\]\]/.exec(inhoud);
+  assert.ok(m);
+  assert.ok(db.prepare('SELECT 1 FROM audio_tracks WHERE id = ? AND site_id = ?').get(m[1], 's1'),
+    'wat er ook gebeurde met het id, de verwijzing wijst naar een bestaand nummer');
 });