Changes in / [5a49eba:2365630] in Klonkt

Files:

• src/services/ArchiveImportService.js (modified) (2 diffs)
• src/services/MigrationService.js (modified) (7 diffs)
• test/archive-import.test.js (modified) (2 diffs)
• test/fep1580-migration.test.js (modified) (2 diffs)

src/services/ArchiveImportService.js

@@ -285 +285 @@
   rapport.origin = manifest.origin || null;
 
-  // IDENTITEIT. Het INTERNE id blijft altijd (Robins besluit, 14-8).
-  //
-  // Dat is iets anders dan de AP-URI. Die is domeingebonden en wordt hoe dan
-  // ook nieuw: https://nieuw/ap/notes/<id> is een ander adres dan
-  // https://oud/ap/notes/<id>. Je claimt dus niets van een ander door het GUID
-  // te hergebruiken, en je wint dat elke INTERNE verwijzing blijft kloppen:
-  // [[track:]], [[playlist:]] en [[album:]] wijzen na een verhuizing nog naar
-  // het goede ding.
-  //
-  // Voorheen hing dit aan de origin, en alleen voor posts; tracks en playlists
-  // hielden hun id al wel. Die scheve tabel was precies waarom een post uit de
-  // zip met [[track:oud]] naast een nummer uit de pull met een nieuw id kwam te
-  // staan, en je de shorthand als kale tekst in je bericht zag.
-  //
-  // `idsBehouden` gaat hieronder alleen nog over de AP-URI: gelijke origin
-  // betekent dat ook die identiek blijft, en dan valt er niets te vertalen.
+  // IDENTITEIT. Gelijke origin -> de AP-ids blijven, en daarmee vinden de boosts
+  // en antwoorden die er al naar wijzen hun post terug. Anders nieuwe ids, want
+  // een id op andermans domein publiceren is een vervalsingsoppervlak en andere
+  // servers halen het daar toch op.
   const idsBehouden = !!(manifest.origin && eigenOrigin && manifest.origin === eigenOrigin);
   rapport.idsBehouden = idsBehouden;
   if (!idsBehouden) {
     rapport.waarschuwingen.push(
-      `origin verschilt (archief ${manifest.origin || '?'} vs deze site ${eigenOrigin || '?'}): de berichten krijgen een nieuw AP-adres. Hun interne id blijft, dus verwijzingen binnen je site blijven kloppen.`,
+      `origin verschilt (archief ${manifest.origin || '?'} vs deze site ${eigenOrigin || '?'}): nieuwe AP-ids, de oude blijven als verwijzing staan`,
     );
   }
@@ -319 +307 @@
     const o = JSON.parse(files.get(pad).toString('utf8'));
     const oudId = decodeURIComponent(String(o.id || '').split('/ap/notes/')[1] || path.basename(pad, '.json'));
-    // Altijd het id uit het archief. Staat er hier al iets met dat id, dan is
-    // dat hetzelfde object, en dat handelt de botsingscontrole hieronder af.
-    const nieuwId = oudId;
+    const nieuwId = idsBehouden ? oudId : randomUUID();
     idKaart.set(oudId, nieuwId);
 

src/services/MigrationService.js

@@ -417 +417 @@
         if (auteur && auteur !== bronActor.id) continue;              // alleen wat van HEM was
         gezien++;
-        // Het interne id BLIJFT (Robins besluit, 14-8). Daarmee is "staat hij
-        // hier al" gewoon een blik in de tabel, en niet iets dat je uit een
-        // aparte mapping moet afleiden. Verwijder je een bericht en haal je
-        // opnieuw op, dan komt het gewoon terug: er staat immers niets meer.
-        const id = ruwId(o.id) || crypto.randomUUID();
-        if (db.prepare('SELECT 1 FROM posts WHERE id = ? AND site_id = ?').get(id, site.id)) {
-          rapport.overgeslagen++;
-          continue;
-        }
-        if (migrationTarget(site.slug, o.id)) rapport.opnieuw++;   // was er, is weg, komt terug
+        // Al binnen? Alleen overslaan als het bericht er OOK nog staat. Heb je
+        // het verwijderd, dan is opnieuw ophalen precies wat je bedoelt, en
+        // een mapping die dat blokkeert is een val: opruimen hielp dan niet,
+        // want de blokkade zat in ap_migration en niet in de posts.
+        const eerderPost = migrationTarget(site.slug, o.id);
+        if (eerderPost) {
+          const postId = String(eerderPost).split('/').pop();
+          if (db.prepare('SELECT 1 FROM posts WHERE id = ? AND site_id = ?').get(decodeURIComponent(postId), site.id)) {
+            rapport.overgeslagen++;
+            continue;
+          }
+          rapport.opnieuw++;   // weg hier, dus opnieuw binnenhalen
+        }
 
         // Media eerst, want een post die naar een plaatje wijst dat we niet
@@ -448 +451 @@
         }
 
+        const id = crypto.randomUUID();
         const cover = binnen.find((b) => AFBEELDING.test(b.type || ''));
         const rest = binnen.filter((b) => b !== cover);
@@ -522 +526 @@
         // Alleen LEGE velden worden gevuld. Wat jij zelf hebt aangepast blijft
         // staan; een migratie hoort je correcties niet terug te draaien.
-        const trackId = ruwId(a.id) || crypto.randomUUID();
-        {
+        const eerder = migrationTarget(site.slug, a.id);
+        if (eerder) {
+          const lokaalId = String(eerder).split('/').pop();
           const rij = db.prepare('SELECT id, cover_url, duration, artist FROM audio_tracks WHERE id = ? AND site_id = ?')
-            .get(trackId, site.id);
+            .get(lokaalId, site.id);
           if (rij) {
             trackKaart.set(String(a.id), rij.id);   // MOET, anders vinden de playlists hem niet
@@ -552 +557 @@
             continue;
           }
+          // De rij is weg maar de mapping staat er nog. Dan is opnieuw ophalen
+          // precies wat je wilt, dus we vallen door naar de gewone tak.
         }
         const bron = a.url && (typeof a.url === 'string' ? a.url : (Array.isArray(a.url) ? (a.url[0] && (a.url[0].href || a.url[0])) : a.url.href));
@@ -576 +583 @@
           else rapport.waarschuwingen.push(`hoes niet opgehaald: ${a.name || hoesUrl}`);
         }
+        const trackId = crypto.randomUUID();
         const mediaId = crypto.randomUUID();
         try {
@@ -643 +651 @@
           continue;
         }
+        // Bestond hij al? Dan dezelfde rij bijwerken. Zonder deze stap levert
+        // elke tweede ronde een dubbele plaat op.
+        const eerderPl = migrationTarget(site.slug, uri);
         // De hoes van de plaat, net als bij een nummer.
         let plHoes = null;
@@ -654 +665 @@
           else rapport.waarschuwingen.push(`hoes van playlist niet opgehaald: ${plc.name || uri}`);
         }
-        // Ook hier het id van de bron. Dan blijft [[playlist:<id>]] in een
-        // bericht wijzen, en is een tweede ronde vanzelf dezelfde rij.
-        const plId = ruwId(uri) || crypto.randomUUID();
+        const plId = (() => {
+          if (!eerderPl) return crypto.randomUUID();
+          const bestaand = String(eerderPl).split('/').pop();
+          return db.prepare('SELECT 1 FROM playlists WHERE id = ? AND site_id = ?').get(bestaand, site.id)
+            ? bestaand : crypto.randomUUID();
+        })();
         try {
           db.prepare(`INSERT INTO playlists (id, site_id, title, artist, year, kind, cover_url) VALUES (?,?,?,?,?,?,?)

test/archive-import.test.js

@@ -126 +126 @@
 });
 
-test('een andere origin geeft een nieuw AP-adres, maar het interne id BLIJFT', () => {
-  // Omgedraaid op 14-8 (Robin: "altijd behouden"). Het interne id is niet
-  // hetzelfde als de AP-URI: https://nieuw/ap/notes/<id> is een ander adres dan
-  // https://oud/ap/notes/<id>, dus je claimt niets van een ander door het GUID
-  // te hergebruiken. Wat je wint is dat elke INTERNE verwijzing blijft kloppen.
-  //
-  // Het oude gedrag brak precies dat: een post uit de zip hield
-  // [[track:<oud id>]] in zijn tekst terwijl het nummer een nieuw id kreeg, en
-  // dan zie je de shorthand als kale tekst in je bericht staan.
+test('een andere origin levert NIEUWE ids op, met een waarschuwing', () => {
+  // Oude ids houden op een ander domein zou objecten publiceren onder een id dat
+  // je niet beheert -- andere servers halen dat daar op, en het is bovendien een
+  // vervalsingsoppervlak.
   leeg();
   const files = new Map(ARCHIEF.files);
@@ -141 +136 @@
   files.set('manifest.json', Buffer.from(JSON.stringify(m)));
   const r = AI.importArchive(files, { slug: 'me' });
-  assert.equal(r.idsBehouden, false, 'de AP-URI verandert wel, en dat blijft gemeld');
+  assert.equal(r.idsBehouden, false);
   assert.match(r.waarschuwingen.join(' '), /origin verschilt/);
-  assert.equal(db.prepare("SELECT COUNT(*) AS n FROM posts WHERE id = 'zwaar'").get().n, 1,
-    'het interne id komt ongewijzigd terug');
-  assert.equal(db.prepare('SELECT COUNT(*) AS n FROM posts').get().n, 1);
+  assert.equal(db.prepare("SELECT COUNT(*) AS n FROM posts WHERE id = 'zwaar'").get().n, 0);
+  assert.equal(db.prepare('SELECT COUNT(*) AS n FROM posts').get().n, 1, 'wel geimporteerd, met een nieuw id');
 });
 

test/fep1580-migration.test.js

@@ -481 +481 @@
 });
 
-test('de [[track:]]-verwijzing in een bericht blijft naar een bestaand nummer wijzen', async () => {
+test('de [[track:]]-verwijzing in een bericht wordt bijgetrokken', async () => {
   // Wat Robin op TikTik zag: het bericht toonde de shorthand zelf in plaats van
   // een speler. Zijn posts kwamen uit de ZIP (die bewaart posts.content
@@ -515 +515 @@
   }));
 
-  // DE EIS, ongeacht hoe: na een verhuizing wijst de shorthand naar een nummer
-  // dat hier bestaat. Sinds "altijd behouden" (14-8) klopt dat meestal vanzelf,
-  // want het id verandert niet meer. Botst het id wel, dan trekt de ingest de
-  // tekst bij. Deze test toetst de UITKOMST en niet de route ernaartoe.
   const inhoud = db.prepare("SELECT content FROM posts WHERE id = 'pz'").get().content;
   const m = /\[\[track:([^\]]+)\]\]/.exec(inhoud);
-  assert.ok(m, 'de shorthand blijft staan');
+  assert.ok(m, 'de shorthand blijft staan, alleen het id verandert');
+  assert.notEqual(m[1], 't-oud', 'het oude id wijst hier nergens heen');
   const bestaat = db.prepare('SELECT 1 FROM audio_tracks WHERE id = ? AND site_id = ?').get(m[1], 's1');
-  assert.ok(bestaat, `[[track:${m[1]}]] hoort bij een nummer dat er echt is`);
-  assert.equal(m[1], 't-oud', 'en omdat het id behouden blijft, hoefde er niets herschreven');
-});
-
-test('botst het track-id wel, dan wordt de tekst bijgetrokken', async () => {
-  // Het vangnet. "Altijd behouden" kan niet als er hier al iets anders met dat
-  // id staat; dan krijgt het nummer een ander id en moet de shorthand mee.
-  const s2 = site({ aliases: [BRON] });
-  db.prepare(`INSERT INTO posts (id, site_id, author_id, slug, title, content, status, published_at)
-              VALUES ('pb','s1','u1','botsing','Botsing','<p>[[track:t-bots]]</p>','published','2026-08-13T10:00:00Z')`).run();
-  // Een nummer dat hier AL bestaat onder datzelfde id, van iets anders.
-  db.prepare("INSERT INTO media (id, site_id, filename, mime_type, size, storage_path) VALUES ('mx','s1','x.mp3','audio/mpeg',1,'/x')").run();
-  db.prepare("INSERT INTO audio_tracks (id, site_id, title, media_id) VALUES ('t-bots','s1','Al van mij','mx')").run();
-
-  const kaart2 = new Map([
-    [BRON, { id: BRON, type: 'Person', movedTo: IK, outbox: `${BRON}/outbox`, streams: [`${BRON}/tracks`] }],
-    [`${BRON}/outbox`, { type: 'OrderedCollection', orderedItems: [] }],
-    [`${BRON}/tracks`, {
-      type: 'OrderedCollection',
-      orderedItems: [{
-        id: `${BRON}/tracks/t-bots`, type: 'Audio', name: 'Van de bron',
-        url: [{ type: 'Link', href: `${BRON}/audio/y.mp3`, mediaType: 'audio/mpeg' }],
-      }],
-    }],
-  ]);
-  await stil(() => Mig.ingestFromSource(s2, {
-    deps: {
-      getJson: async (_slug, url) => kaart2.get(url) || null,
-      noteId: (b, id) => `${b}/ap/notes/${id}`,
-      noteVisibility: AP.noteVisibility,
-      audioRoot: '/nep/audio', mediaRoot: '/nep/media',
-      signHeaders: () => ({ Signature: 'nep' }),
-      safeFetch: async () => ({ ok: true, arrayBuffer: async () => Buffer.from('y'), headers: { get: () => 'audio/mpeg' } }),
-      fs: { mkdirSync() {}, writeFileSync() {} },
-      path,
-    },
-  }));
-  // Het bestaande nummer blijft van jou; de tekst wijst naar iets dat bestaat.
-  const inhoud = db.prepare("SELECT content FROM posts WHERE id = 'pb'").get().content;
-  const m = /\[\[track:([^\]]+)\]\]/.exec(inhoud);
-  assert.ok(m);
-  assert.ok(db.prepare('SELECT 1 FROM audio_tracks WHERE id = ? AND site_id = ?').get(m[1], 's1'),
-    'wat er ook gebeurde met het id, de verwijzing wijst naar een bestaand nummer');
+  assert.ok(bestaat, 'en het nieuwe id hoort bij een nummer dat er echt is');
 });