Changeset eb071a7 in Klonkt for src/services/MigrationService.js

Timestamp:

08/14/2026 12:12:58 AM (4 weeks ago)

Author:

Robin <roboburr@…>

Branches:

main

Children:

919b82d

Parents:

98acb97

Message:

Een tweede ronde vult aan in plaats van over te slaan

Robin vroeg of hij eerst moest opschonen. Bij het uitzoeken bleek dat het
antwoord "ja" had moeten zijn, en dat dat een val in mijn eigen ontwerp was.

De ingest onthield per bron-URI dat hij hem gehad had, en passeerde hem daarna
altijd. Dat is prima zolang er niets verandert, maar er kwam juist iets bij:
hoezen, duur en playlists. Wie al opgehaald had zat vast. Opnieuw drukken sloeg
alles over, en opruimen hielp niet, want die blokkade zat in ap_migration en
niet in de tracks. Je zou drie dingen tegelijk moeten wissen om er los te komen,
en dat is geen opdracht die je een gebruiker geeft.

Nu kijkt hij op waar een bron-URI hier terechtkwam, en vult LEGE velden aan op
de rij die er al staat. Wat je zelf hebt aangepast blijft staan: een migratie
hoort je correcties niet terug te draaien. Het geluidsbestand wordt niet opnieuw
gedownload. Playlists werken hetzelfde: dezelfde rij, en de volgorde opnieuw
gezet, want een half bijgewerkte volgorde is erger dan een verse.

Gemeten op de gemeten stand van soundfabrics.nl (139 nummers met bestand, geen
hoes, geen duur, geen playlist), nagebouwd met 3 nummers:

ronde 1 3 nummers binnen, geen hoes, duur 212s uit PT212S
ronde 2 0 erbij, 3 aangevuld, 1 playlist, geen dubbele, mp3 niet opnieuw
ronde 3 0 aangevuld, alles compleet, niets verandert

Changed files:
src/services/MigrationService.js

• migrationTarget(): waar kwam deze bron-URI terecht
• tracks worden aangevuld in plaats van gepasseerd; alleen lege velden
• de trackkaart wordt OOK in die tak gevuld, anders vinden de playlists hun nummers niet en komt er geen plaat
• playlists werken dezelfde kant op, met hun eigen mapping

src/views/pages/admin-migrate.ejs

• "nummers aangevuld" en playlists in het ophaalverslag; anders meldt een ronde die drie nummers compleet maakte "0 erbij gekomen"

src/services/i18n.js

• mig.r_tracks_updated in nl/en/de

remarks: het verslag zegt ook "1 playlists" als er niets aan die plaat
veranderde, want de volgorde wordt elke ronde opnieuw gezet. Klopt wel, leest
iets te groot. Robin hoeft nu niets op te schonen: een keer ophalen na de uitrol
volstaat.

-robo
Co-Authored-By: Claude Opus 4.8 <noreply@…>

File:

• src/services/MigrationService.js (modified) (4 diffs)

src/services/MigrationService.js

@@ -84 +84 @@
 export function alGemigreerd(slug, origin) {
   try { return !!db.prepare('SELECT 1 FROM ap_migration WHERE slug = ? AND origin = ?').get(slug, String(origin)); } catch { return false; }
+}
+
+/**
+ * Waar kwam deze bron-URI hier terecht? Null als hij nog niet gemigreerd is.
+ *
+ * Bestaat omdat "al gehad" en "overslaan" niet hetzelfde horen te zijn. Een
+ * tweede ronde na een uitgebreide ingest (hoezen, duur, playlists erbij) moet
+ * de bestaande nummers KUNNEN AANVULLEN in plaats van ze te passeren. Deed hij
+ * dat niet, dan zat je vast: opnieuw ophalen sloeg alles over, en opruimen hielp
+ * niet omdat deze tabel de blokkade in stand hield.
+ */
+export function migrationTarget(slug, origin) {
+  try {
+    const r = db.prepare('SELECT target FROM ap_migration WHERE slug = ? AND origin = ?').get(slug, String(origin));
+    return r ? r.target : null;
+  } catch { return null; }
 }
 
@@ -346 +362 @@
   const rapport = {
     bron: bronActor.id, posts: 0, overgeslagen: 0, media: 0, mediaMislukt: 0,
-    blocks: 0, tracksBinnen: 0, tracksMislukt: 0, overgeslagenTracks: 0,
+    blocks: 0, tracksBinnen: 0, tracksMislukt: 0, tracksBijgewerkt: 0, overgeslagenTracks: 0,
     playlistsBinnen: 0, playlistsMislukt: 0, waarschuwingen: [],
   };
@@ -480 +496 @@
         if (!a || !a.id) continue;
         if (a.type && a.type !== 'Audio') continue;
-        if (alGemigreerd(site.slug, a.id)) { rapport.overgeslagenTracks++; continue; }
+        // AL BINNEN? Dan AANVULLEN, niet overslaan. Een tweede ronde bestaat
+        // juist omdat er iets bij is gekomen (hoezen, duur, playlists), en een
+        // pull die dan alles passeert laat je met een half resultaat zitten
+        // zonder uitweg: opruimen hielp niet, want deze tabel hield de blokkade
+        // in stand.
+        //
+        // Alleen LEGE velden worden gevuld. Wat jij zelf hebt aangepast blijft
+        // staan; een migratie hoort je correcties niet terug te draaien.
+        const eerder = migrationTarget(site.slug, a.id);
+        if (eerder) {
+          const lokaalId = String(eerder).split('/').pop();
+          const rij = db.prepare('SELECT id, cover_url, duration, artist FROM audio_tracks WHERE id = ? AND site_id = ?')
+            .get(lokaalId, site.id);
+          if (rij) {
+            trackKaart.set(String(a.id), rij.id);   // MOET, anders vinden de playlists hem niet
+            const duur = rij.duration ? null : duurSeconden(a.duration);
+            const artiest = rij.artist ? null : (a.summary || a.artist || null);
+            let hoes = null;
+            const hUrl = (a.icon && (a.icon.url || a.icon)) || (a.image && (a.image.url || a.image)) || null;
+            if (!rij.cover_url && hUrl && /^https?:\/\//i.test(String(hUrl)) && safeFetch && fs && path && mediaRoot) {
+              const h = await haalBijlage(String(hUrl), {
+                safeFetch, mediaRoot, fs, path, maxBytes,
+                headers: signHeaders ? signHeaders(site.slug, String(hUrl), '*/*') : null,
+              }).catch(() => null);
+              if (h) { hoes = h.url; rapport.media++; }
+            }
+            if (duur || artiest || hoes) {
+              db.prepare(`UPDATE audio_tracks SET
+                            duration = COALESCE(?, duration),
+                            artist = COALESCE(?, artist),
+                            cover_url = COALESCE(?, cover_url)
+                          WHERE id = ?`).run(duur, artiest, hoes, rij.id);
+              rapport.tracksBijgewerkt++;
+            } else {
+              rapport.overgeslagenTracks++;
+            }
+            continue;
+          }
+          // De rij is weg maar de mapping staat er nog. Dan is opnieuw ophalen
+          // precies wat je wilt, dus we vallen door naar de gewone tak.
+        }
         const bron = a.url && (typeof a.url === 'string' ? a.url : (Array.isArray(a.url) ? (a.url[0] && (a.url[0].href || a.url[0])) : a.url.href));
         if (!bron || !/^https?:\/\//i.test(String(bron))) { rapport.tracksMislukt++; continue; }
@@ -549 +605 @@
           continue;
         }
-        const plId = crypto.randomUUID();
+        // Bestond hij al? Dan dezelfde rij bijwerken. Zonder deze stap levert
+        // elke tweede ronde een dubbele plaat op.
+        const eerderPl = migrationTarget(site.slug, uri);
+        const plId = (() => {
+          if (!eerderPl) return crypto.randomUUID();
+          const bestaand = String(eerderPl).split('/').pop();
+          return db.prepare('SELECT 1 FROM playlists WHERE id = ? AND site_id = ?').get(bestaand, site.id)
+            ? bestaand : crypto.randomUUID();
+        })();
         try {
-          db.prepare('INSERT INTO playlists (id, site_id, title, artist, year, kind) VALUES (?,?,?,?,?,?)')
-            .run(plId, site.id, plc.name || 'zonder titel', plc.attributedTo && plc.artist || plc.artist || null,
+          db.prepare(`INSERT INTO playlists (id, site_id, title, artist, year, kind) VALUES (?,?,?,?,?,?)
+                      ON CONFLICT(id) DO UPDATE SET title = excluded.title, artist = COALESCE(playlists.artist, excluded.artist)`)
+            .run(plId, site.id, plc.name || 'zonder titel', plc.artist || null,
               plc.year || null, plc['shaer:kind'] || null);
+          // De volgorde opnieuw zetten: die IS de plaat, en een halve
+          // bijgewerkte volgorde is erger dan een verse.
+          db.prepare('DELETE FROM playlist_tracks WHERE playlist_id = ?').run(plId);
           const ins = db.prepare('INSERT OR IGNORE INTO playlist_tracks (playlist_id, track_id, position) VALUES (?,?,?)');
           nummers.forEach((tid, i) => ins.run(plId, tid, i));
+          recordMigrated(site.slug, { origin: uri, target: `${me}/ap/playlists/${plId}`, sourceActor: bronActor.id, isPublic: false });
           rapport.playlistsBinnen++;
           const kwijt = (plc.orderedItems || plc.items || []).length - nummers.length;