scripte/nexarch
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

FDN-04: job-queue & worker-runtime

Browse Source 
Postgres-Jobqueue (processing_jobs, FOR UPDATE SKIP LOCKED), In-Prozess-
Worker-Goroutinen, kein Redis/AMQP. Enqueue mit Idempotency-Key-Dedup,
Dequeue mit Stale-Lock-Wiedervorlage (Absturzsicherheit), Fail mit
arithmetischem Backoff und Dead-Letter-Queue nach erschoepften Versuchen,
RequeueDeadLetter fuer manuelle Wiederholung.

Auf 192.168.1.131 verifiziert: Absturz-Wiedervorlage (Job von einem
"abgestuerzten" Worker nie completed/failed, zweiter Worker holt ihn nach
Ablauf der Sperre erneut), Idempotenz bei Doppelzustellung (gleicher
idempotency_key erzeugt nur 1 Zeile), DLQ-Eintrag manuell wiederholbar.

Vier reale Fehler beim Testen gefunden und behoben: zwei pgx-Typinferenz-
Bugs im SQL-Parameterhandling (toter workerID-Parameter ohne Referenz in
der Query; untypisiertes any statt []string fuer den ::text[]-Cast), sowie
zwei Testinfrastruktur-Bugs (dms_tenant_test sammelte schema_migrations-
Zustand ueber Sitzungen hinweg an, jobqueue-Testfixture raeumte
processing_jobs nicht auf) - neues scripts/reset-test-env.sh + make check
(-p 1) analog Core behoben.

Siehe dms/docs/FDN-04-PRUEFPROTOKOLL.md fuer alle Pruefungsergebnisse.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_01HhgFcLS8tYMhDJpP74C6AQ
This commit is contained in:
sysops
2026-08-29 20:58:26 +02:00
co-authored by Claude Sonnet 5
parent a9ede93176
commit bfea94b032
10 changed files with 825 additions and 13 deletions
Download Patch File Download Diff File Expand all files Collapse all files
dms/internal/migrate/migrate_test.go
+20 -11
View File
@@ -121,27 +121,36 @@ func TestDownOne_RestoresPreviousState(t *testing.T) {
t.Fatal("voraussetzung nicht erfuellt: documents sollte nach Up existieren")
}
version, err := DownOne(ctx, pool, migrations)
if err != nil {
t.Fatalf("downone: %v", err)
}
if version == "" {
t.Fatal("erwartet zurueckgerollte version, habe leeren string")
// DownOne rollt IMMER nur die zuletzt angewendete Migration zurueck
// (dokumentiertes Verhalten) — bei mehreren Migrationen (z.B. FDN-02
// documents + FDN-04 processing_jobs) muss man entsprechend oft
// aufrufen. Anzahl der Wiederholungen richtet sich NICHT nach dem
// Rueckgabewert von Up() (der nur die in DIESEM Aufruf NEU angewendeten
// Migrationen zaehlt, siehe Kommentar an Up) — stattdessen wird
// wiederholt, bis DownOne "" liefert (schema_migrations leer).
for i := 0; i < len(migrations); i++ {
version, err := DownOne(ctx, pool, migrations)
if err != nil {
t.Fatalf("downone (lauf %d): %v", i, err)
}
if version == "" {
break
}
}
for _, table := range []string{"folders", "documents", "file_revisions", "tags", "document_tags", "metadata_fields", "document_metadata_values"} {
for _, table := range []string{"folders", "documents", "file_revisions", "tags", "document_tags", "metadata_fields", "document_metadata_values", "processing_jobs"} {
if tableExists(t, ctx, pool, table) {
t.Fatalf("tabelle %q existiert nach Rollback noch - Vorzustand nicht wiederhergestellt", table)
t.Fatalf("tabelle %q existiert nach vollstaendigem Rollback noch - Vorzustand nicht wiederhergestellt", table)
}
}
// Erneutes DownOne ohne verbleibende angewendete Migration liefert "".
version2, err := DownOne(ctx, pool, migrations)
versionAfterAll, err := DownOne(ctx, pool, migrations)
if err != nil {
t.Fatalf("downone (nichts mehr anzuwenden): %v", err)
}
if version2 != "" {
t.Fatalf("erwartet leeren string bei leerer schema_migrations, habe %q", version2)
if versionAfterAll != "" {
t.Fatalf("erwartet leeren string bei leerer schema_migrations, habe %q", versionAfterAll)
}
}