feat(archive): BAK-03 Restore-Verfahren fuer Datenbank und Objekt-Storage

internal/restore: Atomarer Restore ueber Temp-Verzeichnis + Rename,
nicht-leeres Ziel ohne -force bricht VOR jeder Beruehrung ab, JSONL-
Protokoll jedes Laufs. Drei reale Defekte beim Bau gefunden und behoben:
pg_combinebackup braucht Plain- statt Tar-Format (Extraktionsschritt
ergaenzt), pg_wal.tar.gz wurde nie verifiziert/wiederhergestellt (BAK-01s
Verify jetzt erweitert), Go-exec haengt bei pg_ctl start wegen vererbter
Pipes (Testfix: echte Logdatei statt CombinedOutput). Beide Restore-Pfade
real auf 131 ueber restore-cli nachgewiesen, inkl. echtem Postgres-Start
aus wiederhergestelltem Verzeichnis.

archive/cmd/restore-cli/main.go

@@ -0,0 +1,104 @@
+// restore-cli ist der Aufrufpunkt fuer BAK-03: dokumentiertes,
+// wiederholbares Restore-Verfahren fuer Datenbank (BAK-01) und
+// Objekt-Storage (BAK-02). Kein systemd-Timer (Notfall-/Einzelfall-
+// Werkzeug, kein Zeitplan) - manueller Aufruf mit expliziter Bestaetigung
+// bei nicht-leerem Ziel.
+package main
+
+import (
+	"context"
+	"flag"
+	"fmt"
+	"log"
+	"os"
+
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/backup"
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/objectbackup"
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/restore"
+)
+
+func main() {
+	if len(os.Args) < 2 {
+		usage()
+		os.Exit(2)
+	}
+
+	logPath := os.Getenv("NEXARCH_RESTORE_LOG")
+	if logPath == "" {
+		logPath = "/var/nexarch-archiv/restore.log"
+	}
+
+	switch os.Args[1] {
+	case "database":
+		runDatabase(logPath, os.Args[2:])
+	case "objects":
+		runObjects(logPath, os.Args[2:])
+	default:
+		usage()
+		os.Exit(2)
+	}
+}
+
+func usage() {
+	fmt.Fprintln(os.Stderr, "usage: restore-cli database [-force] <generation-id> <ziel-verzeichnis>")
+	fmt.Fprintln(os.Stderr, "       restore-cli objects  [-force] <snapshot-id>    <ziel-verzeichnis>")
+	fmt.Fprintln(os.Stderr, "(Flag -force MUSS vor den Positionsargumenten stehen, Standardverhalten des Go-flag-Pakets)")
+}
+
+func runDatabase(logPath string, args []string) {
+	fs := flag.NewFlagSet("database", flag.ExitOnError)
+	force := fs.Bool("force", false, "bestehenden, nicht-leeren Inhalt im Zielverzeichnis ersetzen")
+	if err := fs.Parse(args); err != nil {
+		os.Exit(2)
+	}
+	if fs.NArg() != 2 {
+		usage()
+		os.Exit(2)
+	}
+	generationID, target := fs.Arg(0), fs.Arg(1)
+
+	cfg := backup.Config{
+		Host:      os.Getenv("NEXARCH_BACKUP_PG_HOST"),
+		Port:      os.Getenv("NEXARCH_BACKUP_PG_PORT"),
+		User:      os.Getenv("NEXARCH_BACKUP_PG_USER"),
+		Password:  os.Getenv("NEXARCH_BACKUP_PG_PASSWORD"),
+		BackupDir: os.Getenv("NEXARCH_BACKUP_DIR"),
+	}
+	ctx := context.Background()
+
+	entry, err := restore.AtomicRestore(restore.KindDatabase, generationID, target, *force, logPath, func(tempDir string) error {
+		return backup.Restore(ctx, cfg, generationID, tempDir)
+	})
+	report(entry, err)
+}
+
+func runObjects(logPath string, args []string) {
+	fs := flag.NewFlagSet("objects", flag.ExitOnError)
+	force := fs.Bool("force", false, "bestehenden, nicht-leeren Inhalt im Zielverzeichnis ersetzen")
+	if err := fs.Parse(args); err != nil {
+		os.Exit(2)
+	}
+	if fs.NArg() != 2 {
+		usage()
+		os.Exit(2)
+	}
+	snapshotID, target := fs.Arg(0), fs.Arg(1)
+
+	cfg := objectbackup.Config{
+		RepoDir:  os.Getenv("NEXARCH_OBJECTBACKUP_REPO_DIR"),
+		Password: os.Getenv("NEXARCH_OBJECTBACKUP_PASSWORD"),
+	}
+	ctx := context.Background()
+
+	entry, err := restore.AtomicRestore(restore.KindObjects, snapshotID, target, *force, logPath, func(tempDir string) error {
+		return objectbackup.Restore(ctx, cfg, snapshotID, tempDir)
+	})
+	report(entry, err)
+}
+
+func report(entry restore.LogEntry, err error) {
+	fmt.Printf("restore %s: quelle=%s ziel=%s ergebnis=%s\n", entry.Kind, entry.Source, entry.Target, entry.Result)
+	if err != nil {
+		log.Fatalf("restore fehlgeschlagen: %v", err)
+	}
+}

archive/cmd/scrub-cli/main.go

@@ -0,0 +1,144 @@
+// scrub-cli ist der Aufrufpunkt fuer BAK-08 (systemd-Timer, konfigurierbare
+// Kadenz) — zieht eine Stichprobe existierender Objekte (BAK-05 als
+// Existenz-Quelle), prueft deren Inhalt per SHA-256 gegen
+// file_revisions.checksum_sha256, meldet Abweichungen (kein Auto-Repair)
+// und schreibt den Befund-Zaehler fuer den OPS-05/OPS-03-Metrik-Export.
+package main
+
+import (
+	"context"
+	"encoding/json"
+	"log"
+	"os"
+	"strconv"
+	"time"
+
+	"github.com/jackc/pgx/v5/pgxpool"
+
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/reconcile"
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/scrub"
+)
+
+type finding struct {
+	StorageKey string `json:"storage_key"`
+	DocumentID string `json:"document_id"`
+	RevisionID string `json:"revision_id"`
+	Expected   string `json:"expected_checksum"`
+	Actual     string `json:"actual_checksum,omitempty"`
+	Error      string `json:"error,omitempty"`
+}
+
+type report struct {
+	GeneratedAt time.Time `json:"generated_at"`
+	Sampled     int       `json:"sampled"`
+	Findings    []finding `json:"findings"`
+}
+
+func main() {
+	dsn := os.Getenv("NEXARCH_SCRUB_TENANT_DSN")
+	storageDir := os.Getenv("NEXARCH_SCRUB_STORAGE_DIR")
+	if dsn == "" || storageDir == "" {
+		log.Fatal("NEXARCH_SCRUB_TENANT_DSN und NEXARCH_SCRUB_STORAGE_DIR muessen gesetzt sein")
+	}
+	sampleSize := envInt("NEXARCH_SCRUB_SAMPLE_SIZE", 10)
+	cooldown := envDuration("NEXARCH_SCRUB_COOLDOWN", 24*time.Hour)
+
+	ctx := context.Background()
+	pool, err := pgxpool.New(ctx, dsn)
+	if err != nil {
+		log.Fatalf("datenbankverbindung: %v", err)
+	}
+	defer pool.Close()
+
+	dbEntries, err := reconcile.ListDBStorageKeys(ctx, pool)
+	if err != nil {
+		log.Fatalf("datenbank-eintraege lesen: %v", err)
+	}
+	storageKeys, err := reconcile.ListStorageObjects(storageDir)
+	if err != nil {
+		log.Fatalf("objekt-storage durchlaufen: %v", err)
+	}
+	rec := reconcile.Reconcile(dbEntries, storageKeys)
+
+	lastScrubbed, err := scrub.LoadLastScrubbed(ctx, pool)
+	if err != nil {
+		log.Fatalf("scrub-zustand lesen: %v", err)
+	}
+
+	now := time.Now().UTC()
+	candidates := scrub.Sample(rec.ExistingInStorage, lastScrubbed, cooldown, sampleSize, now)
+
+	keys := make([]string, 0, len(candidates))
+	for _, c := range candidates {
+		keys = append(keys, c.StorageKey)
+	}
+	expected, err := scrub.ExpectedChecksums(ctx, pool, keys)
+	if err != nil {
+		log.Fatalf("erwartete pruefsummen lesen: %v", err)
+	}
+
+	rep := report{GeneratedAt: now, Sampled: len(candidates)}
+	for _, c := range candidates {
+		exp, known := expected[c.StorageKey]
+		if !known {
+			// Objekt in DB nicht (mehr) auffindbar - das ist BAK-05s
+			// Zustaendigkeit (existiert der Datenbankeintrag?), nicht
+			// dieses Jobs; ueberspringen ohne Markierung.
+			continue
+		}
+		actual, readErr := scrub.ActualChecksum(storageDir, c.StorageKey)
+		ok := readErr == nil && actual == exp
+		if err := scrub.MarkScrubbed(ctx, pool, c.StorageKey, ok, now); err != nil {
+			log.Fatalf("scrub-zustand schreiben: %v", err)
+		}
+		if !ok {
+			f := finding{StorageKey: c.StorageKey, DocumentID: c.DocumentID, RevisionID: c.RevisionID, Expected: exp, Actual: actual}
+			if readErr != nil {
+				f.Error = readErr.Error()
+			}
+			rep.Findings = append(rep.Findings, f)
+			if err := scrub.RecordFinding(ctx, pool); err != nil {
+				log.Fatalf("befund-zaehler erhoehen: %v", err)
+			}
+		}
+	}
+
+	encoder := json.NewEncoder(os.Stdout)
+	encoder.SetIndent("", "  ")
+	if err := encoder.Encode(rep); err != nil {
+		log.Fatalf("bericht ausgeben: %v", err)
+	}
+
+	// Befund wird gemeldet, nicht automatisch repariert (Akzeptanzkriterium
+	// 3) - der Exit-Code macht das fuer systemd/Monitoring sichtbar, ohne
+	// selbst etwas zu reparieren; die tatsaechliche Meldung an OPS-05
+	// laeuft ueber den separaten /metrics-Export (cmd/scrub-metrics), nicht
+	// ueber diesen Exit-Code.
+	if len(rep.Findings) > 0 {
+		os.Exit(1)
+	}
+}
+
+func envInt(name string, def int) int {
+	v := os.Getenv(name)
+	if v == "" {
+		return def
+	}
+	n, err := strconv.Atoi(v)
+	if err != nil {
+		log.Fatalf("%s: ungueltiger wert %q: %v", name, v, err)
+	}
+	return n
+}
+
+func envDuration(name string, def time.Duration) time.Duration {
+	v := os.Getenv(name)
+	if v == "" {
+		return def
+	}
+	d, err := time.ParseDuration(v)
+	if err != nil {
+		log.Fatalf("%s: ungueltiger wert %q: %v", name, v, err)
+	}
+	return d
+}

archive/cmd/scrub-metrics/main.go

@@ -0,0 +1,62 @@
+// scrub-metrics stellt BAK-08s Befund-Zaehler unter /metrics bereit — die
+// OPS-05-Anbindung ist Pull-basiert (Core OPS-03 scrapt /metrics-URLs, kein
+// Push-Mechanismus), daher braucht es einen eigenen, dauerhaft laufenden
+// HTTP-Endpunkt getrennt vom Oneshot-scrub-cli (dessen Prozess nach jedem
+// Lauf beendet ist und daher zum Scrape-Zeitpunkt nicht erreichbar waere).
+package main
+
+import (
+	"context"
+	"fmt"
+	"log"
+	"net/http"
+	"os"
+
+	"github.com/jackc/pgx/v5/pgxpool"
+
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/scrub"
+)
+
+func main() {
+	dsn := os.Getenv("NEXARCH_SCRUB_TENANT_DSN")
+	if dsn == "" {
+		log.Fatal("NEXARCH_SCRUB_TENANT_DSN muss gesetzt sein")
+	}
+	addr := os.Getenv("NEXARCH_SCRUB_METRICS_LISTEN_ADDR")
+	if addr == "" {
+		addr = ":8090"
+	}
+
+	ctx := context.Background()
+	pool, err := pgxpool.New(ctx, dsn)
+	if err != nil {
+		log.Fatalf("datenbankverbindung: %v", err)
+	}
+	defer pool.Close()
+
+	mux := http.NewServeMux()
+	mux.HandleFunc("/metrics", func(w http.ResponseWriter, r *http.Request) {
+		total, err := scrub.FindingsTotal(r.Context(), pool)
+		if err != nil {
+			http.Error(w, err.Error(), http.StatusInternalServerError)
+			return
+		}
+		w.Header().Set("Content-Type", "text/plain; version=0.0.4")
+		// Counter (Akzeptanzkriterium/Nutzervorgabe: monoton steigend, kein
+		// Gauge) - kein Befund => Wert 0, kein Dauer-Alarm ("kein Befund
+		// bedeutet kein Alarm", nicht "kein Wert").
+		body := fmt.Sprintf(
+			"# HELP nexarch_archive_storage_integrity_failures_total Anzahl seit Einrichtung gefundener Pruefsummen-Abweichungen (BAK-08).\n"+
+				"# TYPE nexarch_archive_storage_integrity_failures_total counter\n"+
+				"nexarch_archive_storage_integrity_failures_total %d\n", total)
+		if _, err := w.Write([]byte(body)); err != nil {
+			log.Printf("scrub-metrics: antwort schreiben: %v", err)
+		}
+	})
+	mux.HandleFunc("/healthz", func(w http.ResponseWriter, r *http.Request) { w.WriteHeader(http.StatusOK) })
+
+	log.Printf("scrub-metrics: listening on %s", addr)
+	if err := http.ListenAndServe(addr, mux); err != nil {
+		log.Fatalf("http server: %v", err)
+	}
+}

archive/docs/BAK-01-PRUEFPROTOKOLL.md

@@ -85,3 +85,13 @@ nachweislich am neuen Ort.
 real erfüllt — inklusive tatsächlicher systemd-Timer-Installation und
 manuell ausgelöstem End-to-End-Lauf aller drei Dienste auf dem Testhost,
 nicht nur isolierter Testcode.
+
+## Nachtrag (BAK-03): Verify prüft jetzt auch pg_wal.tar.gz
+
+Beim Bau von BAK-03s echtem Restore-Test fiel auf, dass `pg_basebackup`
+(Standard-WAL-Methode `stream`) bei `-Ft -z` NEBEN `base.tar.gz` eine
+zweite Archivdatei `pg_wal.tar.gz` erzeugt, die `Verify` bislang nie
+geprüft hat — eine Sicherung mit beschädigtem WAL-Archiv wäre unbemerkt
+nicht crash-konsistent wiederherstellbar gewesen. `Verify` prüft seither
+beide Archive vollständig (siehe `BAK-03-PRUEFPROTOKOLL.md`). Das
+Sicherungsverfahren selbst (Format, Ort, Rotation) bleibt unverändert.

archive/docs/BAK-03-PRUEFPROTOKOLL.md

@@ -0,0 +1,122 @@
+# BAK-03 – Prüfprotokoll: Restore-Verfahren
+
+Voraussetzungen BAK-01, BAK-02 – erledigt, siehe eigene Protokolle.
+
+## Grundsatzentscheidung: Atomarität über Temp-Verzeichnis + Rename
+
+`internal/restore.AtomicRestore` kennt weder Postgres noch restic —
+reine Ablaufsteuerung: Wiederherstellung IMMER in ein frisches
+temporäres Verzeichnis (nie direkt in das Ziel), Übernahme erst bei
+Erfolg per `os.Rename` (selbes Dateisystem wie das Ziel, daher atomar).
+Ist das Ziel nicht leer und keine Bestätigung (`-force`) gegeben, wird
+NICHT einmal die Wiederherstellungsfunktion aufgerufen — Abbruch vor
+jeder Berührung des Ziels (Akzeptanzkriterium 2). Jeder Aufruf — Erfolg,
+Abbruch oder Fehler — erzeugt genau einen JSONL-Protokolleintrag
+(Akzeptanzkriterium 3).
+
+Die eigentliche Wiederherstellung bleibt in `internal/backup.Restore`
+(Datenbank) und `internal/objectbackup.Restore` (Objekt-Storage) —
+`internal/restore` orchestriert nur.
+
+## Drei reale Defekte während der Implementierung gefunden und behoben
+
+Alle drei erst durch den ECHTEN Restore-Test (Postgres-Instanz tatsächlich
+gestartet, nicht nur Dateien verglichen) aufgedeckt:
+
+1. **`pg_combinebackup` braucht Plain-Format, BAK-01 liefert Tar+Gzip.**
+   `Restore` extrahiert jetzt jede Sicherungsstufe zunächst in ein
+   temporäres Plain-Verzeichnis (inkl. `backup_manifest`-Kopie) und
+   speist erst DIESE in `pg_combinebackup`. BAK-01s Speicherformat selbst
+   unverändert (kleinere, leichter prüfbare Dateien).
+2. **`pg_wal.tar.gz` wurde nie verifiziert oder wiederhergestellt.**
+   `pg_basebackup`s Standard-WAL-Methode (`stream`) erzeugt bei `-Ft -z`
+   eine ZWEITE Archivdatei neben `base.tar.gz` — ohne sie ist keine
+   crash-konsistente Wiederherstellung möglich (Postgres findet sonst
+   keinen gültigen Checkpoint). `backup.Verify` prüft jetzt BEIDE
+   Archive vollständig; `backup.Restore` extrahiert das WAL der ZULETZT
+   gezogenen Stufe (nicht aller Stufen) nach `pg_wal/` im
+   Wiederherstellungsziel. Ergänzung zu BAK-01s Prüfung, keine
+   Umstellung des Sicherungsverfahrens.
+3. **Go-`exec`-Hänger bei `pg_ctl start`:** `pg_ctl` startet Postgres als
+   Hintergrundprozess, der die geerbten stdout/stderr-Pipes NICHT
+   schließt — `CombinedOutput()` (wartet auf Pipe-EOF) hängt sich
+   dadurch auf, obwohl `pg_ctl` selbst längst zurückgekehrt ist. Fix nur
+   im Testcode: echte Logdatei (`-l`) statt Pipe, Standard-`pg_ctl`-Muster.
+
+Zusätzlich real (nicht Ticket-relevant, aber notiert): auf diesem
+Debian-Postgres liegen `postgresql.conf`/`pg_hba.conf` NICHT in PGDATA
+(sondern `/etc/postgresql/17/main/`) — ein echtes Restore-Runbook muss
+diese Dateien separat mitführen/rekonstruieren, `pg_basebackup` sichert
+sie nicht. Für den Testnachweis minimal nachgereicht, kein Produktcode.
+
+## Umsetzung
+
+- `internal/restore.AtomicRestore` — Ablaufsteuerung, JSONL-Protokoll
+  (`Timestamp`, `Kind`, `Source`, `Target`, `Result`).
+- `internal/backup.Restore` — `pg_combinebackup` gegen extrahierte
+  Plain-Verzeichnisse + WAL-Wiederherstellung der letzten Stufe.
+- `internal/backup.extractTarGz` (in `verify.go`, neben der bestehenden
+  Tar/Gzip-Leselogik) — vollständige Extraktion, kein Kopf-only-Read.
+- `internal/backup.Verify` — prüft jetzt `base.tar.gz` UND
+  `pg_wal.tar.gz` vollständig.
+- `internal/objectbackup.Restore` — `restic restore --target`.
+- `cmd/restore-cli` — `database`/`objects`-Unterbefehle, `-force`-Flag
+  (vor Positionsargumenten, Go-`flag`-Konvention), kein systemd-Timer
+  (Notfall-/Einzelfall-Werkzeug, kein Zeitplan).
+
+## Prüfungen
+
+| # | Prüfung | Ergebnis |
+|---|---|---|
+| 1 | Restore auf leerem System vollständig und erfolgreich durchgeführt | **bestanden** — real: `TestRestore_CombinesIntoStartablePostgresInstance` (Postgres tatsächlich aus wiederhergestelltem Verzeichnis gestartet, `SELECT 1` über echte Verbindung beantwortet); zusätzlich real per `restore-cli database` auf 131 ausgeführt (PG_VERSION/base/pg_wal vorhanden, Exit 0); `TestRestore_RecoversRealContentFromSnapshot` (Objekt-Storage, echter Dateiinhalt verglichen) UND real per `restore-cli objects` auf 131 (echter restic-Snapshot wiederhergestellt) |
+| 2 | Restore auf nicht-leeres Zielverzeichnis lässt bei Abbruch den ursprünglichen Inhalt unverändert | **bestanden** — `TestAtomicRestore_NonEmptyTargetWithoutForce_LeavesOriginalUntouched` (restoreFn wird nachweislich NIE aufgerufen) und `TestAtomicRestore_FailedRestoreFn_LeavesTargetUntouched`; real auf 131: `restore-cli database` gegen nicht-leeres Ziel ohne `-force` → Abbruch, bestehende Testdatei unverändert vorhanden |
+| 3 | Protokolleintrag zum Restore ist vollständig und nachvollziehbar | **bestanden** — `TestAtomicRestore_LogsCompleteEntry` (Quelle, Ziel, Zeitpunkt, Ergebnis für Erfolgs- UND Abbruchfall in derselben Datei); real auf 131: `/tmp/restore-cli-test.log` zeigt alle vier realen Läufe (Abbruch, Fehler mangels PATH, Erfolg, Force-Überschreiben) korrekt protokolliert |
+
+Zusätzlich: `TestAtomicRestore_EmptyTarget_Succeeds`,
+`TestAtomicRestore_ForceOverwritesNonEmptyTarget` (bewusste Bestätigung
+ersetzt bestehenden Inhalt real, alter Inhalt nachweislich weg, neuer da).
+
+## Echte Verdrahtung auf 192.168.1.131
+
+- `restore-cli` gebaut nach `/opt/nexarch-archive/bin/`
+- Kein systemd-Timer (bewusst — Notfall-/Einzelfall-Werkzeug)
+- Vier reale CLI-Läufe durchgeführt und protokolliert: Abbruch bei
+  nicht-leerem Ziel ohne `-force`, Fehler mangels `pg_combinebackup` im
+  PATH (zeigt: Fehler wird korrekt erkannt UND protokolliert, kein
+  stiller Fehlschlag), erfolgreicher Restore einer echten Generation
+  (`20260829T222054Z`) in leeres Ziel, erfolgreiches Überschreiben mit
+  `-force`. Objekt-Storage-Restore real gegen echten restic-Snapshot
+  (`43da36bf`) — Inhalt (`.placeholder`-Datei) tatsächlich vorhanden.
+- Alle Testartefakte (`/tmp/restore-*`, Testlog) nach Prüfung entfernt.
+
+## Build/Test-Ergebnis
+
+```
+go build ./...  -> clean
+go vet ./...    -> clean
+golangci-lint run ./...  -> 0 issues
+```
+
+`internal/restore`: 5/5 Tests (reine Funktionen, kein Setup nötig).
+`internal/objectbackup`: `TestRestore_RecoversRealContentFromSnapshot`
+bestanden (zusammen mit den bestehenden BAK-02-Tests).
+`internal/backup`: `TestRestore_CombinesIntoStartablePostgresInstance`
+bestanden — **Hinweis**: dieser eine Test läuft NICHT als root
+(`pg_ctl: cannot be run as root`) und braucht `pg_combinebackup`/
+`pg_ctl` im PATH (`/usr/lib/postgresql/17/bin` auf Debian, dort nicht
+standardmäßig verlinkt) — daher separat als `postgres`-Systemnutzer mit
+entsprechendem PATH ausgeführt, nicht Teil des root-`make check`-Laufs;
+dort wird er mit klarer Meldung übersprungen (`pg_combinebackup nicht
+installiert`), kein stiller Fehlschlag. Alle übrigen BAK-01-Tests
+(inkl. der um `pg_wal.tar.gz` erweiterten `Verify`) liefen unverändert
+grün im normalen `make check`-Lauf.
+
+## Gesamtergebnis
+
+**Bestanden.** Alle drei Akzeptanzkriterien und alle drei
+Pflichtprüfungen real erfüllt — beide Restore-Pfade (Datenbank,
+Objekt-Storage) sowohl testgetrieben als auch manuell über `restore-cli`
+auf echter Infrastruktur nachgewiesen. Drei während der Implementierung
+gefundene reale Defekte (Tar-vs-Plain-Format, fehlende WAL-Sicherung/
+-Verifikation, Go-exec-Pipe-Hänger) behoben und dokumentiert, nicht
+stillschweigend umgangen.

archive/docs/BAK-08-PRUEFPROTOKOLL.md

@@ -0,0 +1,140 @@
+# BAK-08 – Prüfprotokoll: Checksum-basierte Objekt-Integritätsprüfung
+
+Voraussetzungen BAK-05, FDN-04, FDN-09, OPS-05 – alle erledigt, siehe
+eigene Protokolle. Vor Start zwei offene Rückfragen geklärt (siehe unten).
+
+## Grundsatzentscheidung: eigener Zustand statt file_revisions.created_at
+
+`created_at` als Alterskriterium hätte immer dieselben "ältesten" Objekte
+gescrubbt und den Rest nie erreicht — kein echtes Rotationsverhalten.
+Stattdessen eigene Archive-Tabelle `scrub_state` (`storage_key` →
+`last_scrubbed_at`, `last_result`), Migration
+`migrations/0001_scrub_state.up.sql`. `internal/scrub.Sample` ist eine
+reine Funktion: nimmt BAK-05s `existing_in_storage` (deterministisch
+sortiert) entgegen, filtert Objekte innerhalb der konfigurierbaren
+Cooldown-Frist heraus, priorisiert danach nach `last_scrubbed_at`
+aufsteigend (nie geprüft = ältestmöglicher Wert), begrenzt auf die
+konfigurierte Stichprobengröße — kein Voll-Sort über den gesamten
+Bestand bei jedem Lauf (Nutzerhinweis zum Kostenfaktor bei 10⁵+
+Objekten: die WHERE-artige Cooldown-Filterung reduziert die Kandidatenmenge
+VOR der Sortierung, nur die Kandidaten selbst werden sortiert, nicht der
+komplette Bestand).
+
+## Nachtrag: zwei Rückfragen vor Implementierungsbeginn geklärt
+
+1. **OPS-05-Anbindung ist Pull, nicht Push.** OPS-05 (`internal/alerting`,
+   Core) ist real implementiert, aber Core OPS-03 scrapt `/metrics`-URLs
+   registrierter Module (`metrics_sources`-Tabelle in der Core-Registry-
+   DB, `SourceStore.RegisterSource`) — kein Push-API. Für BAK-08 daher
+   ein eigener, DAUERHAFT laufender Endpunkt (`cmd/scrub-metrics`,
+   getrennt vom Oneshot-`scrub-cli`, dessen Prozess nach jedem Lauf endet
+   und zum Scrape-Zeitpunkt nicht erreichbar wäre). Metrik als Counter
+   (`nexarch_archive_storage_integrity_failures_total`), monoton
+   steigend — kein Gauge, kein Rücksetzen bei behobenem Befund. Kein
+   Befund = Wert bleibt unverändert (kein Dauer-Alarm durch andauernden
+   "Fehler"-Zustand). Scope-Trennung gewahrt: `scrub-cli`/`scrub-metrics`
+   erzeugen selbst KEIN Alert-Objekt — Schwellwert/Drosselung bleiben
+   OPS-05-eigene Konfiguration (Alert-Regel wird separat über
+   `alerting.RuleStore.CreateRule` angelegt, nicht Teil dieses Tickets).
+   **CFG-04 war eine Verwechslung** (das ist die
+   Benachrichtigungs-Einstellungen-Oberfläche, ein anderes Ticket) — die
+   tatsächlich nötige "Config"-Aktion ist ein `INSERT` in
+   `metrics_sources` (Core-Registry-DB), kein UI/Ticket-Abhängigkeit.
+   Real ausgeführt (siehe „Echte Verdrahtung" unten).
+2. **Sampling-Kriterium.** Siehe Grundsatzentscheidung oben —
+   `scrub_state.last_scrubbed_at` statt `file_revisions.created_at`,
+   Cooldown-Filterung vor Sortierung, feste Stichprobengröße (Top-N,
+   deterministisch, keine Zufallsstichprobe — Nutzerpräferenz für
+   Reproduzierbarkeit im Protokoll).
+
+## Umsetzung
+
+- `migrations/0001_scrub_state.up.sql`/`.down.sql` — `scrub_state`,
+  `scrub_counters` (Einzelzeile, monotoner Zähler).
+- `internal/scrub.Sample` — reine Funktion, Cooldown-Filter + Alt-
+  Priorisierung + Stichprobenbegrenzung.
+- `internal/scrub.LoadLastScrubbed`/`MarkScrubbed`/`RecordFinding`/
+  `FindingsTotal` — DB-Zugriff auf `scrub_state`/`scrub_counters`,
+  `MarkScrubbed` idempotent (`ON CONFLICT`) für unterbrechbare Läufe.
+- `internal/scrub.ExpectedChecksums` — eigene, minimale Abfrage gegen
+  `file_revisions` (keine Erweiterung von `reconcile.DBEntry` — BAK-05
+  bleibt existenz-only).
+- `internal/scrub.ActualChecksum` — echtes Lesen der Datei + SHA-256,
+  kein Header-/Größenvergleich.
+- `cmd/scrub-cli` — Oneshot: BAK-05-Reconcile → `Sample` → pro Kandidat
+  Checksum-Vergleich → `MarkScrubbed` + bei Abweichung `RecordFinding` →
+  JSON-Bericht auf stdout, Exit-Code 1 bei Befunden (gemeldet, nicht
+  automatisch repariert).
+- `cmd/scrub-metrics` — dauerhafter `/metrics`-Endpunkt, liest
+  `scrub_counters.findings_total`.
+
+## Prüfungen
+
+| # | Prüfung | Ergebnis |
+|---|---|---|
+| 1 | Absichtlich veränderter Objektinhalt wird als Abweichung erkannt | **bestanden** — real: Testobjekt mit absichtlich falscher `checksum_sha256` in `dms_tenant_test` angelegt, echte Datei ins Storage-Verzeichnis gelegt, `scrub-cli` real über systemd ausgelöst: Befund im JSON-Bericht, Exit-Code 1, `scrub_counters.findings_total` real von 0 auf 1 erhöht (siehe Journal-Auszug unten) |
+| 2 | Sampling priorisiert alte/nie geprüfte Objekte, nicht neue | **bestanden** — `TestSample_PrioritizesNeverScrubbedAndOldest`: nie geprüftes Objekt kommt vor einem vor 30 Tagen geprüften, dieses vor einem vor 1 Tag geprüften |
+| 3 | Wiederholter Lauf ohne neue Objekte meldet nichts erneut (kein Spam) / idempotent bei Unterbrechung | **bestanden** — real: zweiter `scrub-cli`-Lauf direkt nach dem ersten liefert `sampled: 0` (Cooldown greift), `TestMarkScrubbed_IsIdempotent` beweist wiederholtes Markieren ohne Duplikat |
+
+Zusätzlich: `TestSample_RespectsCooldown`,
+`TestSample_LimitsToSampleSize`, `TestSample_DeterministicForIdenticalInput`,
+`TestRecordFinding_IsMonotonicallyIncreasing`,
+`TestActualChecksum_MatchesRealFileContent` (echter Dateiinhalt, echtes
+SHA-256), `TestExpectedChecksums_ReadsRealFileRevisions` (echtes
+Postgres, kein Mock).
+
+## Echte Verdrahtung auf 192.168.1.131
+
+- `scrub-cli`, `scrub-metrics` gebaut nach `/opt/nexarch-archive/bin/`
+- `/etc/nexarch/archive-scrub.env`, `/etc/nexarch/archive-scrub-metrics.env`
+  (0600)
+- Migration real gegen `dms_tenant_test` angewendet
+  (`psql -f migrations/0001_scrub_state.up.sql`)
+- `nexarch-archive-scrub.timer` installiert/aktiviert (täglich 06:00
+  UTC), `nexarch-archive-scrub-metrics.service` installiert/aktiviert
+  (dauerhaft, `Restart=on-failure`) — beide `systemctl status`: aktiv
+- **Reales `INSERT` in `metrics_sources`** (Core-Registry-DB
+  `nexarch_registry`): `('archive', 'http://127.0.0.1:8090/metrics')` —
+  bestätigt über `SELECT * FROM metrics_sources`
+- **End-to-End über OPS-03 bestätigt**: `curl http://127.0.0.1:8085/metrics`
+  (Core-Aggregator) zeigt `nexarch_module_archive_nexarch_archive_storage_integrity_failures_total`
+  — reale Umbenennung gemäß OPS-03-Namenskonvention, kein synthetischer
+  Wert
+- Realer Befund-Durchlauf: Testobjekt mit absichtlich falscher Prüfsumme
+  angelegt → `scrub-cli` real via `systemctl start` ausgelöst → Befund im
+  Journal, `scrub_counters.findings_total` real 0→1, sichtbar sowohl auf
+  `scrub-metrics` als auch über den Core-Aggregator → Testdaten
+  anschließend bereinigt (`file_revisions`/`documents`/`users`-Zeilen
+  gelöscht, `scrub_state`/`scrub_counters` zurückgesetzt, Testdatei
+  entfernt)
+
+## Build/Test-Ergebnis (192.168.1.131, `make check`)
+
+```
+go build ./...  -> clean
+go vet ./...    -> clean
+golangci-lint run ./...  -> 0 issues
+go test ./... -p 1 -count=1  -> 4/4 Pakete mit Tests ok (internal/backup, internal/objectbackup, internal/reconcile, internal/scrub), 0 Fehlschläge
+```
+
+`internal/scrub`-Tests separat mit gesetzter `TEST_TENANT_DSN` gegen
+`dms_tenant_test` verifiziert: 8/8 Tests bestanden.
+
+## Bekannte Grenze (aus Ticket übernommen, nicht Teil der Abnahme)
+
+Der Job erkennt Abweichungen nur bei Objekten, die gelesen und erneut
+geprüft werden können. Ersetzt keine storage-seitige WORM-/
+Versionierungsstrategie und keine Zugriffs-/Audit-Logs des
+Storage-Providers (`STORAGE-KONZEPT.md` Abschnitt 6.1) — bei extern
+eingebundenem, nicht-kompatiblem Kunden-Storage (Betriebsmodus 3, ohne
+Versioning/Object Lock/Audit-Logs) bleibt eine Lücke, die BAK-08
+technisch nicht schließen kann.
+
+## Gesamtergebnis
+
+**Bestanden.** Alle sechs Akzeptanzkriterien und alle drei Pflicht-
+prüfungen real erfüllt — inklusive echtem Ende-zu-Ende-Nachweis über
+Core OPS-03/OPS-05 (kein Stub, reale `/metrics`-Registrierung und
+-Aggregation). Beide vor Implementierungsbeginn gestellten Rückfragen
+(OPS-05-Anbindungsmechanismus, Sampling-Kriterium) im Protokoll
+dokumentiert und in der Umsetzung berücksichtigt.

archive/internal/backup/backup.go

@@ -14,6 +14,7 @@ import (
 	"os"
 	"os/exec"
 	"path/filepath"
+	"sort"
 	"time"
 )
 
@@ -27,6 +28,7 @@ type Config struct {
 	Password            string
 	BackupDir           string
 	PgBaseBackupPath    string // Default "pg_basebackup", überschreibbar für Tests
+	PgCombineBackupPath string // Default "pg_combinebackup", überschreibbar für Tests
 }
 
 func (c Config) binary() string {
@@ -43,6 +45,13 @@ const (
 	IncrementalSubdir  = "incremental"
 	BackupManifestFile = "backup_manifest"
 	BaseTarGzFile      = "base.tar.gz"
+	// WalTarGzFile: pg_basebackups Standard-WAL-Methode ist "stream" (WAL
+	// wird waehrend der Sicherung parallel mitgestreamt) - bei -Ft/-z
+	// landet dieser Strom in einer EIGENEN Archivdatei neben base.tar.gz.
+	// Ohne dieses WAL ist die Sicherung NICHT crash-konsistent
+	// wiederherstellbar (Postgres kann sonst keinen gueltigen Checkpoint
+	// erreichen) - siehe Restore.
+	WalTarGzFile = "pg_wal.tar.gz"
 )
 
 // NewGenerationID liefert eine sortierbare, eindeutige Generation-Kennung
@@ -91,6 +100,94 @@ func IncrementalBackup(ctx context.Context, cfg Config, generationID, incrementI
 	return filepath.Join(dir, BackupManifestFile), nil
 }
 
+// Restore kombiniert die Vollsicherung einer Generation mit allen ihren
+// Inkrementen (PostgreSQL 17s `pg_combinebackup`, das native Gegenstück zu
+// `pg_basebackup --incremental`) und schreibt das Ergebnis nach outputDir —
+// ein vollständiges, direkt startbares PGDATA-Verzeichnis. outputDir muss
+// bereits existieren und leer sein (pg_combinebackup-Vorgabe); Atomarität
+// gegenüber einem eventuell nicht-leeren ENDZIEL ist Aufgabe von
+// internal/restore, nicht dieser Funktion.
+//
+// pg_combinebackup erwartet PLAIN-Format-Eingabeverzeichnisse (Dateibaum),
+// FullBackup/IncrementalBackup speichern aber TAR+GZIP (`-Ft -z`, siehe
+// dort) — kleinere, einfacher zu prüfende Sicherungsdateien
+// (BAK-01-Entscheidung, hier NICHT verändert). Restore extrahiert daher
+// jede Stufe zunächst in ein eigenes temporäres Plain-Verzeichnis, bevor
+// pg_combinebackup darauf zugreift.
+func Restore(ctx context.Context, cfg Config, generationID, outputDir string) error {
+	genDir := filepath.Join(cfg.BackupDir, generationID)
+	tarDirs := []string{filepath.Join(genDir, FullBackupDirName)}
+
+	incrDir := filepath.Join(genDir, IncrementalSubdir)
+	entries, err := os.ReadDir(incrDir)
+	if err != nil && !os.IsNotExist(err) {
+		return fmt.Errorf("backup: inkrement-verzeichnis lesen: %w", err)
+	}
+	incrementIDs := make([]string, 0, len(entries))
+	for _, e := range entries {
+		if e.IsDir() {
+			incrementIDs = append(incrementIDs, e.Name())
+		}
+	}
+	sort.Strings(incrementIDs) // Inkrement-IDs sind wie Generation-IDs chronologisch sortierbar
+	for _, id := range incrementIDs {
+		tarDirs = append(tarDirs, filepath.Join(incrDir, id))
+	}
+
+	extractRoot, err := os.MkdirTemp("", "backup-restore-extract-*")
+	if err != nil {
+		return fmt.Errorf("backup: extraktions-verzeichnis anlegen: %w", err)
+	}
+	defer func() { _ = os.RemoveAll(extractRoot) }()
+
+	inputs := make([]string, 0, len(tarDirs))
+	for i, tarDir := range tarDirs {
+		plainDir := filepath.Join(extractRoot, fmt.Sprintf("%02d", i))
+		if err := os.MkdirAll(plainDir, 0o700); err != nil {
+			return fmt.Errorf("backup: plain-verzeichnis anlegen: %w", err)
+		}
+		if err := extractTarGz(filepath.Join(tarDir, BaseTarGzFile), plainDir); err != nil {
+			return fmt.Errorf("backup: %q extrahieren: %w", tarDir, err)
+		}
+		// backup_manifest liegt NEBEN base.tar.gz (von pg_basebackup so
+		// geschrieben), nicht im Archiv selbst - pg_combinebackup braucht
+		// es zusätzlich im Plain-Verzeichnis.
+		manifestData, err := os.ReadFile(filepath.Join(tarDir, BackupManifestFile))
+		if err != nil {
+			return fmt.Errorf("backup: %q lesen: %w", filepath.Join(tarDir, BackupManifestFile), err)
+		}
+		if err := os.WriteFile(filepath.Join(plainDir, BackupManifestFile), manifestData, 0o600); err != nil {
+			return fmt.Errorf("backup: manifest nach %q kopieren: %w", plainDir, err)
+		}
+		inputs = append(inputs, plainDir)
+	}
+
+	binary := "pg_combinebackup"
+	if cfg.PgCombineBackupPath != "" {
+		binary = cfg.PgCombineBackupPath
+	}
+	args := append(append([]string{}, inputs...), "-o", outputDir)
+	cmd := exec.CommandContext(ctx, binary, args...)
+	output, err := cmd.CombinedOutput()
+	if err != nil {
+		return fmt.Errorf("backup: %s fehlgeschlagen: %w (ausgabe: %s)", binary, err, string(output))
+	}
+
+	// pg_combinebackup rekonstruiert nur die Datendateien - das fuer einen
+	// konsistenten Start noetige WAL kommt aus der ZULETZT gezogenen Stufe
+	// (letztes Inkrement, sonst die Vollsicherung), nicht aus allen Stufen
+	// zusammen (siehe WalTarGzFile-Dokumentation).
+	lastTarDir := tarDirs[len(tarDirs)-1]
+	walDir := filepath.Join(outputDir, "pg_wal")
+	if err := os.MkdirAll(walDir, 0o700); err != nil {
+		return fmt.Errorf("backup: pg_wal-verzeichnis anlegen: %w", err)
+	}
+	if err := extractTarGz(filepath.Join(lastTarDir, WalTarGzFile), walDir); err != nil {
+		return fmt.Errorf("backup: WAL aus %q wiederherstellen: %w", lastTarDir, err)
+	}
+	return nil
+}
+
 func runPgBaseBackup(ctx context.Context, cfg Config, args []string) error {
 	cmd := exec.CommandContext(ctx, cfg.binary(), args...)
 	cmd.Env = append(os.Environ(), "PGPASSWORD="+cfg.Password)

archive/internal/backup/restore_test.go

@@ -0,0 +1,102 @@
+package backup
+
+import (
+	"context"
+	"fmt"
+	"os"
+	"os/exec"
+	"path/filepath"
+	"strings"
+	"testing"
+	"time"
+)
+
+// TestRestore_CombinesIntoStartablePostgresInstance ist Pruefung 1 fuer
+// BAK-03 (Datenbank-Teil): Restore auf leerem System vollstaendig und
+// erfolgreich durchgefuehrt — real bewiesen, indem das wiederhergestellte
+// Verzeichnis tatsaechlich als eigenstaendige Postgres-Instanz gestartet
+// und per echter Verbindung abgefragt wird, nicht nur auf Dateiexistenz
+// geprueft.
+func TestRestore_CombinesIntoStartablePostgresInstance(t *testing.T) {
+	cfg := requireTestConfig(t)
+	ctx, cancel := context.WithTimeout(context.Background(), 60*time.Second)
+	defer cancel()
+
+	if _, err := exec.LookPath("pg_combinebackup"); err != nil {
+		t.Skip("pg_combinebackup nicht installiert, restore-integrationstest uebersprungen")
+	}
+	pgCtl, err := exec.LookPath("pg_ctl")
+	if err != nil {
+		t.Skip("pg_ctl nicht installiert, restore-integrationstest uebersprungen")
+	}
+
+	genID := NewGenerationID(time.Now())
+	if _, err := FullBackup(ctx, cfg, genID); err != nil {
+		t.Fatalf("fullbackup: %v", err)
+	}
+
+	restoreOut := filepath.Join(t.TempDir(), "restored-pgdata")
+	if err := os.MkdirAll(restoreOut, 0o700); err != nil {
+		t.Fatal(err)
+	}
+	if err := Restore(ctx, cfg, genID, restoreOut); err != nil {
+		t.Fatalf("restore: %v", err)
+	}
+	if _, err := os.Stat(filepath.Join(restoreOut, "PG_VERSION")); err != nil {
+		t.Fatalf("wiederhergestelltes verzeichnis ist kein gueltiges PGDATA (PG_VERSION fehlt): %v", err)
+	}
+
+	// Auf diesem Debian-Postgres liegt postgresql.conf NICHT in PGDATA
+	// (sondern in /etc/postgresql/17/main/) - pg_basebackup sichert daher
+	// nur PGDATA-Inhalte, die Konfigurationsdatei fehlt im Restore
+	// GENAUSO wie im echten Betriebs-Restore-Verfahren. Fuer den
+	// End-zu-End-Nachweis (echte Daten wiederherstellbar) hier eine
+	// minimale, ausschliesslich fuer den Testlauf gueltige Konfiguration
+	// nachgereicht - dokumentiert als operativer Hinweis fuer ein echtes
+	// Restore-Runbook, nicht Teil des Produktcodes.
+	minimalConf := "listen_addresses = ''\n"
+	if err := os.WriteFile(filepath.Join(restoreOut, "postgresql.conf"), []byte(minimalConf), 0o600); err != nil {
+		t.Fatal(err)
+	}
+	// dito pg_hba.conf - liegt auf Debian ebenfalls in /etc/postgresql,
+	// nicht in PGDATA. Nur Unix-Socket-Verbindungen des lokalen Testlaufs
+	// erlaubt (kein TCP, dieselbe Isolation wie listen_addresses='').
+	hba := "local all all trust\n"
+	if err := os.WriteFile(filepath.Join(restoreOut, "pg_hba.conf"), []byte(hba), 0o600); err != nil {
+		t.Fatal(err)
+	}
+
+	// Konfigurationsdateien aus der Quellinstanz brachte pg_basebackup mit
+	// (sie enthalten ggf. den alten Port/Unix-Socket) - fuer diesen Test
+	// bewusst neuer Port und eigenes Socket-Verzeichnis, damit die
+	// wiederhergestellte Instanz nicht mit der laufenden Test-Instanz
+	// kollidiert.
+	socketDir := t.TempDir()
+	testPort := "55432"
+	// WICHTIG: pg_ctl start foerdert postgres als Hintergrundprozess, der
+	// die geerbten stdout/stderr-Pipes NICHT schliesst - CombinedOutput()
+	// (das auf ein Pipe-EOF wartet) haengt sich daher auf, obwohl pg_ctl
+	// selbst laengst zurueckgekehrt ist. Deshalb echte Logdatei statt Pipe
+	// (Standard-pg_ctl-Muster), kein exec.Cmd.Stdout/-Stderr-Pipe-Zugriff.
+	logFile := filepath.Join(t.TempDir(), "postgres.log")
+	startCmd := exec.CommandContext(ctx, pgCtl, "start", "-D", restoreOut, "-w", "-t", "30", "-l", logFile,
+		"-o", fmt.Sprintf("-p %s -k %s -c listen_addresses=''", testPort, socketDir))
+	if err := startCmd.Run(); err != nil {
+		logContent, _ := os.ReadFile(logFile)
+		t.Fatalf("pg_ctl start (wiederhergestellte instanz): %v (log: %s)", err, string(logContent))
+	}
+	defer func() {
+		stopCmd := exec.Command(pgCtl, "stop", "-D", restoreOut, "-m", "fast")
+		_ = stopCmd.Run()
+	}()
+
+	psqlOut, err := exec.CommandContext(ctx, "psql",
+		"-h", socketDir, "-p", testPort, "-U", cfg.User, "-d", "postgres",
+		"-tAc", "SELECT 1").CombinedOutput()
+	if err != nil {
+		t.Fatalf("echte verbindung zur wiederhergestellten instanz fehlgeschlagen: %v (ausgabe: %s)", err, string(psqlOut))
+	}
+	if strings.TrimSpace(string(psqlOut)) != "1" {
+		t.Fatalf("unerwartete antwort von der wiederhergestellten instanz: %q", string(psqlOut))
+	}
+}

archive/internal/backup/verify.go

@@ -13,13 +13,23 @@ import (
 // (Akzeptanzkriterium 2: Verifikation, nicht nur Erstellungs-Prüfung).
 var ErrCorrupted = fmt.Errorf("backup: sicherungsdatei ist beschaedigt oder unvollstaendig")
 
-// Verify prüft, dass base.tar.gz im gegebenen Sicherungsverzeichnis
+// Verify prüft, dass base.tar.gz UND pg_wal.tar.gz im gegebenen
-// vollständig lesbar ist — öffnet gzip- UND tar-Stream und liest JEDEN
+// Sicherungsverzeichnis vollständig lesbar sind — öffnet gzip- UND
-// Eintrag bis zum Ende durch (nicht nur die Kopfdaten), damit ein
+// tar-Stream und liest JEDEN Eintrag bis zum Ende durch (nicht nur die
-// abgeschnittener oder mit kaputten Bytes überschriebener Inhalt
+// Kopfdaten), damit ein abgeschnittener oder mit kaputten Bytes
-// zuverlässig auffällt, nicht nur ein defekter Tar-Header.
+// überschriebener Inhalt zuverlässig auffällt, nicht nur ein defekter
+// Tar-Header. pg_wal.tar.gz wird geprüft, weil ohne intaktes WAL kein
+// crash-konsistenter Restore möglich ist (siehe Restore/WalTarGzFile) —
+// eine Sicherung mit beschädigtem WAL-Archiv wäre sonst unbemerkt
+// unbrauchbar.
 func Verify(backupDir string) error {
-	path := filepath.Join(backupDir, BaseTarGzFile)
+	if err := verifyTarGz(filepath.Join(backupDir, BaseTarGzFile)); err != nil {
+		return err
+	}
+	return verifyTarGz(filepath.Join(backupDir, WalTarGzFile))
+}
+
+func verifyTarGz(path string) error {
 	f, err := os.Open(path)
 	if err != nil {
 		return fmt.Errorf("%w: %s nicht lesbar: %v", ErrCorrupted, path, err)
@@ -28,7 +38,7 @@ func Verify(backupDir string) error {
 
 	gz, err := gzip.NewReader(f)
 	if err != nil {
-		return fmt.Errorf("%w: gzip-header ungueltig: %v", ErrCorrupted, err)
+		return fmt.Errorf("%w: gzip-header von %s ungueltig: %v", ErrCorrupted, path, err)
 	}
 	defer func() { _ = gz.Close() }()
 
@@ -40,15 +50,69 @@ func Verify(backupDir string) error {
 			break
 		}
 		if err != nil {
-			return fmt.Errorf("%w: tar-eintrag ungueltig: %v", ErrCorrupted, err)
+			return fmt.Errorf("%w: tar-eintrag in %s ungueltig: %v", ErrCorrupted, path, err)
 		}
 		if _, err := io.Copy(io.Discard, tr); err != nil {
-			return fmt.Errorf("%w: inhalt von %q nicht vollstaendig lesbar: %v", ErrCorrupted, hdr.Name, err)
+			return fmt.Errorf("%w: inhalt von %q in %s nicht vollstaendig lesbar: %v", ErrCorrupted, hdr.Name, path, err)
 		}
 		entries++
 	}
 	if entries == 0 {
-		return fmt.Errorf("%w: archiv enthaelt keine eintraege", ErrCorrupted)
+		return fmt.Errorf("%w: %s enthaelt keine eintraege", ErrCorrupted, path)
+	}
+	return nil
+}
+
+// extractTarGz entpackt tarGzPath vollständig nach destDir — genutzt von
+// Restore, um die TAR+GZIP-Sicherungsstufen (siehe Verify) in das
+// PLAIN-Format zu überführen, das pg_combinebackup als Eingabe erwartet.
+func extractTarGz(tarGzPath, destDir string) error {
+	f, err := os.Open(tarGzPath)
+	if err != nil {
+		return fmt.Errorf("%s öffnen: %w", tarGzPath, err)
+	}
+	defer func() { _ = f.Close() }()
+
+	gz, err := gzip.NewReader(f)
+	if err != nil {
+		return fmt.Errorf("gzip-header ungueltig: %w", err)
+	}
+	defer func() { _ = gz.Close() }()
+
+	tr := tar.NewReader(gz)
+	for {
+		hdr, err := tr.Next()
+		if err == io.EOF {
+			break
+		}
+		if err != nil {
+			return fmt.Errorf("tar-eintrag lesen: %w", err)
+		}
+		target := filepath.Join(destDir, filepath.Clean(hdr.Name))
+		switch hdr.Typeflag {
+		case tar.TypeDir:
+			if err := os.MkdirAll(target, 0o750); err != nil {
+				return fmt.Errorf("verzeichnis %q anlegen: %w", target, err)
+			}
+		case tar.TypeReg:
+			if err := os.MkdirAll(filepath.Dir(target), 0o750); err != nil {
+				return fmt.Errorf("übergeordnetes verzeichnis von %q anlegen: %w", target, err)
+			}
+			out, err := os.OpenFile(target, os.O_CREATE|os.O_WRONLY|os.O_TRUNC, os.FileMode(hdr.Mode))
+			if err != nil {
+				return fmt.Errorf("datei %q anlegen: %w", target, err)
+			}
+			if _, err := io.Copy(out, tr); err != nil {
+				_ = out.Close()
+				return fmt.Errorf("datei %q schreiben: %w", target, err)
+			}
+			if err := out.Close(); err != nil {
+				return fmt.Errorf("datei %q schliessen: %w", target, err)
+			}
+		default:
+			// Symlinks/Sonderdateien: pg_basebackup-Archive enthalten
+			// praktisch keine, übersprungen statt Restore abzubrechen.
+		}
 	}
 	return nil
 }

archive/internal/objectbackup/restic.go

@@ -137,6 +137,17 @@ func Forget(ctx context.Context, cfg Config, keepLast int) error {
 	return nil
 }
 
+// Restore stellt snapshotID nach targetDir wieder her (`restic restore`).
+// targetDir muss bereits existieren; Atomarität gegenüber einem eventuell
+// nicht-leeren ENDZIEL ist Aufgabe von internal/restore, nicht dieser
+// Funktion (dieselbe Aufgabenteilung wie backup.Restore).
+func Restore(ctx context.Context, cfg Config, snapshotID, targetDir string) error {
+	if _, err := run(ctx, cfg, "restore", snapshotID, "--target", targetDir); err != nil {
+		return fmt.Errorf("objectbackup: wiederherstellung: %w", err)
+	}
+	return nil
+}
+
 type snapshotEntry struct {
 	ShortID string `json:"short_id"`
 }

archive/internal/objectbackup/restore_test.go

@@ -0,0 +1,41 @@
+package objectbackup
+
+import (
+	"context"
+	"os"
+	"path/filepath"
+	"testing"
+)
+
+// TestRestore_RecoversRealContentFromSnapshot ist Pruefung 1 fuer BAK-03
+// (Objekt-Storage-Teil): Restore auf leerem Zielverzeichnis vollstaendig
+// erfolgreich, real gegen restic geprueft, Dateiinhalt tatsaechlich
+// verglichen (kein Bloss-Existenz-Check).
+func TestRestore_RecoversRealContentFromSnapshot(t *testing.T) {
+	cfg := setupTest(t)
+	ctx := context.Background()
+
+	sourceDir := t.TempDir()
+	content := []byte("original objektinhalt fuer restore-test")
+	if err := os.WriteFile(filepath.Join(sourceDir, "objekt.txt"), content, 0o600); err != nil {
+		t.Fatal(err)
+	}
+	summary, err := Backup(ctx, cfg, sourceDir)
+	if err != nil {
+		t.Fatalf("backup: %v", err)
+	}
+
+	targetDir := t.TempDir()
+	if err := Restore(ctx, cfg, summary.SnapshotID, targetDir); err != nil {
+		t.Fatalf("restore: %v", err)
+	}
+
+	restoredPath := filepath.Join(targetDir, sourceDir, "objekt.txt")
+	got, err := os.ReadFile(restoredPath)
+	if err != nil {
+		t.Fatalf("wiederhergestellte datei lesen (%s): %v", restoredPath, err)
+	}
+	if string(got) != string(content) {
+		t.Fatalf("wiederhergestellter inhalt = %q, want %q", got, content)
+	}
+}

archive/internal/restore/restore.go

@@ -0,0 +1,133 @@
+// Package restore implementiert BAK-03: dokumentiertes, wiederholbares
+// Restore-Verfahren für Datenbank (BAK-01) und Objekt-Storage (BAK-02).
+// Enthält NUR die gemeinsame Ablauflogik (Atomarität über Temp-Verzeichnis,
+// Protokollierung) — die eigentliche Wiederherstellung bleibt in den
+// jeweiligen Paketen (backup.Restore, objectbackup.Restore), damit
+// internal/restore nicht weiß, WIE eine Sicherung gelesen wird, nur WANN
+// und WIE SICHER sie an ihren Zielort darf.
+package restore
+
+import (
+	"encoding/json"
+	"fmt"
+	"os"
+	"path/filepath"
+	"time"
+)
+
+// Kind unterscheidet die beiden Restore-Arten im Protokoll.
+type Kind string
+
+const (
+	KindDatabase Kind = "database"
+	KindObjects  Kind = "objects"
+)
+
+// LogEntry ist EIN Protokolleintrag (Akzeptanzkriterium 3: Quelle,
+// Zeitpunkt, Ergebnis).
+type LogEntry struct {
+	Timestamp time.Time `json:"timestamp"`
+	Kind      Kind      `json:"kind"`
+	Source    string    `json:"source"` // Generation-ID oder Snapshot-ID
+	Target    string    `json:"target"`
+	Result    string    `json:"result"` // "ok", "abgebrochen: ...", "fehlgeschlagen: ..."
+}
+
+// ErrTargetNotEmpty wird zurückgegeben, wenn targetDir bereits Inhalt hat
+// und force nicht gesetzt ist — Akzeptanzkriterium 2: bestehender Inhalt
+// bleibt unangetastet, solange der Vorgang nicht bestätigt wird.
+var ErrTargetNotEmpty = fmt.Errorf("restore: zielverzeichnis ist nicht leer, restore ohne bestätigung (force) abgebrochen")
+
+// AtomicRestore führt restoreFn gegen ein FRISCHES temporäres Verzeichnis
+// aus (niemals direkt gegen target) und übernimmt es erst bei Erfolg —
+// entweder wenn target leer ist, oder wenn force=true (bewusste
+// Bestätigung, bestehenden Inhalt zu überschreiben). Bei jedem Fehler
+// oder abgelehnter Bestätigung bleibt target garantiert unverändert
+// (Akzeptanzkriterium 2), das temporäre Verzeichnis wird aufgeräumt.
+// Jeder Aufruf – erfolgreich oder nicht – erzeugt genau einen
+// Protokolleintrag in logPath (Akzeptanzkriterium 3).
+func AtomicRestore(kind Kind, source, target string, force bool, logPath string, restoreFn func(tempDir string) error) (LogEntry, error) {
+	entry := LogEntry{Timestamp: time.Now().UTC(), Kind: kind, Source: source, Target: target}
+
+	empty, err := dirIsEmptyOrMissing(target)
+	if err != nil {
+		entry.Result = "fehlgeschlagen: " + err.Error()
+		_ = appendLog(logPath, entry)
+		return entry, err
+	}
+	if !empty && !force {
+		entry.Result = "abgebrochen: " + ErrTargetNotEmpty.Error()
+		_ = appendLog(logPath, entry)
+		return entry, ErrTargetNotEmpty
+	}
+
+	parent := filepath.Dir(filepath.Clean(target))
+	tempDir, err := os.MkdirTemp(parent, ".restore-tmp-*")
+	if err != nil {
+		entry.Result = "fehlgeschlagen: temp-verzeichnis anlegen: " + err.Error()
+		_ = appendLog(logPath, entry)
+		return entry, fmt.Errorf("restore: temp-verzeichnis anlegen: %w", err)
+	}
+	defer func() { _ = os.RemoveAll(tempDir) }() // no-op nach erfolgreichem Rename (Verzeichnis existiert dann nicht mehr)
+
+	if err := restoreFn(tempDir); err != nil {
+		entry.Result = "fehlgeschlagen: " + err.Error()
+		_ = appendLog(logPath, entry)
+		return entry, fmt.Errorf("restore: wiederherstellung: %w", err)
+	}
+
+	if !empty {
+		// force=true, bewusste Bestätigung: alter Inhalt wird ERST JETZT
+		// entfernt, nachdem restoreFn bereits erfolgreich in tempDir
+		// abgeschlossen hat — ein Fehlschlag oben hätte target nie berührt.
+		if err := os.RemoveAll(target); err != nil {
+			entry.Result = "fehlgeschlagen: altes ziel entfernen: " + err.Error()
+			_ = appendLog(logPath, entry)
+			return entry, fmt.Errorf("restore: altes ziel entfernen: %w", err)
+		}
+	} else if err := os.MkdirAll(parent, 0o750); err != nil {
+		entry.Result = "fehlgeschlagen: übergeordnetes verzeichnis anlegen: " + err.Error()
+		_ = appendLog(logPath, entry)
+		return entry, fmt.Errorf("restore: übergeordnetes verzeichnis anlegen: %w", err)
+	}
+
+	if err := os.Rename(tempDir, target); err != nil {
+		entry.Result = "fehlgeschlagen: umbenennen: " + err.Error()
+		_ = appendLog(logPath, entry)
+		return entry, fmt.Errorf("restore: temp-verzeichnis nach ziel umbenennen: %w", err)
+	}
+
+	entry.Result = "ok"
+	if err := appendLog(logPath, entry); err != nil {
+		return entry, fmt.Errorf("restore: protokoll schreiben: %w", err)
+	}
+	return entry, nil
+}
+
+func dirIsEmptyOrMissing(dir string) (bool, error) {
+	entries, err := os.ReadDir(dir)
+	if err != nil {
+		if os.IsNotExist(err) {
+			return true, nil
+		}
+		return false, fmt.Errorf("zielverzeichnis lesen: %w", err)
+	}
+	return len(entries) == 0, nil
+}
+
+func appendLog(logPath string, entry LogEntry) error {
+	f, err := os.OpenFile(logPath, os.O_APPEND|os.O_CREATE|os.O_WRONLY, 0o600)
+	if err != nil {
+		return fmt.Errorf("protokolldatei öffnen: %w", err)
+	}
+	defer func() { _ = f.Close() }()
+
+	line, err := json.Marshal(entry)
+	if err != nil {
+		return fmt.Errorf("protokolleintrag kodieren: %w", err)
+	}
+	if _, err := f.Write(append(line, '\n')); err != nil {
+		return fmt.Errorf("protokolleintrag schreiben: %w", err)
+	}
+	return nil
+}

archive/internal/restore/restore_test.go

@@ -0,0 +1,181 @@
+package restore
+
+import (
+	"encoding/json"
+	"os"
+	"path/filepath"
+	"testing"
+)
+
+func readLog(t *testing.T, path string) []LogEntry {
+	t.Helper()
+	data, err := os.ReadFile(path)
+	if err != nil {
+		t.Fatalf("protokolldatei lesen: %v", err)
+	}
+	var entries []LogEntry
+	for _, line := range splitLines(data) {
+		if len(line) == 0 {
+			continue
+		}
+		var e LogEntry
+		if err := json.Unmarshal(line, &e); err != nil {
+			t.Fatalf("protokollzeile dekodieren: %v (%s)", err, line)
+		}
+		entries = append(entries, e)
+	}
+	return entries
+}
+
+func splitLines(data []byte) [][]byte {
+	var out [][]byte
+	start := 0
+	for i, b := range data {
+		if b == '\n' {
+			out = append(out, data[start:i])
+			start = i + 1
+		}
+	}
+	return out
+}
+
+// TestAtomicRestore_EmptyTarget_Succeeds ist Pruefung 1: Restore auf
+// leerem (nicht vorhandenem) Ziel vollstaendig erfolgreich.
+func TestAtomicRestore_EmptyTarget_Succeeds(t *testing.T) {
+	root := t.TempDir()
+	target := filepath.Join(root, "ziel")
+	logPath := filepath.Join(root, "restore.log")
+
+	entry, err := AtomicRestore(KindDatabase, "gen-1", target, false, logPath, func(tempDir string) error {
+		return os.WriteFile(filepath.Join(tempDir, "marker"), []byte("wiederhergestellt"), 0o600)
+	})
+	if err != nil {
+		t.Fatalf("atomicRestore: %v", err)
+	}
+	if entry.Result != "ok" {
+		t.Fatalf("result = %q, want ok", entry.Result)
+	}
+	content, err := os.ReadFile(filepath.Join(target, "marker"))
+	if err != nil || string(content) != "wiederhergestellt" {
+		t.Fatalf("ziel nicht korrekt befuellt: %v %q", err, content)
+	}
+}
+
+// TestAtomicRestore_NonEmptyTargetWithoutForce_LeavesOriginalUntouched ist
+// Pruefung 2: Restore auf nicht-leeres Zielverzeichnis laesst bei Abbruch
+// (keine Bestaetigung) den urspruenglichen Inhalt unveraendert.
+func TestAtomicRestore_NonEmptyTargetWithoutForce_LeavesOriginalUntouched(t *testing.T) {
+	root := t.TempDir()
+	target := filepath.Join(root, "ziel")
+	logPath := filepath.Join(root, "restore.log")
+	if err := os.MkdirAll(target, 0o750); err != nil {
+		t.Fatal(err)
+	}
+	if err := os.WriteFile(filepath.Join(target, "bestehend"), []byte("original"), 0o600); err != nil {
+		t.Fatal(err)
+	}
+
+	restoreFnCalled := false
+	_, err := AtomicRestore(KindObjects, "snap-1", target, false, logPath, func(tempDir string) error {
+		restoreFnCalled = true
+		return nil
+	})
+	if err != ErrTargetNotEmpty {
+		t.Fatalf("erwartet ErrTargetNotEmpty, habe: %v", err)
+	}
+	if restoreFnCalled {
+		t.Fatal("restoreFn haette bei nicht-leerem ziel ohne force NIE aufgerufen werden duerfen")
+	}
+	content, err := os.ReadFile(filepath.Join(target, "bestehend"))
+	if err != nil || string(content) != "original" {
+		t.Fatalf("urspruenglicher inhalt veraendert: %v %q", err, content)
+	}
+}
+
+// TestAtomicRestore_FailedRestoreFn_LeavesTargetUntouched ist Nachweis,
+// dass ein Fehler WAEHREND der Wiederherstellung (in tempDir) das
+// bestehende Ziel nicht beschaedigt, weil erst nach Erfolg umbenannt wird.
+func TestAtomicRestore_FailedRestoreFn_LeavesTargetUntouched(t *testing.T) {
+	root := t.TempDir()
+	target := filepath.Join(root, "ziel")
+	logPath := filepath.Join(root, "restore.log")
+	if err := os.MkdirAll(target, 0o750); err != nil {
+		t.Fatal(err)
+	}
+	if err := os.WriteFile(filepath.Join(target, "bestehend"), []byte("original"), 0o600); err != nil {
+		t.Fatal(err)
+	}
+
+	_, err := AtomicRestore(KindDatabase, "gen-2", target, true, logPath, func(tempDir string) error {
+		return os.ErrInvalid // simuliert fehlgeschlagene wiederherstellung
+	})
+	if err == nil {
+		t.Fatal("erwartet fehler")
+	}
+	content, err := os.ReadFile(filepath.Join(target, "bestehend"))
+	if err != nil || string(content) != "original" {
+		t.Fatalf("ziel bei fehlgeschlagenem restoreFn veraendert: %v %q", err, content)
+	}
+}
+
+// TestAtomicRestore_ForceOverwritesNonEmptyTarget ist Nachweis, dass eine
+// BEWUSSTE Bestaetigung (force) bestehenden Inhalt ersetzen darf.
+func TestAtomicRestore_ForceOverwritesNonEmptyTarget(t *testing.T) {
+	root := t.TempDir()
+	target := filepath.Join(root, "ziel")
+	logPath := filepath.Join(root, "restore.log")
+	if err := os.MkdirAll(target, 0o750); err != nil {
+		t.Fatal(err)
+	}
+	if err := os.WriteFile(filepath.Join(target, "alt"), []byte("alt"), 0o600); err != nil {
+		t.Fatal(err)
+	}
+
+	_, err := AtomicRestore(KindObjects, "snap-2", target, true, logPath, func(tempDir string) error {
+		return os.WriteFile(filepath.Join(tempDir, "neu"), []byte("neu"), 0o600)
+	})
+	if err != nil {
+		t.Fatalf("atomicRestore mit force: %v", err)
+	}
+	if _, err := os.Stat(filepath.Join(target, "alt")); !os.IsNotExist(err) {
+		t.Fatal("alter inhalt haette nach force-restore ersetzt sein muessen")
+	}
+	if _, err := os.Stat(filepath.Join(target, "neu")); err != nil {
+		t.Fatalf("neuer inhalt fehlt: %v", err)
+	}
+}
+
+// TestAtomicRestore_LogsCompleteEntry ist Pruefung 3: Protokolleintrag
+// ist vollstaendig und nachvollziehbar (Quelle, Zeitpunkt, Ergebnis) -
+// sowohl fuer Erfolg als auch fuer Abbruch, in derselben Datei.
+func TestAtomicRestore_LogsCompleteEntry(t *testing.T) {
+	root := t.TempDir()
+	logPath := filepath.Join(root, "restore.log")
+
+	okTarget := filepath.Join(root, "ok-ziel")
+	if _, err := AtomicRestore(KindDatabase, "gen-3", okTarget, false, logPath, func(tempDir string) error {
+		return os.WriteFile(filepath.Join(tempDir, "x"), []byte("x"), 0o600)
+	}); err != nil {
+		t.Fatalf("erfolgreicher restore: %v", err)
+	}
+
+	blockedTarget := filepath.Join(root, "blockiert-ziel")
+	if err := os.MkdirAll(blockedTarget, 0o750); err != nil {
+		t.Fatal(err)
+	}
+	if err := os.WriteFile(filepath.Join(blockedTarget, "bestehend"), []byte("y"), 0o600); err != nil {
+		t.Fatal(err)
+	}
+	_, _ = AtomicRestore(KindObjects, "snap-3", blockedTarget, false, logPath, func(tempDir string) error { return nil })
+
+	entries := readLog(t, logPath)
+	if len(entries) != 2 {
+		t.Fatalf("erwartet 2 protokolleintraege, habe %d: %+v", len(entries), entries)
+	}
+	if entries[0].Source != "gen-3" || entries[0].Kind != KindDatabase || entries[0].Result != "ok" || entries[0].Timestamp.IsZero() {
+		t.Fatalf("erster eintrag unvollstaendig: %+v", entries[0])
+	}
+	if entries[1].Source != "snap-3" || entries[1].Kind != KindObjects || entries[1].Result == "" || entries[1].Timestamp.IsZero() {
+		t.Fatalf("zweiter eintrag unvollstaendig: %+v", entries[1])
+	}
+}

archive/internal/scrub/checksum.go

@@ -0,0 +1,57 @@
+package scrub
+
+import (
+	"context"
+	"crypto/sha256"
+	"encoding/hex"
+	"fmt"
+	"io"
+	"os"
+	"path/filepath"
+
+	"github.com/jackc/pgx/v5/pgxpool"
+)
+
+// ExpectedChecksums liest file_revisions.checksum_sha256 fuer genau die
+// uebergebenen storage_keys — bewusst eine eigene, minimale Abfrage statt
+// Erweiterung von reconcile.DBEntry (BAK-05 bleibt existenz-only, keine
+// Kopplung an Inhaltspruefungs-Bedarf von BAK-08).
+func ExpectedChecksums(ctx context.Context, pool *pgxpool.Pool, storageKeys []string) (map[string]string, error) {
+	if len(storageKeys) == 0 {
+		return map[string]string{}, nil
+	}
+	rows, err := pool.Query(ctx, `
+		SELECT storage_key, checksum_sha256 FROM file_revisions WHERE storage_key = ANY($1)
+	`, storageKeys)
+	if err != nil {
+		return nil, fmt.Errorf("scrub: erwartete pruefsummen lesen: %w", err)
+	}
+	defer rows.Close()
+
+	out := make(map[string]string, len(storageKeys))
+	for rows.Next() {
+		var key, checksum string
+		if err := rows.Scan(&key, &checksum); err != nil {
+			return nil, fmt.Errorf("scrub: pruefsummen-zeile lesen: %w", err)
+		}
+		out[key] = checksum
+	}
+	return out, rows.Err()
+}
+
+// ActualChecksum liest die Datei unter baseDir/storageKey vollstaendig
+// und berechnet ihren SHA-256 — echte Inhaltspruefung, kein
+// Header-/Groessenvergleich (dieselbe Disziplin wie BAK-01s Verify).
+func ActualChecksum(baseDir, storageKey string) (string, error) {
+	f, err := os.Open(filepath.Join(baseDir, filepath.FromSlash(storageKey)))
+	if err != nil {
+		return "", fmt.Errorf("scrub: objekt lesen: %w", err)
+	}
+	defer func() { _ = f.Close() }()
+
+	h := sha256.New()
+	if _, err := io.Copy(h, f); err != nil {
+		return "", fmt.Errorf("scrub: objekt hashen: %w", err)
+	}
+	return hex.EncodeToString(h.Sum(nil)), nil
+}

archive/internal/scrub/checksum_test.go

@@ -0,0 +1,94 @@
+package scrub
+
+import (
+	"context"
+	"crypto/sha256"
+	"encoding/hex"
+	"os"
+	"path/filepath"
+	"testing"
+
+	"github.com/jackc/pgx/v5/pgxpool"
+)
+
+func requireFileRevisionsFixture(t *testing.T) (pool *pgxpool.Pool, userID, docID string) {
+	t.Helper()
+	p := requireTestPool(t)
+	ctx := context.Background()
+	if _, err := p.Exec(ctx, `
+		CREATE EXTENSION IF NOT EXISTS pgcrypto;
+		CREATE TABLE IF NOT EXISTS users (
+			id UUID PRIMARY KEY DEFAULT gen_random_uuid(), email TEXT NOT NULL UNIQUE, name TEXT NOT NULL,
+			created_at TIMESTAMPTZ NOT NULL DEFAULT now()
+		);
+		CREATE TABLE IF NOT EXISTS documents (
+			id UUID PRIMARY KEY DEFAULT gen_random_uuid(), title TEXT NOT NULL,
+			created_by UUID NOT NULL REFERENCES users(id), created_at TIMESTAMPTZ NOT NULL DEFAULT now()
+		);
+		CREATE TABLE IF NOT EXISTS file_revisions (
+			id UUID PRIMARY KEY DEFAULT gen_random_uuid(), document_id UUID NOT NULL REFERENCES documents(id) ON DELETE CASCADE,
+			storage_key TEXT NOT NULL, checksum_sha256 TEXT NOT NULL, size_bytes BIGINT NOT NULL,
+			mime_type TEXT NOT NULL, revision_number INTEGER NOT NULL, created_by UUID NOT NULL REFERENCES users(id),
+			created_at TIMESTAMPTZ NOT NULL DEFAULT now()
+		);
+	`); err != nil {
+		t.Fatalf("file_revisions-fixture: %v", err)
+	}
+	var uid string
+	if err := p.QueryRow(ctx, `INSERT INTO users (email, name) VALUES ('scrub-test@example.test', 'Test') RETURNING id`).Scan(&uid); err != nil {
+		t.Fatalf("testbenutzer anlegen: %v", err)
+	}
+	var did string
+	if err := p.QueryRow(ctx, `INSERT INTO documents (title, created_by) VALUES ('doc', $1) RETURNING id`, uid).Scan(&did); err != nil {
+		t.Fatalf("testdokument anlegen: %v", err)
+	}
+	t.Cleanup(func() { _, _ = p.Exec(context.Background(), `TRUNCATE file_revisions, documents, users CASCADE`) })
+	return p, uid, did
+}
+
+// TestActualChecksum_MatchesRealFileContent ist Nachweis, dass
+// ActualChecksum tatsaechlich den Dateiinhalt liest und hasht (kein
+// Header-/Groessenvergleich).
+func TestActualChecksum_MatchesRealFileContent(t *testing.T) {
+	baseDir := t.TempDir()
+	content := []byte("echter dateiinhalt fuer scrub-test")
+	path := filepath.Join(baseDir, "documents", "x", "revisions", "1")
+	if err := os.MkdirAll(filepath.Dir(path), 0o755); err != nil {
+		t.Fatal(err)
+	}
+	if err := os.WriteFile(path, content, 0o600); err != nil {
+		t.Fatal(err)
+	}
+
+	got, err := ActualChecksum(baseDir, "documents/x/revisions/1")
+	if err != nil {
+		t.Fatalf("actualChecksum: %v", err)
+	}
+	sum := sha256.Sum256(content)
+	want := hex.EncodeToString(sum[:])
+	if got != want {
+		t.Fatalf("checksum = %q, want %q", got, want)
+	}
+}
+
+// TestExpectedChecksums_ReadsRealFileRevisions ist Nachweis gegen echtes
+// Postgres, kein Mock.
+func TestExpectedChecksums_ReadsRealFileRevisions(t *testing.T) {
+	pool, uid, did := requireFileRevisionsFixture(t)
+	ctx := context.Background()
+
+	if _, err := pool.Exec(ctx, `
+		INSERT INTO file_revisions (document_id, storage_key, checksum_sha256, size_bytes, mime_type, revision_number, created_by)
+		VALUES ($1, 'documents/x/revisions/1', 'abc123', 10, 'text/plain', 1, $2)
+	`, did, uid); err != nil {
+		t.Fatalf("testrevision anlegen: %v", err)
+	}
+
+	got, err := ExpectedChecksums(ctx, pool, []string{"documents/x/revisions/1", "documents/fehlt/revisions/1"})
+	if err != nil {
+		t.Fatalf("expectedChecksums: %v", err)
+	}
+	if len(got) != 1 || got["documents/x/revisions/1"] != "abc123" {
+		t.Fatalf("unerwartetes ergebnis: %+v", got)
+	}
+}

archive/internal/scrub/scrub.go

@@ -0,0 +1,69 @@
+// Package scrub implementiert BAK-08: periodische, checksummenbasierte
+// Integritaetspruefung einer Stichprobe existierender Objekte. Baut auf
+// BAK-05 (internal/reconcile) auf, das die deterministisch sortierte
+// Liste bestaetigt existierender Objekte liefert (existenz-only) — scrub
+// fuegt die INHALTSPRUEFUNG hinzu, die BAK-05 bewusst ausspart.
+package scrub
+
+import (
+	"sort"
+	"time"
+
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/reconcile"
+)
+
+// Candidate ist ein fuer den aktuellen Lauf ausgewaehltes Objekt.
+type Candidate struct {
+	StorageKey string
+	DocumentID string
+	RevisionID string
+}
+
+// Sample waehlt aus existing (BAK-05s existing_in_storage, bereits nach
+// StorageKey sortiert) die naechste Stichprobe: Objekte, die noch nie
+// oder vor mehr als cooldown geprueft wurden (last_scrubbed via
+// storage_key -> last_scrubbed_at aus scrub_state), begrenzt auf
+// sampleSize. Reine Funktion, deterministisch bei gleicher Eingabe (fixe
+// Reihenfolge von existing, kein Zufall) — Akzeptanzkriterium
+// "Sampling priorisiert alte, unveraenderte Objekte": ein nie/am
+// laengsten nicht geprueftes Objekt hat KEINEN last_scrubbed-Eintrag oder
+// den aeltesten, beides erscheint zuerst in "existing", das seinerseits
+// nach StorageKey sortiert ist — daher wird zusaetzlich vor der
+// Groessenbegrenzung nach last_scrubbed_at aufsteigend sortiert (nie
+// geprueft = aeltestmoeglicher Wert), damit tatsaechlich das am laengsten
+// nicht verifizierte Objekt zuerst drankommt, nicht nur alphabetisch nach
+// Schluessel.
+func Sample(existing []reconcile.Finding, lastScrubbed map[string]time.Time, cooldown time.Duration, sampleSize int, now time.Time) []Candidate {
+	type scored struct {
+		f    reconcile.Finding
+		last time.Time
+	}
+	var due []scored
+	for _, f := range existing {
+		last, ok := lastScrubbed[f.StorageKey]
+		if ok && now.Sub(last) < cooldown {
+			continue // erst kuerzlich geprueft, ueberspringen
+		}
+		if !ok {
+			last = time.Time{} // nie geprueft = aeltestmoeglicher Wert, kommt zuerst
+		}
+		due = append(due, scored{f: f, last: last})
+	}
+
+	sort.SliceStable(due, func(i, j int) bool {
+		if !due[i].last.Equal(due[j].last) {
+			return due[i].last.Before(due[j].last)
+		}
+		return due[i].f.StorageKey < due[j].f.StorageKey // Tie-Break deterministisch
+	})
+
+	if sampleSize >= 0 && len(due) > sampleSize {
+		due = due[:sampleSize]
+	}
+
+	out := make([]Candidate, 0, len(due))
+	for _, d := range due {
+		out = append(out, Candidate{StorageKey: d.f.StorageKey, DocumentID: d.f.DocumentID, RevisionID: d.f.RevisionID})
+	}
+	return out
+}

archive/internal/scrub/scrub_test.go

@@ -0,0 +1,95 @@
+package scrub
+
+import (
+	"testing"
+	"time"
+
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/reconcile"
+)
+
+var now = time.Date(2026, 8, 29, 12, 0, 0, 0, time.UTC)
+
+// TestSample_PrioritizesNeverScrubbedAndOldest ist der Nachweis fuer das
+// GoBD-Akzeptanzkriterium: nie geprueft ODER am laengsten nicht geprueft
+// kommt zuerst, nicht bloss alphabetisch nach StorageKey.
+func TestSample_PrioritizesNeverScrubbedAndOldest(t *testing.T) {
+	existing := []reconcile.Finding{
+		{StorageKey: "documents/a/revisions/r1"}, // vor 1 tag geprueft
+		{StorageKey: "documents/b/revisions/r1"}, // nie geprueft
+		{StorageKey: "documents/c/revisions/r1"}, // vor 30 tagen geprueft (aeltest)
+	}
+	lastScrubbed := map[string]time.Time{
+		"documents/a/revisions/r1": now.Add(-24 * time.Hour),
+		"documents/c/revisions/r1": now.Add(-30 * 24 * time.Hour),
+	}
+
+	got := Sample(existing, lastScrubbed, time.Hour, 2, now)
+
+	if len(got) != 2 {
+		t.Fatalf("erwartet 2 kandidaten, habe %d: %+v", len(got), got)
+	}
+	// "nie geprueft" (b) zaehlt als aeltestmoeglich, kommt vor "vor 30 tagen" (c).
+	if got[0].StorageKey != "documents/b/revisions/r1" || got[1].StorageKey != "documents/c/revisions/r1" {
+		t.Fatalf("falsche prioritaet, want [b, c], habe %+v", got)
+	}
+}
+
+// TestSample_RespectsCooldown ist der Nachweis, dass kuerzlich gepruefte
+// Objekte NICHT erneut ausgewaehlt werden — sonst wuerde dieselbe Gruppe
+// dauernd gescrubbt (genau der Fehler, den die Alt-Priorisierung
+// verhindern soll).
+func TestSample_RespectsCooldown(t *testing.T) {
+	existing := []reconcile.Finding{
+		{StorageKey: "documents/a/revisions/r1"},
+		{StorageKey: "documents/b/revisions/r1"},
+	}
+	lastScrubbed := map[string]time.Time{
+		"documents/a/revisions/r1": now.Add(-1 * time.Hour), // innerhalb cooldown
+	}
+
+	got := Sample(existing, lastScrubbed, 24*time.Hour, 10, now)
+
+	if len(got) != 1 || got[0].StorageKey != "documents/b/revisions/r1" {
+		t.Fatalf("erwartet nur b (a innerhalb cooldown), habe %+v", got)
+	}
+}
+
+// TestSample_LimitsToSampleSize ist der Nachweis, dass die
+// Stichprobengroesse tatsaechlich begrenzt (kein Voll-Scrub jeden Lauf).
+func TestSample_LimitsToSampleSize(t *testing.T) {
+	existing := []reconcile.Finding{
+		{StorageKey: "documents/a/revisions/r1"},
+		{StorageKey: "documents/b/revisions/r1"},
+		{StorageKey: "documents/c/revisions/r1"},
+	}
+
+	got := Sample(existing, map[string]time.Time{}, time.Hour, 1, now)
+
+	if len(got) != 1 {
+		t.Fatalf("erwartet genau 1 kandidat, habe %d", len(got))
+	}
+}
+
+// TestSample_DeterministicForIdenticalInput ist der Nachweis, dass zwei
+// Laeufe mit identischer Eingabe dieselbe Reihenfolge liefern (kein
+// Zufall im Sampling).
+func TestSample_DeterministicForIdenticalInput(t *testing.T) {
+	existing := []reconcile.Finding{
+		{StorageKey: "documents/a/revisions/r1"},
+		{StorageKey: "documents/b/revisions/r1"},
+		{StorageKey: "documents/c/revisions/r1"},
+	}
+	lastScrubbed := map[string]time.Time{}
+
+	first := Sample(existing, lastScrubbed, time.Hour, 2, now)
+	second := Sample(existing, lastScrubbed, time.Hour, 2, now)
+
+	if len(first) != len(second) {
+		t.Fatal("unterschiedliche anzahl zwischen zwei laeufen mit identischer eingabe")
+	}
+	for i := range first {
+		if first[i].StorageKey != second[i].StorageKey {
+			t.Fatalf("reihenfolge nicht deterministisch: lauf1=%+v lauf2=%+v", first, second)
+		}
+	}
+}

archive/internal/scrub/state.go

@@ -0,0 +1,74 @@
+package scrub
+
+import (
+	"context"
+	"fmt"
+	"time"
+
+	"github.com/jackc/pgx/v5/pgxpool"
+)
+
+// LoadLastScrubbed liefert je storage_key den Zeitpunkt der letzten
+// Pruefung — Grundlage fuer Sample's Cooldown-Filter.
+func LoadLastScrubbed(ctx context.Context, pool *pgxpool.Pool) (map[string]time.Time, error) {
+	rows, err := pool.Query(ctx, `SELECT storage_key, last_scrubbed_at FROM scrub_state`)
+	if err != nil {
+		return nil, fmt.Errorf("scrub: scrub_state lesen: %w", err)
+	}
+	defer rows.Close()
+
+	out := make(map[string]time.Time)
+	for rows.Next() {
+		var key string
+		var ts time.Time
+		if err := rows.Scan(&key, &ts); err != nil {
+			return nil, fmt.Errorf("scrub: scrub_state-zeile lesen: %w", err)
+		}
+		out[key] = ts
+	}
+	return out, rows.Err()
+}
+
+// MarkScrubbed vermerkt Ergebnis und Zeitpunkt der Pruefung eines
+// Objekts — idempotent (ON CONFLICT), damit ein unterbrochener und neu
+// gestarteter Lauf keinen inkonsistenten Zustand hinterlaesst
+// (Akzeptanzkriterium: Lauf ist unterbrechbar ohne inkonsistenten
+// Zustand).
+func MarkScrubbed(ctx context.Context, pool *pgxpool.Pool, storageKey string, ok bool, at time.Time) error {
+	result := "ok"
+	if !ok {
+		result = "failed"
+	}
+	_, err := pool.Exec(ctx, `
+		INSERT INTO scrub_state (storage_key, last_scrubbed_at, last_result)
+		VALUES ($1, $2, $3)
+		ON CONFLICT (storage_key) DO UPDATE SET last_scrubbed_at = $2, last_result = $3
+	`, storageKey, at, result)
+	if err != nil {
+		return fmt.Errorf("scrub: scrub_state schreiben: %w", err)
+	}
+	return nil
+}
+
+// RecordFinding erhoeht den monoton steigenden Befund-Zaehler
+// (scrub_counters.findings_total) um genau 1 — als gueltiger Prometheus-
+// Counter darf dieser Wert nur steigen, niemals sinken, auch wenn ein
+// Befund spaeter behoben wird.
+func RecordFinding(ctx context.Context, pool *pgxpool.Pool) error {
+	_, err := pool.Exec(ctx, `UPDATE scrub_counters SET findings_total = findings_total + 1 WHERE id = 1`)
+	if err != nil {
+		return fmt.Errorf("scrub: befund-zaehler erhoehen: %w", err)
+	}
+	return nil
+}
+
+// FindingsTotal liest den aktuellen Zaehlerstand — genutzt vom
+// /metrics-Endpunkt (cmd/scrub-metrics).
+func FindingsTotal(ctx context.Context, pool *pgxpool.Pool) (int64, error) {
+	var total int64
+	err := pool.QueryRow(ctx, `SELECT findings_total FROM scrub_counters WHERE id = 1`).Scan(&total)
+	if err != nil {
+		return 0, fmt.Errorf("scrub: befund-zaehler lesen: %w", err)
+	}
+	return total, nil
+}

archive/internal/scrub/state_test.go

@@ -0,0 +1,92 @@
+package scrub
+
+import (
+	"context"
+	"os"
+	"testing"
+	"time"
+
+	"github.com/jackc/pgx/v5/pgxpool"
+)
+
+func requireTestPool(t *testing.T) *pgxpool.Pool {
+	t.Helper()
+	dsn := os.Getenv("TEST_TENANT_DSN")
+	if dsn == "" {
+		t.Skip("TEST_TENANT_DSN nicht gesetzt, Integrationstest uebersprungen")
+	}
+	ctx := context.Background()
+	pool, err := pgxpool.New(ctx, dsn)
+	if err != nil {
+		t.Fatalf("pool: %v", err)
+	}
+	t.Cleanup(func() { pool.Close() })
+
+	if _, err := pool.Exec(ctx, `
+		CREATE TABLE IF NOT EXISTS scrub_state (
+			storage_key TEXT PRIMARY KEY, last_scrubbed_at TIMESTAMPTZ NOT NULL,
+			last_result TEXT NOT NULL CHECK (last_result IN ('ok', 'failed'))
+		);
+		CREATE TABLE IF NOT EXISTS scrub_counters (
+			id INTEGER PRIMARY KEY DEFAULT 1 CHECK (id = 1), findings_total BIGINT NOT NULL DEFAULT 0
+		);
+		INSERT INTO scrub_counters (id, findings_total) VALUES (1, 0) ON CONFLICT (id) DO NOTHING;
+	`); err != nil {
+		t.Fatalf("schema: %v", err)
+	}
+	t.Cleanup(func() {
+		_, _ = pool.Exec(context.Background(), `TRUNCATE scrub_state; UPDATE scrub_counters SET findings_total = 0 WHERE id = 1`)
+	})
+	return pool
+}
+
+// TestMarkScrubbed_IsIdempotent ist Nachweis fuer "Lauf ist idempotent und
+// unterbrechbar ohne inkonsistenten Zustand": derselbe storage_key kann
+// beliebig oft neu markiert werden, es entsteht kein Duplikat/Fehler.
+func TestMarkScrubbed_IsIdempotent(t *testing.T) {
+	pool := requireTestPool(t)
+	ctx := context.Background()
+	key := "documents/x/revisions/1"
+
+	if err := MarkScrubbed(ctx, pool, key, true, time.Now().UTC()); err != nil {
+		t.Fatalf("erster markScrubbed: %v", err)
+	}
+	second := time.Now().UTC().Add(time.Hour)
+	if err := MarkScrubbed(ctx, pool, key, false, second); err != nil {
+		t.Fatalf("zweiter markScrubbed (ueberschreibt): %v", err)
+	}
+
+	last, err := LoadLastScrubbed(ctx, pool)
+	if err != nil {
+		t.Fatalf("loadLastScrubbed: %v", err)
+	}
+	if len(last) != 1 {
+		t.Fatalf("erwartet genau 1 eintrag (kein duplikat), habe %d", len(last))
+	}
+	// Postgres timestamptz rundet auf Mikrosekunden, Go time.Time hat
+	// Nanosekunden-Praezision - Vergleich daher auf Mikrosekunden gerundet.
+	if !last[key].Truncate(time.Microsecond).Equal(second.Truncate(time.Microsecond)) {
+		t.Fatalf("last_scrubbed_at nicht ueberschrieben: %v, want %v", last[key], second)
+	}
+}
+
+// TestRecordFinding_IsMonotonicallyIncreasing ist Nachweis, dass der
+// Zaehler ein gueltiger Prometheus-Counter ist (steigt nur, sinkt nie).
+func TestRecordFinding_IsMonotonicallyIncreasing(t *testing.T) {
+	pool := requireTestPool(t)
+	ctx := context.Background()
+
+	for i := 0; i < 3; i++ {
+		if err := RecordFinding(ctx, pool); err != nil {
+			t.Fatalf("recordFinding: %v", err)
+		}
+	}
+
+	total, err := FindingsTotal(ctx, pool)
+	if err != nil {
+		t.Fatalf("findingsTotal: %v", err)
+	}
+	if total != 3 {
+		t.Fatalf("erwartet 3, habe %d", total)
+	}
+}

archive/migrations/0001_scrub_state.down.sql

@@ -0,0 +1,2 @@
+DROP TABLE IF EXISTS scrub_counters;
+DROP TABLE IF EXISTS scrub_state;

archive/migrations/0001_scrub_state.up.sql

@@ -0,0 +1,21 @@
+-- BAK-08: Zustand des Integritaets-Scrub-Jobs. Getrennt von file_revisions
+-- (DMS-Eigentum, nur lesend zugegriffen) und getrennt von BAK-05s
+-- reconcile-Paket (existenz-only, keine Inhaltspruefung) — eigener,
+-- Archive-eigener Zustand ueber ZULETZT geprueften Zeitpunkt je Objekt,
+-- damit Sampling rotiert statt dieselben "aeltesten" Objekte auf ewig
+-- erneut zu ziehen.
+CREATE TABLE IF NOT EXISTS scrub_state (
+    storage_key      TEXT PRIMARY KEY,
+    last_scrubbed_at TIMESTAMPTZ NOT NULL,
+    last_result      TEXT NOT NULL CHECK (last_result IN ('ok', 'failed'))
+);
+
+-- Einzelne Zeile, monoton steigender Zaehler fuer den OPS-05/OPS-03-
+-- Metrik-Export (Counter, nie ruecksetzbar — ein behobener Befund darf den
+-- Zaehler nicht wieder senken, sonst waere es kein gueltiger Prometheus-
+-- Counter mehr).
+CREATE TABLE IF NOT EXISTS scrub_counters (
+    id             INTEGER PRIMARY KEY DEFAULT 1 CHECK (id = 1),
+    findings_total BIGINT NOT NULL DEFAULT 0
+);
+INSERT INTO scrub_counters (id, findings_total) VALUES (1, 0) ON CONFLICT (id) DO NOTHING;

deploy/systemd/nexarch-archive-scrub-metrics.service.tmpl

@@ -0,0 +1,14 @@
+[Unit]
+Description=NEXARCH Archive - /metrics-Export fuer BAK-08 (dauerhaft, Pull-Modell fuer OPS-03)
+After=network.target postgresql.service
+
+[Service]
+Type=simple
+User=nexarch
+EnvironmentFile=/etc/nexarch/archive-scrub-metrics.env
+ExecStart=__INSTALL_DIR__/bin/scrub-metrics
+Restart=on-failure
+StandardOutput=journal
+
+[Install]
+WantedBy=multi-user.target

deploy/systemd/nexarch-archive-scrub.service.tmpl

@@ -0,0 +1,10 @@
+[Unit]
+Description=NEXARCH Archive - Checksummen-Integritaetspruefung Stichprobe (BAK-08)
+After=network.target postgresql.service
+
+[Service]
+Type=oneshot
+User=nexarch
+EnvironmentFile=/etc/nexarch/archive-scrub.env
+ExecStart=__INSTALL_DIR__/bin/scrub-cli
+StandardOutput=journal

deploy/systemd/nexarch-archive-scrub.timer.tmpl

@@ -0,0 +1,9 @@
+[Unit]
+Description=Zeitplan fuer NEXARCH Archive Checksummen-Stichprobe (BAK-08)
+
+[Timer]
+OnCalendar=*-*-* 06:00:00
+Persistent=true
+
+[Install]
+WantedBy=timers.target