feat(archive): BAK-06 Restore-Testverfahren

internal/restoretest wiederholt BAK-03s eigene Pruefdiskt als Produktcode: echter Restore der neuesten Sicherung, echter Kurzstart einer isolierten Postgres-Instanz, echte SELECT-1-Abfrage; Objekt-Seite echter restic-Restore + Inhaltspruefung. JSONL-Historie (append-only), sichtbare Warnung ueber denselben OPS-05-Pull-Weg wie BAK-08, eigenes /metrics-Modul (archive-restoretest). Zwei reale Defekte gefunden und behoben: Unix-Socket-Pfadlaenge unter tief verschachtelten Testpfaden, restic-stderr-Vermischung beim JSON-Parsen unter dem Dienstnutzer. Real auf 131 verdrahtet und ausgeloest (beide Testarten erfolgreich, End-zu-Ende ueber OPS-03 bestaetigt).
2026-08-30 00:31:34 +02:00
parent d252732d09
commit c761cf9b93
10 changed files with 756 additions and 0 deletions
@@ -0,0 +1,71 @@
+// restoretest-cli ist der Aufrufpunkt fuer BAK-06 (systemd-Timer,
+// regelmaessiger Zeitplan) - fuehrt einen vollstaendigen Restore-Test
+// (Datenbank UND Objekt-Storage) gegen die jeweils neueste Sicherung in
+// eine isolierte Testumgebung durch und protokolliert das Ergebnis.
+package main
+
+import (
+	"context"
+	"log"
+	"os"
+
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/backup"
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/objectbackup"
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/restoretest"
+)
+
+func main() {
+	testRoot := os.Getenv("NEXARCH_RESTORETEST_DIR")
+	logPath := os.Getenv("NEXARCH_RESTORETEST_LOG")
+	if testRoot == "" || logPath == "" {
+		log.Fatal("NEXARCH_RESTORETEST_DIR und NEXARCH_RESTORETEST_LOG muessen gesetzt sein")
+	}
+	if err := os.MkdirAll(testRoot, 0o750); err != nil {
+		log.Fatalf("testverzeichnis anlegen: %v", err)
+	}
+
+	ctx := context.Background()
+	failed := false
+
+	dbCfg := backup.Config{
+		Host:      os.Getenv("NEXARCH_BACKUP_PG_HOST"),
+		Port:      os.Getenv("NEXARCH_BACKUP_PG_PORT"),
+		User:      os.Getenv("NEXARCH_BACKUP_PG_USER"),
+		Password:  os.Getenv("NEXARCH_BACKUP_PG_PASSWORD"),
+		BackupDir: os.Getenv("NEXARCH_BACKUP_DIR"),
+	}
+	pgCfg := restoretest.PgConfig{TestPort: envOr("NEXARCH_RESTORETEST_PG_PORT", "55433")}
+	dbResult := restoretest.RunDatabaseTest(ctx, dbCfg, pgCfg, testRoot)
+	logResult(logPath, dbResult)
+	if !dbResult.Success {
+		failed = true
+	}
+
+	objCfg := objectbackup.Config{
+		RepoDir:  os.Getenv("NEXARCH_OBJECTBACKUP_REPO_DIR"),
+		Password: os.Getenv("NEXARCH_OBJECTBACKUP_PASSWORD"),
+	}
+	objResult := restoretest.RunObjectTest(ctx, objCfg, testRoot)
+	logResult(logPath, objResult)
+	if !objResult.Success {
+		failed = true
+	}
+
+	if failed {
+		os.Exit(1)
+	}
+}
+
+func logResult(logPath string, r restoretest.Result) {
+	log.Printf("restoretest %s: quelle=%s erfolg=%t detail=%s", r.Kind, r.Source, r.Success, r.Detail)
+	if err := restoretest.AppendHistory(logPath, r); err != nil {
+		log.Fatalf("protokoll schreiben: %v", err)
+	}
+}
+
+func envOr(key, fallback string) string {
+	if v := os.Getenv(key); v != "" {
+		return v
+	}
+	return fallback
+}
@@ -0,0 +1,70 @@
+// restoretest-metrics stellt BAK-06s Testlauf-Historie unter /metrics
+// bereit - dauerhafter Prozess getrennt vom Oneshot-restoretest-cli
+// (Pull-Modell, Core OPS-03 scrapt, kein Push - dieselbe Begruendung wie
+// BAK-08s scrub-metrics).
+package main
+
+import (
+	"fmt"
+	"log"
+	"net/http"
+	"os"
+
+	"gitea.perlbach24.de/scripte/nexarch/archive/internal/restoretest"
+)
+
+func main() {
+	logPath := os.Getenv("NEXARCH_RESTORETEST_LOG")
+	if logPath == "" {
+		log.Fatal("NEXARCH_RESTORETEST_LOG muss gesetzt sein")
+	}
+	addr := os.Getenv("NEXARCH_RESTORETEST_METRICS_LISTEN_ADDR")
+	if addr == "" {
+		addr = ":8091"
+	}
+
+	mux := http.NewServeMux()
+	mux.HandleFunc("/metrics", func(w http.ResponseWriter, r *http.Request) {
+		history, err := restoretest.ReadHistory(logPath)
+		if err != nil {
+			http.Error(w, err.Error(), http.StatusInternalServerError)
+			return
+		}
+
+		// Historie ist append-only (siehe AppendHistory) - die Anzahl
+		// fehlgeschlagener Eintraege waechst daher von selbst monoton,
+		// kein separater Zaehlerstand noetig (gueltiger Prometheus-Counter).
+		var failuresTotal int
+		lastSuccess := map[restoretest.Kind]float64{restoretest.KindDatabase: -1, restoretest.KindObjects: -1}
+		for _, res := range history {
+			if !res.Success {
+				failuresTotal++
+			}
+			if res.Success {
+				lastSuccess[res.Kind] = 1
+			} else {
+				lastSuccess[res.Kind] = 0
+			}
+		}
+
+		w.Header().Set("Content-Type", "text/plain; version=0.0.4")
+		body := fmt.Sprintf(
+			"# HELP nexarch_archive_restore_test_failures_total Anzahl seit Einrichtung fehlgeschlagener Restore-Testlaeufe (BAK-06).\n"+
+				"# TYPE nexarch_archive_restore_test_failures_total counter\n"+
+				"nexarch_archive_restore_test_failures_total %d\n"+
+				"# HELP nexarch_archive_restore_test_last_success Letzter Testlauf erfolgreich (1) oder fehlgeschlagen (0), -1 wenn noch kein Lauf, je Art.\n"+
+				"# TYPE nexarch_archive_restore_test_last_success gauge\n"+
+				"nexarch_archive_restore_test_last_success{kind=\"database\"} %g\n"+
+				"nexarch_archive_restore_test_last_success{kind=\"objects\"} %g\n",
+			failuresTotal, lastSuccess[restoretest.KindDatabase], lastSuccess[restoretest.KindObjects])
+		if _, err := w.Write([]byte(body)); err != nil {
+			log.Printf("restoretest-metrics: antwort schreiben: %v", err)
+		}
+	})
+	mux.HandleFunc("/healthz", func(w http.ResponseWriter, r *http.Request) { w.WriteHeader(http.StatusOK) })
+
+	log.Printf("restoretest-metrics: listening on %s", addr)
+	if err := http.ListenAndServe(addr, mux); err != nil {
+		log.Fatalf("http server: %v", err)
+	}
+}