sysops
67bcdd1833
Stichprobenbasierter Scrub-Job: nimmt BAK-05s existing_in_storage, priorisiert nach eigenem scrub_state.last_scrubbed_at (nicht file_revisions.created_at, sonst kein echtes Rotationsverhalten), prueft Inhalt per SHA-256 gegen file_revisions.checksum_sha256. Meldung ueber echten dauerhaften /metrics-Endpunkt (Pull-Modell, OPS-03 scrapt, kein Push), Counter monoton steigend. Real registriert in Core metrics_sources, End-zu-Ende ueber OPS-03-Aggregator bestaetigt, realer Befund-Durchlauf mit absichtlich falscher Pruefsumme durchgefuehrt.
70 lines
2.5 KiB
Go
70 lines
2.5 KiB
Go
// Package scrub implementiert BAK-08: periodische, checksummenbasierte
|
|
// Integritaetspruefung einer Stichprobe existierender Objekte. Baut auf
|
|
// BAK-05 (internal/reconcile) auf, das die deterministisch sortierte
|
|
// Liste bestaetigt existierender Objekte liefert (existenz-only) — scrub
|
|
// fuegt die INHALTSPRUEFUNG hinzu, die BAK-05 bewusst ausspart.
|
|
package scrub
|
|
|
|
import (
|
|
"sort"
|
|
"time"
|
|
|
|
"gitea.perlbach24.de/scripte/nexarch/archive/internal/reconcile"
|
|
)
|
|
|
|
// Candidate ist ein fuer den aktuellen Lauf ausgewaehltes Objekt.
|
|
type Candidate struct {
|
|
StorageKey string
|
|
DocumentID string
|
|
RevisionID string
|
|
}
|
|
|
|
// Sample waehlt aus existing (BAK-05s existing_in_storage, bereits nach
|
|
// StorageKey sortiert) die naechste Stichprobe: Objekte, die noch nie
|
|
// oder vor mehr als cooldown geprueft wurden (last_scrubbed via
|
|
// storage_key -> last_scrubbed_at aus scrub_state), begrenzt auf
|
|
// sampleSize. Reine Funktion, deterministisch bei gleicher Eingabe (fixe
|
|
// Reihenfolge von existing, kein Zufall) — Akzeptanzkriterium
|
|
// "Sampling priorisiert alte, unveraenderte Objekte": ein nie/am
|
|
// laengsten nicht geprueftes Objekt hat KEINEN last_scrubbed-Eintrag oder
|
|
// den aeltesten, beides erscheint zuerst in "existing", das seinerseits
|
|
// nach StorageKey sortiert ist — daher wird zusaetzlich vor der
|
|
// Groessenbegrenzung nach last_scrubbed_at aufsteigend sortiert (nie
|
|
// geprueft = aeltestmoeglicher Wert), damit tatsaechlich das am laengsten
|
|
// nicht verifizierte Objekt zuerst drankommt, nicht nur alphabetisch nach
|
|
// Schluessel.
|
|
func Sample(existing []reconcile.Finding, lastScrubbed map[string]time.Time, cooldown time.Duration, sampleSize int, now time.Time) []Candidate {
|
|
type scored struct {
|
|
f reconcile.Finding
|
|
last time.Time
|
|
}
|
|
var due []scored
|
|
for _, f := range existing {
|
|
last, ok := lastScrubbed[f.StorageKey]
|
|
if ok && now.Sub(last) < cooldown {
|
|
continue // erst kuerzlich geprueft, ueberspringen
|
|
}
|
|
if !ok {
|
|
last = time.Time{} // nie geprueft = aeltestmoeglicher Wert, kommt zuerst
|
|
}
|
|
due = append(due, scored{f: f, last: last})
|
|
}
|
|
|
|
sort.SliceStable(due, func(i, j int) bool {
|
|
if !due[i].last.Equal(due[j].last) {
|
|
return due[i].last.Before(due[j].last)
|
|
}
|
|
return due[i].f.StorageKey < due[j].f.StorageKey // Tie-Break deterministisch
|
|
})
|
|
|
|
if sampleSize >= 0 && len(due) > sampleSize {
|
|
due = due[:sampleSize]
|
|
}
|
|
|
|
out := make([]Candidate, 0, len(due))
|
|
for _, d := range due {
|
|
out = append(out, Candidate{StorageKey: d.f.StorageKey, DocumentID: d.f.DocumentID, RevisionID: d.f.RevisionID})
|
|
}
|
|
return out
|
|
}
|