Compare commits

..
11 changed files with 542 additions and 511 deletions
-64
View File
@@ -1,64 +0,0 @@
package ratelimit
import (
"fmt"
"math"
"net/http"
"gitea.perlbach24.de/scripte/nexarch/internal/apiserver"
)
// KeyFunc bestimmt den Rate-Limit-Schluessel fuer eine Anfrage — typischerweise
// der Tenant-Slug aus apiserver.RequestContext, siehe KeyByTenant. Als
// eigenstaendiger Typ austauschbar (z.B. spaeter API-Token-basiert), ohne
// internal/apiserver aendern zu muessen (Kein Umbau angrenzender Bereiche).
type KeyFunc func(r *http.Request) (string, bool)
// KeyByTenant liest den Tenant aus dem von internal/apiserver.authAndTenantContext
// gesetzten RequestContext (IAM-02/API-01) — dieselbe Middleware-Kette,
// keine zweite Authentifizierung.
func KeyByTenant(r *http.Request) (string, bool) {
rc, ok := apiserver.FromContext(r.Context())
if !ok || rc.TenantSlug == "" {
return "", false
}
return rc.TenantSlug, true
}
// Middleware setzt sich VOR den eigentlichen Handler (nach Auth+Tenant-
// Kontext, siehe KeyByTenant) und lehnt Anfragen ueber dem konfigurierten
// Limit mit 429 + Retry-After ab (Akzeptanzkriterium 3).
func Middleware(store *Store, keyFn KeyFunc, next http.HandlerFunc) http.HandlerFunc {
return func(w http.ResponseWriter, r *http.Request) {
key, ok := keyFn(r)
if !ok {
// Kein Schluessel ermittelbar (z.B. kein Tenant-Kontext) — die
// Auth-Pruefung selbst ist Sache von authAndTenantContext, hier
// wird nur nicht limitiert, wenn schon kein Kontext vorliegt.
next(w, r)
return
}
result, err := store.Allow(r.Context(), key)
if err != nil {
apiserver.WriteError(w, http.StatusInternalServerError, "rate_limit_error", "rate-limit-pruefung fehlgeschlagen")
return
}
w.Header().Set("X-RateLimit-Limit", fmt.Sprintf("%d", result.Limit))
w.Header().Set("X-RateLimit-Remaining", fmt.Sprintf("%d", result.Remaining))
if !result.Allowed {
retryAfterSeconds := int(math.Ceil(result.RetryAfter.Seconds()))
if retryAfterSeconds < 1 {
retryAfterSeconds = 1
}
w.Header().Set("Retry-After", fmt.Sprintf("%d", retryAfterSeconds))
apiserver.WriteError(w, http.StatusTooManyRequests, "rate_limit_exceeded",
"zu viele anfragen, bitte spaeter erneut versuchen")
return
}
next(w, r)
}
}
-136
View File
@@ -1,136 +0,0 @@
package ratelimit
import (
"context"
"net/http"
"net/http/httptest"
"os"
"testing"
"time"
"github.com/jackc/pgx/v5/pgxpool"
"gitea.perlbach24.de/scripte/nexarch/internal/apiserver"
"gitea.perlbach24.de/scripte/nexarch/internal/auth"
)
func setupMiddlewareTest(t *testing.T) (*apiserver.Server, *auth.TokenIssuer, *Store, func()) {
t.Helper()
adminDSN := os.Getenv("TEST_ADMIN_DSN")
if adminDSN == "" {
t.Skip("TEST_ADMIN_DSN nicht gesetzt, Integrationstest uebersprungen")
}
ctx := context.Background()
pool, err := pgxpool.New(ctx, adminDSN)
if err != nil {
t.Fatalf("pool: %v", err)
}
if _, err := pool.Exec(ctx, `
CREATE TABLE IF NOT EXISTS rate_limit_configs (
key TEXT PRIMARY KEY, limit_value INT NOT NULL, window_seconds INT NOT NULL
);
CREATE TABLE IF NOT EXISTS rate_limit_counters (
key TEXT NOT NULL, window_start TIMESTAMPTZ NOT NULL, count INT NOT NULL DEFAULT 0,
PRIMARY KEY (key, window_start)
);
`); err != nil {
t.Fatalf("schema: %v", err)
}
issuer := auth.NewTokenIssuer("test-secret-nur-fuer-tests")
srv := apiserver.NewServer(issuer)
store := NewStore(pool)
cleanup := func() { pool.Close() }
return srv, issuer, store, cleanup
}
// Akzeptanzkriterium 3 + Pruefung 2: Ueberschreitung liefert 429 mit
// Retry-After-Header, ueber die vollstaendige Middleware-Kette (Auth ->
// Tenant-Kontext -> Rate-Limit -> Handler) hinweg.
func TestMiddleware_Returns429WithRetryAfterOnExceeded(t *testing.T) {
srv, issuer, store, cleanup := setupMiddlewareTest(t)
defer cleanup()
ctx := context.Background()
tenantSlug := newTestKey()
if err := store.SetLimit(ctx, tenantSlug, 1, time.Minute); err != nil {
t.Fatalf("setlimit: %v", err)
}
called := 0
srv.HandleV1("/limited", Middleware(store, KeyByTenant, func(w http.ResponseWriter, r *http.Request) {
called++
w.WriteHeader(http.StatusOK)
}))
token, err := issuer.Issue("user-1", tenantSlug)
if err != nil {
t.Fatalf("issue: %v", err)
}
req1 := httptest.NewRequest(http.MethodGet, "/api/v1/limited", nil)
req1.AddCookie(&http.Cookie{Name: auth.CookieName, Value: token})
rec1 := httptest.NewRecorder()
srv.Handler().ServeHTTP(rec1, req1)
if rec1.Code != http.StatusOK {
t.Fatalf("1. anfrage: status = %d, want 200", rec1.Code)
}
req2 := httptest.NewRequest(http.MethodGet, "/api/v1/limited", nil)
req2.AddCookie(&http.Cookie{Name: auth.CookieName, Value: token})
rec2 := httptest.NewRecorder()
srv.Handler().ServeHTTP(rec2, req2)
if rec2.Code != http.StatusTooManyRequests {
t.Fatalf("2. anfrage: status = %d, want 429", rec2.Code)
}
if rec2.Header().Get("Retry-After") == "" {
t.Fatal("erwartet gesetzten Retry-After-Header bei 429")
}
if called != 1 {
t.Fatalf("handler wurde %d mal aufgerufen, want genau 1 (2. anfrage haette nicht durchgereicht werden duerfen)", called)
}
}
// Akzeptanzkriterium 1: das Limit ist pro Tenant konfigurierbar — ein
// anderer Tenant (anderer Key) bleibt von der Ausschoepfung unberuehrt.
func TestMiddleware_DifferentTenantsHaveIndependentLimits(t *testing.T) {
srv, issuer, store, cleanup := setupMiddlewareTest(t)
defer cleanup()
ctx := context.Background()
tenantA := newTestKey()
tenantB := newTestKey()
if err := store.SetLimit(ctx, tenantA, 1, time.Minute); err != nil {
t.Fatalf("setlimit a: %v", err)
}
if err := store.SetLimit(ctx, tenantB, 1, time.Minute); err != nil {
t.Fatalf("setlimit b: %v", err)
}
srv.HandleV1("/limited2", Middleware(store, KeyByTenant, func(w http.ResponseWriter, r *http.Request) {
w.WriteHeader(http.StatusOK)
}))
tokenA, _ := issuer.Issue("user-a", tenantA)
tokenB, _ := issuer.Issue("user-b", tenantB)
// Tenant A schoepft sein Limit aus.
reqA := httptest.NewRequest(http.MethodGet, "/api/v1/limited2", nil)
reqA.AddCookie(&http.Cookie{Name: auth.CookieName, Value: tokenA})
recA := httptest.NewRecorder()
srv.Handler().ServeHTTP(recA, reqA)
if recA.Code != http.StatusOK {
t.Fatalf("tenant a, 1. anfrage: status = %d, want 200", recA.Code)
}
// Tenant B ist von der Ausschoepfung bei A unberuehrt.
reqB := httptest.NewRequest(http.MethodGet, "/api/v1/limited2", nil)
reqB.AddCookie(&http.Cookie{Name: auth.CookieName, Value: tokenB})
recB := httptest.NewRecorder()
srv.Handler().ServeHTTP(recB, reqB)
if recB.Code != http.StatusOK {
t.Fatalf("tenant b haette trotz ausgeschoepftem limit von tenant a erlaubt sein muessen, status = %d", recB.Code)
}
}
-126
View File
@@ -1,126 +0,0 @@
// Package ratelimit implementiert Core API-03: eine zentrale Rate-Limiting-
// Schicht fuer die gesamte Core-API mit GETEILTEM, EXTERNEM Zustand in
// Postgres — kein In-Process-Zaehler (siehe "Bekannte Fehler vermeiden" im
// Ticket: dasselbe Risiko wie bei IAM-07s In-Memory-Lockout). Fixed-Window-
// Algorithmus: einfach, korrekt unter nebenlaeufigem Zugriff (atomares
// UPSERT wie internal/usage.Store.Increment), und fuer ein API-Gateway
// ausreichend praezise — kein Sliding-Window-Overhead noetig.
package ratelimit
import (
"context"
"fmt"
"time"
"github.com/jackc/pgx/v5"
"github.com/jackc/pgx/v5/pgxpool"
)
// DefaultLimit/DefaultWindow gelten fuer jeden Schluessel (Tenant oder
// API-Token), fuer den keine eigene Konfiguration existiert
// (Akzeptanzkriterium 1: "konfigurierbar", nicht "verpflichtend konfiguriert").
const (
DefaultLimit = 100
DefaultWindow = time.Minute
)
// Config ist das je Schluessel konfigurierbare Limit.
type Config struct {
Limit int
Window time.Duration
}
// Store haelt Konfiguration UND Zaehlerstand in Postgres — beides ueber
// dieselbe Verbindung erreichbar, damit mehrere Dienstinstanzen denselben
// Zustand sehen (Akzeptanzkriterium 2).
type Store struct {
pool *pgxpool.Pool
}
func NewStore(pool *pgxpool.Pool) *Store {
return &Store{pool: pool}
}
// SetLimit setzt die Konfiguration fuer EINEN Schluessel (z.B. einen
// Tenant-Slug oder eine API-Token-ID) — wirkt sich nicht auf andere
// Schluessel aus (Akzeptanzkriterium 1 / Pruefung 3).
func (s *Store) SetLimit(ctx context.Context, key string, limit int, window time.Duration) error {
_, err := s.pool.Exec(ctx, `
INSERT INTO rate_limit_configs (key, limit_value, window_seconds)
VALUES ($1, $2, $3)
ON CONFLICT (key) DO UPDATE SET limit_value = $2, window_seconds = $3
`, key, limit, int(window.Seconds()))
if err != nil {
return fmt.Errorf("rate-limit-konfiguration speichern: %w", err)
}
return nil
}
func (s *Store) getConfig(ctx context.Context, key string) (Config, error) {
var limit, windowSeconds int
err := s.pool.QueryRow(ctx, `
SELECT limit_value, window_seconds FROM rate_limit_configs WHERE key = $1
`, key).Scan(&limit, &windowSeconds)
if err != nil {
if err == pgx.ErrNoRows {
return Config{Limit: DefaultLimit, Window: DefaultWindow}, nil
}
return Config{}, fmt.Errorf("rate-limit-konfiguration lesen: %w", err)
}
return Config{Limit: limit, Window: time.Duration(windowSeconds) * time.Second}, nil
}
// Result ist der Ausgang einer Allow-Pruefung (Akzeptanzkriterium 3).
type Result struct {
Allowed bool
Limit int
Remaining int
RetryAfter time.Duration
}
// Allow erhoeht den Zaehler fuer (key, aktuelles Zeitfenster) ATOMAR ueber
// ein einziges UPSERT (dasselbe Muster wie internal/usage.Store.Increment)
// und vergleicht das Ergebnis gegen die konfigurierte Grenze — kein
// Lesen-Erhoehen-Schreiben in Go, damit zwei Dienstinstanzen, die
// gleichzeitig gegen dieselbe Datenbank inkrementieren, sich niemals
// gegenseitig ueberschreiben (Akzeptanzkriterium 2 / Pruefung 1).
func (s *Store) Allow(ctx context.Context, key string) (Result, error) {
cfg, err := s.getConfig(ctx, key)
if err != nil {
return Result{}, err
}
windowSeconds := int64(cfg.Window.Seconds())
if windowSeconds <= 0 {
windowSeconds = int64(DefaultWindow.Seconds())
}
now := time.Now().UTC()
windowStart := time.Unix((now.Unix()/windowSeconds)*windowSeconds, 0).UTC()
windowEnd := windowStart.Add(time.Duration(windowSeconds) * time.Second)
var count int
err = s.pool.QueryRow(ctx, `
INSERT INTO rate_limit_counters (key, window_start, count)
VALUES ($1, $2, 1)
ON CONFLICT (key, window_start) DO UPDATE
SET count = rate_limit_counters.count + 1
RETURNING count
`, key, windowStart).Scan(&count)
if err != nil {
return Result{}, fmt.Errorf("rate-limit-zaehler erhoehen: %w", err)
}
remaining := cfg.Limit - count
if remaining < 0 {
remaining = 0
}
if count > cfg.Limit {
return Result{
Allowed: false,
Limit: cfg.Limit,
Remaining: 0,
RetryAfter: windowEnd.Sub(now),
}, nil
}
return Result{Allowed: true, Limit: cfg.Limit, Remaining: remaining}, nil
}
-168
View File
@@ -1,168 +0,0 @@
package ratelimit
import (
"context"
"fmt"
"os"
"sync"
"sync/atomic"
"testing"
"time"
"github.com/jackc/pgx/v5/pgxpool"
)
func setupTest(t *testing.T) (*pgxpool.Pool, func()) {
t.Helper()
adminDSN := os.Getenv("TEST_ADMIN_DSN")
if adminDSN == "" {
t.Skip("TEST_ADMIN_DSN nicht gesetzt, Integrationstest uebersprungen")
}
ctx := context.Background()
pool, err := pgxpool.New(ctx, adminDSN)
if err != nil {
t.Fatalf("pool: %v", err)
}
if _, err := pool.Exec(ctx, `
CREATE TABLE IF NOT EXISTS rate_limit_configs (
key TEXT PRIMARY KEY, limit_value INT NOT NULL, window_seconds INT NOT NULL
);
CREATE TABLE IF NOT EXISTS rate_limit_counters (
key TEXT NOT NULL, window_start TIMESTAMPTZ NOT NULL, count INT NOT NULL DEFAULT 0,
PRIMARY KEY (key, window_start)
);
`); err != nil {
t.Fatalf("schema: %v", err)
}
cleanup := func() { pool.Close() }
return pool, cleanup
}
func newTestKey() string {
return fmt.Sprintf("test-key-%d", time.Now().UnixNano())
}
// Akzeptanzkriterium 3 + Pruefung 2: Ueberschreitung des Limits wird
// nachweislich erkannt.
func TestAllow_RejectsAfterLimitExceeded(t *testing.T) {
pool, cleanup := setupTest(t)
defer cleanup()
store := NewStore(pool)
ctx := context.Background()
key := newTestKey()
if err := store.SetLimit(ctx, key, 3, time.Minute); err != nil {
t.Fatalf("setlimit: %v", err)
}
for i := 0; i < 3; i++ {
res, err := store.Allow(ctx, key)
if err != nil {
t.Fatalf("allow %d: %v", i, err)
}
if !res.Allowed {
t.Fatalf("anfrage %d haette erlaubt sein muessen, limit=3", i)
}
}
res, err := store.Allow(ctx, key)
if err != nil {
t.Fatalf("allow (4.): %v", err)
}
if res.Allowed {
t.Fatal("4. anfrage haette abgelehnt werden muessen (limit=3)")
}
if res.RetryAfter <= 0 {
t.Fatalf("erwartet positive retry-after-dauer, habe %v", res.RetryAfter)
}
}
// Akzeptanzkriterium 1 / Pruefung 3: Konfigurationsaenderung wirkt sich
// NICHT auf andere Schluessel (Tenants) aus.
func TestSetLimit_DoesNotAffectOtherKeys(t *testing.T) {
pool, cleanup := setupTest(t)
defer cleanup()
store := NewStore(pool)
ctx := context.Background()
keyA := newTestKey()
keyB := newTestKey()
if err := store.SetLimit(ctx, keyA, 1, time.Minute); err != nil {
t.Fatalf("setlimit a: %v", err)
}
resA1, _ := store.Allow(ctx, keyA)
resA2, _ := store.Allow(ctx, keyA)
if !resA1.Allowed || resA2.Allowed {
t.Fatalf("key a: erwartet erlaubt,abgelehnt, habe %v,%v", resA1.Allowed, resA2.Allowed)
}
// keyB hat keine eigene Konfiguration -> DefaultLimit, unbeeinflusst von keyA.
resB, err := store.Allow(ctx, keyB)
if err != nil {
t.Fatalf("allow b: %v", err)
}
if !resB.Allowed {
t.Fatal("key b haette trotz limit-ueberschreitung bei key a erlaubt sein muessen")
}
if resB.Limit != DefaultLimit {
t.Fatalf("key b limit = %d, want default %d", resB.Limit, DefaultLimit)
}
}
// Akzeptanzkriterium 2 + Pruefung 1: zwei "Dienstinstanzen" (zwei
// unabhaengige Pools/Store-Objekte) gegen dieselbe Datenbank setzen
// dasselbe Limit korrekt durch — kein In-Process-Zustand kann das leisten.
func TestAllow_TwoInstancesShareStateCorrectly(t *testing.T) {
adminDSN := os.Getenv("TEST_ADMIN_DSN")
if adminDSN == "" {
t.Skip("TEST_ADMIN_DSN nicht gesetzt, Integrationstest uebersprungen")
}
pool, cleanup := setupTest(t)
defer cleanup()
ctx := context.Background()
pool2, err := pgxpool.New(ctx, adminDSN)
if err != nil {
t.Fatalf("zweiter pool (simuliert zweite instanz): %v", err)
}
defer pool2.Close()
storeInstance1 := NewStore(pool)
storeInstance2 := NewStore(pool2)
key := newTestKey()
const limit = 20
if err := storeInstance1.SetLimit(ctx, key, limit, time.Minute); err != nil {
t.Fatalf("setlimit: %v", err)
}
const totalRequests = 50
var allowedCount int64
var wg sync.WaitGroup
for i := 0; i < totalRequests; i++ {
wg.Add(1)
store := storeInstance1
if i%2 == 0 {
store = storeInstance2 // Haelfte der Anfragen "kommt" von der zweiten Instanz
}
go func(s *Store) {
defer wg.Done()
res, err := s.Allow(ctx, key)
if err != nil {
t.Errorf("allow: %v", err)
return
}
if res.Allowed {
atomic.AddInt64(&allowedCount, 1)
}
}(store)
}
wg.Wait()
if allowedCount != limit {
t.Fatalf("erlaubte anfragen ueber beide instanzen = %d, want exakt %d (geteilter zustand)", allowedCount, limit)
}
}
+177
View File
@@ -0,0 +1,177 @@
package webhook
import (
"bytes"
"context"
"crypto/subtle"
"encoding/hex"
"fmt"
"net/http"
"time"
"github.com/jackc/pgx/v5"
)
// DefaultMaxAttempts ist die konfigurierbare Obergrenze, ab der eine
// Zustellung endgueltig als fehlgeschlagen gilt (Akzeptanzkriterium 2).
const DefaultMaxAttempts = 5
// DefaultBaseBackoff ist die Basisdauer fuer exponentielles Backoff:
// naechster Versuch nach BaseBackoff * 2^attempt (Akzeptanzkriterium 2).
const DefaultBaseBackoff = 2 * time.Second
// Dispatcher liefert faellige Zustellungen aus. Konfigurierbar in Tests
// (kleine BaseBackoff, kleine MaxAttempts), damit Retry/Backoff/Obergrenze
// ohne minutenlange Wartezeit real durchlaufen werden koennen.
type Dispatcher struct {
pool pgxIface
client *http.Client
MaxAttempts int
BaseBackoff time.Duration
}
// pgxIface ist die schmale Teilmenge von *pgxpool.Pool, die der Dispatcher
// braucht — als Interface, damit Tests keine echte Verbindung fuer reine
// Signatur-/Backoff-Logik brauchen (wird hier aber durchgehend mit echten
// Integrationstests gegen Postgres verwendet, siehe dispatcher_test.go).
type pgxIface interface {
Begin(ctx context.Context) (pgx.Tx, error)
}
func NewDispatcher(pool pgxIface, client *http.Client) *Dispatcher {
if client == nil {
client = &http.Client{Timeout: 5 * time.Second}
}
return &Dispatcher{pool: pool, client: client, MaxAttempts: DefaultMaxAttempts, BaseBackoff: DefaultBaseBackoff}
}
// backoffFor berechnet die Wartezeit vor dem naechsten Versuch: exponentiell
// wachsend mit der Anzahl bereits unternommener Versuche.
func (d *Dispatcher) backoffFor(attempt int) time.Duration {
return d.BaseBackoff * time.Duration(1<<uint(attempt))
}
// ProcessDue liefert ALLE derzeit faelligen Zustellungen aus — dasselbe
// SELECT ... FOR UPDATE SKIP LOCKED-Muster wie
// internal/tenant.Lifecycle.ProcessDueDeletions, damit mehrere Dispatcher-
// Instanzen dieselbe Zustellung nie doppelt bearbeiten.
func (d *Dispatcher) ProcessDue(ctx context.Context) (int, error) {
tx, err := d.pool.Begin(ctx)
if err != nil {
return 0, fmt.Errorf("transaktion starten: %w", err)
}
defer func() { _ = tx.Rollback(ctx) }()
rows, err := tx.Query(ctx, `
SELECT wd.id, wd.payload, wd.attempt, ws.target_url, ws.secret
FROM webhook_deliveries wd
JOIN webhook_subscriptions ws ON ws.id = wd.subscription_id
WHERE wd.status = $1 AND wd.next_attempt_at <= now()
FOR UPDATE OF wd SKIP LOCKED
`, StatusPending)
if err != nil {
return 0, fmt.Errorf("faellige zustellungen abfragen: %w", err)
}
var deliveries []delivery
for rows.Next() {
var del delivery
if err := rows.Scan(&del.ID, &del.Payload, &del.Attempt, &del.TargetURL, &del.Secret); err != nil {
rows.Close()
return 0, fmt.Errorf("zustellung lesen: %w", err)
}
deliveries = append(deliveries, del)
}
rows.Close()
if err := rows.Err(); err != nil {
return 0, err
}
for _, del := range deliveries {
d.attemptOne(ctx, tx, del)
}
if err := tx.Commit(ctx); err != nil {
return 0, fmt.Errorf("transaktion committen: %w", err)
}
return len(deliveries), nil
}
// attemptOne fuehrt GENAU EINEN Zustellversuch aus und aktualisiert den
// Zustellungsdatensatz entsprechend — Erfolg (Akzeptanzkriterium 1/Pruefung
// 1), erneuter Fehlversuch mit Backoff, oder endgueltiges Scheitern nach
// DefaultMaxAttempts (Akzeptanzkriterium 2/Pruefung 2). Ein Fehler bei
// GENAU EINER Zustellung darf die anderen in diesem Batch nicht verhindern.
func (d *Dispatcher) attemptOne(ctx context.Context, tx pgx.Tx, del delivery) {
signature := Sign(del.Secret, del.Payload)
req, err := http.NewRequestWithContext(ctx, http.MethodPost, del.TargetURL, bytes.NewReader(del.Payload))
deliveryErr := err
var statusCode int
if err == nil {
req.Header.Set("Content-Type", "application/json")
req.Header.Set(SignatureHeader, signature)
resp, err := d.client.Do(req)
if err != nil {
deliveryErr = err
} else {
statusCode = resp.StatusCode
resp.Body.Close()
if statusCode < 200 || statusCode >= 300 {
deliveryErr = fmt.Errorf("unerwarteter statuscode %d", statusCode)
}
}
}
if deliveryErr == nil {
_, _ = tx.Exec(ctx, `
UPDATE webhook_deliveries SET status = $2, delivered_at = now(), attempt = attempt + 1
WHERE id = $1
`, del.ID, StatusDelivered)
return
}
nextAttempt := del.Attempt + 1
if nextAttempt >= d.MaxAttempts {
_, _ = tx.Exec(ctx, `
UPDATE webhook_deliveries SET status = $2, attempt = $3, last_error = $4
WHERE id = $1
`, del.ID, StatusFailed, nextAttempt, deliveryErr.Error())
return
}
nextAttemptAt := time.Now().Add(d.backoffFor(nextAttempt))
_, _ = tx.Exec(ctx, `
UPDATE webhook_deliveries SET attempt = $2, next_attempt_at = $3, last_error = $4
WHERE id = $1
`, del.ID, nextAttempt, nextAttemptAt, deliveryErr.Error())
}
// Run ruft ProcessDue in festen Abstaenden auf, bis ctx beendet wird —
// dieselbe Konvention wie internal/tenant.Lifecycle.RunSweeper.
func (d *Dispatcher) Run(ctx context.Context, interval time.Duration) {
ticker := time.NewTicker(interval)
defer ticker.Stop()
for {
select {
case <-ctx.Done():
return
case <-ticker.C:
_, _ = d.ProcessDue(ctx)
}
}
}
// VerifySignature prueft empfaengerseitig, ob signature zu payload und
// secret passt — timing-safe (dasselbe Muster wie internal/audit.timingsafe),
// damit ein Empfaenger die Authentizitaet einer Zustellung pruefen kann
// (Akzeptanzkriterium 3).
func VerifySignature(secret string, payload []byte, signature string) bool {
expected := Sign(secret, payload)
expectedBytes, err1 := hex.DecodeString(expected)
gotBytes, err2 := hex.DecodeString(signature)
if err1 != nil || err2 != nil {
return false
}
return subtle.ConstantTimeCompare(expectedBytes, gotBytes) == 1
}
+131
View File
@@ -0,0 +1,131 @@
// Package webhook implementiert Core API-07: eine zentrale Webhook-Registry
// und Zustellungs-Engine fuer alle Fachmodule (DMS/Mail/Archive/Workflow/AI).
// Module reichen Ereignisse EINMAL zur Zustellung ein und implementieren
// selbst KEINE eigene Retry-/Signatur-Logik — das ist der zentrale Zweck
// dieser Kachel ("Bewusst vermeiden: jedes Modul baut seine eigene
// Webhook-Zustellungs-Engine"). Zustellung laeuft ueber dieselbe
// Postgres-Jobqueue-Konvention (SELECT ... FOR UPDATE SKIP LOCKED) wie
// internal/tenant.Lifecycle.ProcessDueDeletions (TEN-04) und
// internal/notify.Dispatcher (CFG-02) — kein Redis/AMQP.
package webhook
import (
"context"
"crypto/hmac"
"crypto/sha256"
"encoding/hex"
"encoding/json"
"fmt"
"time"
"github.com/jackc/pgx/v5/pgxpool"
)
const (
StatusPending = "pending"
StatusDelivered = "delivered"
StatusFailed = "failed"
)
// Subscription ist EIN externer Abonnent fuer einen Ereignistyp
// (Akzeptanzkriterium 1: Module registrieren Ereignistypen, externe
// Abonnenten registrieren Ziel-URLs — dieses Paket modelliert die
// Abonnenten-Seite; welche Ereignistypen ein Modul anbietet, ist bewusst
// NICHT Teil dieser Kachel).
type Subscription struct {
ID string
EventType string
TargetURL string
Secret string
CreatedAt time.Time
}
// Store persistiert Abonnements und Zustellversuche.
type Store struct {
pool *pgxpool.Pool
}
func NewStore(pool *pgxpool.Pool) *Store {
return &Store{pool: pool}
}
// Subscribe registriert einen Abonnenten fuer einen Ereignistyp. secret wird
// spaeter zur HMAC-Signierung jeder Zustellung an diesen Abonnenten
// verwendet (Akzeptanzkriterium 3).
func (s *Store) Subscribe(ctx context.Context, eventType, targetURL, secret string) (Subscription, error) {
var sub Subscription
sub.EventType, sub.TargetURL, sub.Secret = eventType, targetURL, secret
row := s.pool.QueryRow(ctx, `
INSERT INTO webhook_subscriptions (event_type, target_url, secret)
VALUES ($1, $2, $3)
RETURNING id, created_at
`, eventType, targetURL, secret)
if err := row.Scan(&sub.ID, &sub.CreatedAt); err != nil {
return Subscription{}, fmt.Errorf("abonnement anlegen: %w", err)
}
return sub, nil
}
// Enqueue reicht EIN Ereignis zur Zustellung an ALLE Abonnenten des
// angegebenen Ereignistyps ein — dies ist die EINZIGE Schnittstelle, die
// ein Fachmodul braucht (Akzeptanzkriterium 1). Jeder Abonnent erhaelt
// einen eigenen, unabhaengigen Zustellversuch-Datensatz.
func (s *Store) Enqueue(ctx context.Context, eventType string, payload any) (int, error) {
payloadJSON, err := json.Marshal(payload)
if err != nil {
return 0, fmt.Errorf("payload serialisieren: %w", err)
}
rows, err := s.pool.Query(ctx, `
SELECT id FROM webhook_subscriptions WHERE event_type = $1
`, eventType)
if err != nil {
return 0, fmt.Errorf("abonnenten ermitteln: %w", err)
}
var subscriptionIDs []string
for rows.Next() {
var id string
if err := rows.Scan(&id); err != nil {
rows.Close()
return 0, fmt.Errorf("abonnent lesen: %w", err)
}
subscriptionIDs = append(subscriptionIDs, id)
}
rows.Close()
if err := rows.Err(); err != nil {
return 0, err
}
for _, subID := range subscriptionIDs {
if _, err := s.pool.Exec(ctx, `
INSERT INTO webhook_deliveries (subscription_id, event_type, payload, status, next_attempt_at)
VALUES ($1, $2, $3, $4, now())
`, subID, eventType, payloadJSON, StatusPending); err != nil {
return 0, fmt.Errorf("zustellung einreihen: %w", err)
}
}
return len(subscriptionIDs), nil
}
// delivery ist ein interner Datensatz fuer EINEN Zustellversuch, inklusive
// der zugehoerigen Abonnentendaten (per JOIN geladen).
type delivery struct {
ID string
TargetURL string
Secret string
Payload []byte
Attempt int
}
// Sign berechnet die HMAC-SHA256-Signatur des Payloads (Akzeptanzkriterium
// 3) — hex-kodiert, damit sie problemlos als HTTP-Header uebertragen werden
// kann.
func Sign(secret string, payload []byte) string {
mac := hmac.New(sha256.New, []byte(secret))
mac.Write(payload)
return hex.EncodeToString(mac.Sum(nil))
}
// SignatureHeader ist der HTTP-Header, unter dem die Signatur uebertragen
// wird — dokumentierter Vertrag fuer Empfaenger (Akzeptanzkriterium 3).
const SignatureHeader = "X-Nexarch-Signature-256"
+205
View File
@@ -0,0 +1,205 @@
package webhook
import (
"context"
"encoding/json"
"io"
"net/http"
"net/http/httptest"
"os"
"sync/atomic"
"testing"
"time"
"github.com/jackc/pgx/v5/pgxpool"
)
func setupTest(t *testing.T) (*Store, *pgxpool.Pool, func()) {
t.Helper()
adminDSN := os.Getenv("TEST_ADMIN_DSN")
if adminDSN == "" {
t.Skip("TEST_ADMIN_DSN nicht gesetzt, Integrationstest uebersprungen")
}
ctx := context.Background()
pool, err := pgxpool.New(ctx, adminDSN)
if err != nil {
t.Fatalf("pool: %v", err)
}
if _, err := pool.Exec(ctx, `
CREATE TABLE IF NOT EXISTS webhook_subscriptions (
id UUID PRIMARY KEY DEFAULT gen_random_uuid(), event_type TEXT NOT NULL,
target_url TEXT NOT NULL, secret TEXT NOT NULL, created_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
CREATE TABLE IF NOT EXISTS webhook_deliveries (
id UUID PRIMARY KEY DEFAULT gen_random_uuid(), subscription_id UUID NOT NULL REFERENCES webhook_subscriptions(id),
event_type TEXT NOT NULL, payload JSONB NOT NULL, status TEXT NOT NULL DEFAULT 'pending',
attempt INT NOT NULL DEFAULT 0, next_attempt_at TIMESTAMPTZ NOT NULL DEFAULT now(),
last_error TEXT, created_at TIMESTAMPTZ NOT NULL DEFAULT now(), delivered_at TIMESTAMPTZ
);
`); err != nil {
t.Fatalf("schema: %v", err)
}
cleanup := func() { pool.Close() }
return NewStore(pool), pool, cleanup
}
func uniqueEventType(prefix string) string {
return prefix + "-" + time.Now().Format("150405.000000000")
}
// Akzeptanzkriterium 1 + Pruefung 1: ein Modul reicht ein Ereignis ein
// (Enqueue) ohne eigene Zustellungslogik, der zentrale Dispatcher liefert
// zuverlaessig aus.
func TestEnqueueAndProcessDue_DeliversSuccessfully(t *testing.T) {
store, pool, cleanup := setupTest(t)
defer cleanup()
ctx := context.Background()
var receivedBody []byte
var receivedSignature string
target := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
body, _ := io.ReadAll(r.Body)
receivedBody = body
receivedSignature = r.Header.Get(SignatureHeader)
w.WriteHeader(http.StatusOK)
}))
defer target.Close()
eventType := uniqueEventType("dms.file.created")
sub, err := store.Subscribe(ctx, eventType, target.URL, "geheimes-secret")
if err != nil {
t.Fatalf("subscribe: %v", err)
}
n, err := store.Enqueue(ctx, eventType, map[string]string{"file_id": "42"})
if err != nil {
t.Fatalf("enqueue: %v", err)
}
if n != 1 {
t.Fatalf("erwartet 1 eingereihte zustellung, habe %d", n)
}
dispatcher := NewDispatcher(pool, target.Client())
processed, err := dispatcher.ProcessDue(ctx)
if err != nil {
t.Fatalf("processdue: %v", err)
}
if processed != 1 {
t.Fatalf("erwartet 1 verarbeitete zustellung, habe %d", processed)
}
var status string
if err := pool.QueryRow(ctx, `SELECT status FROM webhook_deliveries WHERE subscription_id = $1`, sub.ID).Scan(&status); err != nil {
t.Fatalf("status lesen: %v", err)
}
if status != StatusDelivered {
t.Fatalf("status = %q, want %q", status, StatusDelivered)
}
// Postgres' JSONB-Spalte kann die Byte-Repraesentation des Payloads
// gegenueber dem urspruenglichen json.Marshal kanonisieren (z.B.
// Leerzeichen) — das ist unschaedlich, denn der Dispatcher signiert
// IMMER exakt die Bytes, die er auch sendet. Die Pruefung vergleicht
// deshalb Signatur gegen tatsaechlich empfangene Bytes (Selbstkonsistenz),
// nicht gegen eine unabhaengig neu marshalte Referenz.
if !VerifySignature("geheimes-secret", receivedBody, receivedSignature) {
t.Fatalf("empfangene signatur %q passt nicht zum empfangenen payload %q", receivedSignature, receivedBody)
}
var decoded map[string]string
if err := json.Unmarshal(receivedBody, &decoded); err != nil {
t.Fatalf("empfangener payload nicht als json lesbar: %v", err)
}
if decoded["file_id"] != "42" {
t.Fatalf("empfangener payload = %v, want file_id=42", decoded)
}
}
// Akzeptanzkriterium 2 + Pruefung 2: fehlschlagendes Ziel loest Retry mit
// wachsendem Backoff aus und endet nach der konfigurierten Obergrenze in
// "failed".
func TestProcessDue_RetriesWithBackoffThenMarksFailed(t *testing.T) {
store, pool, cleanup := setupTest(t)
defer cleanup()
ctx := context.Background()
var callCount int32
target := httptest.NewServer(http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
atomic.AddInt32(&callCount, 1)
w.WriteHeader(http.StatusInternalServerError)
}))
defer target.Close()
eventType := uniqueEventType("mail.send.failed")
sub, err := store.Subscribe(ctx, eventType, target.URL, "secret")
if err != nil {
t.Fatalf("subscribe: %v", err)
}
if _, err := store.Enqueue(ctx, eventType, map[string]string{"x": "y"}); err != nil {
t.Fatalf("enqueue: %v", err)
}
dispatcher := NewDispatcher(pool, target.Client())
dispatcher.MaxAttempts = 2
dispatcher.BaseBackoff = 30 * time.Millisecond
// 1. Versuch: schlaegt fehl, ist aber noch nicht die Obergrenze.
if _, err := dispatcher.ProcessDue(ctx); err != nil {
t.Fatalf("processdue 1: %v", err)
}
var status string
var attempt int
if err := pool.QueryRow(ctx, `SELECT status, attempt FROM webhook_deliveries WHERE subscription_id = $1`, sub.ID).Scan(&status, &attempt); err != nil {
t.Fatalf("status lesen 1: %v", err)
}
if status != StatusPending || attempt != 1 {
t.Fatalf("nach 1. fehlschlag: status=%q attempt=%d, want pending/1", status, attempt)
}
// Sofort erneut verarbeiten: Backoff ist noch nicht abgelaufen -> nichts faellig.
processedTooEarly, err := dispatcher.ProcessDue(ctx)
if err != nil {
t.Fatalf("processdue (zu frueh): %v", err)
}
if processedTooEarly != 0 {
t.Fatal("erwartet 0 verarbeitete zustellungen, solange backoff nicht abgelaufen ist")
}
time.Sleep(dispatcher.backoffFor(1) + 20*time.Millisecond)
// 2. Versuch: erreicht MaxAttempts=2 -> endgueltig fehlgeschlagen.
if _, err := dispatcher.ProcessDue(ctx); err != nil {
t.Fatalf("processdue 2: %v", err)
}
if err := pool.QueryRow(ctx, `SELECT status, attempt FROM webhook_deliveries WHERE subscription_id = $1`, sub.ID).Scan(&status, &attempt); err != nil {
t.Fatalf("status lesen 2: %v", err)
}
if status != StatusFailed || attempt != 2 {
t.Fatalf("nach 2. fehlschlag: status=%q attempt=%d, want failed/2", status, attempt)
}
if atomic.LoadInt32(&callCount) != 2 {
t.Fatalf("erwartet genau 2 tatsaechliche zustellversuche, habe %d", callCount)
}
}
// Akzeptanzkriterium 3 + Pruefung 3: Signaturpruefung erkennt eine
// manipulierte Payload zuverlaessig.
func TestVerifySignature_DetectsTamperedPayload(t *testing.T) {
secret := "geteiltes-geheimnis"
payload := []byte(`{"file_id":"42"}`)
signature := Sign(secret, payload)
if !VerifySignature(secret, payload, signature) {
t.Fatal("erwartet gueltige signatur fuer unveraenderte payload")
}
tampered := []byte(`{"file_id":"99"}`)
if VerifySignature(secret, tampered, signature) {
t.Fatal("erwartet ungueltige signatur fuer manipulierte payload")
}
if VerifySignature("falsches-secret", payload, signature) {
t.Fatal("erwartet ungueltige signatur bei falschem secret")
}
}
-2
View File
@@ -1,2 +0,0 @@
DROP TABLE rate_limit_counters;
DROP TABLE rate_limit_configs;
-15
View File
@@ -1,15 +0,0 @@
-- Rate-Limiting mit geteiltem, externem Zustand (API-03, siehe
-- core-kanban/tickets/API-03.md) — bewusst NICHT In-Process, damit mehrere
-- Dienstinstanzen dasselbe Limit korrekt durchsetzen.
CREATE TABLE rate_limit_configs (
key TEXT PRIMARY KEY,
limit_value INT NOT NULL,
window_seconds INT NOT NULL
);
CREATE TABLE rate_limit_counters (
key TEXT NOT NULL,
window_start TIMESTAMPTZ NOT NULL,
count INT NOT NULL DEFAULT 0,
PRIMARY KEY (key, window_start)
);
+2
View File
@@ -0,0 +1,2 @@
DROP TABLE webhook_deliveries;
DROP TABLE webhook_subscriptions;
+27
View File
@@ -0,0 +1,27 @@
-- Zentrale Webhook-Registry & Zustellung (API-07, siehe
-- core-kanban/tickets/API-07.md) — Postgres-basierte Jobqueue, kein
-- Redis/AMQP (Ticket-Vorgabe).
CREATE TABLE webhook_subscriptions (
id UUID PRIMARY KEY DEFAULT gen_random_uuid(),
event_type TEXT NOT NULL,
target_url TEXT NOT NULL,
secret TEXT NOT NULL,
created_at TIMESTAMPTZ NOT NULL DEFAULT now()
);
CREATE INDEX webhook_subscriptions_event_type_idx ON webhook_subscriptions (event_type);
CREATE TABLE webhook_deliveries (
id UUID PRIMARY KEY DEFAULT gen_random_uuid(),
subscription_id UUID NOT NULL REFERENCES webhook_subscriptions(id),
event_type TEXT NOT NULL,
payload JSONB NOT NULL,
status TEXT NOT NULL DEFAULT 'pending', -- pending|delivered|failed
attempt INT NOT NULL DEFAULT 0,
next_attempt_at TIMESTAMPTZ NOT NULL DEFAULT now(),
last_error TEXT,
created_at TIMESTAMPTZ NOT NULL DEFAULT now(),
delivered_at TIMESTAMPTZ
);
CREATE INDEX webhook_deliveries_due_idx ON webhook_deliveries (status, next_attempt_at);