scripte/nexarch
1
0 Fork 0
Code Issues 1 Pull Requests 6 Actions Packages Projects Releases Wiki Activity

QA-04: Prüfgate Semantische Suche & Chat (AI) #347

Closed
patrick wants to merge 0 commits from feature/qa-04-pruefgate-semantische-suche-chat into main
pull from: feature/qa-04-pruefgate-semantische-suche-chat
merge into: scripte:main
Conversation 1 Commits - Files Changed -
patrick commented 2026-10-17 10:57:53 +02:00
Owner
Copy link
Copy source

Prüfgate für Suchqualität, RAG-Antwortgüte und Quellenverweis-Nachvollziehbarkeit (baut auf SEM-01-06).

Ergebnis:

  • AK1 Suchqualität: Precision@1 = 5/5 = 100% -- erfüllt
  • AK2 Chat-Antworten durchgängig mit Quelle belegt: 5/5 Testfragen korrekt zugeordnet und auflösbar -- erfüllt
  • AK3 Unbelegte Antwort zuverlässig gekennzeichnet: erfüllt für den strukturell erzwungenen Fall (keine freigegebenen Referenzen)
  • Antwortzeit: avg 503,6µs / max 645,7µs über 5 Testfragen -- erfüllt

Offener Befund (dokumentiert, bewusst nicht behoben -- Ticketumfang reines Prüfgate): semanticsearch.Service.Search setzt keinen Mindest-Ähnlichkeitswert durch. Eine fachlich unbelegte Frage mit vollem Zugriffsrecht liefert trotzdem topK-Treffer nahe Ähnlichkeit 0, docchat.Service.Ask erzeugt daraus eine scheinbar belegte Antwort statt sie als unbelegt zu kennzeichnen (Test TestOffenerBefund_UnbelegteFrageMitVollemZugriff_WirdNichtErkannt dokumentiert den IST-Zustand). Empfehlung: Folgeticket für Mindest-Ähnlichkeitsschwelle.

Protokoll: ai/docs/QA-04-PRUEFPROTOKOLL.md.

Kein Merge, kein Deploy.

🤖 Generated with Claude Code

Prüfgate für Suchqualität, RAG-Antwortgüte und Quellenverweis-Nachvollziehbarkeit (baut auf SEM-01-06). **Ergebnis:** - AK1 Suchqualität: Precision@1 = 5/5 = 100% -- erfüllt - AK2 Chat-Antworten durchgängig mit Quelle belegt: 5/5 Testfragen korrekt zugeordnet und auflösbar -- erfüllt - AK3 Unbelegte Antwort zuverlässig gekennzeichnet: erfüllt für den strukturell erzwungenen Fall (keine freigegebenen Referenzen) - Antwortzeit: avg 503,6µs / max 645,7µs über 5 Testfragen -- erfüllt **Offener Befund (dokumentiert, bewusst nicht behoben -- Ticketumfang reines Prüfgate):** `semanticsearch.Service.Search` setzt keinen Mindest-Ähnlichkeitswert durch. Eine fachlich unbelegte Frage mit vollem Zugriffsrecht liefert trotzdem topK-Treffer nahe Ähnlichkeit 0, `docchat.Service.Ask` erzeugt daraus eine scheinbar belegte Antwort statt sie als unbelegt zu kennzeichnen (Test `TestOffenerBefund_UnbelegteFrageMitVollemZugriff_WirdNichtErkannt` dokumentiert den IST-Zustand). Empfehlung: Folgeticket für Mindest-Ähnlichkeitsschwelle. Protokoll: `ai/docs/QA-04-PRUEFPROTOKOLL.md`. Kein Merge, kein Deploy. 🤖 Generated with [Claude Code](https://claude.com/claude-code)
patrick added 2 commits 2026-10-17 10:57:53 +02:00
QA-04: pruefgate semantische suche & chat c23f5bfa0b 
Prüfgate-Testharness ai/internal/qa04gate: fester synthetischer Testkorpus
(refcorpus) mit Testfragen, TF-IDF-Embedding ohne Netzwerk/Modell, Prüfung von
Suchqualität (Precision@1), Beleg-Antwort-Zuordnung (Citations -> ResolveCitation)
und Kennzeichnung unbelegter Antworten. Kein Umbau bestehender Pakete.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
QA-04: pruefgate semantische suche & chat - Pruefprotokoll
CI / DMS-Modul (Lint/Build/Test/Coverage/Artefakt) (push) Canceled after 0s
Details
CI / DMS-Modul (Lint/Build/Test/Coverage/Artefakt) (pull_request) Canceled after 0s
Details
CI / DMS Security-Test-Gate (AC5, Merge-Gate) (push) Canceled after 0s
Details
CI / Connect Security-Test-Gate (QA-01 AC4, Merge-Gate) (push) Canceled after 0s
Details
CI / Web (dms-browser) (pull_request) Canceled after 0s
Details
Core-Schnittstellen-Vertragstests / contract-tests (pull_request) Canceled after 0s
Details
Supply-Chain-Scan (Go) / govulncheck (pull_request) Canceled after 0s
Details
CI / Core-Modul (Build/Vet/Test) (push) Canceled after 0s
Details
CI / DMS-Modul Supply-Chain-Scan (govulncheck) (push) Canceled after 0s
Details
CI / Web (dms-browser) (push) Canceled after 0s
Details
CI / Web (pdf-viewer) (push) Canceled after 0s
Details
CI / Web (shl) (push) Canceled after 0s
Details
AI-Pflichttest-Gate / pflichttest-gate (pull_request) Canceled after 0s
Details
CI / Core-Modul (Build/Vet/Test) (pull_request) Canceled after 0s
Details
CI / DMS Security-Test-Gate (AC5, Merge-Gate) (pull_request) Canceled after 0s
Details
CI / Connect Security-Test-Gate (QA-01 AC4, Merge-Gate) (pull_request) Canceled after 0s
Details
CI / DMS-Modul Supply-Chain-Scan (govulncheck) (pull_request) Canceled after 0s
Details
CI / Web (pdf-viewer) (pull_request) Canceled after 0s
Details
CI / Web (shl) (pull_request) Canceled after 0s
Details
Supply-Chain-Scan (npm) / npm-audit (pull_request) Canceled after 0s
Details
Core-Pflichttest-Gate / pflichttest-gate (pull_request) Canceled after 0s
Details
RBAC-Rollenhierarchie-Pflichtgate / rbac-policy-invariant (pull_request) Canceled after 0s
Details
CI / Web-Barrierefreiheitspruefung (axe, Tastatur, Reflow, Textabstaende) (push) Canceled after 0s
Details
CI / Web-Barrierefreiheitspruefung (axe, Tastatur, Reflow, Textabstaende) (pull_request) Canceled after 0s
Details
1c2469ab53 
AK1-3 dokumentiert: Precision@1 100%, Beleg-Antwort-Zuordnung 100%,
Antwortzeit max 0.65ms (In-Memory-Testkorpus). Offener Befund: fehlende
Mindest-Aehnlichkeitsschwelle in semanticsearch.Service.Search, dadurch
bleibt eine fachlich unbelegte Frage mit vollem Zugriff unerkannt.

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
patrick commented 2026-10-19 12:29:59 +02:00
Author
Owner
Copy link
Copy source

Inhalt bereits in main enthalten (geprueft per merge_all_prs.sh: leerer Merge-Diff). Geschlossen ohne Merge.

Inhalt bereits in main enthalten (geprueft per merge_all_prs.sh: leerer Merge-Diff). Geschlossen ohne Merge.
patrick closed this pull request 2026-10-19 12:30:00 +02:00

Pull request closed

This pull request cannot be reopened because the branch was deleted.
Sign in to join this conversation.
Reviewers
No Reviewers
Labels
No items
No labels
Milestone
No items
No Milestone
Projects
Clear projects
No projects
Assignees
Clear assignees
patrick
No Assignees
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: scripte/nexarch#347