GenAI Risk Management

GenAI-Risikoanalyse

Bedrohungsszenarien strukturiert erfassen, institutsspezifisch bewerten, Kontrollen festlegen und Entscheidungen mit Nachweisen verbinden.

Note: Der Katalog ist eine methodische Ausgangsbasis auf Grundlage öffentlicher Referenzen. Prioritäten, Eintrittswahrscheinlichkeit, Auswirkung, Kontrollwirksamkeit und regulatorische Betroffenheit müssen je Institut und KI-Anwendungsfall dokumentiert bewertet werden.

Angriffsvektoren

Kritisch

Hoch

Mittel

8.2

Ø Katalog-Priorität

Der Prioritätswert von 0 bis 10 ist eine interne Katalogsortierung, kein CVSS-Score und keine gemessene Risikoeinstufung. CVSS bewertet die Schwere konkreter Schwachstellen; für GenAI-Szenarien sind zusätzlich Exposition, Geschäftsprozess, Daten, Berechtigungen, Provider, vorhandene Kontrollen und Restrisiko zu beurteilen.

Szenarien durchsuchen Szenariogruppe Katalogstufe

12 von 12 Szenarien

GEN-AV-004 Priorität 9.5/10 Gruppe 2 AML.T0024 - Exfiltration via Generative AI LLM06

Datenexfiltration via Format-Exploitation

KI wird manipuliert, sensible Daten in Ausgabeformate (HTML, Markdown, JSON) einzubetten, die an externe Dienste gesendet werden.

Art. 5-8Art. 10Art. 17-18

Erkennung

Output-Validierung auf externe Referenzen (Images, Links, Scripts)

CSP-Header für alle KI-generierten Seiten

Datenfluss-Monitoring auf ungewöhnliche Ausgabemuster

Prävention

Output-Encoding und Content-Security-Policy

Markdown/HTML-Sanitization vor Ausgabe

Keine sensiblen Daten im KI-Kontext (Data-Classification-Filter)

Reaktion

Exfiltrierte Daten identifizieren und Meldeweg einleiten

Betroffenes System vom Netz nehmen

Vorfall nach DSGVO Art. 33 prüfen

Betroffene Systeme: KI-Content-Plattformen, KI-APIs, Chat-Systeme

GEN-AV-008 Priorität 9.5/10 Gruppe 4 AML.T0025 - Generative AI Social Engineering

Deepfake-Identitätsbetrug (Audio/Video)

Synthetische Audio/Video-Identitäten umgehen biometrische Verfahren (Video-Ident, Spracherkennung) für Kontoeröffnung, Kreditbetrug oder Überweisungen.

Art. 5-8Art. 10Art. 17-18

Erkennung

Liveness-Detection (Blinzeln, Kopfbewegung, Tiefenkarte)

Audio-Fingerprinting auf synthetische Stimmen

Motion-Deepfake-Analyse (Mundbewegung vs. Audio)

Prävention

Multi-Faktor-Identitätsprüfung (Biometrie + Dokument + Live)

Fallback auf physische Identitätsprüfung (PostIdent)

Mitarbeiter-Sensibilisierung für Deepfake-Angriffe

Reaktion

Betroffene Konten/Kunden identifizieren und sperren

Strafanzeige stellen

Identitätsprüfungsprozess nachschärfen

Betroffene Systeme: Video-Ident, Sprachassistenten, Customer-Onboarding

GEN-AV-002 Priorität 9.0/10 Gruppe 1 AML.T0020 - LLM Prompt Injection LLM01

Indirect Prompt Injection (RAG-Poisoning)

Angreifer platziert schädliche Anweisungen in Dokumenten, Webseiten oder E-Mails, die vom KI-System via RAG verarbeitet werden.

Art. 5-8Art. 10Art. 28-30

Erkennung

Embedding-basierte Ähnlichkeitssuche auf bekannte Poisoning-Pattern

Dokumenten-Content-Validierung vor RAG-Verarbeitung

Output-Überwachung auf unerwartete Befehlsausführung

Prävention

Dokumenten-Sanitization vor RAG-Indexierung

RAG-Quellen-Trennung (interne vs. externe Dokumente)

Output-Filter auf unerlaubte Aktionsausführung

Reaktion

Kompromittierte Dokumente identifizieren und entfernen

RAG-Index neu aufbauen

Betroffene KI-Outputs auf Schäden prüfen

Betroffene Systeme: RAG-Systeme, Dokumentenanalyse, E-Mail-Assistenten

GEN-AV-006 Priorität 9.0/10 Gruppe 3 AML.T0018 - Backdoor ML Model LLM08

Model Poisoning via kompromittierte Drittanbieter-Modelle

Drittanbieter-KI-Modelle enthalten manipulierte Gewichte oder Trainingsdaten (Backdoors, Trojanische Pferde), die bei spezifischen Inputs aktiviert werden.

Art. 5-8Art. 24Art. 28-30

Erkennung

Model-Validierung vor Einsatz (Red-Teaming, Evasion-Tests)

Gewichts-Prüfsummen und Model-Signatures

Output-Monitoring auf unerwartetes Verhalten

Prävention

Nutzung nur geprüfter und signierter Modelle

Model-Bill-of-Materials (SBOM für KI)

Isolation kritischer KI-Systeme von Drittanbietern

Reaktion

Modell sofort austauschen

Lieferanten benachrichtigen (DORA Art. 28-30)

Forensik auf kompromittierte Outputs

Betroffene Systeme: Alle Drittanbieter-KI, Open-Source-Modelle, APIs

GEN-AV-009 Priorität 9.0/10 Gruppe 4 AML.T0025 - Generative AI Social Engineering

Synthetic Voice CEO-Fraud (Vishing 2.0)

KI-generierte Sprachimitation von Führungskräften löst dringende Zahlungsanweisungen oder Datenherausgabe bei Mitarbeitern aus.

Art. 5-8Art. 10Art. 17-18

Erkennung

Sprach-Fingerprinting auf synthetische Muster

Call-Back-Verfahren mit bekannter Nummer

Code-Wort-Vereinbarung für kritische Anweisungen

Prävention

Zwei-Kanal-Bestätigung (E-Mail + Telefon) für Zahlungen

Code-Wörter für Führungskräfte-Anweisungen

Regelmäßige Sensibilisierung zu Vishing 2.0

Reaktion

Transaktionsstopp für betroffene Konten

Alle Mitarbeiter warnen

Meldeprozess für Social-Engineering-Vorfälle auslösen

Betroffene Systeme: Telefonie, VoIP-Systeme, Mitarbeiter-Kommunikation

GEN-AV-001 Priorität 8.5/10 Gruppe 1 AML.T0020 - LLM Prompt Injection LLM01

Direct Prompt Injection

Angreifer überschreibt System-Prompt durch direkte Aufforderung, um Verhaltensregeln zu umgehen oder sensible Daten zu extrahieren.

Art. 5-8Art. 10Art. 24

Erkennung

Input-Filter auf bekannte Injection-Pattern (regex/ML)

Embedding-basierte Anomalieerkennung auf Prompt-Ähnlichkeit

Rate-Limiting und Prompt-Längen-Monitoring

Prävention

Robuste System-Prompt-Isolation (Instruction-Delimiters)

Input-Sanitization und Output-Encoding

Least-Privilege-Prinzip für KI-Funktionsaufrufe

Reaktion

Betroffenes KI-System isolieren und Logs sichern

Prompt-Inputs auf Exfiltration-Muster analysieren

Input-Filter nachschärfen und erneutes Red-Teaming

Betroffene Systeme: Chat-Assistenten, KI-Support-Tickets, KI-Content-Generierung

GEN-AV-012 Priorität 8.5/10 Gruppe 5 AML.T0019 - Poison Training Data LLM09

Data Poisoning von KI-Überwachungssystemen

Manipulierte Daten werden in Monitoring-Systeme eingeschleust, um Fehlalarme zu erzeugen oder echte Angriffe zu maskieren (Label-Flipping, Distribution-Attack).

Art. 5-8Art. 10Art. 11-13

Erkennung

Datenqualitäts-Monitoring (Verteilungsverschiebung)

Label-Qualitätsmetriken (Cross-Validation)

KS-Test auf Datenverteilungs-Änderungen

Prävention

Datenherkunfts-Nachweise für alle Trainingsdaten

Isolation kritischer Trainingsdaten

Automatisierte Datenqualitäts-Prüfungen

Reaktion

Kompromittierte Trainingsdaten identifizieren und säubern

Modell zurückrollen auf letzte saubere Version

Datenschutz-Vorfall prüfen (DSGVO Art. 33)

Betroffene Systeme: SIEM-Systeme, Monitoring-Dashboards, Auto-Heal

GEN-AV-003 Priorität 8.0/10 Gruppe 1 AML.T0020 - LLM Prompt Injection LLM01

Jailbreak / Role-Play Escape

Ausgefeilte Rollenspiel-Szenarien (DAN, Character-Play) umgehen Sicherheitsrichtlinien durch Kontext-Manipulation oder Pseudocode-Ebene.

Art. 5-8Art. 24

Erkennung

Jailbreak-Detektionsmodelle (trainiert auf bekannte Pattern)

Embedding-Analyse auf Umgehungsversuche

Kontext-Längen- und Themenwechsel-Monitoring

Prävention

Regelmäßiges Red-Teaming mit aktuellen Jailbreak-Techniken

Robuste System-Prompts mit Verhaltensgrenzen

Output-Validierung auf Richtlinienverstöße

Reaktion

Jailbreak-Pattern in Detektionsdatenbank aufnehmen

System-Prompt nachschärfen

Human-Review aller Outputs nach erfolgreichem Jailbreak

Betroffene Systeme: Alle KI-Assistenten, Content-Generierung

GEN-AV-011 Priorität 8.0/10 Gruppe 5 AML.T0014 - Evasion

Adversarial Evasion von KI-Detektionssystemen

Gezielt manipulierte Inputs umgehen KI-gestützte Erkennungssysteme (Fraud-Detection, Spam-Filter, AML-Monitoring) durch minimale Perturbationen.

Art. 5-8Art. 10

Erkennung

Adversarial-Testing auf bekannte Evasion-Techniken

Confidence-Scoring-Monitoring

Ensemble-Methoden zur Erkennungsstabilisierung

Prävention

Adversarial Training in Modellentwicklung

Regelmäßiges Red-Teaming mit aktuellen Evasion-Techniken

Human-Review bei Grenzfällen (Low-Confidence-Entscheidungen)

Reaktion

Umgangene Detektionsregeln nachschärfen

Betroffene Transaktionen/Aktivitäten manuell prüfen

Modell gegebenenfalls neu trainieren

Betroffene Systeme: Fraud-Detection, AML-Screening, Spam-Filter

GEN-AV-005 Priorität 7.5/10 Gruppe 2 AML.T0024 - Model Inversion LLM06

Training Data Extraction (Membership Inference)

Durch gezielte Abfragen werden Trainingsdaten rekonstruiert (Membership Inference Attack), um vertrauliche Informationen zu extrahieren.

Art. 5-8Art. 10

Erkennung

Wiederholte ähnliche Anfragen erkennen (Rate-Limiting)

Output-Ähnlichkeit zu Trainingsdaten monitor

Differential Privacy-Metriken überwachen

Prävention

Differential Privacy beim Training

Training nur auf minimal notwendigen Daten

Output-Filter für Trainingsdaten-ähnliche Inhalte

Reaktion

Betroffene Trainingsdaten identifizieren

Modell gegebenenfalls neu trainieren

Datenschutz-Vorfall prüfen

Betroffene Systeme: Fine-getunte Modelle, KI-Suchsysteme

GEN-AV-007 Priorität 6.5/10 Gruppe 3 AML.T0029 - Denial of Service LLM07

Model Denial of Service (Token-Exhaustion)

Überlastung des KI-Systems durch extrem lange Inputs, Batch-Anfragen oder komplexe Berechnungen, um Kosten zu treiben oder Verfügbarkeit zu beeinträchtigen.

Art. 5-8Art. 14

Erkennung

Token-Verbrauch pro Nutzer/Sitzung überwachen

Anomalieerkennung auf Request-Volumen

Kosten-Alarming bei ungewöhnlichen Spitzen

Prävention

Rate-Limiting und Token-Budget pro Nutzer

Input-Längenbegrenzung und Timeout

Queue-Management mit Priorisierung

Reaktion

Rate-Limiting verschärfen

Betroffenen Nutzer temporär sperren

Kapazitätsplanung anpassen

Betroffene Systeme: KI-APIs, KI-Chat-Systeme, Batch-Verarbeitung

GEN-AV-010 Priorität 5.5/10 Gruppe 4

Synthetic Content ohne AI-Act-Kennzeichnung

KI-generierte Inhalte (Texte, Bilder, Videos) werden ohne Transparenzkennzeichnung veröffentlicht, Verstoß gegen EU AI Act Art. 50.

Art. 5-8

Erkennung

C2PA-Provenance-Prüfung auf KI-generierte Metadaten

Watermarking-Analyse (sichtbar/unsichtbar)

Statistische Detektoren auf KI-Typische Muster

Prävention

Automatische Kennzeichnungspflicht über AI-Watermark

Provenance-Tracking (C2PA-Standard)

Human-Review vor Veröffentlichung

Reaktion

Nicht gekennzeichnete Inhalte nachkennzeichnen oder entfernen

Prozess zur automatischen Kennzeichnung schärfen

Registereintrag im Synthetic Content Register

Betroffene Systeme: Content-Management, Marketing, Kundenkommunikation

Katalogmatrix — angenommene Wahrscheinlichkeit × Auswirkung

Die Positionen sind Ausgangshypothesen für die Analyse. Erst eine dokumentierte institutsspezifische Bewertung erzeugt einen belastbaren Risikowert.

Auswirkung ↓ \ Wahrscheinlichkeit →	Niedrig	Mittel	Hoch	Sehr hoch
Niedrig
Mittel			GEN-AV-007 GEN-AV-010
Hoch		GEN-AV-005 GEN-AV-011	GEN-AV-003	GEN-AV-001
Kritisch	GEN-AV-006 GEN-AV-012	GEN-AV-004	GEN-AV-002 GEN-AV-008 GEN-AV-009

Wahrscheinlichkeit: Sehr hoch

Wahrscheinlichkeit: Hoch

Wahrscheinlichkeit: Mittel

Wahrscheinlichkeit: Niedrig

Maßnahmenübersicht nach Angriffs-Tier

Tier 1: Prompt & Input-Angriffe

Input-Sanitization, robuste System-Prompts, Red-Teaming, Jailbreak-Detektionsmodelle

Tier 2: Datenexfiltration & Privatsphäre

Output-Encoding, CSP, Differential Privacy, Data-Classification, Rate-Limiting

Tier 3: Model & Supply Chain

Model-Signing, SBOM, Lieferanten-Audit, Token-Budget, Queue-Management

Tier 4: Deepfake & Synthetische Medien

Liveness-Detection, Multi-Faktor-Auth, C2PA-Provenance, Watermarking

Tier 5: Adversarial & Evasion

Adversarial Training, Ensemble-Methoden, Datenqualitäts-Monitoring

Priorisierte Behandlung nach Risikostufe

9.5

Datenexfiltration via Format-Exploitation

GEN-AV-004 · Tier 2 · AML.T0024 - Exfiltration via Generative AI

KRITISCH

9.5

Deepfake-Identitätsbetrug (Audio/Video)

GEN-AV-008 · Tier 4 · AML.T0025 - Generative AI Social Engineering

KRITISCH

9.0

Indirect Prompt Injection (RAG-Poisoning)

GEN-AV-002 · Tier 1 · AML.T0020 - LLM Prompt Injection

KRITISCH

9.0

Model Poisoning via kompromittierte Drittanbieter-Modelle

GEN-AV-006 · Tier 3 · AML.T0018 - Backdoor ML Model

HOCH

9.0

Synthetic Voice CEO-Fraud (Vishing 2.0)

GEN-AV-009 · Tier 4 · AML.T0025 - Generative AI Social Engineering

KRITISCH

8.5

Direct Prompt Injection

GEN-AV-001 · Tier 1 · AML.T0020 - LLM Prompt Injection

KRITISCH

8.5

Data Poisoning von KI-Überwachungssystemen

GEN-AV-012 · Tier 5 · AML.T0019 - Poison Training Data

HOCH

8.0

Jailbreak / Role-Play Escape

GEN-AV-003 · Tier 1 · AML.T0020 - LLM Prompt Injection

HOCH

8.0

Adversarial Evasion von KI-Detektionssystemen

GEN-AV-011 · Tier 5 · AML.T0014 - Evasion

HOCH

7.5

Training Data Extraction (Membership Inference)

GEN-AV-005 · Tier 2 · AML.T0024 - Model Inversion

HOCH

6.5

Model Denial of Service (Token-Exhaustion)

GEN-AV-007 · Tier 3 · AML.T0029 - Denial of Service

MITTEL

5.5

Synthetic Content ohne AI-Act-Kennzeichnung

GEN-AV-010 · Tier 4 · —

MITTEL

GenAI Risk Management Cycle

🔍

1. Identifikation

Inventarisierung aller KI-Systeme und GenAI-Nutzungen

📊

2. Bewertung

Szenarioanalyse je Anwendungsfall: Exposition, Eintrittswahrscheinlichkeit, Auswirkung und Kontrollen

🛡️

3. Behandlung

Präventions- und Erkennungsmaßnahmen je Risikostufe

📡

4. Überwachung

Kontinuierliches Monitoring auf neue Angriffsvektoren und Drift

⚡

5. Reaktion

Incident Response bei GenAI-Vorfällen, DORA Art. 17-18

🔄

6. Nachbesserung

Lessons Learned, Modell-Updates, Prozessanpassungen

DORA- und AI-Act-Arbeitszuordnung

Die Zuordnung zeigt geeignete Arbeitsbereiche. Sie bestätigt weder Anwendbarkeit noch Umsetzung oder Compliance.

DORA Art. 5-8

IKT-Risikomanagement für KI

IKT-Risikoregister

DORA Art. 10

Erkennung von GenAI-Angriffen

Detection und Monitoring

DORA Art. 11-13

Reaktion, Wiederherstellung und Lernen

Incident Playbooks

DORA Art. 17-18

Klassifizierung und Meldung von IKT-Vorfällen

Incident Management

DORA Art. 24-25

Tests der digitalen operationalen Resilienz

Testprogramm

DORA Art. 28-30

KI-Drittparteienrisiken

Provider Governance

AI Act Art. 9

Risikomanagement für Hochrisiko-KI-Systeme

AI Risk Register

AI Act Art. 14

Menschliche Aufsicht

AI Governance

AI Act Art. 50

Transparenzpflichten

Synthetic Content Register

Quellen, Methode und Review-Stand

Review-Status: needs_review
Letzte Prüfung: 2026-08-11

MITRE ATLAS – Adversarial Threat Landscape for AI Systems Stand: laufende Wissensbasis, abgerufen 2026-08-11
OWASP GenAI Security Project – LLM Top 10 Stand: abgerufen 2026-08-11
DORA – Verordnung (EU) 2022/2554 Stand: 2022-12-14
AI Act – Verordnung (EU) 2024/1689 Stand: 2024-07-12
FIRST – CVSS v4.0 User Guide Stand: abgerufen 2026-08-11

Diese Seite ist eine eigene Umsetzungshilfe auf Basis öffentlicher Quellen. Sie ersetzt keine Rechtsberatung und keine verbindliche Auslegung durch Aufsicht oder Rechtsberatung.

Inhaltliche Arbeitsunterstützung ohne aktuell belegte Vier-Augen-Freigabe. Vor institutsbezogener Verwendung fachlich prüfen.

🧠 GenAI Hub · Model Inventory · Vendor Assessment · Explainability · Governance · Risk Register · LLM Pentest · Prompt Security · Content Register · Cyber Risk