CWE-Referenz › CWE-1426: Improper Validation of Generative AI Output
CWE-1426: Improper Validation of Generative AI Output
CWE ID: 1426
Name: Improper Validation of Generative AI Output
Beschreibung
Das Produkt nutzt eine generative AI/ML-Komponente, deren Verhalten und Ausgaben nicht direkt kontrollierbar sind. Es fehlt jedoch an Validierung oder die Validierung ist unzureichend, um sicherzustellen, dass die Ausgaben mit der beabsichtigten Security-, Content- oder Privacy-Policy übereinstimmen.
Risikominderungsmaßnahmen
Maßnahme (Architecture and Design)
Effektivität: Unknown
Beschreibung: Da die Ausgabe einer generativen AI-Komponente (wie beispielsweise einem LLM) nicht als vertrauenswürdig eingestuft werden kann, ist sicherzustellen, dass sie in einem nicht vertrauenswürdigen oder nicht privilegierten Space operiert.
Maßnahme (Operation)
Effektivität: Unknown
Beschreibung: Nutzen Sie “semantic comparators”, welche Mechanismen sind, die eine semantische Vergleichsfunktion bereitstellen, um Objekte zu identifizieren, die oberflächlich verschieden erscheinen, aber semantisch ähnlich sind.
Verwandte Schwachstellen
Ist Ihre IT-Infrastruktur betroffen?
Schwachstellen wie CWE-1426: Improper Validation of Generative AI Output werden von Angreifern gezielt gesucht — meist automatisiert und ohne Rücksicht darauf, wie groß das betroffene Unternehmen ist. Ob eine solche Lücke bei Ihnen tatsächlich offen steht, lässt sich nur durch Prüfung feststellen:
- Schwachstellen-Scan — wiederkehrende Prüfung Ihrer Infrastruktur auf bekannte Lücken wie diese
- Penetrationstest — manuelle Prüfung eigener Software auf Schwachstellen, die kein Werkzeug findet
- Threat Modeling — Schwachstellenklassen im Entwurf vermeiden, statt sie später zu suchen