CWE-1426: Improper Validation of Generative AI Output

CWE ID: 1426
Name: Improper Validation of Generative AI Output

Beschreibung

Das Produkt nutzt eine generative AI/ML-Komponente, deren Verhalten und Ausgaben nicht direkt kontrollierbar sind. Es fehlt jedoch an Validierung oder die Validierung ist unzureichend, um sicherzustellen, dass die Ausgaben mit der beabsichtigten Security-, Content- oder Privacy-Policy übereinstimmen.

Risikominderungsmaßnahmen

Maßnahme (Architecture and Design)

Effektivität: Unknown
Beschreibung: Da die Ausgabe einer generativen AI-Komponente (wie beispielsweise einem LLM) nicht als vertrauenswürdig eingestuft werden kann, ist sicherzustellen, dass sie in einem nicht vertrauenswürdigen oder nicht privilegierten Space operiert.

Maßnahme (Operation)

Effektivität: Unknown
Beschreibung: Nutzen Sie “semantic comparators”, welche Mechanismen sind, die eine semantische Vergleichsfunktion bereitstellen, um Objekte zu identifizieren, die oberflächlich verschieden erscheinen, aber semantisch ähnlich sind.