CWE ID: 1426
Name: Improper Validation of Generative AI Output
Das Produkt nutzt eine generative AI/ML-Komponente, deren Verhalten und Ausgaben nicht direkt kontrollierbar sind. Es fehlt jedoch an Validierung oder die Validierung ist unzureichend, um sicherzustellen, dass die Ausgaben mit der beabsichtigten Security-, Content- oder Privacy-Policy übereinstimmen.
Effektivität: Unknown
Beschreibung: Da die Ausgabe einer generativen AI-Komponente (wie beispielsweise einem LLM) nicht als vertrauenswürdig eingestuft werden kann, ist sicherzustellen, dass sie in einem nicht vertrauenswürdigen oder nicht privilegierten Space operiert.
Effektivität: Unknown
Beschreibung: Nutzen Sie “semantic comparators”, welche Mechanismen sind, die eine semantische Vergleichsfunktion bereitstellen, um Objekte zu identifizieren, die oberflächlich verschieden erscheinen, aber semantisch ähnlich sind.
