Zum Hauptinhalt springen

Wie schützt amaise gegen Prompt-Injection-Angriffe?

Verfasst von amaise Support

Wie schützt amaise gegen Prompt-Injection-Angriffe?

amaise setzt mehrere Massnahmen ein, um Prompt-Injection-Angriffe durch bösartige Inhalte in Dokumenten zu verhindern:

  • Serverseitige Prompt-Konstruktion: LLM-Prompts werden serverseitig mit kontrollierten Vorlagen erstellt. Benutzer:innen haben keinen direkten Zugriff auf die Prompt-Erstellung.

  • Trennung von Anweisungen und Daten: Dokumentinhalte werden als Datenkontext übergeben, klar getrennt von Systemanweisungen.

  • Strukturierte Extraktion: Die Pipeline führt schemagebundene Extraktionsaufgaben durch — keine freie Textgenerierung. Dies begrenzt den möglichen Einfluss von Injection-Versuchen erheblich.

  • Eingabevalidierung: Validierung auf API-Ebene für alle eingehenden Anfragen.

  • Ausgabevalidierung: LLM-Ausgaben werden vor Speicherung und Darstellung validiert und bereinigt.

  • Keine benutzerdefinierten URLs: Die Anwendung akzeptiert keine von Benutzer:innen bereitgestellten URLs für serverseitige Abrufe, was Datenexfiltration über SSRF verhindert.

  • Mandantenisolierte Ausgaben: KI-Ergebnisse werden strikt pro Mandant isoliert. Abfragen sind auf den jeweiligen Mandantenkontext beschränkt, sodass ein Prompt-Injection-Versuch in einem Dokument keinen Zugriff auf Daten anderer Mandanten oder Fälle erlangen kann.

Hat dies deine Frage beantwortet?