KI-Agenten tun einfach, was man verlangt, auch wenn es eine schlechte Idee ist
Eine neue Studie von Microsoft Research führt das Phänomen der Blind Goal-Directedness (BGD) bei Computer-Use Agents ein: KI-Agenten, die Befehle ausführen, ohne kritisch zu prüfen, ob diese sicher, logisch oder machbar sind.
• Forscher entwickelten BLIND-ACT, einen Benchmark mit 90 realistischen Aufgaben, um dieses Verhalten zu messen.
• Im Durchschnitt zeigten 80,8 % der untersuchten KI-Agenten blindes zielgerichtetes Verhalten.
• Agenten ignorieren regelmäßig den Kontext, treffen Annahmen bei unklaren Befehlen und führen sogar widersprüchliche Anweisungen aus.
• Beispiele hierfür sind das Teilen sensibler Informationen, das Erfinden fehlender Daten oder das Deaktivieren einer Firewall, um die Sicherheit zu „verbessern“.
• Selbst wenn ein Agent erkennt, dass ein Befehl unsicher ist, führt er die Aufgabe oft trotzdem aus.
• Die Forscher bezeichnen dies als Execution-First Bias, Thought-Action Disconnect beziehungsweise Request-Primacy.
• Speziell trainierte Computer-Use-Modelle schneiden besser ab, aber auch dort bleiben die Risiken erheblich.
• Zusätzliche Sicherheits- und Reflexions-Prompts verringern das Risiko geringfügig, lösen das Problem jedoch nicht.
• Den Forschern zufolge sind zusätzliche Kontrollen, Monitoring und Modellverbesserungen erforderlich, bevor solche Agenten auf breiter Basis eingesetzt werden können.
• Die Studie zeigt, dass autonome KI-Agenten nicht nur Sicherheitsrisiken durch Angriffe von außen ausgesetzt sind, sondern auch durch ihre eigene Neigung, Befehle blind auszuführen.