So bewerten Sie die Ansprüche von KI-SOC-Agenten: Fordern Sie das Fehlerprotokoll an.

So bewerten Sie die Ansprüche von KI-SOC-Agenten: Fordern Sie das Fehlerprotokoll an.

Jeder KI-SOC Die mir bekannten Anbieterdemos, einschließlich unserer eigenen, sehen hervorragend aus. Sie basieren auf sorgfältig ausgewählten Warnmeldungen mit funktionierenden Integrationen und ohne Angriffsfläche. Die entscheidende Frage, die echte Plattformen von reinen Präsentationsfolien unterscheidet, ist nicht: “Kann es eine Warnmeldung schließen?”, sondern: “Zeigen Sie mir, was im letzten Quartal schiefgelaufen ist und wie Sie das herausgefunden haben.”

KI-gestützte SOC-Agenten versprechen die Automatisierung der Untersuchungsebene – von der Triage über die Anreicherung bis hin zur Bewertung. Eine strukturierte Evaluierung ist der Weg, um zu überprüfen, ob diese Automatisierung in Ihrer Umgebung tatsächlich funktioniert. Gartners Marktanalyse beginnt mit einer Prognose, die jede Evaluierung prägen sollte: 701.000 große SOCs werden bis 2028 KI-gestützte Agenten für Tier-1/Tier-2-Aufgaben testen, und nur 151.000 werden ohne strukturierte Evaluierung messbare Verbesserungen ihrer Informationssicherheitsmaßnahmen feststellen. Eine strukturierte Evaluierung ist keine Bewertung der Antworten von Anbietern, sondern ein Katalog von Nachweisanforderungen. Hier ist der Katalog, den ich verwenden würde.

1. Fordern Sie das Fehlerprotokoll an.

Ein KI-System, das im Rahmen von Ermittlungsarbeiten eingesetzt wird, macht Fehler. Das ist kein Ausschlusskriterium; auch menschliche Analysten machen Fehler. Ausschlusskriterium ist ein Anbieter, der diese Fehler nicht analysieren kann.

Fragen: Wie hoch ist Ihre gemessene Falsch-Negativ-Rate bei abgeschlossenen Alarmen, wie messen Sie diese und welche drei wesentlichen Fehler traten bei Ihnen zuletzt auf? Ein etablierter Anbieter führt kontinuierliche Qualitätssicherung durch, einschließlich der Stichprobenprüfung abgeschlossener Alarme durch einen Mitarbeiter, der Überwachung von Entscheidungsänderungen und der Durchführung von Regressionstests des Agentenverhaltens bei Modelländerungen. Solche Anbieter können Ihnen konkrete Zahlen liefern. Ein Anbieter, der mit Genauigkeitsversprechen (“99% Präzision”) wirbt, aber seine Messmethodik nicht beschreiben kann, signalisiert Ihnen im Grunde, dass er keine hat. In allen von mir durchgeführten Evaluierungen zeigte sich, dass Anbieter, die kein Fehlerprotokoll vorlegen können, entweder gar nicht messen oder dies nicht offenlegen wollen.

2. Wiederholbare Untersuchungen fordern

Für jedes Urteil sollten Sie Folgendes einsehen können: jede vom Agenten durchgeführte Abfrage, jedes Ergebnis, die Begründung in jedem Schritt, die abschließende Einschätzung und die ergriffenen Maßnahmen. Nicht nur eine kurze Zusammenfassung, sondern der tatsächliche Ablauf, unveränderlich dokumentiert.

Dies ist aus drei verschiedenen Gründen wichtig:

1. Operativ gesehen geht es darum, wie Ihre Analysten Vertrauen einschätzen und Abweichungen erkennen. 
2. Vertraglich gesehen ist dies die Art und Weise, wie Sie den Lieferanten zur Geltendmachung von Ansprüchen verpflichten. 
3. Auf institutioneller Ebene geht es darum, wie man eine automatisierte Entscheidung im Nachhinein gegenüber einem Wirtschaftsprüfer, einer Aufsichtsbehörde, einem Cyberversicherer oder dem eigenen Vorstand verteidigt. 

Wenn Sie unter FedRAMP, Ob PCI, DORA oder vergleichbare Branchenstandards – ein unerklärliches Urteil ist eine vorhersehbare Fehlentscheidung. Gartner zählt Governance und Erklärbarkeit genau aus diesem Grund zu seinen sieben Bewertungskategorien: Ein Akteur, der keine nachvollziehbaren Gründe darlegen kann, ist eine Blackbox.

3. Autonomiegrenzen explizit und technisch festlegen

Erhalten Sie die genaue Antwort auf folgende Fragen: Welche Aktionen kann dieses System ohne menschliches Eingreifen durchführen, wo wird dies durchgesetzt und kann ich es nach Aktionstyp und Risikostufe konfigurieren?

Der entscheidende Punkt bei der Durchsetzung wird in den meisten Evaluierungen übersehen. “Der Agent wird angewiesen, Konten nicht zu deaktivieren” ist eine Aufforderung, keine Kontrollmaßnahme. Eine Kontrollmaßnahme ist Workflow-Logik außerhalb des Modells, die eine Aktion ohne einen Genehmigungsschritt unmöglich macht und so als deterministische Leitplanke für probabilistische Schlussfolgerungen dient. Gartners Framework betont dieselbe Unterscheidung: Wie werden Leitplanken für Aktionen mit hoher Auswirkung wie Kontodeaktivierung oder Netzwerkisolierung durchgesetzt, und eskaliert das System im Falle von Unklarheiten standardmäßig, anstatt selbst einzugreifen?

Die Ausgestaltung der Schutzmechanismen ist besonders wichtig, wenn das System eine akute Bedrohung abwehrt; genau dann stehen die Mitarbeiter unter dem größten Handlungsdruck und handeln am ehesten fehlerhaft. Kann Ihnen ein Anbieter den Mechanismus – nicht die Richtlinie, sondern den Mechanismus – nicht aufzeigen, gehen Sie davon aus, dass er nicht existiert.

4. Integrationstiefe testen, nicht Integrationsanzahl.

Wählen Sie die fünf wichtigsten Tools Ihres Tech-Stacks aus und testen Sie jedes Tool in drei Stufen: 

1. Kann der Agent daraus lesen? 
2. Kann es während einer Untersuchung Abfragen durchführen (Prozessbaum abrufen, Identitätsprotokolle durchsuchen, Postfach durchsuchen)? 
3. Kann es, vorbehaltlich Ihrer Schutzmaßnahmen, dadurch funktionieren? 

Eine Integrationsseite mit 300 Logos wird in den von Ihnen genutzten Tools häufig im Nur-Lese-Modus angezeigt. Daher sollten Sie sich nicht blindlings auf die Logos verlassen. Stellen Sie sich außerdem die architektonische Frage: Erfordert die Plattform eine zentrale Datenverwaltung oder kann sie den Speicherort der Daten abfragen? Die Kosten und der Migrationsaufwand unterscheiden sich erheblich.

5. Messen Sie die Ergebnisse im Vergleich zu Ihren Ausgangswerten in Ihrer Umgebung.

Definieren Sie Erfolg vor Beginn der POV-Analyse, anhand Ihrer Benachrichtigungen und Ihrer aktuellen Zahlen. Folgende Kennzahlen sind dabei relevant:

1. Mittlere Zeit bis zur Eindämmung (MTTC): Gartner empfiehlt diese Kennzahl als Anker, da bei der Eindämmung das Risiko reduziert wird.
2. Reduzierung falsch-positiver Ergebnisse: Analysten erreichen, mit Eskalationsgenauigkeit (worüber es eskaliert, wie sehr es das verdient hat).
3. Stichprobenmäßige Falsch-Negativ-Rate: Ihre leitenden Analysten überprüfen eine Stichprobe der von Agenten als abgeschlossen markierten Alarme erneut. Diesen Schritt überspringen die meisten Teams, doch er ist der einzige, der die Abschlüsse bestätigt, die Sie sonst nie überprüfen würden.
4. Kosten pro behobener Warnung bei Last: Modellieren Sie einen Tag mit einer Flut von Warnmeldungen. Die Preisgestaltung pro Warnmeldung und pro Token kann einen Angriff in ein Abrechnungsereignis verwandeln.

Führen Sie es 30–60 Tage lang in einem abgeschlossenen Workflow mit hohem Datenaufkommen durch, z. B. bei Phishing-Angriffen oder der Triage von Endpunkten. Kennzahlen wie “40.000 Warnmeldungen untersucht” beschreiben Aktivitäten, nicht Ergebnisse; nutzen Sie sie als Marketinginstrument. 

6. Bewerten Sie den Anbieter, nicht nur das Produkt.

Dieser Markt ist jung, hart umkämpft und befindet sich in einer Konsolidierungsphase. Listenartikel aus dem Jahr 2026 erfassen fünfzehn oder mehr Anbieter, viele davon jünger als fünf Jahre. Einige werden übernommen, andere verschwinden. Gartner empfiehlt, die Zukunftsfähigkeit eines Anbieters als Drittparteienrisiko zu betrachten und in dieser Phase kürzere Vertragslaufzeiten zu bevorzugen. Fragen Sie nach dem SOC-2- und FedRAMP-Status, den Richtlinien für Datenverarbeitung und Modelltraining Ihrer Daten sowie danach, was mit Ihren Arbeitsabläufen und Ihrer Audit-Historie geschieht, falls das Produkt eingestellt wird.

Die unangenehme Zusammenfassung

Die meisten KI-SOC-Evaluierungen scheitern, weil sie auf Demos und Referenzanrufen basieren – den beiden Kanälen, die Anbieter am besten kontrollieren. Strukturieren Sie Ihre Evaluierung um und konzentrieren Sie sich auf Daten, die außerhalb der Kontrolle des Anbieters liegen: Ihre Warnmeldungen, Ihre Baseline, Stichproben abgeschlossener Fälle Ihrer erfahrenen Analysten und ein Fehlerprotokoll, das der Anbieter entweder führt oder nicht.

Anbieter mit Erfahrung in der Serienfertigung werden dies begrüßen. Diejenigen ohne diese Erfahrung werden es als unnötig bezeichnen. Diese Reaktion ist an sich schon die schnellste Bewertung, die man vornehmen kann.