Was uns drei Jahre unserer eigenen SOC-Daten über das Vertrauen in KI gelehrt haben

Was uns drei Jahre unserer eigenen SOC-Daten über das Vertrauen in KI gelehrt haben

Wir haben KI anfangs nicht vertraut, und ehrlich gesagt, hätten wir das auch nicht tun sollen.

Eines der Dinge, die mein Team und ich vor etwa zwei oder drei Jahren feststellten, als wir mit kleineren, maßgeschneiderten, selbstgehosteten Modellen anfingen, war, dass die Genauigkeit nicht unseren Ansprüchen genügte. Eine Folge davon war, dass wir dem Ganzen nicht wirklich vertrauten. Wir dachten: “Menschen sind doch viel besser, oder?”

Wir setzten uns also ein willkürliches Ziel: Sobald die KI 90% erreicht oder hinsichtlich der Genauigkeit mit der Arbeit unserer Analysten, Sicherheits- und IT-Teams gleichzieht, können wir sie produktiv einsetzen. Und als wir bei 65%, 75% und 85% lagen, dachten wir: „Oh, wir sind schon fast am Ziel.“.

Die Zahl, die tatsächlich etwas verändert hat

Und hier kommt der entscheidende Punkt: Mein Team begann, mithilfe statistischer Analysen unsere bisherigen Fallzahlen der letzten drei Jahre auszuwerten. Wir stellten fest, dass wir Menschen im Durchschnitt nur eine durchschnittliche Übereinstimmung von etwa 80 bis 851 TP3T aufwiesen. Selbst als Menschen handeln wir also unterschiedlich. Von unseren Agenten zu erwarten, dass sie noch besser sind als wir selbst, war daher unrealistisch.

Als wir dort ankamen, war das Vertrauen bereits gestiegen, denn wir hatten nun die statistischen Daten, die unsere Annahmen untermauerten. Wir jagten nicht länger einer Perfektion hinterher, die an einen nicht existierenden menschlichen Maßstab geknüpft war.

Das heißt nicht, dass wir uns zurückgezogen haben. Wir fungieren jetzt als Aufsichtsgremium. Wir beobachten die Aktivitäten der Agenten und nutzen andere Modelle und Tools, um sicherzustellen, dass wir nicht vom Standard abweichen. Wenn sich etwas ändert, beispielsweise das Modell, überarbeiten wir die Anweisungen, die Fähigkeiten und die Aufgaben.

Bauen versus Kaufen: Der VIP-Insider-Bedrohungsagent

Ein hervorragendes Beispiel für Eigenentwicklung versus Kauf ist die Entwicklung eines VIP-Insider-Bedrohungs- und Risikomanagement-Agenten in den letzten Monaten. Wir hätten natürlich auch eine UEBA mit fortschrittlicher KI-Technologie und entsprechenden Tools erwerben können. Stattdessen analysierte das Team unsere vorhandenen Ressourcen. Es stellte sich heraus, dass wir bereits alle Daten in vier verschiedenen Systemen hatten: unserem Identitätsanbieter, unserem EDR-Tool, unseren Zero-Trust-Netzwerkagenten und unserem SSPM.

Anstatt etwas Neues zu kaufen, haben wir Folgendes verwendet: Helden-KI, Mithilfe der Tools des Agenten führten wir Analysen über mehrere Runden durch, erfassten die Daten aus all diesen Quellen, orchestrierten sie, korrelierten und aggregierten sie und untersuchten anschließend Anomalien aus einer Verhaltensperspektive. Dadurch sparten wir $100K. Das gelang uns in etwa einer Woche.

Das ist ein starkes Argument für Eigenbau statt Kauf.

Die Zahlen belegen es.

Durch Turbine konnten wir die durchschnittliche Reaktionszeit von 40 Minuten auf etwa 15 Minuten reduzieren. Mit den KI-gestützten Untersuchungen von Hero schließen wir nun über 901.030 unserer Fälle autonom ab. Im Juli sank unsere durchschnittliche Reaktions- und Behebungszeit auf 6,7 Minuten.

Geschwindigkeit ist wichtig, aber Präzision ist noch wichtiger. Die Kombination aus Präzision, Geschwindigkeit und Geschossgeschwindigkeit ist wohl der größte Gewinn, den wir je erzielt haben.

Ein langweiliger Tag ist ein guter Tag

Ich weiß, dass viele Sicherheitsexperten zustimmen würden, dass in der Sicherheitsbranche ein langweiliger Tag ein guter Tag ist. 

Aber gerade wenn es brenzlig wird, haben mein Team und ich oft den größten Spaß, weil wir dann die tiefgründigen Ermittlungen durchführen und die Dinge aufklären können, ohne uns überfordert zu fühlen. Denn wir haben jetzt einen Agenten, der einen Großteil der Aufgaben der ersten und zweiten Ebene übernimmt. Das war entscheidend.