自社SOCデータの3年間から学んだ、AIを信頼することについて

自社SOCデータの3年間から学んだ、AIを信頼することについて

私たちは最初はAIを信用していなかったし、正直言って信用すべきではなかった。

私と私のチームが2、3年前に、小規模でカスタムメイドのセルフホスト型モデルを使い始めた頃に気づいたことの一つは、精度が期待していたレベルに達していなかったことです。その結果、私たちはそのモデルをあまり信用していませんでした。「まあ、人間の方がずっと優れているだろう？」という感じでした。“

そこで私たちは、AIが90%、つまりアナリスト、セキュリティ運用、IT運用チームが精度面で達成しているレベルに達したら、本番環境で本格的に運用を開始できるという、恣意的な目標を設定しました。そして、65%、75%、85%と推移する中で、「ああ、本当に近づいてきたな」という感じでした。.

実際に物事を変えた数字

ここから全てが変わりました。私のチームは、過去3年間の事例を統計分析を用いて検証し始めました。その結果、人間同士の行動の一貫性は平均して80～85%程度であることが分かりました。つまり、人間であっても、行動はそれぞれ異なるということです。エージェントに私たち自身よりも優れた成果を期待するのは、そもそも現実的ではありませんでした。.

そこに着いた時には、すでに信頼は高まっていました。なぜなら、それを裏付ける統計データが手に入ったからです。私たちは、実際には存在しない人間の基準に完璧を求める必要はなくなりました。.

だからといって、私たちが手を引いたわけではありません。私たちは現在、監視委員会として活動しています。エージェントの行動を監視し、他のモデルやツールを使って、逸脱していないことを確認しています。もし何か変更があった場合、例えばモデルを変更する場合は、プロンプト、スキル、タスクを見直して修正します。.

構築か購入か：VIP内部脅威エージェント

自社開発か外部購入かの好例として、ここ数か月でVIP向け内部脅威およびリスク管理エージェントを構築したことが挙げられます。もちろん、高度なAI技術とツールを備えたUEBAを購入することもできました。しかし、チームは既存のリソースに着目しました。その結果、IDプロバイダー、EDRツール、ゼロトラストネットワークエージェント、SSPMという4つの異なるツールに、必要なデータがすべて揃っていることが判明しました。.

新しいものを買う代わりに、 ヒーローAI, エージェントのツールを使って、マルチターン分析を実行し、あらゆるソースからデータを取得し、それらを統合、相関付け、集約し、行動の観点から異常を分析しました。そうすることで、$100Kのコスト削減を実現しました。これを約1週間で完了しました。.

それは、自社開発と購入を比較した場合の強力な事例と言えるでしょう。.

数字がそれを裏付けている

Turbineの導入により、平均40分だった対応時間を約15分に短縮しました。現在では、Hero AIを活用した調査により、90%を超える調査を自律的に完了させています。7月には、対応および修復にかかる平均時間が6.7分にまで短縮されました。.

スピードも重要ですが、正確さはそれ以上に重要です。正確さとスピード、そしてその速度が組み合わさった時、それはまさに私たちがこれまで見てきた中で最大の成果と言えるでしょう。.

退屈な日は良い日だ

セキュリティ業界において、退屈な日は良い日であるという点については、多くのセキュリティ専門家が同意するだろうと私は確信している。. 

しかし、事態が緊迫している時こそ、私と私のチームは最もやりがいを感じていることが多いのです。なぜなら、今は第一線と第二線の業務の多くをエージェントが担当してくれるので、溺れそうになることなく、徹底的な調査を行い、問題を解決できるからです。これは非常に重要な点です。.