O que três anos de nossos próprios dados de SOC nos ensinaram sobre confiar em IA

O que três anos de nossos próprios dados de SOC nos ensinaram sobre confiar em IA

Inicialmente, não confiávamos na IA e, honestamente, não deveríamos ter confiado.

Uma das coisas que minha equipe e eu percebemos, talvez há dois ou três anos, quando começamos com alguns modelos menores, personalizados e auto-hospedados, foi que a precisão não estava onde gostaríamos. Uma consequência disso foi que não confiávamos muito nela. Pensávamos: "Bem, os humanos são muito melhores, certo?"“

Então, definimos uma meta arbitrária: quando a IA atingisse 90%, ou seja, um nível de precisão equivalente ao das nossas equipes de analistas, operações de segurança e operações de TI, poderíamos implementá-la em produção. E quando estávamos perto de 65%, 75%, 85%, pensamos: "Estamos chegando muito perto".

O número que realmente mudou as coisas.

Eis a parte que mudou tudo. Minha equipe começou a usar análises estatísticas para examinar nosso histórico de três anos de casos. Descobrimos que, como seres humanos, tínhamos uma consistência média entre nós de cerca de 80 a 85%. Ou seja, mesmo como humanos, agimos de forma diferente. Esperar que nossos agentes tivessem um desempenho ainda melhor do que o nosso nunca foi realista.

Quando chegamos lá, a confiança já havia aumentado, porque agora tínhamos os dados estatísticos para comprová-la. Não estávamos buscando a perfeição com base em um padrão humano que, na realidade, não existia.

Isso não significa que abandonamos o projeto. Agora atuamos como um comitê de supervisão. Observamos o que os agentes fazem e usamos outros modelos e ferramentas para garantir que não estejamos nos desviando do padrão. Se algo mudar, digamos que alteremos o modelo, revisamos e reformulamos os prompts, as habilidades e as tarefas.

Construir versus comprar: o agente VIP de ameaças internas

Um ótimo exemplo de "construir versus comprar" é que, nos últimos meses, desenvolvemos um agente VIP para gerenciamento de riscos e ameaças internas. Certamente poderíamos ter comprado um UEBA com tecnologia e ferramentas avançadas de IA. Mas, em vez disso, a equipe analisou o que já tínhamos. Descobrimos que já possuíamos todos os dados em quatro ferramentas diferentes: nosso provedor de identidade, nossa ferramenta EDR, nossos agentes de rede de confiança zero e nosso SSPM.

Em vez de comprar algo novo, nós usamos IA Heroica, Por meio das ferramentas do agente, realizamos análises de múltiplas etapas, coletamos dados de todas essas fontes, os orquestramos, correlacionamos e agregamos, e então analisamos anomalias sob uma perspectiva comportamental. Com isso, economizamos $100K. Fizemos isso em cerca de uma semana.

Esse é um ótimo argumento a favor de construir em vez de comprar.

Os números comprovam isso.

Por meio do Turbine, reduzimos o tempo médio de resposta de 40 minutos para cerca de 15 minutos. Agora, com as investigações habilitadas por IA do Hero, estamos concluindo mais de 901.000 investigações de forma autônoma. Em julho, nosso tempo médio de resposta e remediação caiu para 6,7 minutos.

Velocidade é importante, mas precisão é ainda mais. Quando você combina precisão com velocidade, esse é provavelmente o maior ganho que já vimos.

Um dia tedioso é um bom dia.

Sei que muitos profissionais de segurança concordarão que, em segurança, um dia tedioso é um bom dia. 

Mas quando a situação aperta, é geralmente quando minha equipe e eu nos divertimos mais, porque estamos realizando investigações aprofundadas e resolvendo problemas sem nos sentirmos perdidos, já que agora temos um agente cuidando de grande parte do trabalho de primeiro e segundo nível. Isso tem sido fundamental.