3년간 자체 SOC 데이터를 통해 AI 신뢰에 대해 배운 점

3년간 자체 SOC 데이터를 통해 AI 신뢰에 대해 배운 점

우리는 처음에는 AI를 믿지 않았고, 솔직히 말해서 믿지 말았어야 했다.

저희 팀과 제가 2~3년 전, 소규모 맞춤형 자체 호스팅 모델을 개발하기 시작했을 때 발견한 것 중 하나는 정확도가 원하는 수준에 미치지 못한다는 점이었습니다. 그 결과, 저희는 그 모델을 완전히 신뢰하지 못했습니다. "인간이 훨씬 더 잘하지 않겠어?"라는 생각이 들었죠.“

그래서 우리는 임의적인 목표를 세웠습니다. AI가 90%에 도달하거나, 정확도 측면에서 우리 분석가, 보안 운영팀, IT 운영팀이 수행하는 작업과 동등한 수준에 이르면 그때 프로덕션 환경에 투입하기로 했습니다. 그리고 65%, 75%, 85%에 근접했을 때, 우리는 '아, 거의 다 왔구나'라고 생각했습니다.

실제로 상황을 바꾼 숫자

모든 것을 바꾼 부분은 바로 이겁니다. 저희 팀은 통계 분석을 통해 지난 3년간 저희가 처리했던 사례들을 살펴보았습니다. 그 결과, 인간으로서 저희의 평균적인 처리 방식은 80~85% 정도에 불과하다는 것을 알게 되었습니다. 즉, 인간조차도 각기 다른 방식으로 일을 처리한다는 뜻입니다. 에이전트가 우리보다 더 나은 결과를 낼 거라고 기대하는 것은 애초에 현실적이지 않았습니다.

일단 그 단계에 이르자 신뢰도는 이미 높아져 있었습니다. 이제 통계적 데이터가 뒷받침되었으니까요. 우리는 실제로는 존재하지 않는 인간적인 기준에 맞춰 완벽을 추구하지 않아도 됐습니다.

그렇다고 우리가 손을 뗀 건 아닙니다. 지금은 감독 위원회 역할을 하고 있습니다. 상담원들의 활동을 지켜보고, 다른 모델과 도구를 활용하여 기준에서 벗어나지 않도록 합니다. 만약 모델이 변경되는 등 상황이 바뀌면, 프롬프트, 스킬, 작업 등을 다시 수정합니다.

직접 건설 vs. 매입: VIP 내부자 위협 요인

자체 개발과 구매의 좋은 예시로, 지난 몇 달 동안 VIP 내부 위협 및 위험 관리 에이전트를 개발했습니다. 물론 고급 AI 기술과 도구를 갖춘 UEBA를 구매할 수도 있었지만, 팀은 이미 보유하고 있는 자원을 활용하기로 했습니다. 그 결과, ID 공급자, EDR 도구, 제로 트러스트 네트워크 에이전트, SSPM 등 네 가지 도구에 걸쳐 필요한 모든 데이터를 이미 확보하고 있다는 사실을 알게 되었습니다.

새 물건을 사는 대신, 우리는 기존 물건을 사용했습니다. 히어로 AI, 에이전트의 도구를 활용하여 다중 턴 분석을 수행하고, 모든 소스에서 데이터를 수집하고, 통합하고, 상관관계를 분석하고, 집계한 다음, 행동적 관점에서 이상 징후를 살펴보았습니다. 그 결과 1,440,000건의 비용을 절감했습니다. 이 작업을 약 일주일 만에 완료했습니다.

이는 자체 개발과 구매 중 어느 쪽이 더 나은지 판단하는 데 있어 강력한 근거가 되는 사례입니다.

수치가 이를 뒷받침합니다.

Turbine을 통해 평균 대응 시간을 40분에서 약 15분으로 단축했습니다. 이제 Hero AI 기반 조사를 통해 901건 이상의 TP3T 조사를 자율적으로 처리하고 있습니다. 7월에는 평균 대응 및 복구 시간이 6.7분으로 줄어들었습니다.

속도도 중요하지만 정확성이 더 중요합니다. 정확성과 속도가 결합될 때, 그것이야말로 우리가 목격한 가장 큰 성과일 것입니다.

지루한 하루는 좋은 하루다

많은 보안 전문가들이 보안 분야에서는 지루한 날이 좋은 날이라는 데 동의할 거라고 생각합니다. 

하지만 상황이 긴박해질 때, 저희 팀은 가장 즐겁게 일할 수 있습니다. 왜냐하면 이제는 1, 2단계 업무를 담당하는 요원이 많아져서, 마치 물에 빠진 것처럼 허덕이지 않고 심층적인 조사를 진행하고 문제를 해결할 수 있기 때문입니다. 이것이 핵심입니다.