Red Canary가 공개한 ML·규칙 엔진·LLM 조합 오케스트레이션 에이전트 아키텍처 분석. 2025년 APWG 380만 피싱 공격에 맞서 94% 정확도, 99% 노이즈 감소를 달성한 5단계 분류 파이프라인 설계 원칙을 해부한다.
댓글은 익명으로 작성되며, 삭제 비밀번호를 설정하면 본인만 삭제할 수 있습니다. 비밀번호를 설정하지 않은 댓글은 누구나 삭제할 수 있습니다.
2025년 한 해 동안 APWG(Anti-Phishing Working Group)는 전 세계에서 380만 건에 달하는 피싱 공격을 기록했다. Q2 2025에만 113만 건이 집중되어 2023년 이후 최대 분기 폭증세를 기록했다. 숫자가 말해주는 것은 단 하나다: 인간 분석가 팀이 피싱 이메일을 건건이 수작업으로 검토하는 전통적 트리아지 모델은 이미 한계에 봉착했다.
위협 탐지 전문 기업 Red Canary가 2026년 6월 공개한 자체 AI 에이전트는 이 문제에 대한 구체적인 공학적 답을 제시한다. ML, 규칙 엔진, 유사도 분석, 추론형 LLM을 조합한 오케스트레이션 에이전트다. 이 에이전트는 피싱 분류 정확도 94%, 노이즈 99% 감소, 트리아지·알림 시간 60% 단축을 달성했다고 밝혔다. 어떻게 가능했는지 — 그 아키텍처와 설계 의사결정을 분해해 본다.
전통적 SOC 피싱 트리아지는 두 가지 구조적 한계를 안고 있다.
첫째, 규모의 문제다. APWG는 2025년 전체 380만 건을 집계했지만 이는 신고된 건수에 불과하다. 분석가 한 명이 하루에 처리할 수 있는 건수는 물리적 한계가 있다.
둘째, 노이즈의 문제다. 대부분의 피싱 의심 신고는 실제 위협이 아닌 스팸이나 오탐(false positive)이다. 분석가가 진짜 위협에 집중하지 못하고 노이즈 처리에 시간을 낭비한다.
Red Canary의 접근법은 단일 LLM에 모든 것을 맡기는 방식이 아니다. 서로 다른 역할을 맡은 서브에이전트들이 그래프 워크플로우로 조율되는 오케스트레이션 구조다.
원본 이메일을 표준화된 데이터 객체로 변환하는 동시에 외부 서비스를 통해 도메인 평판, 악용 수준 등 메타데이터를 자동으로 강화한다. 이 단계에서 이메일은 "기계가 이해할 수 있는 구조"로 재편되고, 뒤따르는 규칙 엔진과 AI 분류가 판단을 내릴 원재료가 마련된다.
전통적 코드 기반 불리언 검사(특정 헤더 존재 여부, 링크 패턴 등)와 AI 기반 NLP 검사를 결합해 True/False 피처를 생성한다. Red Canary가 NLP 피처 추출에서 특히 강조하는 신호는 감정(sentiment), 의도(intent), 긴박감(urgency) 이다. 피싱 이메일은 공통적으로 긴박감을 조성하거나 특정 감정 반응을 유도한다는 언어적 패턴을 포착한다.
이 에이전트는 피처의 True/False 값만으로 훈련된다. 이메일 본문이나 고객 데이터를 학습에 사용하지 않는 이유는 고객 민감 정보가 모델 가중치에 흡수되는 것을 방지하기 위한 설계 선택이다. 분류 성능과 데이터 격리를 동시에 확보하는 방식이다.
피처 추출 결과가 규칙 엔진에 먼저 도달한다. 규칙 엔진의 역할은 "결정론적 결과 보장"이다. 1단계에서 수집한 도메인 평판·악용 지수가 기준을 넘으면 규칙이 즉시 결론을 내린다. 고객 환경에 맞춤화된 정책 조건이 충족될 때도 마찬가지다. 조건이 매칭되면 AI 분류 단계를 건너뛴다.
이 설계는 순수 LLM 기반 분류의 핵심 약점인 비결정론성을 보완한다. 동일한 피싱 이메일도 LLM이 매번 다른 판단을 내릴 수 있는 문제를 규칙 엔진이 선처리 단계에서 차단한다. 결과가 반드시 일관되어야 하는 케이스를 AI보다 먼저 처리하는 구조다.
규칙에서 걸러지지 않은 이메일은 ML 모델과 LLM이 협력하는 분류 에이전트로 넘어간다. 훈련된 ML 모델의 피처 중요도 가중치가 LLM 추론 프롬프트에 함께 주입되어 분류 판단에 반영된다. 두 모델의 판단을 단순 앙상블하는 방식이 아니라, ML 모델이 "어떤 피처가 중요한지"를 LLM에 알려주는 구조다.
모든 분류 결과에는 분류 카테고리, 요약, 심화 설명이 함께 제공된다. 분석가가 AI의 판단 근거를 이해하고 검증할 수 있도록 설계됐다. "어떤 피처가 왜 이 분류를 만들었는가"가 투명하게 제시된다.
SOC 운영자 관점에서 이 아키텍처에서 가져가야 할 핵심은 컴포넌트 조합 방식이다.
LLM은 맥락 이해에 강하지만 비결정론적이고 비용이 높다. 규칙 엔진은 일관성이 보장되지만 알려진 패턴만 잡는다. ML은 학습된 패턴에 의존해 분포 외 공격에 취약하다. 세 방식을 각각 단독으로 쓰면 피싱 볼륨 증가에 대응하면서 오탐을 억제하는 목표를 동시에 달성할 수 없다.
Red Canary의 선택은 각 컴포넌트가 자신이 가장 잘 하는 일만 담당하도록 처리 흐름의 우선순위를 고정하는 것이었다. 결정론적 결과가 필요한 케이스는 규칙 엔진이 선처리하고, 나머지를 ML+LLM에 위임한다. 이 역할 분리가 94% 정확도와 99% 노이즈 감소를 동시에 만드는 구조다.
Red Canary는 이 에이전트가 "완성형"이 아님을 명시한다. 피싱 공격은 끊임없이 진화하기 때문에 분석가 피드백 루프를 통해 지속적으로 개선이 이뤄진다. AI 에이전트 성능은 고정값이 아니라 피드백 데이터 품질과 업데이트 속도에 따라 달라진다.
또한 2025~2026년 피싱 트렌드는 또 다른 방향으로 진화 중이다. KISA Insight 2026 전망에 따르면 딥페이크 음성·영상을 활용한 실시간 피싱이 화상회의와 음성 통화로 확대될 것으로 예상된다. 이메일 기반 피싱 탐지에 최적화된 에이전트가 음성·영상 피싱에도 동일하게 적용될 수 있는지는 별개의 문제다.
KISA가 집계한 2025년 상반기 침해사고 신고 건수는 1,034건으로 전년 동기 대비 15% 증가했다. 특히 2025년 SKT 해킹 사태 이후 KISA 사칭 피싱 이메일이 대규모로 유포됐다. 이메일 피싱이 국내 침해사고 초기 접근 벡터로 활용되는 현실은 동일하다.
Red Canary의 접근법에서 주목할 지점은 특정 제품의 도입이 아니라 AI·ML·규칙 엔진의 역할 분리라는 설계 원칙이다. 국내 SOC 환경에서는 고객 데이터 격리 요건(개인정보보호법)과 인프라 내재화 요구가 함께 존재하는 경우가 많다. 피처 기반 학습(이메일 본문 미사용)과 규칙 선처리 구조는 이런 제약 안에서도 적용 가능한 접근법이다. 380만 건이라는 수치가 글로벌 집계라면, 국내 SOC가 매일 마주하는 피싱 볼륨도 이미 수작업 트리아지 모델의 처리 한계를 넘어섰을 가능성이 높다.
AI 활용 안내 이 글은 AI(Claude)의 도움을 받아 작성되었습니다. 인용된 통계와 사례는 참고 자료에 명시된 출처에 근거하며, 설명을 위한 일부 표현은 각색되었습니다.
면책 조항 본 글은 보안 인식 제고를 위한 교육 목적으로 작성되었습니다. 언급된 공격 기법을 실제로 시도하는 행위는 「정보통신망법」, 「형법」 등에 따라 처벌받을 수 있으며, 본 블로그는 이에 대한 법적 책임을 지지 않습니다.