Google Threat Intelligence가 32% 급증을 확인한 간접 프롬프트 인젝션(IPI) 실제 공격 사례 분석. OWASP LLM01, MITRE ATLAS AML.T0051, Microsoft EchoLeak CVE-2025-32711, Forcepoint 10건 포함.
댓글은 익명으로 작성되며, 삭제 비밀번호를 설정하면 본인만 삭제할 수 있습니다. 비밀번호를 설정하지 않은 댓글은 누구나 삭제할 수 있습니다.
2026년 4월, Google Threat Intelligence 팀이 수십억 개의 크롤링 데이터를 분석한 보고서를 공개했다. 2025년 11월부터 2026년 2월 사이 악성 IPI 탐지 건수가 32% 증가했고, 같은 시기 Forcepoint 연구팀은 실제 웹에서 PayPal 트랜잭션 자동 실행, API 키 탈취, 광고 심사 우회를 목표로 한 신규 페이로드 10건을 발견했다. 간접 프롬프트 인젝션(IPI)은 더 이상 연구자의 PoC 데모가 아니다.
AI 보안 연구자들은 오랫동안 IPI를 이론적 위협으로 분류했다. 공격자가 웹페이지나 문서에 숨겨진 명령을 심어두면 AI 에이전트가 사용자 대신 그 명령을 실행한다는 개념은, 실제 공격보다 학술 논문의 영역에 가깝다는 인식이 우세했다. 그 인식이 이제 수치로 뒤집혔다.
직접 프롬프트 인젝션은 사용자가 직접 입력창에 "지시를 무시해라"처럼 AI를 조작하는 방식이다. IPI는 작동 방식이 근본적으로 다르다. 공격자는 피해자나 AI와 직접 대화하지 않는다. 대신 AI 에이전트가 검색하거나 조회할 웹페이지, 이메일, 문서, 캘린더 일정에 명령을 숨긴다. AI가 그 콘텐츠를 처리하는 순간, 공격자의 명령이 사용자 모르게 실행된다.
OWASP는 이 기법을 2025년 LLM 취약점 Top 10에서 LLM01 — 최상위 위협으로 분류했다. MITRE ATLAS는 기법 AML.T0051(LLM Prompt Injection)을 정의하고, 외부 데이터 소스를 통한 주입을 AML.T0051.001로 별도 분류했다.
발표자가 프레젠테이션 발표자 노트에 IPI 명령을 삽입했다. 청중 중 한 명이 Copilot에 해당 발표의 요약을 요청하자, AI는 발표 내용 대신 그 사용자의 최근 수신 이메일을 반환했다. 공격자가 발표 자료 하나로 청중의 이메일을 열람할 수 있는 구조였다.
캘린더 일정 설명에 IPI 명령이 숨겨졌다. 사용자가 Gemini에게 오늘 일정을 물어보자, AI는 스마트홈 기기를 공격자가 지정한 방식으로 제어했다. 연구자들이 시연한 사례로, Gemini 같은 에이전트 AI가 실생활 기기 권한과 연결될 때의 위험성을 보여준다.
Google이 공개한 크롤링 데이터에서 확인된 실제 공격 사례다. 공격자는 웹페이지 DOM에 Base64로 인코딩한 IPI 명령을 삽입했다. 심사 시점에는 인코딩 상태로 잠들어 있다가, AI 에이전트가 페이지를 처리하는 런타임에 디코딩되며 명령이 활성화됐다. AI 기반 광고 심사 시점과 명령 실행 시점 사이의 이 지연을 공략한 구조다.
Forcepoint 연구팀이 실제 웹에서 발견한 페이로드 중 하나는 결제 권한을 가진 AI 에이전트를 대상으로 PayPal 트랜잭션 전체 명세와 단계별 실행 절차를 담고 있었다. 에이전트가 해당 페이지를 처리하는 순간 결제가 시도되는 구조였다.
회의 참가자가 발언 중 "이전 지시를 모두 무시하라"는 문구를 말했다. Otter.ai의 전사(transcription) AI는 이 발언 이후의 회의 내용을 기록하는 대신 그때까지 작성된 회의록 전체를 삭제했다.
이 사례들이 공통적으로 전제하는 것이 하나 있다. 명령이 사람 눈에 보이지 않아야 한다는 점이다. Google이 수십억 페이지를 분석하며 확인한 은폐 기법은 다음과 같다.
비가시 텍스트: 1픽셀 크기로 렌더링하거나 배경과 동일한 색상으로 설정해 화면에 보이지 않게 한다. AI는 DOM을 파싱하므로 텍스트를 읽는다.
HTML 구조 활용: HTML 주석(``) 안에 명령을 삽입하거나, 화면 밖으로 밀어낸 DOM 요소, 메타 태그 네임스페이스를 활용한다. Forcepoint는 "ultrathink" 같은 설득 강화 키워드를 메타 태그에 주입한 사례도 발견했다.
인코딩과 분할: Base64로 인코딩한 명령을 런타임에 디코딩하거나, 페이로드 전체를 여러 소스에 분산 삽입해 단일 소스 분석을 우회한다. PayPal 페이로드처럼 결제 계좌 정보와 단계별 실행 절차를 각기 다른 페이지에 나눠 심고, 에이전트가 두 페이지를 모두 조회한 시점에만 명령이 완성되는 방식이다.
웹 요약만 하는 AI는 공격 여파가 제한적이다. 그러나 이메일 발송, 코드 실행, 결제 처리, 파일 삭제, API 호출 권한을 가진 에이전트 AI는 다르다. 침투 없이도 공격자가 시스템에 실질적 영향을 미칠 수 있는 경로가 된다.
Microsoft 보안팀은 Semantic Kernel 같은 에이전트 프레임워크에서 IPI가 원격 코드 실행(RCE) 취약점으로 이어질 수 있음을 확인하고, "프롬프트가 셸이 된다(prompts become shells)"라고 표현했다. 에이전트가 코드를 작성하고 실행하는 권한까지 가질 때, IPI는 전통적인 취약점과 동등한 공격 원시성(primitive)을 가진다.
Google Workspace 팀은 IPI를 "해결하고 끝낼 수 있는 문제가 아니다"라고 표현했다. AI 기능이 확장될수록 공격 표면이 함께 커지기 때문이다.
Google은 Gemini 대상 IPI 방어를 세 계층으로 나눈다.
결정론적 방어: 사용자 확인 요청, URL 정제, 도구 체이닝 정책 등 규칙 기반 제어다. 중앙 정책 엔진을 통해 모델 업데이트 없이 빠른 배포가 가능하다.
ML 기반 방어: 합성 공격 데이터로 재학습한 분류기가 IPI를 실시간 탐지한다.
LLM 기반 강화: Gemini 자체가 악성 명령을 인식하고 무시하도록 훈련한다. 공격 변종을 대표하는 합성 데이터셋을 지속 갱신한다.
신뢰할 수 없는 외부 콘텐츠를 구분자, 데이터마킹, 인코딩으로 고립시켜 모델 추론 과정에서 시스템 지시와 분리한다. Microsoft Prompt Shields는 Defender for Cloud에 통합돼 IPI 분류를 수행한다.
두 접근 모두 공통적으로 강조하는 지점은 에이전트의 권한 최소화다. 이메일을 읽어야 하는 에이전트가 이메일을 삭제할 수 있는 권한까지 가지면, 성공한 IPI의 피해 범위가 불필요하게 넓어진다.
AI 기능이 확장될수록 공격 표면이 함께 커진다. 한때 학술 논문의 영역으로 분류됐던 IPI가 지금은 결제, 이메일, 스마트홈 기기를 건드리는 현실 위협이 된 것은, 방어 설계보다 에이전트의 권한 확장 속도가 빨랐기 때문이다. Google과 Microsoft가 3계층 방어를 구축하면서도 "해결하고 끝낼 수 있는 문제가 아니다"라고 말하는 이유가 여기에 있다.
AI 활용 안내 이 글은 AI(Claude)의 도움을 받아 작성되었습니다. 인용된 통계와 사례는 참고 자료에 명시된 출처에 근거하며, 설명을 위한 일부 표현은 각색되었습니다.
면책 조항 본 글은 보안 인식 제고를 위한 교육 목적으로 작성되었습니다. 언급된 공격 기법을 실제로 시도하는 행위는 「정보통신망법」, 「형법」 등에 따라 처벌받을 수 있으며, 본 블로그는 이에 대한 법적 책임을 지지 않습니다.