AI THREAT INTELLIGENCE · 2026.09
AI가 ‘도구’에서
공격의 작업자로
바뀌고 있다
Anthropic의 9월 위협정보 보고서는 사이버 공격·감시·사기·영향공작에서 생성형 AI가 단순 문장 생성기를 넘어 조사, 코딩, 반복 작업, 판단 보조를 맡는 방향으로 이동하고 있음을 보여준다.
생성형 AI 보안 논쟁은 오랫동안 “위험한 질문에 답해 주는가”에 집중돼 있었다. 하지만 2026년의 실제 위협 사례가 던지는 질문은 다르다. 공격자가 AI를 한 번 호출해 지식을 얻는 수준을 넘어, 목표를 잘게 쪼개고 정보를 모으고 코드를 작성하고 오류를 고치고 다음 행동을 결정하는 ‘작업자’처럼 붙여 놓으면 무엇이 달라지는가. Anthropic이 9월 10일 공개한 위협정보 보고서는 바로 이 변화에 초점을 맞춘다.
보고서는 2025년 12월부터 2026년 8월까지 Anthropic이 탐지하고 중단했다고 밝힌 활동을 사이버 작전, 감시, 영향공작, 사기와 금융범죄, 생물학적 오용, 재래식 무기 개발, 모델 증류 등 일곱 범주로 정리했다. 중요한 점은 회사 스스로 이 사례들이 일반적인 사용자 행동이나 전체 오용의 평균을 뜻하지 않는다고 명시했다는 것이다. 즉 “AI를 쓰는 모든 공격자가 갑자기 고도화됐다”는 통계가 아니라, 지금 관측 가능한 가장 복잡하고 새로운 오용 패턴을 보여주는 사례집에 가깝다.
그럼에도 보고서의 의미는 작지 않다. 공격의 병목이 전문지식 자체에서 ‘작업을 끝까지 이어가는 능력’으로 옮겨갈 가능성을 보여주기 때문이다. 이전에는 취약점 분석, 코드 작성, 언어 번역, 자료 정리, 위장 콘텐츠 제작을 서로 다른 사람이 맡아야 했던 작업이 하나의 대화형 시스템 안에서 연결될 수 있다. NIST가 올해 AI 에이전트 보안 논의에서 “모델 출력과 소프트웨어 도구의 기능이 결합될 때 기존 소프트웨어와 다른 위험이 생긴다”고 강조한 것도 같은 맥락이다.
보고서가 보여준 첫 번째 변화: AI가 ‘전문가 보조’가 아니라 ‘작업 흐름’이 된다
Anthropic이 보고서에서 반복해서 강조하는 흐름은 AI가 단순한 조언자가 아니라 일정한 업무를 맡는 엔지니어링 노동력처럼 사용되기 시작했다는 점이다. 공격자는 목표를 설명하고, AI는 자료를 찾는 방법을 정리하고, 코드를 작성하고, 실패한 코드를 수정하고, 다음 단계에 필요한 산출물을 다시 만든다. 각 단계가 따로 보면 평범한 프로그래밍이나 문서 작업처럼 보일 수 있지만, 연결되면 공격자의 실행 속도와 규모를 크게 높이는 체계가 된다.
이 변화는 “AI가 인간을 완전히 대체했는가”라는 질문과는 다르다. 보고서에 나온 활동에서도 목표 설정, 계정 확보, 실제 배포, 대상 선정 같은 핵심 의사결정은 여전히 사람이 맡은 경우가 많다. 다만 사람이 해야 할 반복적인 중간 작업이 줄어들면 한 명 또는 소수의 운영자가 더 많은 표적, 더 많은 버전, 더 많은 언어를 동시에 다룰 수 있다. 공격의 질뿐 아니라 처리량이 달라지는 셈이다.
공개정보 수집과 목표 구조 파악을 빠르게 정리한다.
코드·문서·위장 콘텐츠를 여러 버전으로 반복 생산한다.
오류 메시지와 결과를 바탕으로 다음 버전을 즉시 만든다.
수집 결과를 요약하고 우선순위와 후속 작업을 제안한다.
이 때문에 보안팀이 살펴야 할 흔적도 달라진다. 과거에는 악성 파일이나 특정 명령어처럼 ‘결과물’을 찾는 데 집중했다면, 이제는 정상 업무와 비슷해 보이는 긴 작업 흐름에서 이상 징후를 잡아야 한다. 짧은 시간에 비정상적으로 많은 코드 수정이 반복되는지, 한 계정이 서로 무관한 고위험 도구를 연속으로 호출하는지, 모델이 외부 데이터와 내부 시스템 사이를 오갈 때 권한이 과도하게 열려 있는지 같은 행동 맥락이 더 중요해진다.
사이버 공격에서 가장 중요한 변화는 ‘속도’와 ‘지속성’이다
사이버 영역에서 생성형 AI의 가장 현실적인 효과는 모든 공격자가 최상급 해커가 되는 것이 아니다. 더 직접적인 변화는 숙련도가 다른 운영자들이 정찰, 스크립트 작성, 로그 해석, 오류 수정, 문서화 같은 업무를 빠르게 반복할 수 있게 된다는 점이다. 특히 에이전트형 도구가 파일, 브라우저, 코드 실행 환경과 연결되면 인간이 일일이 복사하고 붙여 넣던 구간이 자동화된다. 이 작은 자동화가 누적되면 공격 준비 시간과 유지 비용이 낮아진다.
Anthropic의 보고서는 국가 연계로 의심되는 집단부터 금전 목적 범죄자까지 서로 다른 행위자가 Claude를 악용하려 했다고 설명한다. 여기서 주의할 점은 ‘귀속’이다. 특정 국가나 조직과의 연계는 수사기관의 확정 판결이 아니라 회사의 내부 위협정보 분석에 근거한 판단이 포함돼 있다. 따라서 기사에서 중요한 것은 개별 행위자의 이름보다 관찰된 사용 방식이다. 공격자가 모델에 장기간 맥락을 제공하고, 결과를 다시 입력하며, 여러 도구를 묶어 실제 업무처럼 반복했다는 점이 핵심이다.
이러한 패턴은 방어자에게도 역설적으로 같은 기회를 준다. AI는 방대한 로그를 요약하고, 탐지 규칙 초안을 만들고, 사건 타임라인을 정리하며, 취약점 우선순위를 매기는 데 활용될 수 있다. NIST가 8월 공개한 CSF 2.0용 AI 활용 초안도 AI를 보안 정책과 현재 상태 분석에 보조적으로 쓰는 방법을 제시한다. 결국 AI가 공격과 방어 양쪽의 ‘운영 비용’을 낮추는 기술이라면, 경쟁력은 누가 더 강력한 모델을 쓰느냐보다 누가 권한과 검증 절차를 더 잘 설계하느냐에서 갈릴 가능성이 크다.
감시와 영향공작: 콘텐츠 생성보다 ‘인프라 구축’이 더 무겁다
생성형 AI의 정치·사회적 위험을 말할 때 흔히 떠올리는 것은 가짜 뉴스나 대량 댓글이다. 실제로 Anthropic은 허위 소셜 계정과 가짜 뉴스 사이트를 구축하는 영향공작 사례를 보고했다. 그러나 이번 보고서에서 더 눈에 띄는 부분은 콘텐츠 자체보다 그 콘텐츠와 정보를 생산·분류·관리하는 인프라에 AI가 투입됐다는 점이다. 계정 네트워크를 운영하거나 감시 데이터를 정리하는 프로그램을 만들고, 반복적인 분석 절차를 자동화하는 방식이다.
보고서에는 한 국가의 이동통신망에서 대규모 감청·감시를 지원하는 소프트웨어를 개발하는 과정에 Claude가 엔지니어링 인력처럼 활용된 사례가 포함돼 있다. 회사는 이 활동을 중단하고 관련 계정을 차단했다고 밝혔다. 이 사례가 중요한 이유는 모델이 감시 대상의 사상이나 행동을 직접 판단했다는 데 있지 않다. 감시가 가능한 시스템을 더 빠르게 설계하고 수정하는 데 AI가 사용될 수 있다는 점, 즉 ‘의사결정 AI’가 아니더라도 사회적 영향이 큰 기반시설을 만들 수 있다는 점 때문이다.
영향공작 역시 비슷하다. 예전에는 다수의 계정, 웹사이트, 지역별 언어, 게시 일정 등을 관리하려면 상당한 인력이 필요했다. 생성형 AI가 번역, 문체 변형, 제목 제작, 계정별 말투 조정, 사이트용 문안 작성을 자동화하면 같은 인력으로 더 넓은 범위를 운영할 수 있다. 하지만 이는 곧바로 “AI가 여론을 원하는 방향으로 바꿀 수 있다”는 뜻은 아니다. 콘텐츠 생산 능력과 실제 설득 효과는 다른 문제이며, 노출 규모와 수용자의 반응을 확인하려면 별도의 데이터가 필요하다.
가짜 콘텐츠 한 건보다 더 주목해야 할 것은, 가짜 콘텐츠를 끊임없이 만들어 내고 배포하고 관리하는 ‘운영 체계’가 얼마나 싸지고 자동화되는가다.이번 보고서를 읽을 때 구분해야 할 핵심 포인트
재래식 무기와 생물학적 오용: 가장 높은 위험은 ‘거절선’ 바깥에서 생긴다
보고서가 특히 민감하게 다룬 영역은 재래식 무기 개발과 생물학적 오용이다. Anthropic은 중국 기반으로 분석한 한 사용자가 전자전 관련 소프트웨어 묶음을 설계하고 반복 개선하는 데 Claude의 채팅·코딩·에이전트 기능을 사용했다고 밝혔다. 회사 설명에 따르면 이 시스템은 약 16개 모듈로 구성됐고 12차례 버전을 거치며 수정됐다. 여기서 기사에 필요한 핵심은 구체적인 제작 방법이 아니라, 복잡한 기술 프로젝트가 반복 개발되는 동안 AI가 설계·코딩·수정의 연속성을 제공했다는 사실이다.
생물학적 오용 영역에서는 더 신중한 해석이 필요하다. Anthropic은 과거 모델에 대한 평가에서 고도 생물 연구를 실질적으로 도울 수 있는 임계치보다 낮았다고 설명하면서도, 모델 능력이 올라갈수록 위험이 커질 수 있다고 본다. 즉 이번 보고서는 AI가 이미 치명적 생물학적 결과를 만들어 냈다고 주장하는 문서가 아니다. 오히려 위험한 지식과 실험 설계를 단계적으로 연결하는 능력이 어느 지점에서 실질적 위험으로 바뀌는지 계속 평가해야 한다는 경고에 가깝다.
이 영역에서 모델 사업자가 택하는 방어는 단순 키워드 차단만으로 충분하지 않다. 위험한 요청은 여러 대화로 쪼개지거나, 겉보기에 정상적인 공학·연구 질문의 연속으로 나타날 수 있기 때문이다. 따라서 각 대화의 문장만 보는 방식보다 계정 단위의 누적 행동, 도구 사용 패턴, 반복적인 우회 시도, 고위험 분야와의 결합을 함께 관찰해야 한다. 물론 이런 모니터링은 개인정보 보호와 정당한 연구 활동을 침해하지 않도록 명확한 기준과 감사 절차를 필요로 한다.
불법 모델 증류와 개인정보: AI 경쟁이 사용자 데이터 문제로 번질 수 있다
이번 보고서에서 일반 사용자에게 가장 직접적으로 와닿을 수 있는 대목은 불법 모델 증류다. ‘증류’는 보통 더 큰 모델의 출력이나 능력을 활용해 다른 모델을 효율적으로 학습시키는 기술을 뜻한다. 정상적인 연구와 제품 개발에서도 쓰일 수 있지만, 서비스 약관과 접근 통제를 우회해 대량의 출력을 수집하거나 경쟁 모델의 능력을 베끼려 한다면 문제가 달라진다.
Anthropic은 2026년 2월 이후 자사 Opus 계열 모델을 겨냥한 무단 증류 캠페인을 탐지하고 차단했다고 주장했다. 특히 보고서는 제3자 모델 라우팅 서비스 등을 거친 일부 세션에 이름, 이메일 주소, 회사 내부 정보, 접근 자격증명 같은 민감 데이터가 섞여 있었을 가능성을 지적한다. 이 대목은 기술 경쟁과 개인정보 보호가 분리된 문제가 아니라는 점을 보여준다. 사용자는 단지 “어느 챗봇에 입력했는가”뿐 아니라 입력이 어떤 중계 서비스와 모델 체인을 통과하는지도 알아야 한다.
기업 입장에서는 더욱 복잡하다. 직원이 외부 AI 도구에 넣은 문서가 서비스 사업자의 학습 정책을 넘어, 플러그인·라우터·에이전트·외부 API를 연쇄적으로 통과할 수 있다. 계약상 데이터 보존 기간, 재학습 여부, 하위처리자, 로그 접근권한을 확인하지 않은 채 업무 자동화를 확장하면 편의성이 늘수록 데이터 경로도 길어진다. 특히 API 키, 인증 토큰, 고객 식별정보, 미공개 재무자료처럼 유출 시 회수가 어려운 정보는 입력 자체를 제한하거나 별도의 격리 환경을 써야 한다.
왜 기존 안전장치만으로 부족한가: ‘프롬프트 필터’에서 ‘권한 설계’로
초기 생성형 AI 안전장치는 주로 입력과 출력의 내용에 초점을 맞췄다. 명백히 위험한 요청을 거절하고, 정책 위반 표현을 탐지하고, 민감 주제의 답변을 제한하는 방식이다. 그러나 에이전트형 AI는 문제를 바꾼다. 모델이 이메일을 읽고, 파일을 열고, 코드를 실행하고, 외부 사이트를 방문하고, 내부 시스템에 쓰기 작업까지 할 수 있다면 보안의 핵심은 ‘무슨 말을 했는가’와 동시에 ‘무슨 권한으로 무엇을 실행할 수 있는가’가 된다.
NIST가 올해 발표한 AI 에이전트 보안 관련 의견 분석에서도 기존 사이버보안 원칙은 여전히 유효하지만 그대로는 충분하지 않으며 조정이 필요하다는 공감대가 소개됐다. 특히 에이전트가 외부에서 들어온 악의적 데이터를 읽을 때 발생하는 간접 프롬프트 인젝션, 오염된 모델이나 데이터, 사용자의 의도와 다르게 상태를 변경하는 행동 등이 별도 위험으로 거론된다. 이런 위험은 모델을 더 ‘똑똑하게’ 만드는 것만으로 해결되지 않는다.
에이전트에 필요한 파일·API·메일함만 제한적으로 허용하고, 읽기 권한과 쓰기 권한을 분리한다.
결제, 계정 변경, 외부 전송, 삭제처럼 되돌리기 어려운 작업은 사람의 명시적 승인을 요구한다.
브라우저·코드 실행·내부 데이터베이스가 하나의 세션에서 무제한으로 연결되지 않도록 경계를 둔다.
무엇을 읽고 어떤 판단으로 어떤 도구를 호출했는지 추적 가능한 로그를 남긴다.
보안 설계에서 가장 중요한 질문은 “모델이 실수할 수 있는가”가 아니라 “실수하거나 속았을 때 어디까지 갈 수 있는가”다. 시스템이 중요한 데이터와 외부 통신, 상태 변경 권한을 동시에 가진다면 한 번의 오류가 큰 사고로 이어질 수 있다. 반대로 각 권한이 분리되고 실행 단계마다 검증 지점이 있으면 모델이 잘못된 판단을 하더라도 피해 범위를 제한할 수 있다.
기업이 당장 바꿔야 할 것은 ‘AI 사용 금지’가 아니라 ‘AI 권한 목록’이다
실무에서 가장 흔한 대응은 사고 소식을 접한 뒤 “외부 AI 사용 금지” 공지를 내는 것이다. 하지만 업무 효율 때문에 이미 수많은 팀이 다양한 AI 도구를 쓰고 있다면 전면 금지는 음성 사용을 늘릴 수 있다. 더 현실적인 방법은 조직 안에서 어떤 AI가 어떤 데이터와 시스템에 연결돼 있는지 목록을 만드는 것이다. 일반 챗봇, 코딩 도우미, 회의 요약, 고객센터 자동화, 브라우저 에이전트는 위험 수준이 서로 다르다.
특히 ‘읽기만 하는 AI’와 ‘행동하는 AI’를 구분해야 한다. 문서를 요약하는 도구와 고객 계정의 값을 직접 바꾸는 도구를 같은 정책으로 관리하면 위험을 제대로 분류하기 어렵다. 외부 메일 발송, 결제, 코드 배포, 데이터 삭제, 권한 부여, 고객 정보 다운로드처럼 실제 상태를 바꾸는 기능을 가진 AI는 별도 승인을 받아야 한다. 위험의 크기는 모델 이름보다 연결된 권한에서 결정되는 경우가 많기 때문이다.
- AI 자산 목록을 만든다부서별로 사용하는 모델, 플러그인, 브라우저 확장, 자동화 도구, API 연결을 한 번에 파악한다.
- 데이터 등급을 연결한다공개·사내·기밀·개인정보 등급별로 어떤 AI 서비스에 입력할 수 있는지 명확히 정한다.
- 행동 권한을 분리한다읽기, 초안 작성, 실행, 외부 전송, 삭제 권한을 한 에이전트에 모두 주지 않는다.
- 고위험 작업은 사람 승인으로 막는다결제·배포·계정 변경·대량 전송 등은 자동화 마지막 단계에 승인 지점을 둔다.
- 사고 로그를 AI별로 남긴다어떤 입력이 어떤 도구 호출과 결과로 이어졌는지 사후 조사할 수 있어야 한다.
- 공급망 계약을 확인한다데이터 보존, 학습 사용, 하위처리자, 지역 저장, 삭제 정책을 서비스별로 비교한다.
이렇게 보면 AI 거버넌스는 새로 생긴 완전히 별개의 분야가 아니다. 최소권한, 망분리, 다단계 승인, 자산관리, 로그감사, 공급망 검증 같은 오래된 보안 원칙을 AI 환경에 다시 배치하는 작업에 가깝다. 다만 기존 소프트웨어는 기능과 입력 경로가 비교적 고정돼 있었지만, 생성형 AI는 자연어를 통해 목적이 수시로 바뀌고 외부 데이터를 해석해 다음 행동을 스스로 선택한다는 점이 다르다.
NIST의 2026년 흐름도 같은 방향: AI 에이전트는 보안 통제의 새로운 주체다
미국 NIST 산하 CAISI는 올해 초 AI 에이전트 보안에 관한 의견수렴을 진행했고, 5월 공개한 분석에서 응답자들이 에이전트의 새로운 보안 위협을 널리 인정했다고 정리했다. 전통적인 사이버보안 원칙이 여전히 중요하지만, 에이전트가 외부 데이터와 도구를 동시에 다루는 환경에 맞게 조정돼야 한다는 것이다. 정부 역할로는 구현 가이드, 정보 공유, 표준 촉진 등이 제안됐다.
2월에는 AI Agent Standards Initiative도 출범했다. 이 initiative의 목표는 자율적으로 행동하는 AI 에이전트가 더 안전하게 상호운용되도록 표준과 프로토콜 생태계를 촉진하는 데 있다. NIST는 AI 에이전트가 이미 코드를 작성하고 디버깅하며 이메일·캘린더와 쇼핑 같은 업무를 처리할 수 있다고 설명하면서, 외부 시스템과 내부 데이터에 접근할수록 보안과 신뢰 문제가 실제 활용의 제약이 된다고 봤다.
이런 흐름은 Anthropic 보고서의 의미를 넓혀 준다. 한 회사의 오용 사례만으로 미래를 단정할 수는 없지만, 표준기관이 동시에 ‘에이전트의 권한·정체성·행동 통제’를 별도 연구 주제로 다루고 있다는 사실은 위험이 제품별 예외가 아니라 구조적 문제로 인식되고 있음을 보여준다. 앞으로 AI 보안 제품의 경쟁도 콘텐츠 필터 정확도만이 아니라, 권한 위임 방식, 작업 격리, 행위 기록, 신뢰 가능한 도구 체인 관리에서 벌어질 가능성이 높다.
한국 기업에도 이 논점은 멀지 않다. 사내 문서검색, 고객상담, 개발 자동화, 영업지원에 AI를 붙일 때 가장 먼저 생기는 요구가 “우리 데이터까지 읽게 해 달라”와 “결과를 실제 시스템에 반영하게 해 달라”이기 때문이다. 이 두 요구가 합쳐지는 순간 AI는 단순한 생성 도구에서 내부 업무 권한을 가진 소프트웨어 주체로 바뀐다. 따라서 개인정보보호와 영업비밀 관리, 내부통제, 협력사 보안 규정도 AI를 별도의 예외 서비스가 아니라 하나의 정보시스템 계정처럼 다룰 필요가 있다.
예를 들어 고객 문의를 분류하는 AI가 CRM을 읽기만 하는 것과, 환불 승인이나 주소 변경까지 수행하는 것은 위험이 전혀 다르다. 개발 도우미가 코드 초안을 제안하는 것과 운영 서버에 직접 배포하는 것도 마찬가지다. 업무 자동화의 투자효과를 계산할 때는 절감되는 인건비뿐 아니라 잘못된 실행을 되돌리는 비용, 권한 검토와 감사 로그를 운영하는 비용, 사고가 발생했을 때 책임 경계를 입증하는 비용까지 포함해야 한다. 편리함을 위해 승인 단계를 모두 없애는 설계는 단기적으로 빠르지만 장기적으로 가장 비싼 자동화가 될 수 있다.
사용자에게 필요한 현실적인 습관: ‘편리한 중계 서비스’일수록 데이터 경로를 묻는다
개인 사용자가 거대한 사이버 위협을 직접 막을 수는 없다. 대신 자신의 정보가 AI 생태계에서 불필요하게 퍼지지 않도록 줄일 수는 있다. 가장 중요한 습관은 비밀번호, 인증 토큰, 주민번호·여권번호, 금융계좌 정보, 회사 기밀문서 같은 민감 정보를 대화창에 그대로 붙여 넣지 않는 것이다. 문제 해결을 위해 필요하다면 실제 값을 가리고 구조만 제공하거나, 기업이 승인한 보안 환경을 이용해야 한다.
또 하나는 “한 서비스처럼 보이지만 실제로는 여러 서비스를 거칠 수 있다”는 점을 기억하는 것이다. 일부 AI 앱은 자체 모델을 운영하지 않고 여러 모델 제공업체를 중계하며, 사용자가 선택한 모델에 따라 요청을 다른 곳으로 보낸다. 플러그인이나 에이전트 기능은 여기에 또 다른 외부 서비스를 붙인다. 편리함이 커질수록 데이터가 지나가는 지점도 늘 수 있기 때문에 개인정보 처리방침, 데이터 보존, 학습 사용 여부, 연결 앱 권한을 확인하는 습관이 중요하다.
업무용 AI에서는 계정 보안도 기본이다. 공격자가 회사의 AI 계정을 탈취하면 단지 대화 기록만 읽는 것이 아니라 연결된 문서, 코드 저장소, 이메일, 일정, 고객 시스템까지 접근할 수 있는 경우가 있다. 다중인증, 조직 계정 분리, 퇴사자 권한 회수, API 키 주기적 교체 같은 전통적 조치가 AI 시대에도 여전히 강력하다. 새로운 기술이 등장했다고 해서 기본 통제가 낡아지는 것은 아니다.
이번 보고서를 과장해서 읽으면 안 되는 세 가지 이유
첫째, 사례 선택 편향이 있다. Anthropic은 가장 주목할 만하고 새로운 위협을 공개했다고 밝혔다. 이는 서비스 전체 사용자 중 악용 비율이나 국가별 발생률을 계산할 수 있는 표본이 아니다. 극단적 사례를 통해 가능한 위험을 보여주는 보고서이지, 평균적인 AI 사용 현실을 설명하는 통계연감이 아니다.
둘째, 회사가 관측할 수 있는 범위가 다르다. 특정 AI 서비스에서 탐지된 활동은 그 회사의 사용자 구성, 모델 기능, 정책, 탐지 시스템에 영향을 받는다. 다른 모델이나 자체 구축 시스템에서는 다른 패턴이 나타날 수 있다. 특히 오픈웨이트 모델처럼 중앙 사업자가 계정 단위로 모니터링할 수 없는 환경에서는 탐지와 중단 방식이 완전히 다르다.
셋째, 귀속과 효과를 구분해야 한다. 특정 계정이 어느 국가나 조직과 연결됐다는 분석이 맞더라도, 그 활동이 실제 목표를 얼마나 달성했는지는 별개의 문제다. 코드를 만들었다는 사실과 현장에서 성공적으로 작동했다는 사실, 대량 콘텐츠를 만들었다는 사실과 실제 여론을 바꿨다는 사실은 동일하지 않다. 보고서는 위험 신호를 제공하지만, 모든 사례의 최종 효과를 독립적으로 입증하는 자료는 아니다.
그럼에도 이 보고서를 무시하기도 어렵다. 실제 서비스 사업자가 계정을 차단하고, 안전장치를 강화하고, 일부 사례를 당국이나 업계 파트너와 공유할 정도의 활동이 반복적으로 나타났다는 것 자체가 운영 리스크를 보여주기 때문이다. 중요한 것은 공포를 키우는 것이 아니라 어떤 유형의 통제가 실효적인지 구체화하는 데 사례를 쓰는 것이다.
앞으로의 경쟁은 모델 성능보다 ‘안전한 실행 구조’에서 갈린다
생성형 AI의 다음 단계가 에이전트라면, 기업과 개발자는 새로운 역설을 마주한다. AI가 유용하려면 더 많은 데이터와 도구, 더 넓은 권한을 줘야 한다. 하지만 권한이 넓어질수록 오작동, 계정 탈취, 프롬프트 인젝션, 내부자 오용이 일으킬 수 있는 피해도 커진다. 편의성과 안전이 정면으로 충돌하는 지점이다.
해법은 모델을 절대적으로 신뢰하는 것도, 아무 권한도 주지 않는 것도 아니다. 업무를 작게 나누고, 각 단계의 권한을 최소화하고, 되돌리기 어려운 행동에는 확인 절차를 두며, 외부에서 들어온 데이터가 곧바로 실행 명령으로 변하지 않도록 경계를 만드는 것이다. 소프트웨어 보안에서 오래 검증된 ‘제로 트러스트’와 ‘최소권한’ 사고방식이 AI 에이전트에도 그대로 중요해진다.
모델 사업자에게는 또 다른 책임이 있다. 안전 정책을 공개하는 것만으로는 충분하지 않다. 실제 오용이 어떤 패턴으로 나타났는지, 어떤 종류의 탐지와 차단이 효과가 있었는지, 연구자와 정부가 검증할 수 있는 정보를 가능한 범위에서 계속 공개해야 한다. 이번 Anthropic 보고서의 가장 큰 가치는 개별 사건의 자극성보다, AI 오용이 어떤 업무 단계로 구성되는지 구체적인 사례를 제공했다는 데 있다.
정책당국도 “위험한 모델을 막을 것인가, 혁신을 허용할 것인가”라는 이분법에서 벗어날 필요가 있다. 실제 사고는 모델 하나만으로 발생하기보다 계정, 데이터, 도구, 클라우드, 브라우저, 결제 시스템 같은 여러 층이 연결되면서 커진다. 따라서 표준과 규제도 모델 평가뿐 아니라 에이전트 권한, 로그 보존, 고위험 행동 승인, 공급망 책임을 함께 다루는 방향으로 발전할 가능성이 높다.
결론: ‘더 똑똑한 AI’보다 먼저 물어야 할 질문
2026년 9월의 위협정보가 보여주는 장면은 AI가 갑자기 독립적인 공격자가 됐다는 이야기가 아니다. 사람은 여전히 목표를 정하고 자원을 확보하며 실제 행동을 결정한다. 달라진 것은 그 사이를 채우는 수많은 작업이 빠르게 자동화되고, 하나의 대화형 시스템이 조사자·개발자·번역자·분석가의 역할을 오가며 연속성을 제공할 수 있다는 점이다.
이 변화는 AI의 위험을 평가하는 기준도 바꾼다. 모델이 어떤 질문에 답할 수 있는지만 테스트해서는 충분하지 않다. 모델이 어떤 도구에 연결되는지, 어떤 데이터에 접근하는지, 한 번 시작된 작업을 얼마나 오래 이어갈 수 있는지, 사람의 승인 없이 어떤 상태를 바꿀 수 있는지까지 함께 봐야 한다. 결국 에이전트 시대의 보안은 ‘지능의 크기’보다 ‘행동의 경계’를 설계하는 문제다.
기업과 사용자가 지금 할 수 있는 일은 거창하지 않다. 민감정보 입력을 줄이고, 연결된 앱과 권한을 점검하고, AI 자산 목록을 만들고, 고위험 행동에 사람 승인을 두며, 사고가 났을 때 추적할 수 있는 로그를 남기는 것이다. 정부와 표준기관은 이런 기본 통제가 서로 다른 AI 제품에서도 통용되도록 공통 언어와 기준을 만들어야 한다.
AI가 더 많은 일을 대신하게 될수록 ‘무엇을 할 수 있는가’보다 ‘어디까지 하도록 허용할 것인가’가 더 중요해진다. 이번 보고서는 그 질문이 미래의 가정이 아니라 이미 현재의 운영 문제라는 사실을 보여준다.
FAQ
Anthropic 보고서는 AI 악용이 급증했다는 통계인가?
아니다. 회사는 공개 사례가 일반적인 오용의 평균이 아니라 가장 주목할 만하고 새로운 위협 활동이라고 설명한다. 따라서 발생률이나 전체 사용자 대비 비중을 계산하는 자료로 쓰면 안 된다.
AI 에이전트가 기존 챗봇보다 왜 더 위험할 수 있나?
외부 데이터와 도구에 접근하고 여러 단계를 연속 수행할 수 있기 때문이다. 잘못된 판단이나 악의적 지시가 단순 답변으로 끝나지 않고 파일 변경, 외부 전송, 코드 실행 같은 실제 행동으로 이어질 수 있다.
기업은 외부 AI 사용을 전면 금지해야 하나?
일률적 금지보다 도구와 데이터, 권한 수준에 따라 위험을 분류하는 편이 현실적이다. 읽기 전용 요약 도구와 결제·배포 권한을 가진 에이전트를 같은 기준으로 다루면 중요한 차이를 놓치게 된다.
개인이 가장 먼저 할 수 있는 보안 조치는 무엇인가?
비밀번호, 인증 토큰, 주민번호, 금융정보, 회사 기밀을 대화창에 그대로 입력하지 않는 것이다. 연결 앱 권한과 데이터 보존·학습 정책도 함께 확인해야 한다.
이번 보고서의 국가·조직 귀속을 확정 사실로 봐도 되나?
주의가 필요하다. 일부 귀속은 Anthropic의 위협정보 분석에 근거한 판단이다. 공개 수사기록이나 사법적 확정과 같은 의미로 읽지 말고, 회사가 제시한 분석과 독립적으로 확인된 사실을 구분해야 한다.
주요 출처
- Anthropic, “Detecting and countering misuse of AI: September 2026” — 2025년 12월~2026년 8월 탐지·차단 사례, 7개 위험 영역, 사이버·감시·영향공작·재래식 무기·증류 사례의 1차 자료.
- Anthropic Threat Intelligence — 정기 위협정보 보고서의 발행 맥락과 연구팀 설명.
- NIST, Summary Analysis of Responses Regarding Security Considerations for AI Agents — AI 에이전트의 새로운 보안 위험과 기존 사이버보안 원칙의 조정 필요성에 대한 2026년 5월 분석.
- NIST CAISI, AI Agent Standards Initiative — AI 에이전트의 안전한 상호운용과 표준·프로토콜 추진 방향.
- NIST SP 1353 Initial Public Draft — AI를 활용한 CSF 2.0 분석·보고의 실무적 사용 예시와 주의사항.
- The Indian Express, 2026년 9월 11일 — Anthropic 보고서의 사이버·감시·공격 자동화 핵심 사례를 독립 보도한 보조 자료.
댓글
댓글 쓰기