증류 차단 90~99%, 저가 유사 성능 모델의 뒷면

Anthropic이 2026년 10월 12일 Strengthening our defenses against distillation attacks를 공개했습니다. 최근 몇 달 동안 Claude를 겨냥한 증류(distillation) 공격의 효과를 떨어뜨리는 새 방법을 적용했고, 초기 증거로는 증류 사업자가 수확한 데이터가 약 90~99% 줄었다는 내용입니다. 이 글은 발표가 제시한 방법과 결과를 정리하고, 값싼 유사 성능 모델을 검토 중인 우리나라 기업이 어떤 리스크를 함께 봐야 하는지를 짚습니다.

증류 공격의 정의와 Anthropic이 밝힌 규모

원문은 증류 공격을 한 모델의 능력을 추출해 다른 모델에 복제하는 은밀한 산업 규모 캠페인으로 정의합니다. 원 모델 개발사의 승인 없이 진행되며, 대개 부정 계정 네트워크를 통해 수행됩니다. 이 방법을 쓰면 프런티어 수준의 능력을 자체 개발에 드는 시간과 비용의 일부만으로 모방할 수 있습니다. Anthropic은 2026년 9월 보고에서 이 방식이 해외 AI 연구소가 미국 기업과 보조를 맞추는 데 광범위하게 쓰였다고 기술했습니다.

Anthropic이 밝힌 우려는 두 가지입니다. 첫째는 안전장치 문제입니다. 증류로 만들어진 모델은 능력은 프런티어에 근접하지만 그에 비례하는 견고한 안전장치 없이 배포되는 경우가 있고, 그 결과 생물학과 사이버보안 영역에서 심각한 피해에 쓰일 수 있다는 것입니다. 둘째는 국가안보 문제입니다. 미국 모델을 증류하는 기업들이 확보한 능력을 해외 군사, 정보, 감시 체계에 통합하고 있다는 지적입니다. 원문은 Moonshot의 Kimi 모델로 들어온 요청이 증류 과정의 일부로 Claude에 비밀리에 전달된 사례를 언급하며, 그 가운데 중국 인민해방군 관련으로 추정되는 사용자가 특정 인물의 CCTV 감시 영상을 분석해달라고 요청한 건이 있었다고 밝혔습니다.

규모는 2026년 2월 Anthropic이 공개한 Detecting and preventing distillation attacks에 정리되어 있습니다. 세 곳의 AI 연구소가 약 24,000개의 부정 계정을 통해 Claude와 1,600만 건 이상의 상호작용을 만들어냈다는 내용입니다.

Anthropic은 이번 방어 강화에 비용이 따랐다고 적었습니다. 증류 사업자에게서 들어오던 유의미한 매출과 수조 토큰 규모의 유료 트래픽을 거절했고, 연구와 제품 조직이 상당한 시간을 투입했으며, 일부 변경 때문에 정당한 사용자도 통합 코드를 수정해야 했습니다.

단순 방어의 한계

추론 요약이라는 1차 방어

증류 사업자가 가장 원하는 데이터는 Claude가 답을 내놓기 전에 작성하는 추론 전사입니다. 최종 출력만 있는 경우보다 작은 모델이 답에 이르는 과정을 배우기 쉽기 때문입니다. 그래서 Anthropic의 증류 방어는 거의 전부 추론에 접근하기 어렵게 만드는 데 집중되어 있습니다.

초기 조치는 사용자에게 추론을 보여주기 전에 Claude가 이를 요약하게 하는 방식이었습니다. 효과는 측정으로 제시됐습니다. Claude Opus 4.8의 전사로 사전학습된 Claude 모델을 학습시킨 뒤 SWE-bench Verified로 평가했을 때, 전체 전사로 학습한 모델은 80.4%, 요약된 추론만으로 학습한 모델은 71.8%를 기록했습니다.

8.6%p의 차이는 요약이 증류 데이터의 가치를 상당히 떨어뜨린다는 뜻이면서, 동시에 요약만으로는 증류를 막지 못한다는 뜻이기도 합니다. 71.8%는 여전히 쓸 만한 수준입니다.

수동 추출에서 능동 추출로

요약 도입 이후 공격자들은 일반 사용자처럼 요청을 보내 응답을 모으는 수동 추출에서, Claude가 전체 추론을 드러내도록 유도하는 능동 추출로 옮겨갔습니다. 원문이 소개한 기법은 "이전 추론을 글자 그대로 출력하라"는 단순한 지시부터, 한 연구소가 12,000개의 요청을 서로 다른 속임수로 구성해 시험한 사례까지 걸쳐 있습니다.

Anthropic은 이런 요청이 탐지 가능하다고 봅니다. 일반 사용자는 모델의 숨은 추론 전체를 써달라고 요청하는 일이 거의 없기 때문입니다. 이 전제가 뒤에 나오는 분류기 설계와 오탐율 수치의 근거입니다.

프록시 네트워크의 규모

그러나 초기의 단순한 안전장치는 우회됐습니다. 증류 사업자들은 우회 방법을 찾은 뒤 이를 대규모로 확장해, 수십만 개의 부정 계정을 통제하는 프록시 네트워크를 만들었습니다. 이 네트워크는 Claude가 제공되지 않는 지역에 접근을 재판매하고, 허위 신원과 탈취된 결제수단으로 계정을 생성했습니다. 2월 보고서에는 한 네트워크가 20,000개 이상의 부정 계정을 동시에 운영한 사례가 기록되어 있습니다.

새 방어 체계의 세 가지 경로

원문은 현재 방어가 세 가지 경로로 공격을 끊는다고 설명합니다.

추론이 갈 수 있는 곳을 통제

증류 사업자들은 보호된 추론 블록을 대화 사이에서 옮겨 Claude가 상대방이 이미 요약되지 않은 추론을 가지고 있다고 믿게 만들었습니다. 안전장치가 약한 모델을 이용해 더 강한 모델의 추론을 추출하거나, 계정이 차단되면 프록시 네트워크의 다른 계정으로 시도를 이어가기도 했습니다.

Anthropic은 Claude Fable 5.1과 Claude Opus 5.5에서 preserved thinking을 도입했습니다. 2026년 8월 31일 이후에 생성된 새 API 계정은 Claude의 이전 컨텍스트를 편집할 수 없게 하는 조치입니다. 또한 이 모델들의 추론을 안전장치가 약한 이전 모델이 읽지 못하게 했고, Claude Sonnet 5.5에서는 추론 전사를 그 전사를 만들어낸 조직만 접근할 수 있게 제한했습니다.

추출 시도를 차단하고 패치

Anthropic은 증류 목적으로 Claude를 쓰는 일이 사이버보안이나 생물학 영역의 유해 과제에 Claude를 쓰는 일만큼 어렵게 만드는 것을 목표로 삼았고, 같은 종류의 안전장치를 그대로 적용했습니다. 구체적으로는 Constitutional Classifiers 연구에서 설명한 2단계 분류기 체계입니다. 이 체계는 모델 내부 활성값을 보는 가벼운 프로브가 전체 트래픽을 선별하고, 의심되는 교환만 더 강력한 분류기로 넘기는 구조입니다. 1세대 분류기는 탈옥 성공률을 86%에서 4.4%로 낮추면서 연산 비용을 23.7% 늘렸지만, 다음 세대는 추가 연산 비용이 약 1% 수준이고 Claude Sonnet 4.5 트래픽에 한 달간 배포한 결과 무해한 질의에 대한 거부율이 0.05%였습니다.

증류 방어용 분류기는 실제 증류 시도 전사를 재료로 내부와 외부 레드팀을 거쳤습니다. 그 결과 현재 견고성이 생물무기 제작을 막는 안전장치와 대략 비슷한 수준이고, 오탐율은 0.1% 미만이라고 밝혔습니다. 적용 대상은 일반 제공 모델 중 가장 유능한 모델들입니다. 현재는 Claude Sonnet 5.5, Claude Opus 5와 5.5, Claude Fable 5와 5.1이며, 앞으로 증류 사업자에게 매력적일 모델에도 적용할 계획입니다.

이 체계는 계속 갱신됩니다. Anthropic은 공격자가 우회 방법을 찾을 것으로 예상하고 성공한 추출 시도를 상시 모니터링하며, 새 기법이 관측되면 빠르게 안전장치를 업데이트한다고 밝혔습니다. 이미 막은 기법으로는 Claude에게 앞선 추론을 다른 언어로 번역하게 하거나, 답변과 함께 태그 안에 추론을 적게 하는 방식이 있습니다.

반복 시도를 어렵게

특정 계정이 증류에 쓰이는지는 탐지 가능한 경우가 많습니다. 추론 추출을 계속 시도하는 사용자에게는 더 엄격한 사용량 제한이 적용되고, 반복적이고 지속적인 시도가 확인되면 해당 계정이 차단됩니다. 또한 9월 24일부터는 오탐율이 0.1% 미만인 영역에서 Claude가 응답하기 전에 안전장치가 차단한 요청에도 과금을 다시 시작했습니다. 증류는 그 영역에 포함됩니다.

효과 측정과 남은 한계

Anthropic은 가장 유능한 일반 제공 모델에서 2단계 분류기가 9월 보고서에 기술한 증류 기법 전부를 잡아낸다고 밝혔습니다. 효과 측정은 자체 플랫폼에서 증류 사업자가 추출해간 Claude 추론 토큰 수를 추정하는 방식으로 했습니다. 분류기 도입 이후 추출된 추론 토큰 수는 일관되게 이전의 10분의 1에서 100분의 1 수준으로 내려갔고, 어떤 날은 측정하기 어려울 만큼 적었습니다. preserved thinking의 효과가 여기에 더해집니다.

계정 차단도 병행됐습니다. 증류와 연관된 수만 개 계정을 차단했고, 상당수는 해당 계정이 증류 캠페인을 시작한 뒤 2시간 이내에 처리됐습니다.

한계도 함께 적혀 있습니다. 이 성과가 얼마나 오래 유지될지는 아직 모르며, 증류는 계속되는 추격전으로 남을 것이고 방어도 계속 개선해야 한다는 것입니다. Anthropic은 조치가 작동한다고 보면서도, 고도로 정교하고 집요한 우회 시도는 아직 관측하지 못했다고 밝혔습니다.

트레이드오프는 2월에 세운 목표를 완전히 달성하지 못했다는 형태로 정리됩니다. preserved thinking 때문에 일부 개발자가 통합을 수정해야 했고, 분류기가 0.1% 미만의 비율로 무해한 요청을 잘못 식별하거나 차단할 수 있으며, 차단된 요청에도 비용이 청구됩니다.

여기서 한 가지 계산을 해둘 만합니다. 0.1%는 낮은 비율이지만 호출량이 커지면 절대 건수는 달라집니다. 하루 100만 건을 호출하는 조직이라면 잘못 차단되는 요청이 하루 1,000건 미만 범위에서 발생할 수 있다는 뜻이고, 그 요청에도 과금이 됩니다. 대량 배치 처리나 에이전트 루프를 운영하는 조직은 차단 응답을 집계하고 재시도 정책을 정의해둘 필요가 있습니다.

값싼 유사 성능 모델의 뒷면

Zhipu와 GLM-5.3

원문은 증류가 왜 문제인지를 보여주는 구체적 사례로 Zhipu를 들었습니다. Zhipu는 GLM-5.3을 개발하면서 선도적인 미국 모델들의 사이버 능력을 증류했고, Claude Fable 5를 증류하려 시도했으나 Anthropic의 사이버 안전장치가 공격 성능을 떨어뜨리는 것을 확인하고 더 오래된 Claude 모델과 다른 연구소의 모델로 전환했습니다.

이 모델에 대한 외부 평가도 있습니다. Anthropic이 9월 29일 공개한 GLM-5.3 and the spread of advanced cyber capabilities에 따르면, 미국 정부의 AI 표준 평가 기관은 9월 17일 GLM-5.3을 지금까지 공개된 공개가중치 모델 중 가장 사이버 역량이 높은 모델로 평가했고, 자체 사이버 벤치마크 종합에서 미국 프런티어에 약 4개월 뒤처진다고 봤습니다. 이 기관 이름은 원문에서는 CAISSI, 2차 자료에서는 NIST 산하 CAISI로 표기되어 있습니다. 비교에서 미국 모델은 해당되는 경우 사이버 안전장치를 끈 상태로 테스트됐고 검증된 사용자에게만 제공되는 모델도 포함됐습니다. 공격자가 그런 버전에 접근하기는 어렵지만 GLM-5.3은 누구나 내려받을 수 있다는 점이 차이입니다.

확인된 능력 수준

Anthropic의 자체 평가 결과는 다음과 같습니다. Chrome의 V8 엔진 취약점을 다루는 ExploitBench에서 GLM-5.3은 410회 시도 중 50회 end-to-end 익스플로잇을 완성했습니다. 사이버 능력이 크게 뛴 모델로 제한 공개됐던 Claude Mythos Preview는 같은 조건에서 410회 중 56회였습니다. 내부 Binary Exploitation 벤치마크의 100개 과제에서는 GLM-5.3이 4%, Claude Mythos Preview가 6%의 비율로 완전한 제어 흐름 탈취에 성공했고, Claude Opus 4.6과 GLM-5.2는 한 건도 성공하지 못했습니다.

사람이 함께 작업한 세션의 결과도 보고됐습니다. 한 연구자는 샌드박스 환경에서 GLM-5.3으로 하루 동안, 사람의 집중 시간은 많지 않은 조건에서 널리 쓰이는 웹브라우저의 자바스크립트 엔진에서 알려지지 않은 취약점 여러 개를 찾아 연쇄시켜, 방문하면 방문자 컴퓨터의 임의 파일을 읽는 웹페이지를 만들었습니다. 해당 취약점은 유지보수 주체에 공개됐습니다. 더 작은 GLM-5.3-Flash로는 공개된 CVE 정보를 주고 ARM64 대상 익스플로잇 체인을 만들어 포인터 인증 보호를 우회했는데, 사람의 주의 시간 20분과 모델 작업 8시간이 들었고 Zhipu의 API 가격으로 20.40달러였습니다.

안전장치 제거 비용

GLM-5.3에도 내장 안전장치가 있습니다. 명백히 유해한 요청에는 거부하는 경우가 많고, 시뮬레이션 환경에서 직접적인 공격 지시를 받았을 때는 모든 시도에서 거부했습니다. 문제는 우회가 쉬웠다는 점입니다.

abliteration은 공개가중치 모델의 거부 반응을 제거하는 표준 기법입니다. Anthropic 연구팀은 직접 수행해보았고, 처음 시도하는 팀 기준으로 약 2,200 GPU시간과 4,400달러 정도가 들었다고 밝혔습니다. 기법에 익숙한 팀이라면 600 GPU시간, 1,200달러에 가까울 것으로 추정했습니다. 결과적으로 거부율은 90% 이상에서 JailbreakBench 약 3%, HarmBench 약 2%, StrongREJECT 12%로 떨어졌고, 능력은 거의 그대로 남았습니다. GPQA-Diamond는 동일한 점수였고 CyberGym 일부 과제에서 수 % 낮아졌습니다. GLM-5.3 공개 후 며칠 안에 여러 개발자가 abliteration된 버전을 공개했습니다.

이 수치는 공개가중치 모델을 사내에 배포할 때 무엇을 통제해야 하는지를 보여줍니다. 거부 반응은 가중치를 수정할 수 있는 주체에게는 1,000달러대의 연산 비용으로 제거 가능한 장치입니다. Anthropic은 같은 보고서에서 방어자 역시 공격자가 쓰는 도구와 최소한 동등한 수준의 모델을 써야 한다고 주장했고, 이런 능력이 방어에도 쓰일 수 있다고 적었습니다.

증류는 모든 개발사와 플랫폼의 문제

Anthropic은 트레이드오프가 있어도 이 조치들이 비용을 치를 만한 가치가 있다고 정리합니다. 증류 방지가 국가안보 측면에서 중요하고, 특히 널리 공개되는 강력한 모델이 충분한 안전장치와 함께 배포되도록 하는 데 중요하다는 이유입니다. 동시에 자사의 노력만으로는 부족하다고 덧붙였습니다. 공격자가 능력은 비슷하면서 그만큼 견고한 증류 방어는 없는 모델에 쉽게 접근할 수 있다면, Zhipu가 GLM-5.3 개발에서 그렇게 했듯이 방어는 무력화됩니다.

플랫폼의 역할도 지적됩니다. 증류 사업자는 트래픽을 Anthropic의 API와 서드파티 클라우드 플랫폼, 기타 추론 제공자에 분산시킵니다. 따라서 플랫폼이 남용을 빠르게 탐지하고 끊고 부정 계정을 정리하면 증류 속도를 실질적으로 늦출 수 있습니다. 다만 산업의 인센티브는 반대 방향으로 작동한다는 점을 Anthropic도 인정합니다. 방어는 비싸고 증류 사업자도 요금을 내는 고객이기 때문에 아무것도 하지 않거나 충분히 하지 않기가 쉽습니다. 방법을 공개한 이유는 실행 가능한 대안이 있다는 것을 보이기 위해서라고 적었습니다.

조달 관점에서 보면 추론 제공자를 고를 때 확인할 항목이 하나 늘어난 셈입니다. 해당 플랫폼이 남용 계정을 탐지하고 정리하는 절차를 갖추고 있는지, 모델 제공사의 안전장치가 플랫폼 경유 호출에도 동일하게 적용되는지입니다.

우리나라 기업이 확인할 것

1. 모델의 출처를 조달 문서에 남깁니다. 비슷한 벤치마크 점수를 훨씬 낮은 가격에 제시하는 모델을 검토할 때, 그 능력이 어떻게 확보됐는지는 확인 가능한 항목입니다. 원문은 Zhipu가 GLM-5.3 개발 과정에서 선도 미국 모델들의 사이버 능력을 증류했다고 기술하고, 2월 보고서는 이런 접근이 서비스 약관과 지역 접근 제한 위반이라고 기술합니다. 벤더에게 학습 데이터 출처, 안전장치 문서, 레드팀 결과, 가중치 공개 여부를 요구하고 답을 기록해두는 것이 현실적인 대응입니다.

2. 공개가중치 모델은 거부 반응을 제거할 수 있다는 전제로 배포를 설계합니다. abliteration은 1,200달러에서 4,400달러 수준의 연산 비용으로 거부율을 90% 이상에서 수 %까지 낮추면서 능력은 거의 유지했습니다. 사내에서 공개가중치 모델을 쓴다면 가중치를 수정할 수 있는 주체를 통제하고, 추론 토큰 프리필이 가능한 인터페이스를 외부에 노출하지 않는 것이 통제 지점입니다. 프리필만으로 우회율이 92%까지 올라간 결과가 있습니다.

3. 대량 호출 계정의 오탐 가능성을 운영 설계에 반영합니다. Anthropic은 증류 방어 분류기의 오탐율을 0.1% 미만으로 제시했고, 9월 24일부터 차단된 요청에도 과금한다고 밝혔습니다. 모델의 숨은 추론 전체를 글자 그대로 출력하게 하거나, 추론을 다른 언어로 번역하게 하거나, 답변과 함께 태그 안에 추론을 적게 하는 프롬프트는 이미 차단 대상 기법으로 명시되어 있습니다. 이런 패턴이 사내 프롬프트 템플릿에 들어 있지 않은지 점검하고, 차단 응답을 로깅해 재시도와 비용을 관리하는 것이 필요합니다.

4. preserved thinking 변경이 에이전트 파이프라인에 주는 영향을 확인합니다. 2026년 8월 31일 이후에 생성된 API 계정은 Claude의 이전 컨텍스트를 편집할 수 없습니다. 멀티턴 대화에서 컨텍스트를 재조립하거나 추론 블록을 가공해 다시 넣는 구조라면 수정이 필요할 수 있습니다. Claude Sonnet 5.5의 추론 전사는 해당 전사를 만들어낸 조직만 접근할 수 있으므로, 계열사나 외부 파트너와 전사를 공유하는 설계도 다시 봐야 합니다.

5. 사이버 방어 쪽 활용 여지를 함께 검토합니다. Anthropic은 같은 능력이 방어자에게도 쓰일 수 있다고 보고, 방어자에게 공격자가 쓰는 도구와 최소한 동등한 수준의 모델을 제공해야 한다고 주장합니다. 하루 수준의 작업으로 브라우저 엔진의 미공개 취약점을 찾아낸 결과가 보고된 만큼, 자체 소프트웨어의 취약점 점검에 모델을 쓰는 방안을 보안 조직과 함께 평가해둘 가치가 있습니다. 다만 이 주장은 Anthropic의 입장이고, 도입 판단은 내부 보안 정책과 법무 검토를 거쳐야 합니다.

출처: Strengthening our defenses against distillation attacks, GLM-5.3 and the spread of advanced cyber capabilities, Next-generation Constitutional Classifiers, Detecting and preventing distillation attacks