생각하는 AI, 더 쉽게 뚫린다

새 연구에 따르면, 앞선 추론 능력을 갖춘 AI 모델일수록 해킹(‘탈옥’)에 더 취약할 수 있다. 이미 기업과 소비자가 쓰는 주요 상용 모델의 안전성과 보안에 우려가 커지고 있다.

앤트로픽(Anthropic)·옥스퍼드대·스탠퍼드대 공동 연구는 “모델이 사용자 요청을 단계적으로 ‘생각’할수록 해로운 명령을 더 잘 거부한다”는 통념을 흔들었다. 연구진은 ‘연쇄 추론(CoT) 탈취(Chain-of-Thought Hijacking)’라는 방법을 써서 메이저 상용 모델들조차 높은 확률로 속아 넘어간다는 점을 확인했다.

일부 테스트에선 성공률이 80%를 넘었다. 공격의 핵심은 모델의 추론 단계, 즉 연쇄 추론을 악용해 유해 명령을 숨기는 것이다. 이렇게 하면 내장된 안전장치를 건너뛰도록 AI를 속일 수 있다.

이런 공격이 통하면 AI는 안전 가드레일을 생략하고 무기 제작법 같은 위험한 정보나 민감 정보를 유출하는 답을 내놓을 가능성이 생긴다.

지난 1년간 대형 추론 모델은 추론 시간과 연산을 더 쓰는 방식으로 성능을 크게 끌어올렸다. 질문마다 더 오래, 더 깊게 생각하게 한 것이다. 이전 연구는 이런 심화된 추론이 위험 요청을 더 잘 거부해 안전성도 높일 수 있다고 봤다. 하지만 이번 연구는 같은 능력이 오히려 안전장치 우회를 돕는 취약점이 될 수 있음을 보여준다.

연구 결과에 따르면 공격자는 긴, 무해해 보이는 추론 단계들 속에 유해 요청을 숨길 수 있다. 많은 ‘선량한’ 내용으로 모델의 생각을 채워 안전 점검 신호를 약화시키는 방식이다. 탈취 과정에서 모델의 주의는 주로 앞부분 단계에 머물렀고, 프롬프트 끝에 놓인 유해 지시는 거의 무시되는 경향이 관찰됐다.

추론 길이가 길어질수록 공격 성공률은 급등했다. 최소 추론에선 27%였던 성공률이, 자연스러운 길이에선 51%로 뛰었고, 추론 사슬을 더 늘리면 80% 이상까지 치솟았다.

이 취약성은 시장의 거의 모든 주요 모델에 영향을 미친다. 오픈AI의 GPT, 앤트로픽의 클로드(Claude), 구글 제미니(Gemini), xAI의 그록(Grok) 등이 포함된다. 안전성을 높이도록 ‘정렬(Alignment) 튜닝’된 모델도 내부 추론 레이어를 노린 공격 앞에선 무너지기 시작했다.

추론 능력 스케일링은 최근 1년 사이 프런티어 모델 성능을 끌어올린 핵심 축이었다. 전통적 스케일링의 한계가 보이는 가운데, 고급 추론은 모델을 ‘패턴 매처’에서 ‘문제 해결자’에 가깝게 만들었다.

연구진이 제시한 해법 중 하나는 ‘추론 인지형(reasoning-aware) 방어’다. 모델이 문제를 단계별로 풀어가는 동안 안전 신호가 얼마나 유지되는지 추적하고, 특정 단계가 안전 신호를 약화시키면 패널티를 부과해 모델의 주의를 잠재적으로 유해한 부분으로 되돌리는 방식이다. 초기 실험에선 일반 질문에 대한 성능을 유지하면서 안전성을 회복하는 효과가 확인됐다.

/  Beatrice Nolan & 김다린 기자 quill@fortunekorea.co.kr

• 모디전스비전, KGCCI AI 스타트업 피칭 챌린지 우승
• 드리블에 담긴 기술력…아틀라스, 월드컵서 제조 로봇 미래 증명
• GS칼텍스, 안전 중심 경영 성과…AI 접목한 대정비작업 성공적 마무리
• 한화솔루션, 美 벤처펀드 매각…채무상환·재무개선 속도
• 블랙스톤 COO 조너선 그레이의 ‘러닝 커뮤니케이션’