우리 회사는 왜 AI 에이전트 도입에 실패했을까

FORTUNE Korea 2025년 12월 17일 오후 04:03 조회수

646

2025년은 ‘AI 에이전트의 해’가 될 거라는 말이 많았다. 하지만 해가 저물어가는 지금, 그런 전망은 기술 기업들의 낙관이 과했다는 사실이 분명해졌다. 물론 일부 기업은 AI 에이전트를 쓰기 시작했다. 다만 대부분 기업은 아직 도입하지 못했다. 회사 전반의 대규모 적용은 더더욱 그렇다.

지난 11월 맥킨지(McKinsey)의 ‘AI 현황(State of AI)’ 설문은 이를 수치로 확인해준다. 응답 기업의 과반은 아직 AI 에이전트를 쓰기 시작하지도 못했다. 40%는 실험 단계라고 답했다. ‘최소 한 가지 업무’에서 AI 에이전트를 대규모로 배치했다고 답한 비율은 4분의 1이 채 안 됐다.

마케팅·영업이나 인사(HR)처럼 기능별 AI 활용을 물었을 때 결과는 더 나빴다. 어느 영역에서도 ‘완전한 대규모 적용(fully scaled)’이나 ‘확장 중(in the process of scaling)’이라고 답한 비율이 10%를 넘지 못했다. 에이전트 적용이 가장 많은 기능은 IT였다. 서비스 티켓을 자동 처리하거나 직원 PC에 소프트웨어를 설치하는 데 에이전트를 쓰는 경우가 많기 때문이다. 그럼에도 ‘완전한 대규모 적용’은 2%에 그쳤고, ‘확장 중’은 8%였다.

문제의 핵심은 ‘신뢰할 수 있는 결과’를 내는 에이전트 워크플로를 설계하는 일이 생각보다 어렵다는 점이다. 오늘날 가장 성능이 좋은 모델조차 이상한 경계 위에 서 있다. 워크플로의 어떤 단계는 사람만큼 해낸다.

하지만 어떤 단계는 못한다. 여러 출처에서 데이터를 모으고, 여러 단계에 걸쳐 소프트웨어 도구를 쓰는 복잡한 작업이 특히 어렵다. 워크플로가 길어질수록, 초반의 작은 실수가 누적돼 최종 결과를 망칠 위험이 커진다. 게다가 최상위 모델은 대규모 적용 비용이 비싸다. 에이전트가 계획과 추론을 많이 해야 하는 워크플로라면 부담이 더 커진다.

많은 기업은 이 문제를 ‘멀티 에이전트 워크플로(multi-agent workflows)’로 풀려 했다. 서로 다른 에이전트를 여러 개 띄운다. 각 에이전트에 워크플로의 한 단계만 맡긴다. 때로는 한 에이전트가 다른 에이전트의 작업을 검증하게 한다. 성능은 좋아질 수 있다. 하지만 비용도 같이 오른다. 자동화할 가치가 사라질 정도로 비싸지는 경우도 있다.

구글(Google) 연구진은 “단일 에이전트가 나은지, 멀티 에이전트가 나은지”를 기업이 판단할 기준을 제시하겠다는 연구를 진행했다. 어떤 업무에 어떤 유형의 멀티 에이전트 구성이 적합한지도 함께 다뤘다.

연구진은 통제된 조건에서 180번 실험을 돌렸다. 구글, 오픈AI(OpenAI), 앤트로픽(Anthropic)의 모델을 썼다. 네 가지 ‘에이전트형 AI(agentic AI)’ 벤치마크에 붙였다. 목표도 다양했다.

여러 웹사이트에서 정보를 찾아오는 과제, 마인크래프트(Minecraft) 환경에서 계획을 세우는 과제, 이메일 답장·회의 일정 잡기·프로젝트 관리 소프트웨어 활용 같은 ‘일상 업무’에서 계획과 도구 사용을 수행하는 과제, 그리고 금융 에이전트 벤치마크다.

금융 벤치마크는 더 구체적이다. 에이전트가 미국 증권거래위원회(SEC) 공시를 뒤져 정보를 가져와야 한다. 그리고 기초 분석을 수행해야 한다. 예를 들어 실제 실적을 이전 분기 경영진 가이던스와 비교한다. 특정 제품 부문에서 나온 매출이 시간에 따라 어떻게 변했는지 계산한다. 기업이 M&A에 쓸 수 있는 ‘가용 현금’이 얼마나 될지도 추정한다.

지난 1년 동안 업계의 통념은 “멀티 에이전트가 더 안정적이다”였다. (필자도 <아이 온 AI>에서 이 관점을 다룬 적이 있다. 프로서스(Prosus) 같은 기업 경험도 그 주장을 뒷받침해왔다.) 그런데 구글 연구진의 결론은 달랐다. 통념이 맞느냐는 ‘업무 성격’에 크게 좌우됐다.

업무가 ‘순차적(sequential)’이라면 단일 에이전트가 더 좋았다. 마인크래프트 벤치마크의 많은 과제가 여기에 해당했다. 조건은 하나였다. 단일 에이전트가 그 업무를 최소 45% 정확도로 수행할 수만 있으면 된다. 이 조건을 만족하면 에이전트는 하나만 쓰는 편이 더 나았다.

멀티 에이전트를 어떤 방식으로 구성하든 성능은 크게 떨어졌다. 하락 폭은 39%~70%였다. 연구진은 이유를 이렇게 설명했다. 기업이 전체 과제를 수행하는 토큰 예산(token budget)을 제한해 두면, 여러 에이전트가 각자 도구를 쓰는 방법을 찾아내는 과정에서 토큰을 너무 빨리 소모한다. 그러면 전체 예산이 쉽게 무너진다.

반대로 업무 단계가 ‘병렬(parallel)’로 진행될 수 있다면 멀티 에이전트의 이점이 컸다. 금융 분석 과제의 상당수가 여기에 해당했다. 더 중요한 건 구성 방식이었다. 에이전트가 서로 어떻게 협업하느냐에 따라 결과가 크게 갈렸다.

금융 분석 과제에서는 ‘중앙집중형(centralized)’ 멀티 에이전트가 최고 성과를 냈다. 단 하나의 ‘조정자(coordinator)’ 에이전트가 여러 하위 에이전트를 지휘하고 감시한다. 모든 소통은 조정자에게 모였다가 다시 흘러간다. 이 방식은 단일 에이전트 대비 성능이 80% 더 좋았다. 반면 ‘독립형(independent)’ 멀티 에이전트는 개선 폭이 57%에 그쳤다. 이 방식은 조정자가 없다. 각 에이전트가 좁은 역할만 맡아 병렬로 끝낸다.

이런 연구는 기업이 AI 에이전트를 어떻게 설계해야 하는지 감을 잡는 데 도움을 줄 수 있다. 지난해의 약속이 이제서야 현실로 이어질 수도 있다. AI 에이전트 기술을 파는 입장에선 늦었지만 없는 것보단 낫다. AI 에이전트를 쓰는 현장에선 또 다른 질문이 남는다. 이 에이전트가 노동시장에 어떤 영향을 줄지다. 2026년으로 넘어가며 이 이야기를 계속 지켜봐야 하는 이유다.

/ 글 Jeremy Kahn & 편집 김다린 기자 quill@fortunekorea.co.kr