AI 에이전트가 사고 치면 누가 책임질까

FORTUNE Korea 2025년 12월 12일 오후 04:04 조회수

797

인간은 실수하고, 신은 용서한다. 그렇다면 인간의 일을 대신하도록 설계된 자율형 AI ‘에이전트’에게 허용되는 실수의 범위는 어디까지일까.

샌프란시스코에서 열린 포춘의 ‘브레인스톰 AI’ 행사에서 이 질문이 핵심 의제로 떠올랐다. 기업 내부자들이 보안과 거버넌스를 어떻게 설계하고 있는지를 놓고 논의가 오갔고, 이는 데이터나 컴퓨팅 파워 같은 실무적 과제보다 더 앞선 문제로 부상했다.

기업들은 인간의 개입을 최소화한 채 스스로 판단하고 행동하는 AI 에이전트를 업무 현장에 투입하기 위한 경쟁에 뛰어들고 있다. 하지만 도입 속도는 기대만큼 빠르지 않다. 빠르게 움직이려면 신뢰가 필요하고, 신뢰를 쌓는 데는 시간이 걸린다는 근본적 역설 때문이다.

보안 기업 루브릭(Rubrik)의 AI 총괄인 데브 리시는 지난해 여름, 딥러닝 스타트업 프레디베이스(Predibase)가 인수된 이후 회사에 합류했다. 그는 이후 4개월 동안 180개 기업의 경영진을 만나며 에이전트형 AI 도입 흐름을 분석했다. 리시는 이를 네 단계로 나눴다. 여기서 에이전트 도입이란, 단순히 질문에 답하는 수준을 넘어 스스로 업무를 수행하는 AI 시스템을 조직에 적용하는 것을 뜻한다.

첫 단계는 실험과 프로토타이핑이다. 기업들은 에이전트를 시험적으로 만들고, 어떤 업무 목표에 접목할 수 있을지 탐색한다. 두 번째 단계는 가장 까다롭다. 실험용 에이전트를 실제 업무 환경으로 옮기는 시점이다. 세 번째는 조직 전반으로 에이전트를 확장하는 단계다. 마지막 네 번째 단계는 완전한 자율 AI다. 리시가 만난 기업 가운데 이 단계에 도달한 곳은 없었다.

조사 결과, 전체의 절반은 여전히 실험 단계에 머물러 있었고 25%는 프로토타입을 정식 업무로 전환하는 과정에 있었다. 13%는 확장 단계에 진입했고, 나머지 12%는 아직 AI 프로젝트를 시작하지도 않았다. 다만 리시는 향후 2년 안에 큰 변화가 올 것으로 내다봤다. 현재 실험 단계에 있는 기업 상당수가 로드맵상 2단계로 넘어갈 준비를 하고 있다는 것이다. 그는 이렇게 말했다. “도입은 매우 빠르게 늘어날 겁니다.”

하지만 기업들이 AI 에이전트를 ‘전속력’으로 도입하지 못하는 가장 큰 걸림돌도 분명하다. 보안과 거버넌스다. 이 문제가 해결되지 않으면서, AI는 여전히 정보 검색 수준에 머물고 실제 행동을 수행하는 단계로 나아가지 못하고 있다. 리시는 말했다. “우리의 목표는 AI 전환을 가속하는 것입니다. 그런데 가장 큰 위험 요인, 가장 큰 병목은 결국 ‘리스크’ 그 자체입니다.”

익스피리언(Experian)의 최고혁신책임자 캐슬린 피터스는 속도가 느려지는 이유를 ‘리스크에 대한 이해 부족’에서 찾았다. 에이전트가 기업이 설정한 안전장치를 넘어서 행동할 경우, 어떤 대비책이 있는지 명확하지 않다는 것이다.

피터스가 반문했다. “환각이 발생하면 어떻게 하나, 정전이 나면 무엇으로 대체할 수 있나. 특히 산업에 따라 경영진은 ‘우리가 어떻게 안전하다고 느낄 수 있는가’를 알고 싶어 합니다.”

이 문제는 기업마다 해법이 다를 수밖에 없고, 규제가 강한 산업일수록 훨씬 복잡해진다. 미국 홈 인프루브먼트 업체 로우스(Lowe’s)의 데이터·AI·혁신 담당 부사장 찬두 네어는 에이전트를 만드는 것 자체는 어렵지 않다고 말했다. 문제는 에이전트의 정체성이다. 디지털 직원인가, 하나의 조직인가, 기존 조직 구조 안에서 어떻게 작동해야 하는가.

“인사팀 없이 사람을 대거 채용하는 것과 비슷합니다.” 네어는 말했다. “에이전트는 많은데, 이를 체계적으로 관리하고 연결할 방법이 없는 상태였죠.”

로우스 역시 문제가 발생했을 때 책임 소재를 어떻게 추적할지 고민하고 있다. “거슬러 올라가 책임을 따지기가 쉽지 않습니다.” 네어는 말했다.

피터스는 향후 몇 년간 이런 질문들이 공개적으로, 동시에 이사회와 내부 컴플라이언스 조직 안에서도 치열하게 논의될 것이라고 내다봤다. 그는 “뭔가 큰 사고가 날 것”이라고도 했다. 보안 침해가 발생하고, 예기치 않은 방식으로 통제를 벗어난 에이전트가 등장할 것이라는 전망이다. 그는 말했다. “그건 매우 자극적인 뉴스 헤드라인이 될 겁니다.”

대형 사고는 기업 평판 리스크를 키우고, 소프트웨어와 에이전트의 책임 소재를 둘러싼 불편한 논의를 촉발할 것이다. 규제 강화로 이어질 가능성도 크다. 피터스는 이를 “새로운 업무 방식에 적응하는 사회 전체의 변화 관리 과정”이라고 표현했다.

그럼에도 성공 사례는 존재한다. 네어에 따르면 로우스는 AI를 운영에 통합하면서 뚜렷한 성과를 내고 있다. 25만 명에 달하는 매장 직원 모두에게 ‘에이전트 동반자’가 제공된다. 전기 자재부터 페인트, 배관 용품까지 판매하는 9,000㎡ 규모 매장의 방대한 제품 지식을 학습한 AI다. 신규 직원 상당수가 기술직 출신이 아닌 만큼, 이 에이전트는 로우스에서 가장 빠르게 확산된 기술이 됐다.

“고객에게 실제로 도움이 되는 사용 사례를 설계하는 게 중요했습니다.” 네어는 말했다. “제품이 좋고 가치를 더하면, 도입 속도는 폭발적으로 빨라집니다.”

본사 직원에게 적용할 변화 관리 방식은 또 다르다. 이로 인해 복잡성은 더 커진다. 또 다른 초기 고민도 있다. 자체 에이전트를 개발할 것인가, 아니면 세일즈포스·워크데이·서비스나우 같은 대형 소프트웨어 기업이 만든 에이전트를 활용할 것인가.

미국 매사추세츠 종합병원 브리검 헬스(Mass General Brigham)의 클라우드·AI 엔지니어링 총괄 라케시 제인은 ‘관망’ 전략을 택했다. 주요 플랫폼들이 이미 에이전트를 만들고 있는 상황에서 자체 개발은 중복 투자가 될 수 있기 때문이다.

“공백이 있다면 우리가 만들 겁니다.” 제인은 말했다. “그렇지 않다면 공급업체의 에이전트를 활용할 겁니다.”

의료 분야에서는 인간의 개입이 필수적이다. 환자의 복잡성은 알고리즘만으로 판단할 수 없기 때문이다. 에이전트는 의사결정을 빠르게 도와줄 수는 있지만, 최종 판단은 반드시 사람이 내려야 한다. 모든 조치는 의사가 검증한 뒤 이뤄진다.

그럼에도 기술이 성숙하면 잠재력은 크다. 예를 들어 여러 의사의 경험을 학습한 에이전트는 단일 영상의학 전문의가 놓칠 수 있는 종양을 발견할 수 있다. 다만 그 경우에도 인간의 판단은 필수다.

제인은 통제에서 벗어난 에이전트를 자가면역질환에 비유했다. 내부에서 발생하는 위협이기 때문에 진단과 치료가 가장 어렵다는 것이다. 시스템 내부의 에이전트가 ‘오염’될 경우, 그 피해는 아직 누구도 제대로 산정하지 못할 정도로 클 수 있다.

리시는 해법이 없지는 않다고 말했다. 그는 신뢰 구축을 위한 두 가지 조건을 제시했다. 첫째, 에이전트가 정책과 가이드라인 안에서 작동하고 있음을 보장하는 시스템. 둘째, 문제가 발생했을 때 실제로 작동하는 명확한 대응 규칙이다.

네어는 여기에 세 가지를 더했다. 에이전트의 정체성과 책임을 명확히 아는 것, 결과물의 품질 일관성을 평가하는 것, 그리고 오류가 언제 왜 발생했는지 설명할 수 있는 사후 추적 체계를 갖추는 것이다. 네어는 말했다. “시스템도 인간처럼 실수할 수 있습니다. 하지만 설명하고 회복할 수 있어야 합니다.”

/ Amanda Gerut & 김다린 기자 quill@fortunekorea.co.kr