왜 2026년이 ‘진짜’ AI 에이전트의 원년인가

FORTUNE Korea 2026년 01월 07일 오전 09:30 조회수

671

2025년은 ‘AI 에이전트의 해’가 될 거라는 전망이 많았다. 하지만 대부분 기업은 구현에 애를 먹었다. 연말이 다가오자 많은 회사가 여전히 파일럿 단계에 머물렀다. AI 에이전트를 시험해 보는 수준이었다.

올해는 달라질 수 있다. 이유가 있다. 기술 벤더들이 깨닫기 시작했다. 에이전트 기능이 있는 AI 모델만 던져준다고 끝이 아니다. 고객이 AI 에이전트를 중심으로 업무 흐름 전체를 설계하도록 도와야 한다.

방법은 둘이다. ‘포워드 디플로이드 엔지니어(forward deployed engineer)’를 컨설턴트처럼 붙여서 직접 돕는 방식이 있다. 고객 성공(customer success) 셰르파 역할을 하는 인력이다. 또는 고객이 스스로 설계하기 쉽게 만드는 소프트웨어 솔루션이 있다.

워크플로를 제대로 만들려면 핵심 단계가 있다. AI 에이전트가 필요한 정보를 제대로 쥐고 있어야 한다. 2023년 이후 표준 해법은 RAG(retrieval augmented generation)였다. ‘검색 결합 생성’ 방식이다. 요지는 단순하다.

AI 시스템에 검색 엔진을 붙인다. 회사 내부 자료나 공개 인터넷에서 관련 문서와 데이터를 찾는다. 그리고 모델은 학습 때 배운 것만 믿지 않고, 검색으로 가져온 데이터에 기반해 답변하거나 행동한다.

RAG에 쓰는 검색 도구는 다양하다. 많은 회사가 ‘하이브리드’로 간다. 비정형 문서에는 벡터 데이터베이스를 쓴다. 여기에 전통적인 키워드 검색을 섞는다. 불리언(Boolean) 검색 같은 고전 방식까지 붙이기도 한다.

물론 RAG가 만능은 아니다. 단순 RAG로 만든 프로세스는 오류율이 여전히 높을 수 있다. 문제가 몇 가지 있다. 첫째, 모델이 사용자의 프롬프트를 ‘좋은 검색 조건’으로 바꾸는 데 종종 실패한다. 둘째, 검색을 잘했어도 모델이 1차 검색 결과를 제대로 걸러내지 못한다. 데이터 형식이 너무 제각각이어서 그렇기도 하다. 사람 프롬프팅이 부실해서 그렇기도 하다. 어떤 경우엔 모델 자체가 지시를 무시할 만큼 안정적이지 않다.

다만 데이터브릭스(Databricks) 리서치 디렉터 마이클 벤더스키(Michael Bendersky)의 설명은 달랐다. “에이전트가 데이터를 추론하지 못해서가 아니다. 애초에 올바른 데이터를 못 받는다”는 것이다. 벤더스키는 구글(Google)에서 오래 일했다. 구글 검색(Google Search)과 구글 딥마인드(Google DeepMind) 모두 경험했다.

데이터 분석 소프트웨어로 알려진 데이터브릭스는 최근 검색 결합형 AI 에이전트를 위한 새 구조를 공개했다. 이름은 ‘인스트럭티드 리트리버(Instructed Retriever)’다. 회사는 “RAG의 약점을 대부분 해결한다”고 주장한다.

이 시스템은 사용자의 프롬프트를 해석한다. 모델이 항상 고려해야 할 ‘맞춤 사양’도 함께 읽는다. 예를 들어 문서의 최신성, 상품 리뷰의 평점 같은 조건이다. 그리고 이를 바탕으로 ‘다단계 검색 계획’을 만든다. 정형 데이터와 비정형 데이터 모두를 대상으로 한다. 여기서 핵심은 메타데이터(metadata)다. 메타데이터까지 적극 활용해 모델에 정확한 정보를 밀어 넣는다는 구상이다.

핵심 작업은 ‘번역’이다. 사용자의 자연어와 검색 사양을 ‘전문화된 검색 질의 언어’로 바꿔야 한다. 데이터브릭스 신경망 CTO 한린 탕(Hanlin Tang)은 이렇게 말했다. “마법은 자연어를 어떻게 번역하느냐에 있다. 이건 때로 매우 어렵다. 질의 변환(query translation)을 정말 잘하는 모델을 만들어야 한다” 탕은 2023년 데이터브릭스가 인수한 모자이크ML(MosaicML)의 공동 창업자이기도 하다.

데이터브릭스는 자체 벤치마크 테스트 묶음도 만들었다. 실제 기업 환경을 반영했다는 설명이다. 지시 따르기(instruction-following), 도메인 특화 검색, 보고서 생성, 목록 생성, 복잡한 레이아웃의 PDF 검색 같은 과제를 포함했다. 결과는 이렇다. 인스트럭티드 리트리버는 단순 RAG 대비 정확도가 70% 더 높았다. 다단계 에이전트 프로세스에 붙였을 때도 개선 폭이 나왔다. 같은 프로세스를 RAG 기반으로 만든 것과 비교하면 성능이 30% 더 좋았다. 평균 단계 수도 8% 줄었다.

데이터브릭스는 ‘불완전한 질문’을 다루는 능력도 시험했다. 스탠퍼드대(Stanford University) 벤치마크 데이터셋 ‘스타크(StaRK, Semi-structured Retrieval Benchmark)’를 일부 활용했다. 여기서 아마존(Amazon) 상품 검색 관련 쿼리만 뽑았다. ‘스타크-아마존(StaRK-Amazon)’이다. 데이터셋에는 추가 예시도 덧붙였다.

이들이 보고 싶었던 건 ‘암묵 조건’이 들어 있는 검색이다. 예컨대 “FooBrand에서 추운 날씨에 가장 평점이 좋은 재킷을 찾아줘” 같은 질문이다. 조건이 여러 겹이다. 재킷이어야 한다. FooBrand 제품이어야 한다. 그리고 ‘추운 날씨’ 기준으로 가장 평점이 높아야 한다. 특정 제품을 제외해 달라는 요청도 있다. 최근 리뷰가 있는 제품만 찾으라는 요청도 있다.

인스트럭티드 리트리버의 목표는 간단하다. 이런 암묵 조건을 ‘명시 조건’으로 바꾼다. 벤더스키는 여기서의 돌파구를 이렇게 설명했다. 인스트럭티드 리트리버는 자연어 질문을 메타데이터를 적극 활용하는 질의로 바꾸는 법을 안다.

데이터브릭스는 모델도 여러 개로 시험했다. 오픈AI(OpenAI)의 GPT-5 나노(GPT-5 Nano)와 GPT-5.2를 썼다. 앤스로픽(Anthropic)의 클로드 4.5 소네트(Claude-4.5 Sonnet)도 썼다. 여기에 자체적으로 미세조정한 소형 모델도 만들었다. 파라미터 40억(4B)짜리다. 이름은 ‘인스트럭티드리트리버-4B(InstructedRetriever-4B)’다.

이들 모델을 전통적인 RAG 구조와 비교 평가했다. 정확도는 35%에서 50%까지 더 좋게 나왔다. 인스트럭티드리트리버-4B는 더 큰 프런티어 모델과 비슷한 성능을 냈다. 배포 비용은 더 낮다는 설명이다.

AI에서 늘 그렇듯, 첫 단추는 데이터다. 데이터가 올바른 곳에 있어야 한다. 형식도 맞아야 한다. 벤더스키는 “기업 데이터셋에 메타데이터를 포함한 검색 인덱스가 있으면 인스트럭티드 리트리버가 잘 작동할 것”이라고 말했다. 데이터브릭스는 완전 비정형 데이터셋에서 메타데이터를 뽑아내는 제품도 제공한다고 덧붙였다.

데이터브릭스는 인스트럭티드 리트리버가 오늘부터 베타 고객에게 제공된다고 밝혔다. ‘지식 어시스턴트(Knowledge Assistant)’ 제품을 통해서다. ‘에이전트 브릭스(Agent Bricks)’라는 AI 에이전트 구축 플랫폼 안에서 쓸 수 있다. 조만간 폭넓게 출시할 계획이라고도 했다.

이건 올해 AI 에이전트 벤더들이 쏟아낼 혁신의 한 예다. 어쩌면 2026년이 ‘진짜 AI 에이전트의 해’가 될지도 모른다.

/ 글 Jeremy Kahn & 편집 김다린 기자 quill@fortunekorea.co.kr