미지 분류 문제서 최신 방법 대비 최대 14% 정확도 향상
한국기술과학원(KAIST)은 사용자 관심이 변하더라도 변화한 관심을 효과적으로 학습할 수 있는 인공지능 훈련 기술을 개발했다고 5일 밝혔다.
KAIST에 따르면 이재길 교수 연구팀은 다양한 데이터 변화에 적응하며 새로운 지식을 학습함과 동시에 기존의 지식을 망각하지 않는 새로운 연속 학습(continual learning) 기술을 개발했다.
최근 연속 학습은 훈련 비용을 줄일 수 있도록 프롬프트(prompt) 기반 방식이 대세를 이루고 있다. 각 작업에 특화된 지식을 프롬프트에 저장하고, 적절한 프롬프트를 입력 데이터에 추가해 심층신경망에 전달함으로써 과거 지식을 효과적으로 활용한다.
이재길 교수팀은 기존 접근방식과 다르게 작업 간의 다양한 변화 정도에 적응할 수 있는 적응적 프롬프팅(adaptive prompting)에 기반한 연속 학습 기술을 제안했다.
현재 학습하려는 작업이 기존에 학습했던 작업과 유사하다면 새로운 프롬프트를 생성하지 않고 그 작업에 할당된 프롬프트에 추가로 지식을 축적한다. 즉, 완전히 새로운 작업이 입력될 때만 이를 담당하기 위한 새로운 프롬프트를 생성하도록 하고 연구팀은 새로운 작업이 들어올 때마다 클러스터링이 적절한지 검사해 최적의 클러스터링 상태를 유지하도록 했다.
연구팀은 이미지 분류 문제에 대해 작업 간의 다양한 변화 정도를 가지는 실세계 데이터를 사용해 방법론을 검증했다. 이 결과 연구팀은 기존의 프롬프트 기반 연속 학습 방법론에 비해, 작업 간의 변화 정도가 항상 큰 환경에서는 최대 14%의 정확도 향상했고, 작업 간의 변화가 클 수도 있고 작을 수도 있는 환경에서는 최대 8%의 정확도 향상을 달성했다고 설명했다.
또 제안한 방법에서 유지하는 클러스터 개수가 실제 유사한 작업의 그룹 개수와 거의 같음을 확인했다. 온라인 클러스터링을 수행하는 비용이 매우 작아 대용량 데이터에도 쉽게 적용할 수 있다.
이재길 교수는 “연속 학습 분야의 새로운 지평을 열 만한 획기적인 방법이며 실용화 및 기술 이전이 이뤄지면 심층 학습 학계 및 산업계에 큰 파급효과를 낼 수 있을 것이다”고 말했다.
©(주) 데일리안 무단전재 및 재배포 금지
- “뚱뚱하니까 뛰어” 6세 아들 러닝머신 강요해 죽인 父 결국
- 항문에 65cm 살아있는 장어 넣은 男, 장까지 뚫렸다
- ‘복귀 거부’ 사직 전공의, 개원·취업 연수에 몰려
- ‘친정 체제 완성’ 눈앞 한동훈…민생 정책 위한 넥스트 스텝은?
- 경기 패하자 상대 급소 밟았다…男유도선수의 만행
- ‘반려식물 키워보세요’…경기도,경로당·장애인복지관 1190곳에 무료 나눔
- 인천시, 올해 하반기 귀농·귀촌 교육생 모집
- 경기도, 초고령사회 대응·정책수립…’노인실태조사’ 실시
- 김주형도 버디쇼 동참, 가능성 보여준 올림픽 데뷔전
- SKT, 글로벌 정보검색 학회서 우수 논문상 수상
