100TB 데이터를 2분만에…넥슨, 데이터 플랫폼 ‘모노레이크’ 구축

106

하루 생성되는 약 100TB(테라바이트)의 데이터를 기존 2시간에서 5분 내외로 줄이는 획기적인 통합 데이터 플랫폼이 등장했다. 

넥슨은 글로벌 데이터 클라우드 기업 스노우플레이크와의 협업으로 광범위한 데이터를 표준화해 저장하는 통합 데이터 플랫폼 ‘모노레이크(Monolake)’를 구축했다. 게임 데이터의 실시간 표준화 및 저장으로 ’데이터 격리’ 문제를 해소할 예정이다. 

'모노레이크 인커밍 데이' /넥슨
‘모노레이크 인커밍 데이’ /넥슨

모노레이크는 하나를 뜻하는 그리스어 ‘Monolithic’과 다양한 유형의 원시 데이터 저장소 ‘데이터 레이크(Data Lake)’의 합성어로, 여러 곳에 흩어져 있는 데이터를 한 곳에 모아 효율적으로 분석 및 활용할 수 있게 하는 플랫폼이다. 게임 라이브 서비스와 신작 개발 과정에서 생성되는 데이터량이 계속해서 늘어나는 상황에서 분산된 내부 데이터의 공유가 어려워지는 문제를 해결하기 위해 도입됐다.

모노레이크는 실시간으로 만들어지는 방대한 데이터를 표준화하고, 동일한 적재 과정을 거침으로써 데이터 배치 처리 효율성을 대폭 향상시켰다. 하루 평균 생성되는 약 100TB(테라바이트)의 데이터, 8천여 개의 이벤트와 450억 개 이상의 로그를 처리하는 시간은 기존 2시간에서 5분 내외로 크게 줄었으며, 쿼리 성능은 이전 대비 7배 이상 증가했다. 데이터 보존율은 100%에 달한다.  

또한 일본·북미 법인 및 외부에 저장된 기존 데이터에도 동일한 플랫폼을 적용해 별도의 이관 작업 없이도 손쉬운 데이터 공유가 가능해졌으며, 데이터 인프라 관리에 드는 전반적인 시간과 비용을 절감할 수 있을 것으로 보인다.

넥슨은 모노레이크를 통해 유의미한 데이터와 인사이트를 발굴하고 이를 기반으로 새로운 데이터 서비스를 기획할 예정이다. 지난 13일에는 임직원을 대상으로 ‘모노레이크 인커밍 데이(Monolake Incoming Day)’ 행사를 열고 유저의 실시간 이상 행위 탐지나 이용자와 운영자 간 소통 증대 등 게임 서비스 고도화에 활용하는 방안을 공유하며 업계 최고 수준의 데이터 생태계를 만들겠다는 포부를 밝혔다.

+1
0
+1
0
+1
0
+1
0
+1
0