[카카오AI리포트]카카오I 슬롯 머신 게임 엔진의 진화
성인재 | 카카오 슬롯 머신 게임기술파트
2015년 6월, 슬롯 머신 게임는 인공지능에 의한 뉴스 서비스 체계를 모바일다음에 전면 도입했다. 국내 인터넷 업계에서는 최초의 일이었다.그리고, 올해 4월 슬롯 머신 게임는 PC(personal computer)에도 같은인공지능 시스템을 도입했다. 이러한 확대 적용은 지난 2년 간확인된 인공지능 체계의 성과가 반영된 결과다. 그리고 2017년9월, 슬롯 머신 게임는 뉴스 서비스에서 또 다른 혁신을 시도한다. 이용자가실제 콘텐츠를 읽은 시간을 파악하는 지표를 기존 알고리듬에결합시킨 것이다. 새로운 변화의 등장 배경, 그리고 결합 방식에대한 상세한 설명을 이번 글에 담았다.
[슬롯 머신 게임 AI 리포트] Vol. 7 (2017년 9/10월 합본호 ) 는 다음 내용으로 구성되어 있습니다.
[1] A special edition : Kakao Mini - 슬롯 머신 게임미니의 음성인식 기술
01. 이석영 : 세상을 바꿀 변화의 시작, 음성 인터페이스와 스마트 스피커
02. 김명재 : 슬롯 머신 게임미니는 말하는 사람을 어떻게 인식할까?
[2] industry - 슬롯 머신 게임 현장의 이야기
03. 성인재 : 카카오I의 슬롯 머신 게임 엔진의 진화, 뉴스 적용 사레를 중심으로
[3] learning - 최신 슬롯 머신 게임 연구 흐름
06.김형석,이지민,이경재: 최신 슬롯 머신 게임 논문 3선(選)
07. 안다비 : 최신 기계학습의 연구 방향을 마주하다, ICML 2017 참관기
08. 천영재 : 2013년과 2017년의 CVPR을 비교하다
[04] exercise - 슈퍼마리오 그리고 GAN
09. 송호연 : 강화학습으로 풀어보는 슈퍼마리오 part.1
10. 유재준 : Do you know GAN? (1/2)
[05] information
[슬롯 머신 게임 AI 리포트] Vol. 7_03.다운받기
[슬롯 머신 게임 AI 리포트] Vol. 7 전체글 다운받기
카카오I의 슬롯 머신 게임 엔진 : 뉴스 적용 사례(루빅스)
루빅스 시스템의 개요
루빅스(real-time user behavior-based interactive content recommender system, RUBICS)는 2015년6월부터 다음모바일메인 뉴스에의 적용을 시작으로, 현재는다음모바일메인의 뉴스/연예/스포츠를 비롯한 대부분의 탭,다음PC메인의 뉴스/연예/스포츠, 카카오톡 채널 등에 적용되어서비스되고 있는, AI 기반의 콘텐츠 슬롯 머신 게임 시스템이다. 루빅스의도입으로 이용자들은 동일한 뉴스 서비스 화면에 노출되는 것이아니라 각 이용자의 관심사에 맞는 뉴스들로 이루어진 개인화된뉴스 서비스 화면을 소비할 수 있게 됐다.
[ 그림 1 ] 루빅스의 개요루빅스는 2015년 6월부터 다음 모바일 메인 뉴스에 처음적용됐다. 루빅스 도입 이후, 다음 뉴스의 이용량이 증가되었을 뿐만아니라, 제공되는 뉴스의 다양성도 확대되었다. 루빅스를 통해, 뉴스콘텐츠의 다양화, 뉴스 이용자 규모, 뉴스 체류 시간이 모두 증가하는선순환 구조가 형성됐다고 볼 수 있다. 이에 슬롯 머신 게임는 루빅스를모바일 다음 메인의 뉴스/연예/스포츠를 비롯한 대부분의 탭, 다음PC 메인의 뉴스/연예/스포츠, 슬롯 머신 게임톡 채널 등까지 적용시켰다.
[ 그림 2 ] 루빅스 도입 효과루빅스는 실제 콘텐츠 서비스에서 나타난 특성을 면밀히분석한 결과를 기반으로, 다양한 슬롯 머신 게임 알고리듬을 앙상블(ensemble)하여 랭킹(ranking)된 슬롯 머신 게임 콘텐츠를 제공한다. 루빅스에 적용되어있는 알고리듬은 크게 사용자 그룹 맞춤 슬롯 머신 게임과 개인화 슬롯 머신 게임의 두부류로 구분될 수 있다. [표 1]
[ 표 1 ] 루빅스의 콘텐츠 슬롯 머신 게임 방식루빅스의 슬롯 머신 게임 알고리듬에 대해서는 이미 문서*1로 공개된 바있으므로, 여기서는 이 정도로 설명을 마치도록 한다. 다음 장에서는루빅스에최근새롭게도입된지표및이를이용한알고리즘에대해주로 다루고자 한다.
DRI(Deep Reading Index)에 대한 설명
도입 배경
루빅스 적용 후 2년 넘게 사용자 선호도의 메인 지표는 CTR(clickthrough rate)였다. CTR과 같은 클릭 지표는 루빅스뿐만 아니라,일반적으로 널리 알려진 콘텐츠 슬롯 머신 게임 알고리듬들의 메인 지표로사용되고 있다.
하지만 클릭 지표는 컨텐츠의 "제목"에 대한 사용자의반응만을 반영하고 있고, 소비 선택 빈도 외에 콘텐츠가 어떻게소비되는지는 반영하지 못한다. 따라서 클릭 지표만을 이용하여콘텐츠를 슬롯 머신 게임하는 경우, 콘텐츠의 소비 양상과 태도를 온전히반영하기는 어렵다.
실제 콘텐츠가 어떻게 소비되었는지에 대한, 즉 "본문"에대한 사용자의 반응에 대한 측정은 지표 그 자체로서도, 슬롯 머신 게임알고리즘에 이용하기 위해서도 절실히 필요하였다. 다양한 고민끝에 결국 "사용자들이 본문을 열심히 읽은 정도"를 가늠할 수 있는지표인 DRI(deep reading index, 열독률 지수)를 고안해냈다.
필요성 및 정의
이용자의 체류 시간은 같아도 취득하는 정보량이 다를 수 있기때문에, 콘텐츠가 얼마나 열심히 읽혔는지를 체류 시간으로 바로가늠하기는 어렵다. 예를 들어 본문 500자, 이미지 1개인 콘텐츠와본문 1,000자, 이미지 5개인 콘텐츠의 평균 체류 시간이 모두50초일 때, 이용자들이 두 콘텐츠를 동일한 수준으로 열심히 봤다고하긴 어렵다. 모바일 다음의 뉴스/연예 스포츠 기사의 본문 길이에 따른 체류 시간 중앙값을 플로팅(plotting)한 [그림 3]을 살펴 보면,콘텐츠의 정보량을 나타내는 값의 하나인 본문 길이가 체류 시간과상관 관계에 있음을 알 수 있다. 이러한 경향성에 부합할 수 있도록콘텐츠에 포함된 정보량에 따른 기대 체류 시간과 특정 콘텐츠 체류시간을 동시에 고려할 수 있는 새로운 지표로 개발된 것이 DRI이다.DRI는 기대 체류 시간 대비 해당 콘텐츠의 체류 시간의 상대적인크기로 정의된다. 다시 말해, "상대적인 체류 시간"을 통해 사용자의본문 선호도를 측정한다.
[ 그림 3 ] 콘텐츠 본문 길이에 따른 체류 시간DRI 적용 효과의 예시
DRI는 콘텐츠가 본문에서 제목에서 예상되던 바를 충족시키지 못한경우를 발견해 낼 수 있다. [그림 4]는 사용자들이 제목과 본문의불일치를 체감한 경우가 많은 기사의 예이다. 야구 관련 기사로예상하고 클릭을 했으나, 실제 본문 내용은 e스포츠라서 이탈하는상황이 많이 발생하는 것으로 보이는 뉴스 기사이다. 이 기사의DRI는 -97%로 매우 낮게 나타나는 것을 알 수 있다.
[ 그림 4 ] 콘텐츠 특성에 따른 DRI의 예DRI-CTR 앙상블 기반 루빅스 슬롯 머신 게임
DRI-CTR 앙상블 소개 및 랭킹 방식 비교
기존 루빅스 슬롯 머신 게임의 기반이었던 CTR에 DRI가 추가된 루빅스알고리듬을 소개하고자 한다. DRI를 CTR과 앙상블(ensemble)하여,DRI의 총합을 최대화하도록 목적함수(objective function)가정의되었다. CTR 기반, DRI 기반, DRI-CTR 앙상블 기반으로 사용자그룹 맞춤 슬롯 머신 게임을 한 경우는 각각의 특성은 [표 2]와 같이 정리된다.
[ 표 2 ] 랭킹 방식 비교DRI-CTR 앙상블 기반은 제목과 본문에 대한 사용자 반응을 모두반영할 수 있는 장점을 갖고 있다. DRI는 기대 체류 시간 대비 해당콘텐츠 체류 시간의 상대적인 크기로 정의되고, DRI-CTR 앙상블기반 슬롯 머신 게임 랭킹은 DRI의 합을 최대화하기 때문에, 결과적으로 체류시간의 간접적인 증가를 기대할 수 있다.
DRI 도입의 효과
CTR랭킹 대비 DRI-CTR 앙상블 랭킹으로 사용자 그룹 맞춤 슬롯 머신 게임시의 지표 변화를 알아보기 위해 실험을 진행한 결과, [그림5]와같은 지표 변화를 보였다. 모바일 다음 메인의 뉴스 / 연예 / 스포츠전체를 대상으로 측정된 지표이다.
[ 그림 5 ] CTR 랭킹 대비 DRI-CTR 앙상블 랭킹의 지표 변화량DRI가 랭킹 요소에 추가되면서, 끌리는 제목을 가진 기사들이상대적으로 적게 슬롯 머신 게임되기 때문에 '1인당 평균 페이지뷰(pageview)'가 소폭 하락했다. 그러나, 사용자들이 보다 열심히 읽을만한 기사를 제공해 주기 때문에 "1뷰(view) 당 평균 체류 시간"이상승하여, 결과적으로는 '1인당 평균 체류 시간'이 상승했다. DRI-CTR 앙상블 기반 슬롯 머신 게임 랭킹을 통해, 제목과 본문에 대한 사용자의반응을 모두 기사 슬롯 머신 게임에 반영할 수 있게 되었으며, 더불어 총 체류시간도 증가하게 되는 것이다.
향후 목표 및 방향
지금까지 루빅스의 도입 배경과 슬롯 머신 게임 알고리즘, 그리고 DRI란무엇인지, 루빅스 슬롯 머신 게임에 DRI를 도입한 후의 효과 등을 살펴보았다.현재도 사용자 반응 데이터를 기반으로 꾸준히 루빅스의 성능평가가 진행되고 있으며, 그 결과에 따라 알고리즘 및 시스템개선작업이 지속적으로 진행되고 있다.
2017년 9월부터, 기사 제목과 본문에 대한 사용자 반응을모두 반영하여 슬롯 머신 게임하는 DRI-CTR앙상블 알고리즘이 루빅스에도입되었고, 다음모바일메인 뉴스/연예/스포츠에 적용되어 서비스중이다. 향후 루빅스에 DRI를 도입함으로써 나타난 체류시간상승이 재방문률 상승으로 이어지는지에 대해 지속적으로 측정할예정이다. 체류시간의 상승은 곧 사용자들의 서비스 만족도가상승했다는 것을 의미할 수 있고, 만족도의 상승으로 인해 보다 더자주 서비스를 방문하게 됨으로써, 결과적으로 재방문률의 상승이나타날 수도 있다. 예상과 같은 결과가 나타난다면, 사용자에게 보다높은 가치를 제공함으로써 재방문을 이끌어낸, 좋은 사례가 될 수있을 것이다.
글| 성인재 tevin.sung@kakaocorp.com
카카오I의 슬롯 머신 게임 엔진 프로젝트인 루빅스를 리딩하고 있습니다.SAP Labs Korea와 네이버를 거쳐 현재 카카오에 재직하면서, 콘텐츠 슬롯 머신 게임, 정답 슬롯 머신 게임, 문맥광고,연관검색어 등의 프로젝트를 리딩하고 AI 및 머신러닝 알고리듬을 설계하였습니다.
참고문헌
*1참고 | 박승택, 성인재, 서상원, 황지수, 노지성, 김대원. (2017). 기계학습 기반의 뉴스 슬롯 머신 게임 서비스 구조와 그효과에 대한 고찰: 카카오의 루빅스를 중심으로. 사이버커뮤니케이션학보, 34권 1호, 5-48.
