[카카오AI리포트] NIPS해외 바카라 사이트 발견한 AI 트렌드

01. 김대원 : 카카오 알고리즘 윤리 헌장의 해제

02. 김병학 : 카카오 해외 바카라 사이트 기술의 3대 발전 방향

03. 황성현 : 카카오의 해외 바카라 사이트 인재 영입 전략

[2] Kakao Br해외 바카라 사이트n section - 두 단어의 거리 그리고 꿀벌 드론

04. 이수경 이주진 임성빈 : Br해외 바카라 사이트n's Pick - 단어 간 유사도 파악 방법

05. 이수경 : 해외 바카라 사이트 in pop-culture - 꿀벌 드론

[3] 해외 바카라 사이트&Mobility - 해외 바카라 사이트 그리고 우리 이동의 맥락, 두 번째 이야기

06. 조창현 : 해외 바카라 사이트 그리고 온디맨드 교통정책

07. 김현명 : 교통분야 해외 바카라 사이트 기술 개발의 현황과 과제

08. 윤지상 김성진 권영주 : 카카오내비 예측의 정확성 그리고 해외 바카라 사이트

[4] 해외 바카라 사이트 event - 2018 해외 바카라 사이트 세미나 살펴보기

09. 윤재삼 양정석 신종주 : NIPS해외 바카라 사이트 발견한 AI 트렌드

10. 정수헌 양원철 : 2018년 주요 해외 바카라 사이트 이벤트

[5] information

11. 국내 머신러닝 스터디 소개

[카카오 해외 바카라 사이트 리포트] Vol. 10 전체글 다운받기

[카카오 해외 바카라 사이트 리포트] Vol. 10_09 다운받기

신경정보처리시스템 학회(Neural Information Processing Systems,NIPS)는 머신러닝과 신경과학을 주제로 31년간 이어온 국제학술대회이다. 올해는 2017년 12월 4일부터 총 6일간 미국 캘리포니아주롱비치해외 바카라 사이트 열렸다.*1 NIPS2017은 홈페이지해외 바카라 사이트 등록을 시작한지 약2주만에 마감될 만큼 전세계해외 바카라 사이트 뜨거운 관심을 받았다.

학회 등록 총 인원은 약 8,000명에 이르렀다. 그러다 보니학회 장소 주변 숙소는 일찌감치 예약이 마감되는 바람에숙소를 찾는데 애를먹었고, 학회 첫 날 등록하기 위해 1시간 이상 줄을 서야 했다. 해외 바카라 사이트에참석하기로 마음 먹었다면홈페이지 등록이 열리기 전에 숙소를 미리예약하거나,행사 전날 사전 현장 등록을 하면 당일 오랜 시간 줄을서는 수고는 줄일 수 있을 것 같다.

2017년 12월 4일 아침, 캘리포니아

NIPS는 튜토리얼, 초청 강연, 구두 발표, 스포트라이트가 두 개의트랙으로 동시에 진행됐고, 특정 주제에 대한 다양한 심포지엄과워크샵 등이 풍성하게 구성돼 있었다. 특히 구두 발표 시간은 정확히지켜졌다. 사람들은 관심있는 논문 발표를 보기 위해 두 개의 발표장사이를 시시때때로 움직였다. 포스터 세션은 저녁 6시 30분부터밤 10시 30분까지 총 4시간 동안 진행되는데 늦은 시간까지많은 사람들이 학회장을 채웠고 그 열기 또한 매일 뜨거웠다.아쉬웠던 점은 12시간 이상 진행되는 학회 일정 속에 제공되는음식이 빈약했다는 점이다. 저녁 식사 시간도 없이 시작되는포스터 세션해외 바카라 사이트 간단한 음식과 음료가 제공되긴 했지만, 밤까지버티기에는 충분하지 않았다.

[ 그림 1 ] 프로그램 등록을 위해 서 있는 해외 바카라 사이트 현장의 모습

[그림 2]는 2002년부터 2017년까지 NIPS의 등록자 수 변화다.해가 갈수록 등록자 수가 기하급수적으로 늘고 있다는 것을 볼수 있다. 이번 NIP에 제출된 논문 수는 약 3,590편이며 채택된논문수는 679편이었다.*2 이 중 알고리즘 이론 분야 240여편,최적화 분야 140여편, 연구 테마 중해외 바카라 사이트 딥러닝(deep learning)은160여편, GAN(generative model/adversarial networks) 60여편,강화 학습(reinforcement learning, RL) 60여편 등이 발표됐다.*3수준 있는 알고리즘과 최적화 논문들이 상당 수 있었다. 발표 논문을통해, 강화 학습과 GAN, 비지도 학습, 메타 학습(meta-learning)등에 대한 연구가 활발하게 이뤄지고 있음을 확인할 수 있었다.

[ 그림 2 ] 연간 해외 바카라 사이트의 날짜 별 등록자 수의 변화*4

강화 학습과 GAN

이번 NIPS해외 바카라 사이트는 튜토리얼 메인 컨퍼런스, 워크샵, 심포지엄 등 다양한부문해외 바카라 사이트 강화 학습이 다뤄졌다. 이를 통해, 강화 학습에 대한 학계의관심이 많고, 관련 연구가 활발하게 진행되고 있음을 느낄 수 있었다.게임, 로봇 제어 등 다양한 분야의 많은 논문들이 발표 되었는데, 그중에 인상 깊었던 딥마인드 관련 연구를 소개하고자 한다.

최근 기보 학습 없이 오직 자기 학습(self-play)만으로기존의 알파고(AlphaGo Lee)를 능가하는 알파고제로(AlphaGoZero)*5를 발표했었던 딥마인드는 이번 NIPS해외 바카라 사이트는 바둑에만특화된 것을 일반화하여 여러 게임에 적용시킬 수 있는알파제로(AlphaZero)*6*7를 소개했다. 알파제로를 체스(Chess), 일본장기(Shogi), 바둑(Go)에 적용한 결과, 세 종류의 게임 모두해외 바카라 사이트기존의 최고 모델 보다 더 좋은 성능을 보였다. 이는 몬테카를로 트리탐색(Monte Carlo tree search, MCTS)을 기반으로 하는 보드 게임종류를 일반화하는 강화 학습 모델이 개발됐다고 평가 할 수 있다.

[ 그림 3 ] AlphaZero 성능비교*8

최근의 강화 학습 방식들은 가치 신경망과 정책 신경망을 근사하는방식으로 많은 발전을 가져 왔다. 이 방식은 깊은 신경망을 이용한모델 정보 없는 방식(model-free)의 접근으로, 여기에는 DQN, A2C,A3C 등이 유명하다.

하지만, 이러한 접근 방식은 모델 기반의 방식에 비해서많은 학습 샘플이 필요하고, 현실 세계해외 바카라 사이트는 모델 정보를 쉽게구하기 어렵다. 이런 문제를 해결하고자 신경망을 이용하여모델을 근사하고 이로부터 정보를 생성한 뒤 학습에 이용하는I2A(imagination-augmented agents) 구조를 딥마인드해외 바카라 사이트소개했다.*9구조의 얼개는 다음과 같다.

(1) 현재 상태(state)와 행위(action)로 다음 상태 정보를 근사할 수있다는 발상으로, RNN(recurrent neural network)을 이용하여n개의 순차적인 미래의 가상 상태 정보를 생성한다.

(2) 상태 정보들을 임베딩 및 통합 과정을 거쳐서 상상코드(imagination code)라 불리는 하나의 코드로 만든다.

(3) 이렇게 생성된 정보를 기존의 모델 정보 없는 방식과 통합하여학습해서 이전에 비해 적은 샘플로도 더 나은 성능을 얻어낸다.

[ 그림 4 ] Sockban 게임의 실험해외 바카라 사이트 기존의 모델들과 성능 비교와 미래의 상상의 개수(depth)에 의한 성능 변화*10

과거 연구는 주로 강화 학습을 통해 인간을 뛰어 넘는 알고리즘을개발하는데 주력했다. 최근에는 일반화된 인공지능(general AI)을위한 연구들이 많이 이루어지고 있다. 지금까지 대부분의 강화 학습모델은 특정 환경에 특화되어서 문제를 풀 수 있도록 개발되었다.하나의 학습 모델로 여러 문제를 풀거나 최소의 튜닝으로 새로운 문제를 풀 수 있도록 하는 연구가 최근 많은 관심을 받고 있다. 이번에강화 학습 분야해외 바카라 사이트도 메타 학습과 관련된 발표들이 많이 있었다.앞에 소개한 알파제로도 이런 흐름과 맥락을 같이 한다고 볼 수 있다.

GAN과 관련된 논문도 상당 수 발표되었다.GAN이라는 개념이 나온지는 약 3년밖에 되지 않았으나 이미딥러닝 분야해외 바카라 사이트는 상당히 중요한 위치를 차지하고 있다.GAN을 이용한 몇몇 애플리케이션(application)들 중에는스테가노그래피(steganography)*11를 만들고*12, 정면 얼굴을측면으로 만들어 얼굴 인식의 성능을 높이고,*13 얼굴의 속성을점진적으로 바꾸는 것도 있었다.*14 또한 shared latent variable을이용하여 두 도메인(domain)간 영상 이동(image translation)을비감독 방식으로 학습하는 것을 다룬 논문*15도 있었다. 그리고GAN이 학습을 잘 할 수 있도록 하는 방법을 다룬 논문들과이론적으로 접근한 논문들도 보게 됐다.

메타 학습에 대한 관심

메타 학습 역시 별도 심포지엄과 워크샵이 열릴 정도로 NIPS해외 바카라 사이트비중있는 주제 중 하나였다. 메타 학습이란 기계 학습에 있어 사람에의해 통제되어 왔던 요소들마저 기계가 결정하도록 하는 것이다.딥러닝 구조와 설계가 복잡해지면서 사람이 최적 성능의 구조와설계를 찾는 것이 한계에 이르고 있고, 상용 서비스를 위해 딥러닝을이용할 땐 부족한 학습데이터로 인한 어려움이 크다. 이런 문제들을해결하려는 방법인 메타러닝은 기계 스스로 효율적인 학습 방법을찾게 함으로써 사람이 관여한 것보다 높은 성능을 보이고 있다.

최적의 네트워크 구조(network architecture)를 자동으로찾기 위해, model morphisms 기반의 방법*16 등이 발표됐다. 또최적의 하이퍼 파라미터(hyper-parameter)를 찾기 위해분산환경의 여러 worker*17들 사이해외 바카라 사이트 낮은 성능의 하이퍼 파라미터는소멸시키고(exploit), 최고 성능의 하이퍼 파라미터로 부터 새로운하이퍼 파라미터를 생성(explore) 하는 PBT(population basedtraining) 방법으로 다양한 작업(task)해외 바카라 사이트 성능 개선이 있었다.*18*19

적은 양의 데이터를 가지고 새로운 작업이나 dom해외 바카라 사이트n을학습하기 위해 사용되는 방식인 퓨샷러닝(few-shot learning)이발표됐는데, 그 중 metric을 학습하는 방법*20과 적은 양의라벨링(labeling)된 데이터와 라벨링 되지 않은(unlabeling)데이터를 사용하는 반감독 학습*21 등이 소개되었다.

이런 메타러닝 방법들은 자원을 효율적으로 사용하기 위한GPU 클러스터(cluster) 시스템과 연동되어, 그동안 여러 작업과도메인으로 확정하기 위해 연구개발자들이 해왔던 단순 반복작업을 해소하는데 기여할 것으로 기대된다.

모바일 디바이스로 향하는 딥러닝*22

딥러닝이 GPU의 하드웨어적인 발전과 함께 그 성능도 발전하여큰 성과를 이루었지만 많은 전력을 소모하는 GPU는 여전히한계점으로 작용한다. 그래서 많은 연구 인력이 저전력 환경해외 바카라 사이트딥러닝을 동작시키기 위해 고민하고 있다. 하드웨어와 가까운로우 레벨(low level) 관점해외 바카라 사이트 보면 애플의 iOS는 MPS(metalperformance shaders)를, 구글의 안드로이드는 Neural NetworkAPI를 이용해 모바일 환경해외 바카라 사이트 GPU를 이용할 수 있는 딥러닝환경을 제공하고 있다.

모바일 딥러닝 플랫폼 관점해외 바카라 사이트 보면 애플은코어ML(CoreML)을, 구글은 텐서플로우 라이트(TensorFlow lite)를,페이스북은 카페2(Caffe2)를 개발했다. 3개 AI 업체는 이번 NIPS워크샵을 통해 각각의 플랫폼을 소개했으며, 이 플랫폼들의 공통적인최종 목표는 모바일 환경해외 바카라 사이트 딥러닝을 동작시키는 것이었다. 이 중구글은 모바일 디바이스해외 바카라 사이트 TensorFlow lite를 사용하는 2가지예를 보여줬다. 하나는 스마트폰해외 바카라 사이트 노래의 핑거프린트(fingerprint)를 추출한 후 음악 검색을 하는 것이었고, 또 다른 하나는 구글렌즈(google lens)로 촬영한 영상해외 바카라 사이트 특정 사물을 인식하고 특징을추출한 뒤, 인식된 사물과 동일한 상품을 찾아내어 해당 상품을구매하는 것이었다.

스마트 스피커의 대중화에 기여한 아마존 알렉사(Alexa)의구조에 대한 소개도 있었다. 스피커해외 바카라 사이트 음성 신호를 받아서 알렉사를 깨우기 위한 단어 스포팅(word spotting), 잡음을제거해주는 노이즈 캔슬링(noise cancelling), 그리고 스마트스피커해외 바카라 사이트 필수적으로 필요한 ASR(automatic speechrecognition), NLU(natural language understanding), TTS(textto-speech) 등 거의 모든 분야에 딥러닝이 사용되고 있었다.

[ 그림 5 ] 해외 바카라 사이트 참여 기업들의 발표 자료

이미지, 텍스트에 이어 오디오도 장악해가는 딥러닝*22

오디오 연구 분야해외 바카라 사이트 딥러닝을 이용한 성과들도 눈에 띄었다.CNN(convolution neural network)을 이용한 음원의 위치 파악*24,모델 파라미터(model parameter)를 이진법(binary)으로 표현한BNN(bitwise neural network)을 이용해 연산 리소스가 부족한상황해외 바카라 사이트도 가능한 음성 신호와 잡음 분리*25, 강화 학습을 통한잡음 신호 감쇄*26, 음성과 텍스트간 monotonic alignment 특징을이용한 attention 기반의 음성 인식*27, attention 과 residualconnection을 가진 RNN(recurrent neural network)을 사용하여화남, 두려움, 행복, 슬픔, 놀람 등 감정이 담긴 음성 합성*28, GAN을이용해 음악해외 바카라 사이트 보컬 소리만 분리하기*29 등 이미지해외 바카라 사이트 활용되던많은 방법들이 오디오 신호 처리 분야에 적용되었다. 그 중에는카카오와 카카오브레인이 펀딩을 한 음악 커버송 찾기*30도 있었다.

monotonic alignment

[그림 6] 은 기계 번역과 오디오/텍스트간 attention 결과를 보여준다. 어순이 다른 언어간 기계 번역의 경우, 인코더와 디코더가 시간에 따른 변화가 일치 한다는 보장이 없다. 하지만 음성 신호를 텍스트로 변환하는 음성 인식과 텍스트를 음성 신호로 변환하는 음성 합성의 경우, 시간에 따른 변화가 일치 한다. 이러한 특성을 학습 단계해외 바카라 사이트제약 사항으로 넣어 성능을 개선할 수 있다.

[ 그림 6 ] (1) 기계 번역의 attention 결과로 어순의 차이에 따라 monotonic 특징이 없다.*31

[ 그림 6 ](2) 음성과 텍스트의 경우에는 순서가 항상 일치하는 monotonic 한 특징을 보인다.*32

전 세계 회사들의 인재 영입 전쟁터전 세계의 다양한 회사해외 바카라 사이트 NIPS에 후원하였고 데모를보여주면서 리크루팅을 진행하고 있었다. 엔비디아(Nvidia),인텔(Intel), 마이크로소프트(Microsoft), IBM, 구글(Google),딥마인드(Deepmind), 애플(Apple), 페이스북(Facebook),우버(Uber), 텐센트(Tencent), 바이두(Baidu)와 같은 IT 기업부터,아우디(Audi), 벤츠(Mercedes-Benz)와 같은 자동차 제조업체해외 바카라 사이트도 후원과 리크루팅을 진행하고 있었다. 국내해외 바카라 사이트는네이버가 참여하여 리크루팅을 하고 있었다. 전 세계적으로 AI가호황이고 구인난이 심각하다 보니 좋은 사람을 뽑기 위한 경쟁이치열했다. 딥마인드의 경우 많은 논문 편 수를 자랑하는 브로셔를만들었고, 제품이 있는 회사들은 다양한 데모를 보여주며 사람들의이목을 끌었다.

글 | 윤재삼 jeffrey.yoon@kakaocorp.com

최근 수년간 딥러닝을 이용하여 연구 개발을 해오고 있습니다. 딥러닝 기술을 기반으로음악의 신호를 분석하여 음악 추천에 활용하였고, 현재는 음성 합성에 딥러닝을 적용함으로써전통적인 방식보다 뛰어난 성능을 얻기 위해 노력하고 있습니다. 이번 해외 바카라 사이트 참석을 통해 나는‘우물안 개구리였구나’라는 것을 느꼈습니다. 특정 응용 분야를 위한 딥러닝 모델의 아키텍쳐등장과 발전이 전부인 줄 알았는데, 수학으로 중무장한 최적화와 알고리즘 연구 개발도 중요한부분이라는 점을 깨닫고 스스로 환기시킬수 있는 계기였습니다.

글 | 양정석 andrew.yang@kakaocorp.com

변화의 속도를 따라가기 힘들어하는 카카오 10년차 늙어가는 평범한 개발자입니다. 최근에는딥러닝과 강화 학습의 응용에 많은 관심이 있습니다. 저는 가족과 함께 할 때 가장 행복합니다.그 외에는 개발 할 때와 수영 할 때 행복을 느끼곤 합니다.

글 | 신종주 isaac.shin@kakaocorp.com

2015년 박사 학위를 받고 제주 카카오에 입사 후 호기롭게 배추 농사를 시작했으나 제주에거주하는 노루가 배추를 다 먹어버리는 바람에 농사가 쉽지 않다는 것을 느끼고 일찌감치포기한 채 살아가고 있습니다. 2년 6개월의 제주 생활을 마무리하고 곧 판교해외 바카라 사이트 근무하게되는데, 답답한 도시 생활을 어떻게 견뎌야할지 고심 중입니다.

참고문헌

*1 참고 |https://해외 바카라 사이트.cc/Conferences/2017

*2 참고 |https://해외 바카라 사이트.cc/Conferences/2017/Press

*3 참고 |https://해외 바카라 사이트.cc/Conferences/2017/Schedule?bySubject해당 사이트해외 바카라 사이트 area를 적절히 선택해서 대략적인 숫자를 계산하였다.

*4 참고 |https://medium.com/@rsvp_91374/announcing-tits-2017-40a0711d1144

*5 논문 | Silver, D., et al. (2017). Mastering the game of go without human knowledge,doi :10.1038/nature24270

*6 논문 | Silver, D., et al. (2017). Mastering chess and shogi by self-playwith a general reinforcement learning algorithm, arXiv:1712.01815

*7 참고 |https://www.youtube.com/watch?v=A3ekFcZ3KNw

*8 논문 | Silver, D., et al. (2017). Mastering chess and shogi by self-playwith a general reinforcement learning algorithm, arXiv:1712.01815

*9 논문 | Weber, T., et al. (2017).Imagination-augmented agents for deep reinforcement learning, arXiv:1707.06203

*10 논문 | Weber,T., et al. (2017). Imagination-augmented agents for deep reinforcement learning, arXiv:1707.06203

*11참고 | 이미지, 오디오 등의 파일에 비밀 메시지를 숨겨두는 것을 의미한다.

*12 논문 | Hayes, J. & Danezis, G.(2017). Generating steganographic images via adversarial tr해외 바카라 사이트ning, arXiv:1703.00371

*13 논문 | Zhao,J., et al. (2017). Dual-agent GANs for photorealistic and identity preserving profile face synthesis, 해외 바카라 사이트2017

*14 논문 | Lample, G., et al. (2017). Fader networks:manipulating images by sliding attributes,arXiv:1706.00409.

*15 논문 | Liu, MY., et al. (2017). Unsupervised image-to-image translation networks,arXiv:1703.00848

*16 논문 | Elsken, T., et al. 2017. Simple and efficient architecture search for CNNs,arXiv:1711.04528

*17 참고 | 네트워크로 연결된 분산된 컴퓨터들

*18 논문 | Jaderberg, M., et al. 2017.Population based tr해외 바카라 사이트ning of neural networks, arXiv:1711.09846

*19 참고 |https://deepmind.com/blog/population-based-tr해외 바카라 사이트ning-neural-networks/

*20 논문 | Cheng, Y., et al. (2017). Few-shot learning withmeta metric learners, 해외 바카라 사이트 workshop 2017.

*21 논문 | Ren, M., et al. (2017). Meta-Learning for semisupervisedfew-shot classification, 해외 바카라 사이트 workshop 2017

*22 참고 |https://sites.google.com/view/해외 바카라 사이트-2017-on-device-ml/home

*23 참고 |http://media.aau.dk/smc/ml4audio/

*24 논문 | Chakrabarty, S., &Habets, E. (2017). Multi-speaker localization using convolutional neural network trained with noise. 해외 바카라 사이트workshop 2017, arXiv:1712.04276

*25 논문 | Kim, M., & Smaragdis, P. (2017). Bitwise neural networksfor efficient singlechannelsource separation. 해외 바카라 사이트 workshop 2017.

*26 논문 | Fakoor, R., He, X., Tashev,I., & Zarar, S. (2017). Reinforcement Learning To Adapt Speech Enhancement to Instantaneous InputSignal Quality. 해외 바카라 사이트 workshop 2017. arXiv:1711.10791

*27 논문 | Tjandra, A., Sakti, S., & Nakamura, S.(2017). End-to-End Speech Recognition with Local Monotonic Attention. 해외 바카라 사이트 workshop 2017.

*28 논문| Lee, Y., Rabiee, A., & Lee, S. (2017). Emotional End-to-End Neural Speech Synthesizer. 해외 바카라 사이트 workshop2017. doi:arXiv:1711.05447

*29 논문 | Choi, H., Lee, K., & Lee, J. (2017). Singing Voice Separation usingGenerative Adversarial Networks. 해외 바카라 사이트 workshop 2017.

*30 논문 | Chang, S., Lee, J., Choe, S., & Lee,K. (2017). Audio cover song identification using convolutional neural network. 해외 바카라 사이트 workshop 2017.arXiv:1712.00166

*31 논문 | Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation byJointly Learning to Align and Translate. ICLR2015. arXiv:1409.0473

*32 논문 | Chan, W., J해외 바카라 사이트tly, N., Le,Q., & Vinyals, O. (2016). Listen, attend and spell: A neural network for large vocabulary conversationalspeech recognition. 2016 IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP). doi:10.1109/icassp.2016.7472621