Jin Young Kim

GPT 분석 시나리오: 레고 가격 예측 모델링 - GPT4+Code Interpreter를 사용한 레고 데이터 분석 (2)

Jin Young Kim — Mon, 20 Nov 2023 01:08:17 GMT

지난 글에서 GPT(*)를 활용한 간단한 데이터 가공과 탐색 사례를 살펴보았다. GPT가 대부분의 분석 시나리오에 대한 코드를 작성해주고, 데이터에 대한 해석도 어느 정도 해주었다. 하지만 아직 종종 에러를 내고 (물론 이를 리커버하는 능력도 있지만:) 시각화 등의 결과를 파인 튜닝하는데에 노력이 든다는 점도 발견했다. 오늘은 지난번에 이어 레고 가격에 대

GPT 분석 시나리오: 데이터 정제 및 탐색적 분석 - GPT4+Code Interpreter를 사용한 레고 데이터 분석 (1)

Jin Young Kim — Mon, 30 Oct 2023 18:46:15 GMT

필자가 데이터 분석을 시작한 이래로 데이터 분석은 언제나 필자가 세상을 이해하는 창구 역할을 했다. 주어진 데이터를 이모 저모 뜯어 보며 숨겨진 패턴과 인사이트를 찾는 일은 직업이라기에는 너무나 흥미로운 일이다. 또한 관심을 갖는 주제에 대한 분석은 그 깊이와 완성도가 다르다고 느낀다. 그래서 ‘헬로데이터과학'에서는 스스로 관심 있는 주제의 주변 데이터로

생성형AI 시대의 데이터 사이언스 - 연재를 시작하며

Jin Young Kim — Tue, 24 Oct 2023 18:53:02 GMT

2015년 ‘헬로 데이터 과학'을 출간했을 때부터 일반인들에게 데이터의 가능성을 널리 알리고픈 동기가 있었다. 빅데이터보다 스몰 데이터, 복잡한 분석 기법보다 일단 주변의 데이터로 손쉽게 시작하는 데이터 사이언스를 이야기했다. 하지만 코드 없이 주로 엑셀을 사용해서 데이터 사이언스의 주요 개념을 설명하는 데이는 분명 한계가 있었다. 그리고 2023년, G

GPT4로 레고 데이터 분석하기 - 2023년 5월 기준 GPT4의 데이터 분석 역량 알아보기

Jin Young Kim — Fri, 02 Jun 2023 21:23:06 GMT

GPT4로 레고 데이터 분석하기 이전 글에서 생성형 AI가 데이터 과학의 본질을 어떻게 변화시킬지, 그리고 그 방식은 어떻게 이루어질지에 대해 썼습니다. 이제 가설을 테스트하기 위해 제가 가장 좋아하는 몇 가지 데이터 집합을 분석하기 위해 최신 LLM 기술(GPT4)을 사용했습니다. 처음에는 코드 인터프리터 플러그인을 사용하고 싶었지만, 제 OpenAI 계

생성형 AI와 데이터 사이언스의 미래 - ChatGPT와 LLM을 어떻게 봐라봐야 할까

Jin Young Kim — Sat, 20 May 2023 19:06:00 GMT

생성형 AI가 가져올 변화 처음 ChatGPT가 나왔을때 테이블 형테의 데이터를 프롬프트에 넣고 질문을 하면 적절한 대답을 해주는 것으로 놀라움을 주었는데, 최근에 이를 활용한 파이썬 라이브러리가 (pandas-ai) 나왔다. 아래 데모를 보면 기본적인 분석 질문에 대한 대답 및 차트 생성 등을 해주는 것을 볼 수 있다. 물론 이는 앞으로 올 것들의 서막에

ChatGPT와 검색의 미래

Jin Young Kim — Thu, 26 Jan 2023 21:59:24 GMT

다른 분들처럼 저도 ChatGPT를 써 보면서 놀라기도 하고, 대화형 검색이 보편화되는 시점이 생각보다 가까이 왔다는 생각을 했습니다. (최근 기사를 살펴보면 다른 검색 회사들도 비슷한 생각을 하는 것 같습니다.) 이번 글에서는 검색 결과 분석 및 평가를 중심으로 ChatGPT에 대한 대용 방안을 고민해 보려고 합니다. 본격적인 논의를 시작하기 전에 저의

레고에서 배우는 데이터 사이언스 플랫폼의 미래 - DnA Team Workshop (Playshop) with LEGO!

Jin Young Kim — Thu, 29 Sep 2022 03:56:49 GMT

예나 지금이나 레고는 필자의 최애 장난감이다. (지나친 조기교육의 부작용인지 필자의 딸은 레고를 아주 좋아하지는 않는다) 오밀조밀한 모양의 총천연색 블록들을 보고 만지고 하는 것 만으로 힐링이 되는데, 이 재료들을 정해진 매뉴얼에 따라 하나 하나 결합하다 보면 온갖 형상이 만들어지는 것을 보면 탄성을 지르지 않을 수 없다. 물론 가장 흥미로운 부분은 매뉴얼

DnA팀을 이끌며 배운 교훈들 - 원격으로 데이터 팀을 만들고 운영하기

Jin Young Kim — Sun, 11 Sep 2022 20:58:40 GMT

처음에 네이버 서치에서 데이터 사이언스 & 엔지니어링 팀을 만드는 역할이 주어졌을때 기대보다는 걱정이 더 많았던 것이 사실이다. 미션의 무게도 있었지만 미국에서 주로 한국에 있는 팀원들과 일하는 부분도 잘 될까 싶었다. 그후 1년 반, 그동안 조직을 이끌면서 여러 배움이 있었지만 그중 가장 어렵고도 보람있는 부분은 구성원과 함께 목표를 세우고 달성해가는 리

Data&Analytics팀이 지금 고민하는 문제들 - What We're Working on in Data&Analytics

Jin Young Kim — Mon, 09 May 2022 04:47:08 GMT

조만간 첫 돌을 맞이하는 Data&Analytics 팀에서는 플랫폼 및 분석 방법론 개선을 위한 다양한 노력을 기울이고 있습니다. 이미 실무에 적용된 것도 있고, 아직 시간이 더 필요한 것도 있지만, 오늘은 최근에 저희팀이 주력하고 있는 몇가지 문제와 접근 방식을 소개할까 합니다. 구체적인 서비스의 형태는 달라도 온라인 서비스 개선의 초점과 당면한 문제들

차이를 만드는 분석을 위한 체크리스트 - 왜 어떤 분석은 잊혀지고, 어떤 분석은 차이를 만드는가?

Jin Young Kim — Mon, 18 Apr 2022 06:29:54 GMT

데이터 사이언스 업무를 하면서 어떤 분석/모델링 프로젝트는 조직 전체에 엄청난 임팩트를 만드는데 반해 어떤 프로젝트는 소리소문없이 잊혀지는 것을 목격하면서 둘 사이에 어떤 차이가 있을까 종종 고민했었다. 실제 데이터 & 분석 팀을 운영하게 되면서부터는팀 전체의 성과를 더 나은 것으로 만들기 위해 팀원들과 비슷한 고민과 노력을 오고 있다다. 아직도 갈 길이

데이터 사이언스 자동화의 추세와 전망, 인간의 역할 - AI의 시대, 데이터 사이언티스트 및 엔지니어의 역할은 무엇인가?

Jin Young Kim — Mon, 07 Mar 2022 00:43:43 GMT

최근 CACM에 데이터 사이언스 자동화에 대한 아티클이 나왔다. 최근 쓴 커리어 관련 글에서 비슷한 주제를 언급하기도 했고, 평소에 관심있는 주제라 아티클 내용 소개 및 저의 의견을 적어볼까 한다. 데이터 사이언스 자동화? 분야를 막론하고 자동화는 반복적인 일을 기계에게 맡기고 이를 통해 비용을 아끼고 좀더 생산적인 업무에 집중하는 것을 가능하게 한다.

주니어 데이터사이언티스트에게 하고 싶은 이야기들 - 커리어 성장을 위한 기회 탐색과 인터뷰 준비하기

Jin Young Kim — Tue, 22 Feb 2022 18:35:55 GMT

최근에 채용 관련해서 많은 주니어/시니어 데이터 사이언티스트 / 엔지니어를 만나고 있다. 경험상 팀에 지원을 하기 전에 Hiring Manager와 대화를 나누면서 서로 알아가고, 팀과 개인의 fit을 점검하는 과정을 중요시하기 떄문에 채용 후보자와 가급적 면담을 꼭 하려고 한다. 줌으로 30분~1시간 정도를 투자해서 미래의 동료를 더 잘 이해할 수 있다면

온라인 서비스 분석을 위한 프레임워크를 정의한다면? - 검색을 사례로 알아보는 온라인 서비스 분석 방법론

Jin Young Kim — Sun, 13 Feb 2022 17:32:24 GMT

지난 글에서 언급한 온라인 서비스 분석 현장의 어려움은 검색 서비스 분석에도 그대로 적용된다. 1) 개별 질의어 및 사용자에 따라 평가가 달라질 수 있으며 2) 같은 질의어라도 시간에 따라 좋은 품질의 정의가 달라지며 3) 검색 서비스로서 사용자를 만족시켜야 하는 동시에 기업으로서 비즈니스 목표에도 관심을 가져야 하며 4) 검색 품질 자체에도 관련성, 신뢰

DnA팀 2022 채용 계획 & FAQ

Jin Young Kim — Thu, 03 Feb 2022 07:38:57 GMT

작년에 이어 올해도 DnA 팀에서는 네이버 서치의 개선을 위한 다양한 Data Science & Engineering 프로젝트를 진행하고 있습니다. 작년에 AB테스트, 크라우드소싱, 데이터 및 분석 인프라 등 기반 플랫폼 만드는데 집중했다면, 올해는 본격적으로 각종 지표 개발과 데이터 플랫폼 및 분석 방법론 고도화에 노력을 기울이려 합니다. 이를 위해 아

데이터 사이언스 현장의 안티패턴들 - 효과적인 데이터 사이언스 도입을 가로막는 숨은 함정들

Jin Young Kim — Tue, 01 Feb 2022 06:21:34 GMT

데이터 사이언스는 조직이나 도메인의 고유 특성에 따라 다른 방법론이 적용되는 분야지만, 이에 관계없이 데이터 사이언스 현업에 있다보면 자주 발견되는 패턴이 있다. 여기서는 필자가 그동안 검색 및 추천서비스에서 업무를 수행한 경험을 바탕으로 데이터 및 분석 결과가 가치를 창출하는 과정에서 장애가 되는 부정적인 패턴 및 해결 방법을 정리해 보려 한다. 단일

온라인 서비스 분석이 어려운 이유

Jin Young Kim — Sat, 22 Jan 2022 08:01:33 GMT

이전 글에서 IT4U라는 가상의 기업 사례를 통해 이 책에서 다루고자 하는 문제의 다양한 측면과 해결 과정을 살펴보았다. 쉽지 않은 과정이었지만 실무에서는 이보다 더 도전적인 문제에 봉착하는 것이 보통이다. '데이터를 활용해 온라인 서비스 기업이 처한 다양한 의사결정을 지원한다'는 핵심은 간단하지만, 실제로 기업 현장에서 데이터를 활용하다 보면 아래와 같은

데이터 조직으로의 변화 과정: 시나리오

Jin Young Kim — Tue, 11 Jan 2022 00:32:54 GMT

온라인 서비스를 위한 데이터 사이언스에 대한 본격적인 논의에 앞서 우리가 해결하고자하는 문제를 좀더 상세히 정의해 보도록 하자. 우리의 목표는 다양한 유형의 데이터를 모으고 활용하여 온라인 서비스 개발 과정에서의 다양한 문제를 해결하는것이다. 여기에는 서비스 성장 극대화를 위한 개발 방향설정, 신규피쳐 런치 의사결정, 서비스 상태 모니터링 및 이슈 해결등이

'온라인서비스를 위한 데이터사이언스' 시리즈를 시작하며 - 6년만에 집필을 시작한 소회

Jin Young Kim — Sun, 02 Jan 2022 08:47:54 GMT

필자의 첫 책인 헬로데이터과학 출간후 6년이 지났다. 그동안 데이터 세상의 화두는 빅데이터에서 인공지능으로 넘어갔고, 대부분의 서비스는 모바일 환경에서 클라우드와 인공지능을 결합한 형태로 개발되고 있거나, 이런 방향으로의 진화를 고민하고 있다. 모바일, 클라우드, 인공지능의 결합은 이론적으로 사용자의 취향과 컨텍스트에 맞는 지능화 및 개인화된 서비스를 컴퓨

바닥부터 제대로 만든 네이버 서치 AB Test 플랫폼 - DeView'21 발표 Preview

Jin Young Kim — Fri, 05 Nov 2021 07:31:22 GMT

아침저녁으로 쌀쌀해지는 수확의 계절 가을인데요, 저희 Data&Analytics팀에서도 그동안 열심히 연구/개발한 여러 프로젝트들이 하나씩 빛을 보고 있습니다. 그 중 저희 팀 및 파트너들과 개발한 네이버 서치 전체가 사용하는 AB테스트 플랫폼을 조만간 열리는 DeView 컨퍼런스에서 소개하게 되었습니다. 본 글에서는 네이버서치 ABT를 간단히 소개드릴까

학회에서 엿보는데이터 사이언스의연구 개발 트랜드 - NaverDnA Team @ KDD’21 & SIGIR’21

Jin Young Kim — Mon, 13 Sep 2021 22:37:10 GMT

여름은 무더위의 계절이지만 학회의 계절이기도 합니다. 검색 및 데이터 사이언스 분야의 메이저 학회인 KDD’21와 SIGIR’21이 최근 마무리되었습니다. 온라인 학회라는 특성상 새로운 곳을 방문하고 사람들과 교류하는 경험을 할 수는 없지만 새로운 지식과 연구 성과를 접하는 학회의 본질은 여전합니다. 학회를 최대한 잘 참석하는 방법? DnA 팀원중 많은