JejuGrapher

달고나 76. AI 검색의 구조적 이해 - Keyword Engine vs Answering Agent

JejuGrapher — Thu, 21 Nov 2024 02:45:09 GMT

늘 그렇듯 어쩌다 AI 검색을 짧게 조사했다. 관심 갖는 부분은 과연 AI 검색이 시스템 구조상으로 기존 키워드 검색과 어떻게 다른지지였다. AI 검색에 관한 긴 설명과 장단점을 나열한 소개글은 많았지만 알고 싶었던 구조적 차이를 명확히 설명하는 그림이나 글은 찾을 수 없었다. 없으면 직접 만드는/그리는 것이 공돌이의 숙명이기에 아는 범위 내에서 최대한 간

달고나 75. LLM 왕국에서의 2년 - Two Years in LLM

JejuGrapher — Tue, 01 Oct 2024 08:25:24 GMT

언어모델 (Language Model)이란 개념이 등장한 지도 이미 반세기가 지났고 현대적 LM을 알린 Transformer 논문이 나온 지도 이미 7년이 지났지만, 오늘날의 LLM은 ChatGPT가 대중에 공개된 2022년 11월, 즉 겨우 2년 미만의 시간이 지났다. 어쩌다 보니 작년 초부터 LLM을 중심으로 AI 기술의 발전을 매달 정리해서 발표했는데

달고나 74. 모델 성능이 안 나올 때 - AI Troubleshooting

JejuGrapher — Mon, 24 Jun 2024 03:33:04 GMT

데이터 분석이나 AI 모델 개발은 귀납 과정이면서 연역 과정이다. 다양한 시도와 많은 실패 속에서 개발자의 자질과 능력이 향상되고, 그걸 밑거름으로 해서 새로운 아이디어를 짜낼 수 있다. 그래서 귀납적이면서 연역적이라는 거다. 나름 몇 년의 경험을 통해서 가장 스탠더드 한 AI 서비스 모델을 정립했다고 생각했지만 실험 결과가 예상치를 벗어나서 지난주 내내

달고나 73. 다시 읽는 물리학 - RE:Physics (Re-physics)

JejuGrapher — Mon, 29 Apr 2024 03:57:25 GMT

인공지능을 제대로 이해하려거든 물리학을 다시 공부하라. 이전 글에서 우리가 살고 있는 물리 세계와 마찬가지로 컴퓨터 프로그램/소프트웨어도 실제는 확률에 기반한 것이 아닐까?라는 의문을 제기했다. 한 보 더 나아가서 인공지능을 제대로 이해하고 연구하기 위해서는 물리학을 제대로 또는 다시 공부해야 한다는 주장을 펼치려 한다. 고등학교 물리 교과서에 나오는

달고나 72. 양자역학과 인공지능 - Deterministic vs Stochastic

JejuGrapher — Mon, 22 Apr 2024 04:01:05 GMT

당연히 양자역학에 관한 글이 아니다. 어릴 적에 물리학을 전공하길 희망했지만 고3이 되면서 급하게 산업공학과로 진로를 정했던 사람으로서 여느 사람들보다는 물리에 관한 지식이 조금 더 있을 수 있으나 내가 알고 있는 물리는 엄밀히 말해서 19세기까지의 물리 또는 고등학교 교과에서 배우는 물리, 즉 고전 물리다. 19세기말부터 기미가 보였지만 기적의 해인 19

달고나 71. AI 시대유감 - Money game started

JejuGrapher — Thu, 18 Jan 2024 03:04:36 GMT

어떤 문제를 해결할 AI 모델을 만드는 과정을 아래 Functional Model처럼 그릴 수 있다. GPU로 대표되는 적당한 하드웨어를 갖고 있으면 문제에 맞는 모델 아키텍처와 알고리즘으로 관련 데이터로 모델을 학습하면 해당 문제에 특화된 AI 모델이 만들어진다. 문제 복잡도에 따라 아키텍처 종류나 규격 또는 필요한 데이터 양이 다를 수 있으나 잘 훈련된

달고나 70. 가능성의 함정 - Tracing the means

JejuGrapher — Mon, 04 Sep 2023 02:55:36 GMT

인공지능 (AI)의 가장 큰 문제점은 무엇일까? 이전까지는 모르겠으나, ChatGPT 이후로는 Hallucination (또는 Confabulation)이라고 가장 많이 답변할 거라고 추측한다. 특히 검색과 연계하면서 거짓말하는 AI는 상상하기 어렵다. 검색이 아니더라도 내 편하고자 이용하는 AI인데 내가 원하는 답변과 전혀 다른 엉뚱한 결과만 내놓는다면

달고나 69. 요즘 AI (LLM) - LLM trend

JejuGrapher — Mon, 10 Jul 2023 03:18:11 GMT

** 본문에 포함된 일부 용어는 학계/산업계의 일반 용례와 달리 편의를 위해 임의로 명명했으니 주의하기 바람. 4월부터 Arxiv 등에 올라오는 웬만한 언어모델 (LM, Language Model) 관련 논문은 following 하고 있다. 허깅페이스 (https://huggingface.co/papers)와 https://paperswithcode.co

달고나 68. 또 다른 AI 겨울? - Another AI Winter will be coming...?

JejuGrapher — Tue, 30 May 2023 03:15:52 GMT

ChatGPT가 출시된 지 겨우 6 개월 밖에 지나지 않았다. 그 사이에 많은 변화가 있었고, 변롸 속도가 점점 더 빨라짐을 느낀다. 지난 글 ‘지피티블루’를 적은 후로 우울한 마음을 함께 고민하자고 회사에서 최근 AI 동향을 짧게 정리해서 발표했고, 한 달 간격으로 업무 관련성이 높은 LLM (i.e., 텍스트 기반 Generative AI)을 중심으로

달고나 67. 지피티 블루 - GPT Blue: AI-oriented depression

JejuGrapher — Mon, 27 Mar 2023 03:16:52 GMT

지난주는 유독 힘들었다. 평소보다 업무가 많아 더 바빴던 것도 아니고 몸이 아프거나 컨디션이 저조했던 것도 아니다. 최근 (늘?) 다소 피곤한 편이긴 하나 여느 때처럼 일찍 출근했고 매 끼니마다 식욕은 폭발했다. 일하긴 싫은데 (이건 항상 그랬다;;) 무기력하게 책상에 앉아서 그저 시간만 보냈다. 평소 이런 류의 스트레스나 우울감이 거의 없는 편이어서 곰곰

달고나 66. With AI, 새로운 게임의 시작. - With AI

JejuGrapher — Wed, 22 Mar 2023 03:12:39 GMT

역사는 지난 일주일을 MS 연합과 구글 동맹 간의 치열한 AI 전투로 기록할 것이다. MS 연합에 속한 OpenAI는 ChatGPT 성공에 고무된 후 연이어 텍스트와 이미지를 함께 처리하는 multimodal의 GPT-4를 기습적으로 발표했다. MS는 이미 Bing 검색에 GPT-4를 활용 중임을 밝히며 지원 사격을 했고 동시에 Office 제품군을 중

달고나 65. 데이터 vs 모델 - Data vs Model (Algorithm)

JejuGrapher — Mon, 13 Mar 2023 05:28:11 GMT

Between data and model, which is more important in AI era? 누군가 이런 류의 질문을 내게 직접 물어봤으면 좋겠지만 아무도 묻지 않으니 자문자답한다. AI 관련 글이나 동영상에 AI 시대에 데이터와 모델 (또는 알고리즘)의 중요성에 관한 설명을 종종 보곤 한다. 직접 내게 '뭐가 더 중요해?’라고 묻는다면 당연

달고나 64. 오래된 질문 - My answer to an old question

JejuGrapher — Mon, 06 Mar 2023 03:24:23 GMT

10년 안에 인공지능으로 대체될 직업은? 잊을만하면 등장하는 떡밥 기사다. 내용은 매우 구체적이다. 외국의 유수 대학교 연구에 따르면 "20XX 년까지 Y%의 직업이 인공지능 또는 로봇으로 대체된다"라고 밝혀졌다 류의 기사다. 기술의 종류가 간혹 바뀔 뿐 뉘앙스는 매번 똑같다. 산업화 이후로 직업의 종류가 바뀌었고 그 변화의 중심에 기술이 있다는 걸 부정

달고나 63. 내가 묻고 AI가 답하다. - I Asked, ChatGPT Answered.

JejuGrapher — Tue, 28 Feb 2023 06:24:32 GMT

인공지능, ChatGPT 시대에 살아남는 법에 대한 두 번째 글을 준비하고 있었다. 첫 번째는 질문하기였는데 두 번째는 그 대척점의 평가하기였다. 생각이 완벽히 정리되지 않은 시점에 글을 적으니 논리가 술술 풀리지 않아서 며칠을 묶혀뒀다. 그러다가 좀 전에 그냥 ChatGPT에게 ‘인공지능의 시대에 무슨 기술이나 지식이 필요한가?’라는 짧은 질문을 던졌다.

달고나 62. LLM은 왜/어떻게 작동하는가? - Why LLM works?

JejuGrapher — Mon, 20 Feb 2023 04:18:23 GMT

제목을 더 자극적으로 ‘ChatGPT는 왜 동작하는가?”로 할 수도 있지만 어차피 ChatGPT도 한 때고 새로운 LM이 나와서 이번이 진짜 AGI다라고 또 주장할 테니 중립적으로 LM은 어떻게 동작하고 왜 LLM이 작동하는가라고 정했다. 이 글은 기술적으로 LM, 특히 GPT/LaMDA/PaLM 등을 다루지 않고, 단지 이 분야 밖에 있는 일반 독자의 이

달고나 61. 모든 ML 알고리즘의 이해 - Similarity is all ML algorithms do

JejuGrapher — Mon, 13 Feb 2023 03:14:19 GMT

이직 후로는 면접에 들어가지 않고 있지만 면접에서 유능한 인재를 만나면 묻고 싶었지만 아직 한 번도 묻지 못한 질문이 있다. 거의 모든 머신러닝 알고리즘의 핵심이 뭐냐? 는 질문이다. 개별 알고리즘의 개념이 아닌 모든 알고리즘들의 공통된 근간이 무엇인지를 묻는 질문이다. 내가 생각하는 이 질문의 답에 관한 글이다. 물론 내가 틀렸을 수도 있다. 모든 —

달고나 60. 호모 애스쿠스: ChatGPT와의 조우 - Homo Askus. First Impression on ChatGPT

JejuGrapher — Mon, 12 Dec 2022 02:52:20 GMT

인공지능 분야는 지루할 틈이 없다. 심심해질 만하면 또 새로운 장난감이 나온다. 최근 가장 주목을 끈 장난감은 분명 OpenAI가 공개한 ChatGPT다. 사용된 기술을 잘 알지도 못할 뿐더러 이 글에서 GPT (Generative Pretrained Transformer) 기술을 굳이 자세히 설명할 필요는 없을 것 같다. 다만 이전 장난감들은 그저 소개한

달고나 59. 삼성과 카카오 - Samsung &(not vs) Kakao

JejuGrapher — Mon, 24 Oct 2022 03:10:12 GMT

달고나 시리즈의 취지에 다소 어긋날 수도 있으나 국내에서 데이터 사이언티스트의 옵션이 별로 다양하지도 않고, 게 중에서 가장 큰 옵션은 삼성으로 대변되는 기존 대기업 그룹으로 진출하거나 카카오로 대변되는 인터넷 서비스 기업 (및 스타트업)에 취직하는 거다. 전문 연구소는 다소 이질적 집단이고 중소기업은 사실상 옵션으로 고려하라고 권하고 싶지 않다. 중소기업

달고나 58. 특허 이야기 - Patents

JejuGrapher — Tue, 04 Oct 2022 03:05:31 GMT

삼성리서치의 팀과 팀장의 KPI는 상위 저널/학회에 제출된 논문 편수와 특허 발명 건수가 포함한다. 개인 KPI과는 명시적으로 무관하지만 어차피 최종 평가자인 팀장의 KPI 달성(에의 기여) 여부가 팀장이 개인을 평가하는데 영향을 주기 때문에 논문 작성과 발명을 게을리할 수는 없다. 8월 말과 9월 초에는 논문을 채우려 애썼는데, 지금은 부족한 특허를 채우

달고나 57. Product Quantization - Algorithm: Product Quantization

JejuGrapher — Mon, 26 Sep 2022 03:00:08 GMT

오랜만에 알고리즘을 소개하는 글을 적는다. 몇 달 전에 Product Quantization (PQ)를 접하고 재미있어서 — 간단하지만 효과있는 — 간단한 소개글을 적으려 했으나, 페이스북에서 이걸 제안한 논문 (Optimized Product Quantization for Approximate Nearest Neoghbor Search)이 나온지도 벌써