본문 바로가기

전체 글139

Stability.ai, 공개 언어모델 StableLM 공개 Stable Diffusion Moment를 불러왔던 Stable Diffusion을 만든 Stability.ai에서 마찬가지로 공개 언어모델인 StableLM을 공개하였습니다. 현재는 알파 버전으로 3B, 7B 두 개의 모델을 공개하였습니다. 향후 30B 및 65B모델도 공개한다고 합니다. 기본 모델은 CC BY-SA-4.0 라이선스(출처 표기 시 상업적으로 이용 가능)입니다. Github에 공개한 소스는 Apache2.0 라이선스입니다. 오픈 데이터셋인 Pile에 기반으로 학습했지만, 1.5T 토큰으로 3배 더 큰 규모입니다. 데이터셋에 대한 내용은 추후 공개 예정입니다. 자체 설명에 따르면 3B,7B 파라미터 모델은 규모는 작아 보이지만 성능은 좋다고 하는데, 커뮤니티 반응을 보면 vicuna가 좀.. 2023. 4. 20.
2023년 4월 2주 인공지능 기술동향 LLM 구글, 'Bard에 대하여:시작단계의 생성형 AI실험' Databrics, Dolly 2.0 오픈소스로 공개. 세계 최초의 진정한 개방형 인스트럭션 튜닝 LLM을 소개합니다. 가트너, ChatGPT에 대한 7가지 가장 큰 궁금증에 대한 답변 Microsoft, ChatGPT유사 모델을 쉽고 빠르게 학습할 수 있게 해주는 최적화 라이브러리 DeepSpeed공개. DeepSpeed Chat: 모든 규모의 ChatGPT유사 모델에 대해 쉽고 빠르며, 경제적인 RLHF 학습 DeepSpeed Chat Github LLaMA, GPT-J, GPT-2, OPT, Cerebras-GPT, Galactica 등과 같은 LLM을 빠르고 효율적이며 간단하게 미세 조정할 수 있도록 지원하는 오픈소스 프로젝트 xTur.. 2023. 4. 16.
[번역] StackLLaMA: RLHF로 LLaMA를 학습시키기 위한 실습 가이드 이 글의 원문은 StackLLaMA: A hands-on guide to train LLaMA with RLHF입니다 ChatGPT, GPT-4, Claude와 같은 모델들은 인간 피드백에 의한 강화 학습(RLHF)이라고 하는 방법을 통해 우리가 원하고 사용하려는 방식에 잘 맞게 파인튜닝된 강력한 언어모델입니다 이 블로그 포스트에서는, 우리는 아래 기술을 조합해 RLHF와 Stack Exchange의 질문/답 데이터를 가지고 LLaMA모델 학습을 진행한 내용을 설명합니다. 슈퍼바이즈드 파인튜닝 Supervised Fine-tuning (SFT) 보상-선호 모델링 Reward / preference modeling (RM) 인간 피드백에 의한 강화 학습 Reinforcement Learning from H.. 2023. 4. 16.
LLM에 Stable Diffusion Moment가 온다 - 2 1편에서 이어집니다... ChatGPT 출시와 LLM의 부상 2022년 11월, Open AI는 ChatGPT서비스를 공개합니다. OpenAI는 이미 GPT-2, GPT-3 모델을 공개했었고, GPT-3.5 버전이라는 이름으로 알려진 모델에 채팅 인터페이스와 챗봇에 적용된 몇몇 기술을 포함하여 생성형 챗봇 서비스를 시작한 것입니다. ChatGPT는 공개 직후부터 대중에게 엄청난 관심을 불러왔습니다. 불과 5일 만에 100만 사용자를 달성하며 인터넷 역사상 가장 단기간에 많은 사용자를 모은 서비스가 되죠. 이전까지 AI기술에 대한 대중의 인식은 알파고와 같은 게임에 적용되는 AI라던가, 이미지 분석/생성과 같은 가시적인 기술에 집중되어 있었고 자연어와 같은 영역에 대한 인식은 크지 않았습니다. 하지만 Ch.. 2023. 4. 9.
LLM에 Stable Diffusion Moment가 온다 - 1 이 글은 Large language models are having their Stable Diffusion moment 포스팅에 영감을 받아 작성하였습니다. Stable Diffusion이 세상에 나온 후, 이미지 생성 AI기술은 단기간에 폭발적인 발전을 경험하고 있습니다. 이 글은 Stable Diffusion의 사례를 통해 LLM(Large Language Model) 또한 같은 길을 따르게 될 것이라는 예상을 담고 있습니다. 인공지능 이미지 생성 기술 이미지 생성 모델 인공지능 기술을 이용한 이미지 생성 모델의 시대를 연 모델은 GAN(Generative Adversarial Networks, 생성적 적대 신경망) 일 것입니다. GAN은, 인공능 모델을 통해 비로소 이미지를 '만들어낼 수 있다'라.. 2023. 4. 8.
리디, 2022년 매출 2,211억 달성 상세내용 분석 이 글은 고객 입장에서 리디가 앞으로도 잘 성장하기 바라는 마음으로 작성하는 글입니다. 몇 년 전에 리디북스가 위험하다고? 라는 조금 도발적인 글을 쓴 적이 있습니다. 제목과는 다르게 리디북스가 위험하지 않다는 내용이었습니다. 당시 글에서는 아웃스탠딩과 라프텔 인수에 대해서 이야기했었는데 3년 반 정도 지난 지금은 그 반대의 이야기를 하게 되었으니, 기분이 묘하네요 오늘(2023.04.05) 2022년도 리디 경영공시 보도자료가 대대적으로 나왔습니다. 제목은 리디, 2022년 매출 2,211억 달성… 14년 연속 성장 으로 보도되었습니다. 지난 글에서도 지속적으로 매출이 성장하는 상황이 긍정적이라고 했었는데, 결국 14년째 매출이 성장하고 있으니, 주목할만한 성장입니다. 그리고 기사 내용을 쭉 읽어 보면.. 2023. 4. 5.

티스토리툴바