LLM7 ChatGPT과 Langchain를 이용한 나만의 지식검색 챗봇 만들기 지난 포스팅에서 Langchain을 이용한 비즈니스 애플리케이션을 만들기 위해 고민해야 할 점들에 대해 이야기했었습니다. 이번 포스팅에서는 실제로 Langchain을 이용한 비즈니스 애플리케이션이라는 콘셉트로 만든 '나만의 지식검색 챗봇'에 대한 간단한 소개와 데모를 보여드리겠습니다. 기획 의도 '나만의 지식검색 챗봇'은 사실 개인적으로 활용하기 위한 용도로 기획하였습니다. 거의 매일 여러 IT뉴스나 블로그 포스팅을 읽고 있는데 그중에 보관하고 나중에도 읽어볼 만한 링크는 텔레그램에 저장하여 나중에 다시 검색해서 읽곤 하였습니다. (에버노트나 포켓도 사용해 봤지만 PC/모바일 환경에서 가장 간단하게 사용하기에는 개인적으로 텔레그램이 가장 좋았습니다) 하지만 텔레그램의 검색기능이 한글 검색에서는 한계가 있.. 2023. 6. 3. LangChain을 이용한 비즈니스 어플리케이션을 고민하다 ChatGPT의 등장 이후, 인공지능 업계에서는 ChatGPT 어떻게 비즈니스에 활용할지에 대해 많은 고민들이 있었습니다. 일반인들 입장에서는 ChatGPT만으로도 충분히 재미있고 작문, 취미, 업무 등에 도움이 될 수 있지만 비즈니스 입장에서 ChatGPT는 재미있는 장난감일 뿐, 비즈니스 애플리케이션으로 활용하기에는 환각(Hallucination)과 같은 신뢰성 문제가 치명적인 단점이었기 때문입니다. 이런 신뢰성 문제 때문에 ChatGPT이전에도 생성형 챗봇을 비즈니스에 도입하려는 시도들이 있었지만, 결국 비즈니스 영역에서는 사전에 사람에 의해 구축된 지식을 바탕으로 사용자의 질의를 분석한 뒤 정해진 답변을 하는 '분류형 챗봇'을 활용하는 수준에 그치고 있었습니다. 그러나 ChatGPT등장 이후, C.. 2023. 4. 28. 2023년 4월 3주 인공지능 기술 동향 LLM AI Agent프로젝트가 주목을 받고 있습니다. AI Agent프로젝트가 본격적으로 시작되고 있습니다. AutoGPT와 같은 프로젝트는 '역사상 가장 빠르게 성장하는 GitHub프로젝트로 평가받고 있습니다. BabyAGI, AgentGPT와 같은 유사한 프로젝트도 급속도로 활성화되고 있습니다. AI Agent는 GPT와 같은 언어모델을 이용하여 실제 업무상의 다양한 문제점을 해결하거나 자동으로 업무를 수행하고자 하는 프로젝트입니다. (As AI agents like Auto-GPT speed up generative AI race, we all need to buckle up | The AI Beat | VentureBeat) 물론 AutoGPT의 초기 성과가 과대 평가되어 있다는 의견도 있습니다.. 2023. 4. 23. Stability.ai, 공개 언어모델 StableLM 공개 Stable Diffusion Moment를 불러왔던 Stable Diffusion을 만든 Stability.ai에서 마찬가지로 공개 언어모델인 StableLM을 공개하였습니다. 현재는 알파 버전으로 3B, 7B 두 개의 모델을 공개하였습니다. 향후 30B 및 65B모델도 공개한다고 합니다. 기본 모델은 CC BY-SA-4.0 라이선스(출처 표기 시 상업적으로 이용 가능)입니다. Github에 공개한 소스는 Apache2.0 라이선스입니다. 오픈 데이터셋인 Pile에 기반으로 학습했지만, 1.5T 토큰으로 3배 더 큰 규모입니다. 데이터셋에 대한 내용은 추후 공개 예정입니다. 자체 설명에 따르면 3B,7B 파라미터 모델은 규모는 작아 보이지만 성능은 좋다고 하는데, 커뮤니티 반응을 보면 vicuna가 좀.. 2023. 4. 20. [번역] StackLLaMA: RLHF로 LLaMA를 학습시키기 위한 실습 가이드 이 글의 원문은 StackLLaMA: A hands-on guide to train LLaMA with RLHF입니다 ChatGPT, GPT-4, Claude와 같은 모델들은 인간 피드백에 의한 강화 학습(RLHF)이라고 하는 방법을 통해 우리가 원하고 사용하려는 방식에 잘 맞게 파인튜닝된 강력한 언어모델입니다 이 블로그 포스트에서는, 우리는 아래 기술을 조합해 RLHF와 Stack Exchange의 질문/답 데이터를 가지고 LLaMA모델 학습을 진행한 내용을 설명합니다. 슈퍼바이즈드 파인튜닝 Supervised Fine-tuning (SFT) 보상-선호 모델링 Reward / preference modeling (RM) 인간 피드백에 의한 강화 학습 Reinforcement Learning from H.. 2023. 4. 16. LLM에 Stable Diffusion Moment가 온다 - 2 1편에서 이어집니다... ChatGPT 출시와 LLM의 부상 2022년 11월, Open AI는 ChatGPT서비스를 공개합니다. OpenAI는 이미 GPT-2, GPT-3 모델을 공개했었고, GPT-3.5 버전이라는 이름으로 알려진 모델에 채팅 인터페이스와 챗봇에 적용된 몇몇 기술을 포함하여 생성형 챗봇 서비스를 시작한 것입니다. ChatGPT는 공개 직후부터 대중에게 엄청난 관심을 불러왔습니다. 불과 5일 만에 100만 사용자를 달성하며 인터넷 역사상 가장 단기간에 많은 사용자를 모은 서비스가 되죠. 이전까지 AI기술에 대한 대중의 인식은 알파고와 같은 게임에 적용되는 AI라던가, 이미지 분석/생성과 같은 가시적인 기술에 집중되어 있었고 자연어와 같은 영역에 대한 인식은 크지 않았습니다. 하지만 Ch.. 2023. 4. 9. 이전 1 2 다음
