본문 바로가기

개발/정보22

2023년 4월 4주 인공지능 기술 동향 LLM Stability.ai에서 오픈소스 RLHF LLM 챗봇 StableVicuna를 발표했습니다. LLaMA 13b모델을 기반으로 RLHF방식을 파인튜닝 모델을 사용한다고 합니다. vicuna도 성능이 꽤 좋아서 주목을 받았는데, StableVicuna는 어떤 성능을 보여줄지 기대가 됩니다. 언어모델을 기반으로 한 애플리케이션 개발 프로젝트가 점점 많아지고 있습니다. LLaMA Academy는 LLaMA모델, LoRA기술, LangChain프레임워크등을 활용하여 GPT가 API를 호출하도록 가르칩니다. 특정 API를 지정하면 해당 API를 학습한 LLaMA모델이 생성되며 API를 이용하길 원하는 기능을 입력하면 구현된 코드를 응답해 줍니다. griptape는 LLM파이프라인 DAG를 작성하여 워크플.. 2023. 4. 29.
2023년 4월 3주 인공지능 기술 동향 LLM AI Agent프로젝트가 주목을 받고 있습니다. AI Agent프로젝트가 본격적으로 시작되고 있습니다. AutoGPT와 같은 프로젝트는 '역사상 가장 빠르게 성장하는 GitHub프로젝트로 평가받고 있습니다. BabyAGI, AgentGPT와 같은 유사한 프로젝트도 급속도로 활성화되고 있습니다. AI Agent는 GPT와 같은 언어모델을 이용하여 실제 업무상의 다양한 문제점을 해결하거나 자동으로 업무를 수행하고자 하는 프로젝트입니다. (As AI agents like Auto-GPT speed up generative AI race, we all need to buckle up | The AI Beat | VentureBeat) 물론 AutoGPT의 초기 성과가 과대 평가되어 있다는 의견도 있습니다.. 2023. 4. 23.
Stability.ai, 공개 언어모델 StableLM 공개 Stable Diffusion Moment를 불러왔던 Stable Diffusion을 만든 Stability.ai에서 마찬가지로 공개 언어모델인 StableLM을 공개하였습니다. 현재는 알파 버전으로 3B, 7B 두 개의 모델을 공개하였습니다. 향후 30B 및 65B모델도 공개한다고 합니다. 기본 모델은 CC BY-SA-4.0 라이선스(출처 표기 시 상업적으로 이용 가능)입니다. Github에 공개한 소스는 Apache2.0 라이선스입니다. 오픈 데이터셋인 Pile에 기반으로 학습했지만, 1.5T 토큰으로 3배 더 큰 규모입니다. 데이터셋에 대한 내용은 추후 공개 예정입니다. 자체 설명에 따르면 3B,7B 파라미터 모델은 규모는 작아 보이지만 성능은 좋다고 하는데, 커뮤니티 반응을 보면 vicuna가 좀.. 2023. 4. 20.
2023년 4월 2주 인공지능 기술동향 LLM 구글, 'Bard에 대하여:시작단계의 생성형 AI실험' Databrics, Dolly 2.0 오픈소스로 공개. 세계 최초의 진정한 개방형 인스트럭션 튜닝 LLM을 소개합니다. 가트너, ChatGPT에 대한 7가지 가장 큰 궁금증에 대한 답변 Microsoft, ChatGPT유사 모델을 쉽고 빠르게 학습할 수 있게 해주는 최적화 라이브러리 DeepSpeed공개. DeepSpeed Chat: 모든 규모의 ChatGPT유사 모델에 대해 쉽고 빠르며, 경제적인 RLHF 학습 DeepSpeed Chat Github LLaMA, GPT-J, GPT-2, OPT, Cerebras-GPT, Galactica 등과 같은 LLM을 빠르고 효율적이며 간단하게 미세 조정할 수 있도록 지원하는 오픈소스 프로젝트 xTur.. 2023. 4. 16.
애플, Mac 제품에 ARM CPU를 사용하기로 발표 애플은 2020년 6월 22일, WWDC 행사에서 Mac 제품에 ARM CPU를 사용하기로 발표하였습니다. 아이폰과 아이패드에 적용하고 있는 애플의 A 시리즈 ARM CPU의 성능 향상으로 인해 애플이 모바일뿐만 아니라 PC 제품에도 ARM CPU를 적용하는 것이 아닐까 하는 예측은 이전부터 있어 왔지만, 이를 애플이 공식적으로 발표한 것입니다. https://zianlog.tistory.com/entry/PC%EC%8B%9C%EC%9E%A5%EC%97%90-ARM%EA%B3%84%EC%97%B4-CPU%EC%9D%98-%EC%A0%84%EC%84%B1%EC%8B%9C%EB%8C%80%EB%8A%94-%EC%98%AC-%EA%B2%83%EC%9D%B8%EA%B0%80 PC시장에 ARM계열 CPU의 전성시.. 2020. 6. 24.
[번역] 인텔 Ice Lake 프로세서 환경에서 Jetbrains사의 IntelliJ와 충돌 문제 원문 출처 (https://www.techpowerup.com/268479/intel-ice-lake-cpus-have-a-system-crashing-bug) https://www.techpowerup.com/268479/intel-ice-lake-cpus-have-a-system-crashing-bug Intel Ice Lake CPUs Have a System Crashing Bug Intel CPUs have been rather notorious for system bugs recently. Starting from 2018's Spectre and Meltdown which used speculative execution to exploit systems, the string of new vu.. 2020. 6. 15.

티스토리툴바