Stable Diffusion Moment를 불러왔던 Stable Diffusion을 만든 Stability.ai에서 마찬가지로 공개 언어모델인 StableLM을 공개하였습니다.
현재는 알파 버전으로 3B, 7B 두 개의 모델을 공개하였습니다. 향후 30B 및 65B모델도 공개한다고 합니다. 기본 모델은 CC BY-SA-4.0 라이선스(출처 표기 시 상업적으로 이용 가능)입니다. Github에 공개한 소스는 Apache2.0 라이선스입니다.
오픈 데이터셋인 Pile에 기반으로 학습했지만, 1.5T 토큰으로 3배 더 큰 규모입니다. 데이터셋에 대한 내용은 추후 공개 예정입니다. 자체 설명에 따르면 3B,7B 파라미터 모델은 규모는 작아 보이지만 성능은 좋다고 하는데, 커뮤니티 반응을 보면 vicuna가 좀 더 좋다는 초기 평가입니다. 물론 StableLM은 향후 발전 가능성을 기대해 볼 만합니다.
GitHub설명에 따르면, 콘텍스트 길이가 4096 토큰으로, ChatGPT의 2048 토큰보다 길다고 하는데, 실제 어떤 차이가 있을지도 지켜봐야겠습니다.
함께 공개한 Tuned-Alpha-7B모델은 CC-BY-NC-SA-4.0 라이선스(비 상업적으로 이용)인데, Alpaca, GPT4All, Dolly, ShareGPT, HH 등의 데이터세트를 이용하여 파인튜닝한 모델이기 때문인 것 같습니다.
LLaMA이후 불과 두 달이 되지 않은 시점에서 폭발적으로 오픈소스 LLM의 시대가 오고 있습니다. 재미있게도, Stable Diffusion이 공개될 때 협업했던 Laion은 Open Assistant라는 별도의 프로젝트를 진행하면서 LLM에서는 각각의 길을 가고 있습니다. 둘 중 어느 쪽이 LLM계의 Stable diffusion의 위치를 차지할 수 있을까요?
StableLM 데모는 Hugging Face Spaces 에서 확인 할 수 있습니다.
공식 페이지 : https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models
Stability AI Launches the First of its StableLM Suite of Language Models — Stability AI
Stability AI's open-source Alpha version of StableLM showcases the power of small, efficient models that can generate high-performing text and code locally on personal devices. Discover how StableLM can drive innovation and open up new economic opportuniti
stability.ai
공식 Github : https://github.com/Stability-AI/StableLM
GitHub - Stability-AI/StableLM: StableLM: Stability AI Language Models
StableLM: Stability AI Language Models. Contribute to Stability-AI/StableLM development by creating an account on GitHub.
github.com
'개발 > 정보' 카테고리의 다른 글
| 2023년 4월 4주 인공지능 기술 동향 (0) | 2023.04.29 |
|---|---|
| 2023년 4월 3주 인공지능 기술 동향 (0) | 2023.04.23 |
| 2023년 4월 2주 인공지능 기술동향 (0) | 2023.04.16 |
| 애플, Mac 제품에 ARM CPU를 사용하기로 발표 (0) | 2020.06.24 |
| [번역] 인텔 Ice Lake 프로세서 환경에서 Jetbrains사의 IntelliJ와 충돌 문제 (0) | 2020.06.15 |
