언제 쓰면 좋음
- 로컬 모델을 OpenAI 스타일 API처럼 붙이고 싶을 때
- 텍스트 외 모델 종류를 한 엔진에서 볼 때
- 기존 앱의 API 주소를 로컬 엔진으로 바꿔 시험할 때
- 음성 모델과 텍스트 모델을 같은 환경에서 볼 때
Local AI
LocalAI
여러 종류의 모델을 로컬 엔진으로
GitHub 설명이 로컬에서 LLM, 비전, 음성, 이미지, 영상 모델을 실행하는 오픈소스 엔진이라고 소개합니다. “GPU가 필요 없다”는 저장소 문구는 모델과 하드웨어에 따라 달라질 수 있어 보장으로 적지 않습니다.
소프트웨어 MIT · 모델 비용은 별도MITOpen Source지원 OS는 공식 문서에서 확인
LocalAISOURCE AVAILABLE
어떻게 사용하나요?
1README의 실행 방법 확인
2시험할 모델과 라이선스 확인
3API 주소만 연결
4한 요청으로 응답 확인
설치하기
실행 방법은 https://github.com/mudler/LocalAI README와 https://localai.io 를 기준으로 확인하세요.설치 명령은 프로젝트 릴리스에 따라 달라질 수 있으므로 공식 문서를 최종 기준으로 사용합니다.
주요 기능
✦로컬 추론 엔진
✦MIT 라이선스
✦필요 하드웨어는 모델마다 확인
데모
NO DEMO FILE LocalAI 사용 영상은 아직 없습니다
이 카드에 재생할 파일을 넣어 두지 않았습니다. 동작은 공식 문서에서 확인하세요.
RELATED