언제 쓰면 좋음
- 모델 실행을 라이브러리·CLI 수준에서 보고 싶을 때
- Ollama 같은 상위 앱이 무엇을 감싸는지 볼 때
- 양자화 모델 파일을 직접 지정해 한 번 실행할 때
- 로컬 앱이 어떤 추론 엔진을 쓰는지 대조할 때
Local AI
llama.cpp
C/C++로 돌리는 LLM 추론
GitHub 설명이 “LLM inference in C/C++”인 추론 엔진입니다. 모델 파일의 라이선스는 이 저장소의 MIT와 별도로 확인합니다.
소프트웨어 MIT · 모델 라이선스는 모델별MITOpen Source지원 OS는 공식 문서에서 확인
llama.cppSOURCE AVAILABLE
어떻게 사용하나요?
1README의 빌드 방법 확인
2모델 파일 출처와 라이선스 확인
3짧은 프롬프트로 실행
4결과와 속도를 기록
설치하기
빌드 방법은 https://github.com/ggml-org/llama.cpp README를 기준으로 확인하세요.설치 명령은 프로젝트 릴리스에 따라 달라질 수 있으므로 공식 문서를 최종 기준으로 사용합니다.
주요 기능
✦C/C++ 추론
✦MIT 라이선스
✦모델 파일은 포함되지 않음
데모
NO DEMO FILE llama.cpp 사용 영상은 아직 없습니다
이 카드에 재생할 파일을 넣어 두지 않았습니다. 동작은 공식 문서에서 확인하세요.
RELATED