Llama.cpp

Bắt đầu nhanh

Một số lựa chọn để có được llama.cpp được cài đặt trên máy của bạn:

• thăm https://Llama.app và làm theo hướng dẫn
• Chạy với Docker - xem của chúng tôi tài liệu Docker
• Tải xuống các tệp nhị phân dựng sẵn từ trang phát hành
• Xây dựng từ nguồn bằng cách sao chép kho lưu trữ này - hãy xem hướng dẫn xây dựng của chúng tôi

Sau khi cài đặt:

# Download and run a model directly from Hugging Face
llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

# Launch OpenAI-compatible API server
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Phiên VLM với Llama CLI

Giao diện người dùng web tích hợp chống lại việc phục vụ Llama

Mô tả

Mục tiêu chính của llama.cpp là kích hoạt suy luận LLM (và VLM) với thiết lập tối thiểu và hiệu suất tiên tiến trên nhiều loại phần cứng - cục bộ và trên đám mây.

• Triển khai C/C++ đơn giản mà không có bất kỳ sự phụ thuộc nào
• Apple silicon là công dân hạng nhất - được tối ưu hóa thông qua các khung ARM NEON, Accelerate và Metal
• Hỗ trợ AVX, AVX2, AVX512 và AMX cho kiến trúc x86
• Hỗ trợ RVV, ZVFH, ZFH, ZICBOP và ZIHINTPAUSE cho kiến trúc RISC-V
• Lượng tử hóa số nguyên 1,5 bit, 2 bit, 3 bit, 4 bit, 5 bit, 6 bit và 8 bit để suy luận nhanh hơn và giảm mức sử dụng bộ nhớ
• Hạt nhân CUDA tùy chỉnh để chạy LLM trên GPU NVIDIA (hỗ trợ GPU AMD thông qua GPU HIP và Moore Threads qua MUSA)
• Hỗ trợ phụ trợ Vulkan và SYCL
• Suy luận kết hợp CPU+GPU để tăng tốc một phần các mô hình lớn hơn tổng dung lượng VRAM

các llama.cpp dự án được xây dựng trên đỉnh ggml thư viện.

Phụ trợ được hỗ trợ

Phần phụ trợ	Thiết bị mục tiêu
BLA	Tất cả
BLI	Tất cả
KHÔNG THỂ	Tăng NPU
CUDA	Nvidia GPU
hông	AMD GPU
Hình lục giác [Đang tiến hành]	Snapdragon
IBM zDNN	IBM Z & LinuxONE
MUSA	Sợi Moore GPU
kim loại	táo silicon
OpenCL	Adreno GPU
OpenVINO [Đang tiến hành]	CPU, GPU và NPU của Intel
RPC	Tất cả
SYCL	Intel GPU
VirtGPU	API VirtGPU
Vulkan	GPU
WebGPU	Tất cả
ZenDNN	AMD CPU

Tài liệu

Công cụ

• CLI
• hoàn thành
• máy chủ
• ngữ pháp GBNF

Phát triển

• Cách xây dựng
• Đang chạy trên Docker
• Xây dựng trên Android
• Việc sử dụng nhiều GPU
• Khắc phục sự cố về hiệu suất
• Mẹo và thủ thuật GGML
• XCFramework
• Hoàn thành
• Người mẫu
• Quá trình phát hành

Đóng góp

• Người đóng góp có thể mở PR
• Cộng tác viên sẽ được mời dựa trên sự đóng góp
• Người bảo trì có thể đẩy tới các chi nhánh trong llama.cpp repo và hợp nhất PR vào master chi nhánh
• Bất kỳ trợ giúp nào về việc quản lý các vấn đề, PR và dự án đều được đánh giá cao!
• Đọc ĐÓNG GÓP.md để biết thêm thông tin

Lời cảm ơn

• yhirose/cpp-httplib - Máy chủ HTTP tiêu đề đơn, được sử dụng bởi llama-server - Giấy phép MIT
• không có gì/stb - Bộ giải mã định dạng hình ảnh một tiêu đề, được sử dụng bởi hệ thống con đa phương thức - Phạm vi công cộng
• nlohmann/JSON - Thư viện JSON một tiêu đề, được sử dụng bởi nhiều công cụ/ví dụ khác nhau - Giấy phép MIT
• macron/miniaudio - Bộ giải mã định dạng âm thanh một tiêu đề, được sử dụng bởi hệ thống con đa phương thức - Phạm vi công cộng
• sheredom/tiến trình con.h - Giải pháp khởi chạy quy trình một tiêu đề cho C và C++ - Miền công cộng