llmfit

Tiếng Anh · 中文 · 日本語

📊 Mới: điểm chuẩn và chia sẻ — số thực từ máy của bạn, ước tính tốt hơn cho mọi người. Tải xuống một mô hình, phân phối nó và đo tok/s thực trên phần cứng của bạn — sau đó đóng góp kết quả trở lại dự án dưới dạng PR, trực tiếp từ TUI. Không gh CLI, không có tài khoản bên thứ ba. Trước tiên, mỗi lần chạy đều được lưu cục bộ, các phép đo của riêng bạn sẽ thay thế các ước tính trong bảng phù hợp và mỗi lần gửi được hợp nhất sẽ được gửi trong bản phát hành tiếp theo: bất kỳ ai có phần cứng giống hệt nhau đều được đo ✓ các con số trước khi chúng chạy điểm chuẩn. Làm theo hướng dẫn đo điểm chuẩn từng bước →

Trước đây: llmfit 1.0 — bản phát hành có thể kiểm chứng được các con số →

Hàng trăm mô hình và nhà cung cấp. Một lệnh để tìm những gì chạy trên phần cứng của bạn.

Một công cụ đầu cuối giúp điều chỉnh kích thước các mẫu LLM phù hợp với RAM, CPU và GPU của hệ thống của bạn. Phát hiện phần cứng của bạn, chấm điểm từng mô hình theo các kích thước chất lượng, tốc độ, sự phù hợp và ngữ cảnh, đồng thời cho bạn biết mô hình nào sẽ thực sự chạy tốt trên máy của bạn.

Đi kèm với TUI tương tác (mặc định) và chế độ CLI cổ điển. Hỗ trợ thiết lập nhiều GPU, kiến ​​trúc MoE, lựa chọn lượng tử hóa động, ước tính tốc độ và nhà cung cấp thời gian chạy cục bộ (Ollama, Llama.cpp, MLX, Docker Model Runner, LM Studio).

Các dự án chị em:

• hội nghị chuyên đề — quản lý đại lý ở Kubernetes.
• sẽ phục vụ — một TUI đơn giản để phục vụ các mô hình LLM cục bộ. Chọn một mô hình, chọn một chương trình phụ trợ, phục vụ nó.
• bảng điều khiển Llama — một ứng dụng macOS gốc để quản lý các phiên bản máy chủ Llama cục bộ.

Tài liệu

Bắt đầu	cài đặt · Cách sử dụng · Nó hoạt động như thế nào
Hướng dẫn	hướng dẫn TUI · Đo điểm chuẩn từng bước · CLI & tự động hóa · Nhà cung cấp thời gian chạy · Tích hợp OpenClaw
Tài liệu tham khảo	Cách thức hoạt động (đầy đủ) · Hỗ trợ nền tảng và GPU · Mô hình tùy chỉnh · Phát triển
dự án	Đóng góp · Lựa chọn thay thế · Ký mã · Giấy phép

---

cài đặt

cửa sổ

scoop install llmfit

Nếu Scoop chưa được cài đặt, hãy làm theo hướng dẫn Hướng dẫn cài đặt muỗng.

macOS / Linux

Homebrew

Tệp nhị phân dựng sẵn (được khuyến nghị, hoạt động trên tất cả các phiên bản macOS/Linux):

brew install AlexsJones/llmfit/llmfit

Hoặc từ công thức homebrew-core, được xây dựng từ nguồn trên các phiên bản macOS không có chai:

brew install llmfit

MacPorts

port install llmfit

Cài đặt nhanh

curl -fsSL https://llmfit.axjns.dev/install.sh | sh

Tải xuống bản phát hành nhị phân mới nhất từ GitHub và cài đặt nó vào /usr/local/bin (hoặc ~/.local/bin nếu không có sudo).

Cài đặt vào ~/.local/bin không có sudo:

curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --local

uv / pip

Để cài đặt hoặc cập nhật llmfit:

uv tool install -U llmfit

Để chạy mà không cần cài đặt:

uvx llmfit

Bạn cũng có thể cài đặt llmfit dưới dạng gói Python theo cách thông thường bằng các công cụ như pip hoặc uv.

Docker / Podman

docker run ghcr.io/alexsjones/llmfit

Điều này in JSON từ llmfit recommend lệnh. JSON có thể được truy vấn thêm bằng jq.

podman run ghcr.io/alexsjones/llmfit recommend --use-case coding | jq '.models[].name'

Thay vào đó, để khởi chạy TUI tương tác, hãy chuyển toàn cầu --tui cờ:

docker run --rm -it ghcr.io/alexsjones/llmfit --tui

Từ nguồn

git clone https://github.com/AlexsJones/llmfit.git
cd llmfit
cargo build --release
# binary is at target/release/llmfit

---

Cách sử dụng

llmfit          # interactive TUI: your hardware, every model, ranked

TUI hiển thị các thông số kỹ thuật được phát hiện của bạn ở trên cùng và mọi mô hình đều được chấm điểm về mức độ phù hợp, tốc độ, chất lượng và ngữ cảnh. Xem hướng dẫn TUI để điều hướng, lập kế hoạch, mô phỏng, tải xuống, bảng xếp hạng cộng đồng và điểm chuẩn.

Đối với tập lệnh, tác nhân và đầu ra thiết bị đầu cuối cổ điển:

llmfit fit                    # table of all models ranked by fit
llmfit recommend --json       # top picks as JSON (agent/script consumption)
llmfit info "<model>"         # one model: fit analysis, estimate basis, verify commands
llmfit bench                  # measure real tok/s/TTFT against your running provider
llmfit doctor                 # hardware detection report for bug reports

Tham khảo đầy đủ: CLI & tự động hóa.

---

Nó hoạt động như thế nào

llmfit phát hiện phần cứng của bạn (RAM, CPU, GPU/VRAM, phụ trợ), sau đó chấm điểm mọi mô hình trong danh mục của nó theo bốn khía cạnh: mức độ phù hợp của bộ nhớ, tốc độ ước tính, chất lượng và ngữ cảnh. Ước tính tốc độ đến từ mô hình băng thông bộ nhớ dựa trên việc lấy mẫu thời gian chạy và các phép đo cộng đồng thực sự — và mọi ước tính đều gửi đầu vào của nó, vì vậy llmfit info hiển thị chính xác những gì một số giả định và cách xác minh nó trên máy của bạn.

Chi tiết đầy đủ, bao gồm các công thức ước tính và cơ sở dữ liệu mô hình: llmfit hoạt động như thế nào.

---

Đóng góp

Đóng góp đều được chào đón, đặc biệt là các mô hình mới.

Trước khi gửi PR

Hãy chạy đi cargo fmt trước khi đẩy các thay đổi của bạn. Hầu hết các lỗi kiểm tra CI đều do mã không được định dạng:

cargo fmt

Hướng dẫn thêm mô hình — cục bộ (không cần xây dựng lại) hoặc vào danh mục tích hợp sẵn: Mô hình tùy chỉnh.

---

Lựa chọn thay thế

Nếu bạn đang tìm kiếm một cách tiếp cận khác, hãy xem LLM-kiểm tra -- một công cụ Node.js CLI có tích hợp Ollama có thể kéo và đo điểm chuẩn trực tiếp các mô hình. Cần có cách tiếp cận thực tế hơn bằng cách thực sự chạy các mô hình trên phần cứng của bạn thông qua Ollama, thay vì ước tính từ thông số kỹ thuật. Tốt nếu bạn đã cài đặt Ollama và muốn kiểm tra hiệu suất trong thế giới thực. Lưu ý rằng nó không hỗ trợ kiến ​​trúc MoE (Hỗn hợp các chuyên gia) -- tất cả các mô hình đều được coi là dày đặc, do đó ước tính bộ nhớ cho các mô hình như Mixtral hoặc DeepSeek-V3 sẽ phản ánh tổng số tham số thay vì tập hợp con hoạt động nhỏ hơn.

---

Ký mã

Các tệp nhị phân phát hành Windows của llmfit được ký điện tử (Authenticode) thông qua SignPath.io, với chứng chỉ ký mã miễn phí được cung cấp bởi Tổ chức SignPath.

Việc ký kết diễn ra tự động trong đường ống phát hành: chỉ các tạo phẩm được tạo bởi GitHub Các hành động từ kho lưu trữ này mới được gửi để ký và các yêu cầu ký được người duy trì dự án phê duyệt (@AlexsJones).

Chính sách ký mã: xem Chính sách và điều khoản ký mã của SignPath Foundation.

Quyền riêng tư: chương trình này sẽ không chuyển bất kỳ thông tin nào đến các hệ thống nối mạng khác trừ khi được người dùng hoặc người cài đặt hoặc vận hành nó yêu cầu cụ thể. llmfit chỉ liên hệ với các dịch vụ bên ngoài khi bạn sử dụng tính năng tương ứng một cách rõ ràng (ví dụ: tải xuống mô hình, truy vấn nhà cung cấp thời gian chạy hoặc bảng xếp hạng cộng đồng).

---

Giấy phép

MIT