在本机运行或微调模型时,显存和量化方案决定能不能跑起来,安装之前请先核对硬件。
LLM推理/微调工具开源项目 GitHub 星标榜单
LLM 推理与微调工具,依 GitHub 星标降序排布,目前收了 22 款
1ollamaollama 187.0k本地跑开源大模型可以不依赖云端,ollama 把下载、运行、服务化压缩成几条命令,对外有命令行、REST 接口与官方的 JS、Python 库,涵盖 Docker、Linux、Windows 与 macOS。Go 2026.11.102llama.cppggml-org 135.0k大语言模型推理引擎,C/C++ 实现,兼容多种模型格式,CLI、服务器、内置 Web UI 三种用法,LLM 和 VLM 都能在本机跑。C++ 2026.11.143vllmvllm-project 96.2kvLLM 面向大语言模型的推理与服务,Python 编写,吞吐量大、显存开销低。关键技术是 PagedAttention,再加上连续批处理;对外提供兼容 OpenAI 的 API,支持 200 多种模型结构与多个硬件后端。Python 2026.11.024OmniRoutecheaper-inference 87.4k免费的 MIT 许可 AI 网关,用统一的入口连接 290 多家提供商、500 多个模型,带智能回退和令牌压缩。TypeScript 2026.11.065freellmapitashfeenahmed 52.2k统一的 API 网关,接入了 34 家免费的 LLM 提供商,合计 635 个免费模型端点,每月约有 74 亿免费令牌,带加密密钥存储、自动故障转移和智能路由。TypeScript 2026.11.146llmfitAlexsJones 38.6k命令行工具,根据机器硬件推荐最适合本地运行的大语言模型,涵盖多 GPU、MoE 架构以及多种量化格式。Rust 2026.11.037magpieyetone 36.5k本地运行的 AI 网关:通过它,OpenCode、Gemini CLI、Codex、Claude Code 等编程代理可共用 ChatGPT、GLM、DeepSeek、Kimi 等模型,菜单栏里一键切换,额度耗尽时自动轮换到下一个账号。Go 2026.11.148omlxjundot 23.6k针对 Apple 芯片调优的 LLM 推理服务,支持持续批处理,并带 SSD 缓存,管理入口在菜单栏。Python 2026.11.129higresshigress-group 9.7k以 Istio 与 Envoy 为基础的云原生 AI 网关,可借 Wasm 插件扩展,统一管理 LLM API 与 MCP API,兼容主流模型提供商。Go 2026.11.1010lemonadelemonade-sdk 6.2k在自己的 NPU 与 GPU 上运行最新聊天、编程、语音、图像生成模型的本地 AI 服务器,免费、私密,使用体验和云端接口一致。C++ 2026.11.1111semantic-routervllm-project 6.0k面向异构 LLM 推理的可编程路由器(混合模型,MoM):根据请求本身的信号、用户偏好和应用策略,给每个请求挑出或拼出最合适的模型路径,在质量、成本、延迟上取得平衡,并加强隐私与安全。Go 2026.09.2712routerweave-os 5.6k代理系统的模型路由器:把每条提示词送到最合适的模型,只换一个端点,Gemini、OpenAI、Anthropic 与开源模型均可接入。Go 2026.07.1313lean-ctxyvgude 3.9k面向 AI 代理的上下文管理层:内置 76 个 MCP 工具、适配 30 多种代理,负责挑选、整形、复用并恢复项目上下文,据称能让令牌用量降低六到九成。Rust 2026.11.1314MTPLXyoussofal 2.7kApple Silicon 专用的 Mac 原生应用,附命令行,借多令牌预测(MTP)使本地 LLM 推理提速一倍,Qwen 3.8 27B 这类模型可以直接用,免去额外的草稿模型。Python 2026.11.0615spark-vllm-dockereugr 2.5k这是 NVIDIA DGX Spark 专用的 vLLM 容器配置和启动脚本,单机、多机集群都能跑(可选 Ray,或原生的分布式方案);支持 RDMA 与 InfiniBand,模型快速载入,环境参数可自行调整。Python 2026.11.0716mlx-serveddalcu 2.4k专门为 Apple Silicon 做过优化的原生 LLM 推理服务器,API 兼容 OpenAI 与 Anthropic,不需要 Python,可用 MLX 和 GGUF 两类模型,还自带一个 macOS 菜单栏小应用。Zig 2026.11.0617FastFlowLMROCm 2.0kAMD 的 Ryzen AI NPU 专用的大语言模型运行时,可处理 MoE、嵌入、音频和视觉,不依赖 GPU 就能跑,体积只有 17MB,十分小巧。C++ 2026.11.1318vigoliumvigolium 1.1k漏洞扫描器,把 AI 代理的智能和原生速度结合起来,保真度高,有两种互补模式:确定性的多阶段扫描,以及 AI 驱动的代码审计。Go 2026.10.2519llama-cpp-desktopQiao-920 385为 Windows 上本地的 llama.cpp 服务设计的桌面控制面板:启动服务、配置模型、翻看日志、直接聊天、接入兼容 OpenAI 的客户端,全部集中到一个窗口里,不碰命令行就能管推理服务。JavaScript 2026.07.1320llama.cpp-launcheryihuishou 133llama.cpp 的轻量图形启动器,用 Rust 打造,实时日志、预设管理、RPC 模式、可视化配置、多语言界面一应俱全,管理并启动 llama.cpp 服务变得简单。Rust 2026.10.1921Little-Mungbeanznnz-api 11Little-Mungbean 用 Rust 编写,是 Codex、Claude 这两类客户端使用的本地 AI 网关管理器:多个供应商可随时切换,协议也会自动转换。Rust 2026.11.0122dliazorak1103 7让大语言模型担任日志分析员的 Docker 监控代理,智能读取容器日志,发现异常,并补充上下文层面的洞察。Go 2026.10.02