LLM推理/微调工具开源项目 GitHub 星标榜单

LLM 推理与微调工具,依 GitHub 星标降序排布,目前收了 22 款

在本机运行或微调模型时,显存和量化方案决定能不能跑起来,安装之前请先核对硬件。

1ollama 187.0k本地跑开源大模型可以不依赖云端,ollama 把下载、运行、服务化压缩成几条命令,对外有命令行、REST 接口与官方的 JS、Python 库,涵盖 Docker、Linux、Windows 与 macOS。Go 2026.11.102llama.cpp 135.0k大语言模型推理引擎,C/C++ 实现,兼容多种模型格式,CLI、服务器、内置 Web UI 三种用法,LLM 和 VLM 都能在本机跑。C++ 2026.11.143vllm 96.2kvLLM 面向大语言模型的推理与服务,Python 编写,吞吐量大、显存开销低。关键技术是 PagedAttention,再加上连续批处理;对外提供兼容 OpenAI 的 API,支持 200 多种模型结构与多个硬件后端。Python 2026.11.024OmniRoute 87.4k免费的 MIT 许可 AI 网关,用统一的入口连接 290 多家提供商、500 多个模型,带智能回退和令牌压缩。TypeScript 2026.11.065freellmapi 52.2k统一的 API 网关,接入了 34 家免费的 LLM 提供商,合计 635 个免费模型端点,每月约有 74 亿免费令牌,带加密密钥存储、自动故障转移和智能路由。TypeScript 2026.11.146llmfit 38.6k命令行工具,根据机器硬件推荐最适合本地运行的大语言模型,涵盖多 GPU、MoE 架构以及多种量化格式。Rust 2026.11.037magpie 36.5k本地运行的 AI 网关:通过它,OpenCode、Gemini CLI、Codex、Claude Code 等编程代理可共用 ChatGPT、GLM、DeepSeek、Kimi 等模型,菜单栏里一键切换,额度耗尽时自动轮换到下一个账号。Go 2026.11.148omlx 23.6k针对 Apple 芯片调优的 LLM 推理服务,支持持续批处理,并带 SSD 缓存,管理入口在菜单栏。Python 2026.11.129higress 9.7k以 Istio 与 Envoy 为基础的云原生 AI 网关,可借 Wasm 插件扩展,统一管理 LLM API 与 MCP API,兼容主流模型提供商。Go 2026.11.1010lemonade 6.2k在自己的 NPU 与 GPU 上运行最新聊天、编程、语音、图像生成模型的本地 AI 服务器,免费、私密,使用体验和云端接口一致。C++ 2026.11.1111semantic-router 6.0k面向异构 LLM 推理的可编程路由器(混合模型,MoM):根据请求本身的信号、用户偏好和应用策略,给每个请求挑出或拼出最合适的模型路径,在质量、成本、延迟上取得平衡,并加强隐私与安全。Go 2026.09.2712router 5.6k代理系统的模型路由器:把每条提示词送到最合适的模型,只换一个端点,Gemini、OpenAI、Anthropic 与开源模型均可接入。Go 2026.07.1313lean-ctx 3.9k面向 AI 代理的上下文管理层:内置 76 个 MCP 工具、适配 30 多种代理,负责挑选、整形、复用并恢复项目上下文,据称能让令牌用量降低六到九成。Rust 2026.11.1314MTPLX 2.7kApple Silicon 专用的 Mac 原生应用,附命令行,借多令牌预测(MTP)使本地 LLM 推理提速一倍,Qwen 3.8 27B 这类模型可以直接用,免去额外的草稿模型。Python 2026.11.0615spark-vllm-docker 2.5k这是 NVIDIA DGX Spark 专用的 vLLM 容器配置和启动脚本,单机、多机集群都能跑(可选 Ray,或原生的分布式方案);支持 RDMA 与 InfiniBand,模型快速载入,环境参数可自行调整。Python 2026.11.0716mlx-serve 2.4k专门为 Apple Silicon 做过优化的原生 LLM 推理服务器,API 兼容 OpenAI 与 Anthropic,不需要 Python,可用 MLX 和 GGUF 两类模型,还自带一个 macOS 菜单栏小应用。Zig 2026.11.0617FastFlowLM 2.0kAMD 的 Ryzen AI NPU 专用的大语言模型运行时,可处理 MoE、嵌入、音频和视觉,不依赖 GPU 就能跑,体积只有 17MB,十分小巧。C++ 2026.11.1318vigolium 1.1k漏洞扫描器,把 AI 代理的智能和原生速度结合起来,保真度高,有两种互补模式:确定性的多阶段扫描,以及 AI 驱动的代码审计。Go 2026.10.2519llama-cpp-desktop 385为 Windows 上本地的 llama.cpp 服务设计的桌面控制面板:启动服务、配置模型、翻看日志、直接聊天、接入兼容 OpenAI 的客户端,全部集中到一个窗口里,不碰命令行就能管推理服务。JavaScript 2026.07.1320llama.cpp-launcher 133llama.cpp 的轻量图形启动器,用 Rust 打造,实时日志、预设管理、RPC 模式、可视化配置、多语言界面一应俱全,管理并启动 llama.cpp 服务变得简单。Rust 2026.10.1921Little-Mungbean 11Little-Mungbean 用 Rust 编写,是 Codex、Claude 这两类客户端使用的本地 AI 网关管理器:多个供应商可随时切换,协议也会自动转换。Rust 2026.11.0122dlia 7让大语言模型担任日志分析员的 Docker 监控代理,智能读取容器日志,发现异常,并补充上下文层面的洞察。Go 2026.10.02