推理服务框架对比选型
大模型推理服务框架百花齐放，各具特色。本文从功能、性能、易用性等维度系统对比主流推理框架，帮助开发者根据场景选择合适的方案。
框架概览
| 框架 | 开发方 | 核心优势 | 许可证 |
|---|---|---|---|
| vLLM | UC Berkeley | PagedAttention, 生态完善 | Apache 2.0 |
| SGLang | UC Berkeley | RadixAttention, 约束解码 | Apache 2.0 |
| TensorRT-LLM | NVIDIA | 极致性能, NVIDIA 生态 | Apache 2.0 |
| TGI | HuggingFace | 开箱即用, 模型支持广 | Apache 2.0 |
| llama.cpp | 社区 | 轻量, CPU 推理 | MIT |
| Triton | NVIDIA | 多模型服务, 企业级 | BSD 3 |
功能对比
| 功能 | vLLM | SGLang | TRT-LLM | TGI |
|---|---|---|---|---|
| Continuous Batching | ✓ | ✓ | ✓ | ✓ |
| PagedAttention | ✓ | ✗ | ✗ | ✓ |
| 前缀缓存 | ✗ | ✓(RadixAttn) | ✓ | ✓ |
| 约束解码 | 有限 | ✓(原生) | ✗ | 有限 |
| FP8 推理 | ✓ | ✓ | ✓ | ✗ |
| 推测解码 | ✓ | ✓ | ✓ | ✗ |
| OpenAI API 兼容 | ✓ | ✓ | ✓ | ✓ |
| 多模态 | ✓ | ✓ | ✓ | ✓ |
性能对比
在 NVIDIA A100-80GB 上运行 Llama-2-70B (INT4, TP=4) 的性能：
| 框架 | 吞吐 (tok/s) | TTFT (ms) | TPOT (ms) |
|---|---|---|---|
| vLLM | 1200 | 85 | 42 |
| SGLang | 1350 | 78 | 38 |
| TensorRT-LLM | 1500 | 65 | 32 |
| TGI | 950 | 95 | 50 |
性能解读
TensorRT-LLM 性能最优但编译时间较长；SGLang 在多轮对话场景因 RadixAttention 表现突出；vLLM 生态最完善，通用场景推荐；TGI 开箱即用但性能相对保守。
选型决策树
需要极致性能？→ TensorRT-LLM
├── 仅 NVIDIA GPU？→ 是 → TensorRT-LLM
└── 多硬件？→ vLLM/SGLang
多轮对话/Agent？→ SGLang (RadixAttention)
约束解码需求？→ SGLang
本地/边缘部署？→ llama.cpp
快速原型开发？→ TGI/vLLM
企业多模型服务？→ Triton + vLLM backendpython
# 快速上手代码对比
# vLLM
from vllm import LLM
llm = LLM(model="meta-llama/Llama-2-7b-hf")
out = llm.generate(["Hello"])
# SGLang
import sglang as sgl
runtime = sgl.Runtime(model_path="meta-llama/Llama-2-7b-hf")
out = runtime.generate("Hello")
# TGI
from text_generation import Client
client = Client("http://localhost:8080")
out = client.generate("Hello", max_new_tokens=256)生态兼容性
选型时需考虑周边生态：监控（Prometheus 指标是否完整）、API 兼容性（是否支持 OpenAI API）、模型格式支持（是否需要额外转换）。vLLM 在生态完善度上目前领先。