Triton 推理服务器 Triton
Triton Inference Server
定义
NVIDIA 开源的模型服务框架,把多个模型按版本、批量与实例数调度起来对外提供统一的推理接口,负责动态批处理、并发调度与后端引擎选择,是把物理 AI 模型变成可用生产服务的中间层。
是什么
Triton Inference Server 是模型服务框架。它不是模型,也不是加速引擎——它的职责是 把若干个已经导出的模型(TensorRT plan、ONNX、PyTorch 等多种后端)组织起来, 对外暴露统一的 HTTP / gRPC 推理接口,内部负责排队、批处理、实例数伸缩与后端分发。
对物理 AI 而言,它的价值在于:一次部署多个场求解器(稳态 / 瞬态、不同网格), 让前端应用不必关心模型跑在哪个后端、用什么精度。
关键要点
- 动态批处理是主要收益:Triton 会把到达时间相近的请求合并成一个 batch 交给后端执行。 对物理 AI 单次推理耗时在百毫秒量级的模型,批处理能把单位时间吞吐提升数倍, 同时把排队延迟控制在可接受范围内。
- 模型仓库是一个目录约定:模型、配置、版本目录的组织方式决定了 Triton 如何加载、 预热与切换版本。版本切换可做到不中断服务。
- 支持多后端与模型组合:一个服务实例里可以同时挂 TensorRT 后端和 PyTorch 后端, 也可以构建”预处理 + 主模型 + 后处理”的 ensemble,把网格生成、求解、后处理串成一条流水线。
- 指标与健康检查是内置的:Prometheus 指标、请求计数、队列长度、GPU 利用率直接暴露, 便于接入既有监控体系。
常见误区 / 边界
- Triton 不做模型优化。真正决定推理耗时的是后端引擎与模型本身, 用 PyTorch 后端挂上去不会有 TensorRT 级别的性能。
- 动态批处理依赖流量特征。请求到达过于分散时合批效果差, 此时调大最大批大小反而增加排队延迟。
- 显存/内存规划要自己定。多个模型共存时各自的实例数直接决定资源占用, 配置不当会出现加载失败或频繁换页。
- ensemble 便于复用流程,但把多个阶段串在一起后,端到端延迟是各阶段之和, 排查性能问题需要分段测量。
相关术语
站内相关资源
- PhysicsNeMo: 基于神经算子的物理仿真框架 — ONNX Export + Triton 的生产部署链路
- NVIDIA PhysicsNeMo 物理 AI 工程化框架 — 框架的推理部署与工程化路径
- 半导体 TCAD 代理模型:以 FP-DDM 域分解与刻蚀代理为例 — 芯片热仿真模型的服务化应用