← 返回术语词典

开放神经网络交换格式 ONNX

Open Neural Network Exchange
方法 又称:ONNX 格式 / 模型交换格式 更新于 2026-11-04
定义

把训练框架产出的神经网络模型导出成与框架无关的标准格式,让同一个模型能在推理引擎、编译器和不同语言中运行,是物理 AI 模型从训练走向生产部署的通用交接格式。

是什么

ONNX 是一种模型交换格式。你用 PyTorch、TensorFlow、JAX 或某个物理 AI 框架训练出模型, 把它导出成 .onnx 文件,这个文件描述的是”计算图”本身——有哪些算子、每层输入输出形状与 数据类型——而不是某个框架的内部实现。

关键在于它把”训练”和”部署”解耦了:导出之后,推理侧不需要装原训练框架。ONNX Runtime、 TensorRT、TVM、各类推理服务框架都能直接消费同一个 .onnx 文件。

关键要点

  • 算子覆盖度决定可用性:导出成功不等于能跑。ONNX 算子集(opset)有版本之分, 框架里的自定义算子、动态形状、部分自动微分图无法直接映射。导出报错通常不是 bug, 而是模型用了标准算子集之外的东西。
  • 图优化是推理加速的起点:推理引擎加载 ONNX 后会做常量折叠、算子融合、图重写等优化。 物理 AI 模型常见的小算子多(如逐点 MLP、散度/梯度算子),融合收益往往比换硬件更明显。
  • 动态形状与静态形状的取舍:静态 batch / 固定网格尺寸的模型导出最稳、推理最快; 变尺寸网格(如自适应网格加密)需要声明动态维度,会牺牲一部分优化机会。
  • 物理算子需要自己注册:自定义物理约束层(如有限体积通量算子、网格插值)在导出时 通常要写成自定义算子并注册到目标引擎,否则会被降级为不支持的节点。

常见误区 / 边界

  • ONNX 是交换格式,不是推理引擎。它本身不提供加速,性能来自消费它的运行时 (ONNX Runtime、TensorRT 等)。
  • ONNX 不解决精度问题。导出前后的数值差异来自算子实现细节与精度设置, 需要单独做导出前后的一致性验证。
  • “支持 ONNX” 不等于”支持全部 ONNX 算子”。每个引擎的算子覆盖面不同, 换引擎前必须用目标引擎实际跑一遍。
  • 训练期的图优化(如 torch.compile 的算子融合)在导出后会被重新做一遍, 不要指望导出文件保留框架侧的编译结果。

相关术语

站内相关资源