AIPerf：大规模LLM推理性能基准测试工具
来源：https://developer.nvidia.com/blog/benchmarking-llm-inference-at-scale-with-aiperf/
AIPerf 是 NVIDIA 推出的 LLM 推理基准测试工具，用于在部署场景下评估大规模语言模型的推理速度和性能表现。
标签: 基准测试LLM推理性能评估NVIDIA
相关条目
- TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍性能完成 MLPerf Edge Agentic 基准测试 · TensorRT Edge-LLM 在 Jetson AGX Thor 边缘平台上实现推理加速，使 AI Agent 边侧部署性能大幅提升。
- NVIDIA NVLink 6 为 AI 工厂提供多层弹性保障 · NVIDIA NVLink 6 通过多层弹性设计提升大规模 AI 工厂的 GPU 集群可靠性，保障 AI 训练连续性与系统稳定性。
- NVIDIA Transformer Engine 在 JAX 中加速无Drop MoE训练 · NVIDIA Transformer Engine 新增JAX支持的MoE优化内核，助力大规模AI模型高效稀疏训练。
- PhysicsNeMo v2.2.2 · NVIDIA PhysicsNeMo v2.2.2 发布，修补了文档与 PyPi 包名不一致的问题，提升了安装指引的准确性。
- PhysicsNeMo · NVIDIA 物理 ML 训练框架（原 Modulus），内置 PINN、神经算子与多种物理约束训练范式，商用友好，工业首选。