TensorRT Edge-LLM 在 Jetson AGX Thor 上以 6.4 倍性能完成 MLPerf Edge Agentic 基准测试
TensorRT Edge-LLM 在 Jetson AGX Thor 边缘平台上实现推理加速，使 AI Agent 边侧部署性能大幅提升。
标签: 边缘AITensorRTJetson推理优化基准测试
相关条目
- AIPerf：大规模LLM推理性能基准测试工具 · AIPerf 是 NVIDIA 推出的 LLM 推理基准测试工具，用于在部署场景下评估大规模语言模型的推理速度和性能表现。
- 智象HiDream-O1-Video视频生成模型 · 智象发布的HiDream-O1-Video-1.0视频生成模型，能够理解真实世界场景，在嘻哈说唱、NBA绝杀等复杂动态场景中表现出色，跻身全球权威榜单前四。
- 宇树UnifoLM-WLA-1.0通用人形机器人基础模型 · 宇树科技发布6B参数通用具身智能模型UnifoLM-WLA-1.0，约2500小时真机训练，在具身推理领域取得7项开源SOTA。
- 使用 Agentic AI 将 CUDA Tile 操作从 Python 翻译到 Rust · cuTile Rust (cutile-rs) 是用于在 Rust 中安全编写 GPU 内核的瓦片化系统，扩展 Rust 所有权模型实现内存安全。
- NVIDIA FLARE：跨 Docker、Kubernetes 和 Slurm 扩展联邦学习 · NVIDIA FLARE 提供跨 Docker、Kubernetes 和 Slurm 的联邦学习部署方案，助力项目从单机扩展至大规模生产环境。