标签：Transformer

8 个条目

Neural Operator：数据真的就是建模世界的全部吗？科学 ML 范式综述

综述 / 学习资料
数据驱动 + 物理信息神经算子的综述，沿可扩展性、泛化性、数据敏感度三条轴梳理架构谱系（DeepONet / FNO / GNO / PINO / Transformer 系列 / 扩散模型），是理解科学 ML 范式的标准读物。
arXiv 预印本（版权归作者） 神经算子科学 MLDeepONet

APT：融合全局-局部注意力的自适应物理 Transformer

原创研究论文
ICML 2026 论文，地下能源系统的几何/网格/物理无关神经算子，用图编码器捕获高分辨率局部异质特征，全局注意力解析长程物理影响；2D 断层 CO2 存储饱和度误差降为原 SOTA 的 1/4，对 GEOS 模拟器实现 19,873× 加速，对 ECLIPSE 实现 6,800× 加速。
arXiv 预印本（版权归作者） 神经算子地下储能CO2 封存

ATOM：面向多任务分子动力学的预训练神经算子

原创研究论文
ICLR 2026 论文，提出准变等原子分子动力学预训练神经算子 ATOM，无需显式分子图，采用时间注意力并行解码多未来状态；自建 TG80 数据集（80 种化合物，250 万飞秒轨迹），在 MD17/RMD17/MD22 上零样本泛化表现优异。
arXiv 预印本（版权归作者） 神经算子分子动力学Transformer

Transolver 即线性 Transformer：重新审视物理注意力

原创研究论文
把 Transolver 的 Physics-Attention 重新形式化为线性注意力的特例，提出 LinearNO（线性注意力神经算子）；在 6 个标准 PDE 基准上达到 SOTA 同时参数平均降低 40.0%、计算成本降低 36.2%，并在 AirfRANS 与 Shape-Net Car 等工业级数据集上表现优异。
arXiv 预印本（版权归作者） 神经算子Transformer线性注意力

增强Transformer的符号ODE表达式表示能力

通用科学ML
提出基于Transformer学习符号常微分方程的结构化表示，保持交换性以支持符号形式数学推理，区别于依赖数值拟合的传统方法。
见LICENSE文件 符号计算ODETransformer

基于Transformer神经算子的复杂山地3D风场预测

流体/CFD
针对复杂山地地形的三维风场预测难题，提出基于Transformer的神经算子方法，突破传统CFD依赖专家密集网格生成和高成本迭代求解的瓶颈。
见LICENSE文件 神经算子风场预测Transformer

Transolver：面向大规模工业几何的 Transformer 求解器

前沿论文
提出物理注意力机制，把离散网格投影到可学习的物理状态令牌上做注意力，显著提升 PDE 求解在大规模工业几何上的效率与精度。CGNS 兼容 HF+Zarr 分发，专为工业异构网格场景设计，可与主流 CFD 求解器互操作。
arXiv 预印本（版权归作者） Transformer几何工业

← 全部标签