Signal.
18 NOV 2026

TrnRT: AWS Trainium开源大模型推理引擎

TrnRT 是专为 AWS Trainium 打造的开源大语言模型推理引擎,由 RunAnywhere 开发。它利用 NKI 超级内核技术,在单台 trn2.48xlarge 实例上即可提供 OpenAI 兼容的 API 服务,支持高达 100 万 token 的上下文窗口。通过创新的离线编译机制和跨设备前缀缓存,TrnRT 显著降低了推理成本并提升了吞吐量,让开发者能高效部署 GLM-5.3-Flash 等先进模型。

Read the original
← Back to today