异构推理成大模型新范式清华趋境KTransformers登顶SOSP
全球AI基础设施快速演进的浪潮中,一个诞生自中国的开源项目,正在被世界看见。
它就是KTransformers,由趋境科技与清华大学KVCache.AI团队联合研发,聚焦大模型推理阶段的系统创新。
这是一个高性能异构推理框架,专注于高效利用底层GPU、CPU、内存等多样化算力,让大模型在更低算力、更灵活的硬件架构上高效运行,项目论文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》入选了刚刚落幕的“计算机系统领域奥斯卡” SOSP 2025。