【课题介绍】 本课面向超大尺寸通用大模型规模化的 API 服务场景，基于国产异构算力芯片构建大规模、高性能的分布式推理集群。围绕多级 KVCache、实时动态计算调度、弹性异构基础设施等核心任务，通过工程技术的持续创新，不断追求用户延迟体验、服务成本以及可靠性工程等方面的极致优化，构建高性价比的大模型 API 服务能力，加速形成普惠的token经济。 【课题挑战】 1、大规模发散流量场景下，用户请求动态变化、业务负载高度随机、异构算力瓶颈差异显著、云际异构集群间流量峰谷波动大，在保障用户体验的同时需实现跨集群、跨资源池的全局负载最优分配与潮汐弹性调度，逼近集群吞吐与资源利用率极限； 2、长上下文、高并发推理场景，KVCache增长导致显存、存储及传输成本急剧上升，分布式异构集群下缓存路径、路由策略与资源调度高度耦合，在保证首响时延和效果的前提下，突破KV压缩、跨节点复用和分级缓存效率瓶颈，KV利用率与成本的全局最优。 【课题价值】 1、突破大规模分布式推理在异构算力、高速缓存复用、动态调度等方向的关键技术瓶颈，KVCache成本、性能及集群利用率等关键技术指标形成显著竞争优势； 2、面向十万卡级异构算力，打造行业领先的国产推理算力集群，显著提升推理集群整体吞吐，对token成本实现极致摊销，支撑下一代高吞吐、低成本、普惠化的大模型服务基础设施建设。