课题详情： 课题背景： 随着AI技术发展，AgentAI、AI Coding、多轮对话以及生成式推荐等场景演进迅速，推理负载存在幻觉频发、响应体验不佳及推理记忆缺失等瓶颈，通过合理复用KVCache是提升推理效果、改善推理体验的关键技术方向之一。 腾讯数据计算平台部，探索打造集知识、KV缓存和记忆为一体的统一缓存系统，并通过场景化数据调度与关系，助力用户体验提升，以及极致算力节约。 课题挑战： 1、符合腾讯海量业务场景需求的，层次化缓存卸载架构，综合利用本机HBM、DRAM、SSD，以及远程集中式存储； 2、围绕场景、请求进行数据全周期管理，以及智能调度，最大化缓存命中率，最小化获取时延； 3、超长上下文窗口支持，以及语义匹配技术，在多轮对话中最大化复用历史KV Cache，避免重复计算； 4、历史数据萃取与经验提炼，并沉淀成可召回的记忆。探索从session级别数据缓存，迭代为长周期记忆，进而“学得越多，越聪明”，持续进化。 具体工作： 1、针对腾讯海量场景的业务特征理解与分析； 2、kvcache缓存架构探索与创新，参与数据管理、智能调度层、卸载框架等功能模块联合研发，深入相关框架架构、模块开发，以及系统级瓶颈分析； 3、从平台视角出发，与业务和IDC、网络、存储等团队，协作co-desgin； 4、缓存稀疏化、压缩、投机解码、多模态数据语义理解等加速算法探索。 课题要求： 1、计算机、高性能计算、人工智能等相关专业的博士和优秀硕士，具备扎实的计算机系统结构、分布式系统等核心领域理论功底； 2、熟练掌握C/C++/Python等编程语言，有大规模分布式系统或底层系统软件的研发经验； 3、熟悉Transformer等LLM模型，具备大模型推理系统、RDMA高速网络编程、异构存储系统相关的深度研究或核心研发经验的优先； 4、具有优秀的学习能力、分析和解决问题能力、沟通能力、团队合作意识，具有强烈的责任心与主动性。