混元多模态-多模态交互大模型的Model Merge当面告知

深圳市腾讯计算机系统有限公司
2026-11-15 20:50:57
校招博士27届硕士

岗位详情

地区:

北京

专业要求:

人工智能计算机科学与技术

岗位职责:

课题详情: 背景:大规模语言模型的训练成本极高,工业界与学术界普遍存在针对不同任务/场景独立微调的范式:情感语音、多语言ASR、对话风格、指令跟随等能力往往分散在多个独立checkpoint中。如何将这些能力无损融合到单一模型,是多模态交互大模型落地的关键瓶颈。 核心挑战: 在无训练或者依赖轻量训练的模型参数合并要实现模型合并能力不drop甚至实现1+1>2的模型合并结果目前仍然具有很大挑战。 具体工作: 评测现有的Model Merging算法在Speech LM场景下的表现。 针对多模态交互,提出一种模型参数合并策略实现多个ckpt高效合并。产出一个可插拔的Model Merge工具箱,验证在无训练或者轻量训练的设定下实现模型参数merge. 课题要求: 学历与专业: 来自计算机科学、人工智能、电子信息、信号处理等相关专业的博士/硕士同学,具备扎实的机器学习理论基础,有多模态方向研究经验者优先。 技能要求:精通 PyTorch 框架与 Python 编程;深度掌握 Transformer 架构及主流 MLLM(如 LLaVA, Qwen-Audio, Qwen-Omni) 原理;熟悉 PPO、GRPO 等强化学习算法及 DeepSpeed/Megatron 分布式训练工具;有 CoT 推理或 RLHF 实战经验者尤佳。 软性素质: 具备较强的问题分解与独立研究能力;能在模糊问题定义上给出清晰的拆解思路和方法。

招聘要求:

课题详情: 背景:大规模语言模型的训练成本极高,工业界与学术界普遍存在针对不同任务/场景独立微调的范式:情感语音、多语言ASR、对话风格、指令跟随等能力往往分散在多个独立checkpoint中。如何将这些能力无损融合到单一模型,是多模态交互大模型落地的关键瓶颈。 核心挑战: 在无训练或者依赖轻量训练的模型参数合并要实现模型合并能力不drop甚至实现1+1>2的模型合并结果目前仍然具有很大挑战。 具体工作: 评测现有的Model Merging算法在Speech LM场景下的表现。 针对多模态交互,提出一种模型参数合并策略实现多个ckpt高效合并。产出一个可插拔的Model Merge工具箱,验证在无训练或者轻量训练的设定下实现模型参数merge. 课题要求: 学历与专业: 来自计算机科学、人工智能、电子信息、信号处理等相关专业的博士/硕士同学,具备扎实的机器学习理论基础,有多模态方向研究经验者优先。 技能要求:精通 PyTorch 框架与 Python 编程;深度掌握 Transformer 架构及主流 MLLM(如 LLaVA, Qwen-Audio, Qwen-Omni) 原理;熟悉 PPO、GRPO 等强化学习算法及 DeepSpeed/Megatron 分布式训练工具;有 CoT 推理或 RLHF 实战经验者尤佳。 软性素质: 具备较强的问题分解与独立研究能力;能在模糊问题定义上给出清晰的拆解思路和方法。

公司介绍

深圳市腾讯计算机系统有限公司

深圳市腾讯计算机系统有限公司

深圳市腾讯计算机系统有限公司,成立于1998-11-11,位于广东,法定代表人:马化腾,登记状态:存续,注册资本6500万人民币,公司类型:民营/私企

公司信息:


公司名称:深圳市腾讯计算机系统有限公司


公司类型:互联网/电子商务


公司性质:5000以上


公司地点:


公司规模:--


涉及领域:--


公司网址: