微信-WeLM基座大模型后训练当面告知

深圳市腾讯计算机系统有限公司
2027-02-07 20:30:22
校招25届26届硕士

岗位详情

地区:

北京市

专业要求:

数学与应用数学数据科学人工智能计算机科学与技术软件工程

岗位职责:

课题详情: 课题背景: 为微信基座大模型做通用后训练,在模型已经学会 “说话” 和 “知识” 的基础上,教它 “解决问题” 和 “符合预期”,开发并持续优化让模型从 “能用” 变得 “好用”。 课题挑战/具体工作: 1、基座大模型(LLM)推理能力和通用能力的核心技术研发,包括数学推理、代码、逻辑推理、知识推理、多轮对话、问答、创作、翻译等任务的算法研发、优化,突破模型智力上限; 2、提升基座大模型在复杂场景的处理能力,如多轮交互(复杂指令遵循、多轮对话、角色扮演等)、Agent 基础能力(自主、精准的函数与工具调用,Skills 的精准运用等); 3、跟踪前沿技术,参与前沿算法研究,如研发更高效的强化学习(RL)训练算法、探索自适应思考深度的模型优化算法、探索提升 Token “智能密度” 的方法等,推动研究成果在业务场景的落地应用; 4、对于探索前沿技术有很好的热情,具备独立探索前沿技术的能力,有良好的团队协作和沟通能力。 课题要求: 岗位要求: 1、计算机科学、数学、人工智能等相关专业硕士及以上学历; 2、具备良好的数理基础和 NLP 技术基础,能够熟练使用 Megatron,HuggingFace,DeepSpeed,PyTorch 等框架至少一种,深入理解 Transformer、GPT 等模型架构; 3、在 Post-training 方向有一定研究基础,熟悉 SFT/DPO/PPO/GRPO/Reward Model 等; 4、具备良好的分析和解决问题的能力,针对具体的应用场景能合理设计和优化算法并应用; 5、对于探索前沿技术有很好的热情,具备独立探索前沿技术的能力,有良好的团队协作和沟通能力。 加分项: 1、主导过推理任务优化项目(如数学、编程、逻辑问答),在权威推理评测中取得过显著效果提升; 2、以第一作者身份发表过 NeurIPS、ICML、ICLR、ACL、EMNLP、NAACL 等论文;

招聘要求:

1、计算机科学、数学、人工智能等相关专业硕士及以上学历; 2、具备良好的数理基础和 NLP 技术基础,能够熟练使用 Megatron,HuggingFace,DeepSpeed,PyTorch 等框架至少一种,深入理解 Transformer、GPT 等模型架构; 3、在 Post-training 方向有一定研究基础,熟悉 SFT/DPO/PPO/GRPO/Reward Model 等; 4、具备良好的分析和解决问题的能力,针对具体的应用场景能合理设计和优化算法并应用; 5、对于探索前沿技术有很好的热情,具备独立探索前沿技术的能力,有良好的团队协作和沟通能力。 加分项: 1、主导过推理任务优化项目(如数学、编程、逻辑问答),在权威推理评测中取得过显著效果提升; 2、以第一作者身份发表过 NeurIPS、ICML、ICLR、ACL、EMNLP、NAACL 等论文;

公司介绍

深圳市腾讯计算机系统有限公司

深圳市腾讯计算机系统有限公司

深圳市腾讯计算机系统有限公司,成立于1998-11-11,位于广东,法定代表人:马化腾,登记状态:存续,注册资本6500万人民币,公司类型:民营/私企

公司信息:


公司名称:深圳市腾讯计算机系统有限公司


公司类型:互联网/电子商务


公司性质:5000以上


公司地点:


公司规模:--


涉及领域:--


公司网址: