超大规模多模态训练系统性能优化当面告知

深圳市腾讯计算机系统有限公司
2027-02-07 20:30:31
校招博士25届26届硕士

岗位详情

地区:

杭州市

专业要求:

人工智能计算机科学与技术

岗位职责:

课题详情: 针对视频模型/世界模型超大规模集群训练场景,聚焦优化超长序列和计算负载不均衡问题: 1. 针对超长序列场景(1M+)的视频训练,需要解决由于时空复杂度随帧数呈平方级爆炸导致的显存墙突破难、计算密集型算子引发的硬件利用率(MFU)低,以及流水线并行中因帧间依赖造成的负载不均与通信阻塞等问题; 2. 针对世界模型训练中视觉、音频、文本等模态间的计算特性差异和不同批次数据长短序列问题,研究基于实时数据调度和计算图切分的动态负载均衡方案,以解决因“木桶效应”导致的GPU空置问题,从而显著提升多模态世界模型在超大规模集群训练的吞吐量与资源利用率。 课题要求: 1、计算机科学、人工智能、模式识别、计算语言学等相关专业硕士及以上学历; 2、精通一种或多种主流深度学习框架(PyTorch、JAX、TensorFlow),具备大规模分布式训练经验; 3、熟悉LLM/DiT等模型的训练流程,有 Megatron、DeepSpeed、FSDP等大规模训练框架使用经验者优先; 4、具备扎实的工程实现能力与代码规范意识,熟悉CUDA优化、参数并行、流水线并行等技术。

招聘要求:

课题详情: 针对视频模型/世界模型超大规模集群训练场景,聚焦优化超长序列和计算负载不均衡问题: 1. 针对超长序列场景(1M+)的视频训练,需要解决由于时空复杂度随帧数呈平方级爆炸导致的显存墙突破难、计算密集型算子引发的硬件利用率(MFU)低,以及流水线并行中因帧间依赖造成的负载不均与通信阻塞等问题; 2. 针对世界模型训练中视觉、音频、文本等模态间的计算特性差异和不同批次数据长短序列问题,研究基于实时数据调度和计算图切分的动态负载均衡方案,以解决因“木桶效应”导致的GPU空置问题,从而显著提升多模态世界模型在超大规模集群训练的吞吐量与资源利用率。 课题要求: 1、计算机科学、人工智能、模式识别、计算语言学等相关专业硕士及以上学历; 2、精通一种或多种主流深度学习框架(PyTorch、JAX、TensorFlow),具备大规模分布式训练经验; 3、熟悉LLM/DiT等模型的训练流程,有 Megatron、DeepSpeed、FSDP等大规模训练框架使用经验者优先; 4、具备扎实的工程实现能力与代码规范意识,熟悉CUDA优化、参数并行、流水线并行等技术。

公司介绍

深圳市腾讯计算机系统有限公司

深圳市腾讯计算机系统有限公司

深圳市腾讯计算机系统有限公司,成立于1998-11-11,位于广东,法定代表人:马化腾,登记状态:存续,注册资本6500万人民币,公司类型:民营/私企

公司信息:


公司名称:深圳市腾讯计算机系统有限公司


公司类型:互联网/电子商务


公司性质:5000以上


公司地点:


公司规模:--


涉及领域:--


公司网址: