大模型分布式训练系统与网络互联方向实习生当面告知
北京车和家信息技术有限公司
2027-02-06 19:51:13
其他27届28届实习
岗位详情
地区：
上海市
专业要求：
人工智能软件工程计算机类
岗位职责：
】
- 研究 MoE 模型在多节点 GPU 集群上的通信模式，分析 All-to-All、AllReduce 等 Collective 操作的性能瓶颈，设计拓扑感知的通信优化方案；
- 针对异构网络环境，研究 Expert 放置策略与Token Dispatch 路由算法；
- 使用仿真工具或真实集群（多机多卡）对方案进行实验验证，产出系统级性能数据（吞吐、通信效率、端到端训练时间）；
- 参与论文撰写，在 Mentor 指导下完成顶会投稿。
招聘要求：
【岗位要求】
核心要求（满足其一即可报名）：
- 熟悉 PyTorch 分布式训练框架（DDP/FSDP/DeepSpeed），理解 Tensor Parallelism、Pipeline Parallelism、Expert Parallelism 的通信开销来源；
- 了解集合通信库（NCCL/MPI），对 All-to-All、AllReduce 的底层实现和性能分析有实践经验；
- 熟悉数据中心网络拓扑（Fat-Tree、Torus、Ring 等）， 有网络仿真（NS3/ASTRA-sim 等）或实测经验。
加分项：
- 有 MoE 模型（Mixtral、DeepSeek-MoE 等）训练或推理系统优化经验；
- 读过 FasterMoE、DeepSpeed-MoE、TA-MoE 等系统论文，对 Expert 路由与通信优化有自己的理解；
- 有 MLSys、SC、EuroSys、NSDI 等会议论文经历；
- 具备 C++/CUDA 通信 kernel 开发能力。
公司介绍
北
北京车和家信息技术有限公司
北京车和家信息技术有限公司，成立于2015-04-10，位于北京，法定代表人：冯伟丽，登记状态：存续，注册资本28046.4406万人民币，公司类型：民营/私企
公司信息:公司名称:北京车和家信息技术有限公司公司类型:汽车/摩托车（制造/维护/配件/销售/服务）公司性质:民营企业公司地点:贵阳大数据科创城公司规模:5000以上涉及领域:--公司网址:--