1. 熟练掌握 Python、PyTorch，熟悉 Megatron-Core、Transformer Engine 等大模型训练框架； 2. 有新模型结构接入分布式训练框架的实践经验，能够独立完成模型适配、权重转换和训练验证； 3. 深入理解 TP、PP、DP、CP、EP、SP 等并行策略的原理、约束及组合方式； 4. 理解 Attention、稀疏 Attention、线性 Attention、MoE 等模型结构及其并行训练特点； 5. 熟悉 PyTorch Autograd、混合精度、梯度累积、分布式通信和分布式 Checkpoint； 6. 能够系统定位 Loss 异常、数值不稳定、训练 Hang、OOM、通信超时和性能退化等问题。 7. 具备多机多卡训练的数值正确性与性能测试能力。 8. 具备良好的系统设计、工程实现和复杂问题排查能力。 【加分项】 1. 具备 CUDA、Triton 或其他高性能算子开发和优化经验； 2. 熟悉 NCCL、RDMA、通信拓扑以及通信计算重叠优化； 3. 有 MoE、超长上下文或千卡级大模型训练经验； 4. 熟悉 FP8/BF16 训练、Loss Scaling、累加误差及数值稳定性优化； 5. 有训练平台、自动容错、可观测性或大规模集群调度系统建设经验。