研究型实习生 - 多模态模型大规模训练当面告知
阿里巴巴(中国)有限公司
2027-02-07 21:45:02
博士27届28届实习硕士
岗位详情
地区:
北京
·
上海
专业要求:
计算机科学与技术
岗位职责:
1.参与包括多模态基模型Pretrain、SFT等多个阶段的训练任务优化;
2.致力于提升不同阶段模型训练负载的极限吞吐,能够针对不同模型负载系统化的分析不同阶段耗时并提供相应的优化手段,优化手段包括但不局限于算子优化、通信优化、分布式策略优化等;
3.参与训练框架对于不同硬件的支持和优化。
招聘要求:
1.计算机相关专业博士或硕士,在MLSYS领域发表过相关顶会文章者优先;
2.扎实的工程能力,优良的编程风格,熟悉Python/C++语言和常用设计模式,具备复杂系统的设计开发调试能力;
3.熟悉深度学习的基础理论概念,熟悉Transformer架构,熟悉主流大语言模型、多模态模型等模型特点;
4.熟练PyTorch等领域常用框架,掌握Megatron、DeepSpeed、JAX等不同训练框架的各自特点和细节;
5.优良的沟通表达能力、团队合作意识和经验;具备快速学习的能力,以及深入钻研技术问题的耐心;
6.熟悉计算机体系结构基础知识,有扎实异构计算优化(GPGPU/x86/ARM等)、高性能网络架构通信优化、分布式训练策略优化等方面的经验。
公司介绍

阿里巴巴(中国)有限公司
阿里巴巴(中国)有限公司,成立于2007-03-26,位于浙江,法定代表人:蒋芳,登记状态:存续,注册资本15460.55039万美元,公司类型:民营/私企
公司信息:
公司名称:阿里巴巴(中国)有限公司
公司类型:互联网/电子商务
公司性质:5000以上
公司地点:
公司规模:--
涉及领域:--
公司网址: