大模型训练并行计算工程师当面告知

中科寒武纪科技股份有限公司
2027-01-03 22:17:04
社招博士本科硕士

岗位详情

地区:

北京市

专业要求:

电子信息工程人工智能计算机科学与技术软件工程

岗位职责:

1、负责大模型训练的系统性能分析及解决方案的制定,高效分析业务瓶颈,跟进和研究大模型训练性能和内存的优化手段,提升大模型训练效率; 2、负责跟进业界大模型训练的前沿工作,对MoE,长序列,文生图等场景有较为深刻的理解,熟练掌握并行策略的通信计算模式,根据业务特点不断优化分析已有的各种并行策略; 3、熟悉大模型训练整体流程,熟悉大模型训练的评价指标,能够完成大模型训练中的监控,稳定性训练等业务的支持和开发工作; 4、性能评估方法,设计和建设大模型训练的性能内存评估方法,能够分析性能原因,通信比例情况,内存占用,计算资源消耗等问题。

招聘要求:

1、本科及以上学历,计算机相关专业,熟悉大模型训练框架Megatron-LM/Deepspeed等; 2、具备良好的编程能力,熟练掌握性能分析工具和方法,熟悉torch的性能分析工具等; 3、逻辑思维清晰,具有良好的沟通能力,抗压能力和责任心; 4、具有实际开发或优化并行策略的优先; 5、加分项:具备千卡以上训练经验。

公司介绍

中科寒武纪科技股份有限公司

中科寒武纪科技股份有限公司

中科寒武纪科技股份有限公司,成立于2016-03-15,位于北京,法定代表人:陈天石,登记状态:存续,注册资本41835.0224万人民币,公司类型:民营/私企

公司信息:


公司名称:中科寒武纪科技股份有限公司


公司类型:


公司性质:--


公司地点:


公司规模:


涉及领域:--


公司网址: