研究型实习生-半监督语音多模态大语言模型预训练范式研究当面告知
阿里巴巴（中国）有限公司
2027-02-07 21:45:02
博士28届29届实习
岗位详情
地区：
北京
·
杭州市
专业要求：
人工智能计算机科学与技术
岗位职责：
语音大模型正从级联架构走向端到端统一建模，但与文本大模型不同，语音、声音、音乐等任务至今仍高度依赖标注数据。本项目以半监督预训练为核心范式，用海量无标注数据做自监督语言建模，再用少量标注数据完成下游对齐，让模型自动发掘语言与韵律情感、声音事件、音乐结构、视觉信号之间的内在关系。
研究方向（包括但不限于）：
1. 统一语音半监督预训练范式，验证语音理解与生成能力的 Scaling Law；
2. 副语言 Tokenizer 设计与语义-表现力联合建模，实现可控语音生成与零样本风格迁移；
3. 高精度声音理解，解除对自动标注链路的依赖，冲击 MMAU、MMAR 性能上限；
4. 音乐理解与生成，歌词与旋律的映射建模，语音与音乐的统一生成；
5. 图像-音频跨模态预训练，三模互为监督与细粒度音画时序对齐。
招聘要求：
1. 计算机科学、人工智能、电子信息、机器学习等相关专业的博士在读；
2. 机器学习与深度学习基础扎实，熟悉 Transformer 与自回归语言建模，了解掩码建模、对比学习等自监督范式；
3. 具备出色的编程能力，熟练掌握 PyTorch 等深度学习框架和 Python，有大规模分布式训练经验者优先；
4. 在语音、音频、音乐、多模态等一个或多个方向有研究或实践经验，对自监督语音表征、音频 Codec 与离散 Tokenizer 有基本认知；
5. 在 NeurIPS、ICLR、ICML、ACL、EMNLP、CVPR、ACM MM、ICASSP、Interspeech 等顶级会议或期刊发表过论文，或在相关权威评测、竞赛中取得优异成绩者优先；
6. 每周实习至少【4】天，连续实习【6】个月以上，可长期合作者优先。
公司介绍
阿里巴巴（中国）有限公司
阿里巴巴（中国）有限公司，成立于2007-03-26，位于浙江，法定代表人：蒋芳，登记状态：存续，注册资本15460.55039万美元，公司类型：民营/私企
公司信息:
公司名称:阿里巴巴（中国）有限公司
公司类型:互联网/电子商务
公司性质:5000以上
公司地点:
公司规模:--
涉及领域:--
公司网址: