研究型实习生-面向人机交互的多模态语音感知增强技术研究当面告知

阿里巴巴(中国)有限公司
2027-02-07 21:45:03
27届28届29届实习硕士

岗位详情

地区:

北京
·
杭州市

专业要求:

电子信息工程人工智能自动化计算机科学与技术

岗位职责:

结合最新大模型技术进展,聚焦以下两类核心技术问题: 1.语义感知的端到端语音增强联合优化 传统增强算法仅追求频谱失真最小化(PESQ),常导致语音语义扭曲。我们将探索基于大模型先验的语义感知增强范式: a.音频增强 Token 与后端模型联合建模:研究将神经编解码器的音频增强 Token 直接作为大模型输入,探索增强模块与 LLM 等后端任务的端到端联合训练,利用 LLM 的语义预测能力修复弱网或强噪下的语音缺失。 b.语义一致性优化准则:建立兼顾听感质量(PESQ/STOI)与语义完整性(WER)的多目标优化函数,确保增强后的语音在保留高保真听感的同时,最大化后端任务模型的理解准确率。 2.复杂声学场景下的多模态鲁棒感知 针对远场、多说话人及非平稳噪声场景,研究多模态融合的语音增强技术: a.多通道语音交互:研究基于深度学习的非线性 AEC 算法,探索回声消除与感知交互大模型的端到端建模,提升复杂场景理解力,降低链路耗时和效果损耗,保障弱网环境下的音频完整性与交互连续性。 b.听觉注意力空间信息建模:结合麦克风阵列拾音、多音源通道及多模态的空间信息,探索跨模态注意力机制,模拟人类“鸡尾酒会效应”,动态聚焦目标声源,推进生成式目标说话人抽取、音源分离等任务的技术边界,提升嘈杂环境下的交互鲁棒性。

招聘要求:

1.计算机科学、人工智能、电子工程、自动化或相关专业研究生在读。 2.掌握 主流开源工具和框架(如TensorFlow、PyTorch)。具备出色的编程能力,熟练掌握Python或其他相关编程语言,具有良好的代码编写习惯和程序开发经验。 3.在顶级会议(ICASSP/InterSpeech等)或期刊上发表过相关领域的论文,或者有知名开源项目经验。 4.具备独立科研能力、严谨的工程实现习惯及良好的团队协作意识。

公司介绍

阿里巴巴(中国)有限公司

阿里巴巴(中国)有限公司

阿里巴巴(中国)有限公司,成立于2007-03-26,位于浙江,法定代表人:蒋芳,登记状态:存续,注册资本15460.55039万美元,公司类型:民营/私企

公司信息:


公司名称:阿里巴巴(中国)有限公司


公司类型:互联网/电子商务


公司性质:5000以上


公司地点:


公司规模:--


涉及领域:--


公司网址: