【蚂蚁星】实时音视频交互大模型-蚂蚁健康-27届当面告知
蚂蚁科技集团股份有限公司
2026-11-29 00:00:00
博士27届实习硕士
岗位详情
地区：
北京
·
上海
·
杭州市
专业要求：
电子信息工程人工智能计算机科学与技术生物医学工程
岗位职责：
1. 负责实时音视频交互与生成大模型的算法研发和技术路线设计，建设具备实时语音理解、视觉感知、视频生成、多轮对话、上下文记忆、世界状态保持与自然响应能力的多模态智能交互系统，探索理解、生成与交互统一的 Omni 模型架构；
2. 参与 Speech LLM / Audio-Visual LLM / Realtime Multimodal LLM / Video Generation 等方向的研究与开发，包括但不限于语音语义理解、视频场景理解、端到端语音对话、多模态对齐、音视频联合建模、音视频同步生成、长视频生成及理解生成统一建模等前沿方向；
3. 面向实时多模态交互场景，重点优化模型在流式输入与生成、低延迟响应、全双工交互、打断处理、轮次管理、音视频同步、人物/身份一致性、长时间时序一致性与世界状态保持等方面的能力，同时提升模型在噪声、多说话人及复杂真实环境下的鲁棒性，打造自然、连续、沉浸式的实时音视频交互体验；
4. 参与音视频理解与生成大模型的数据体系建设，包括实时对话数据、医疗问诊音视频数据、Speech-to-Text / Audio-to-Text / Video-to-Text / Speech-to-Speech / Video-to-Video / Image-to-Video 等多模态数据构建，以及数据标注规范设计、数据合成、清洗、质量评估和高质量训练数据闭环建设；
5. 负责模型训练、后训练、评测和推理优化工作，探索 SFT、偏好学习、强化学习、Reward Modeling、多模态指令微调、流式推理加速、模型压缩与部署等技术。
招聘要求：
1. 计算机科学、人工智能、电子信息、语音技术、多媒体技术、生物医学工程等相关专业硕士及以上学历，博士优先；
2. 对实现自然实时的人机音视频交互、推动 AI 解决医疗健康问题抱有热情，具备较强的算法研究能力、工程实践能力和技术判断力；
3. 在以下一个或多个方向有深入研究或实践经验：语音识别 ASR、语音合成 TTS、语音理解 Audio LLM、Speech LLM、多模态大模型、视频理解、实时对话系统、端到端语音交互模型；
4. 熟悉大模型预训练、SFT、RLHF/RLAIF、Agentic RL、Reward Modeling、模型评测、多模态对齐等技术者优先；
5. 有医疗 AI、智能问诊、语音助手、视频理解、多模态临床数据或大模型产品落地经验者优先；
6. 有 ICASSP、INTERSPEECH、ACL、EMNLP、NeurIPS、ICLR、CVPR、ICCV、AAAI 等顶会论文，或重要开源项目、大模型训练平台、语音/多模态系统建设经验者优先。
公司介绍
蚂蚁科技集团股份有限公司
蚂蚁科技集团股份有限公司，成立于2000-10-19，位于浙江，法定代表人：韩歆毅，登记状态：存续，注册资本3500000万人民币，公司类型：民营/私企
蚂蚁集团是中国较大的移动支付平台支付宝的母公司，也是全球金融科技开放平台，致力于以科技推动包括金融服务业在内的全球现代服务业的数字化升级，携手合作伙伴为消费者和小微企业提供普惠、绿色、可持续的服务，为世界带来微小而美好的改变。