我们聚焦实时多模态交互、数字人、虚拟环境、音视频生成等前沿 AI 场景，建设面向下一代多模态模型的评测算法与 Benchmark 体系。随着模型从“文本问答”走向 实时音视频理解、全双工语音交互、数字人生成、虚拟行为生成与多模态环境交互，传统静态评测已无法准确刻画模型能力。我们希望构建一套覆盖“理解 → 交互 → 生成 → 反馈”的多模态评估体系，帮助模型和产品持续发现能力边界、定位失败原因，并推动算法优化和产品体验提升。 重点研究方向： 1. 实时多模态理解评测： * 面向 audio-video-text 原生多模态模型，评估模型在连续音视频流中的理解能力； * 研究 streaming understanding、micro-turn understanding、audio-visual grounding、多轮上下文保持等能力评估方法； 2. 实时交互能力评测： * 评估模型在 full-duplex interaction、streaming speech-to-speech、turn-taking、barge-in、interrupt handling 等场景下的交互质量； * 设计首响延迟、首音频延迟、抢话率、漏听率、打断成功率、会话连续性等指标体系； 3. 多模态生成评测： * 面向 digital human、virtual avatar、talking head、full-body avatar、virtual environment、embodied behavior generation 等方向，评估生成内容的自然性、一致性和可控性； * 重点研究 lip-sync、audio-motion alignment、co-speech gesture、identity consistency、emotion/prosody consistency、temporal consistency 等评测方法； 4. 交互式生成评测： * 研究用户实时输入下，数字人、虚拟角色或虚拟环境是否能持续、稳定、可控地响应； * 评估用户中途打断、修改意图、切换任务、改变情绪或环境状态时，生成系统的响应质量； 5. 自动化 Judge 与评测可信度： * 探索 VLM Judge、Audio Judge、Multimodal Judge、LLM-as-Judge 在多模态评测中的应用； * 研究人评一致性、Judge 校准、Rubric 设计、评测偏差控制和评测结果可信度分析； 6. 多模态 Benchmark 建设： * 构建面向实时音视频交互、数字人、虚拟环境和多模态生成的高质量 Benchmark； * 解决静态测试集覆盖不足、主观体验难量化、真实用户场景不足、评测结果与产品体感不一致等问题。 岗位职责： 1. 设计面向实时多模态理解、交互和生成能力的评测指标体系与 Benchmark； 2. 构建音视频流式评测任务、数字人/虚拟环境交互任务、多模态生成任务等数据集； 3. 研发自动化评测方法，结合规则评分、模型裁判、人评校准和统计分析提升评测效率与可信度； 4. 分析多模态模型在理解、交互、生成、时序一致性、音画同步、行为自然性等方面的失败原因； 5. 跟踪 GPT-realtime、Gemini Live、SeedRealtime、Sora、Seedance、数字人、虚拟角色、世界模型等方向的前沿进展，并转化为内部评测方法； 6. 推动研究成果在真实业务中落地，产出评测基准、技术报告、专利、论文或开源项目。