部门介绍： 团队在多模态大模型的音频/视频/图像的识别、伪造检测、推理、大模型压缩和加速以及安全性上，团队发表20+顶会论文，其中在AI与计算机视觉六大顶会（CVPR, ICCV, ECCV, ICLR, NeurIPS,ICML）及顶级期刊累计产出10+高质量论文，成果被视觉领域顶级期刊IJCV 以及 TCSVT 收录，相关成果在光鉴凭证产品、视频核身产品、声纹核身产品上进行推广和应用。 1.AudioMCQ，开源了最大规模、最高质量的音频后训练数据集AudioMCQ（完全基于开源数据）。该模型在MMAU、MMAR、MMSU等主流评测基准上达到了新的SOTA性能； 2.Forensichub，首次提出虚假图像检测和定位任务（FIDL）来统一四个现有图像取证赛道，以解决领域孤岛和实际应用脱节这两个长期存在的问题，构建了一套完整的跨领域间统一的基准和代码库； 3.openmmsec，开源了首个开放式多模态 AI安全基准数据集openmmsec。该数据集有百万量级，从而成为推动安全技术进化、筑牢可信AI生态的关键力量； 4.textShield-R1，首个将强化学习（Reinforcement Learning,RL）引入到多模态大语言模型（MLLM）篡改文本检测任务中的框架； 5.DAR (Depth AutoRegressive)框架，将单目深度估计（Monocular Depth Estimation）视为一种序列生成任务，而非传统的回归或分类任务。融合了连续和离散的特点，提升了算法的稳定性，刷新了zero-shot生成能力的算法性能； 6.order chain，解决了多模态大语言模型（MLLM）在“序数理解（Ordinal Understanding）”方面的短板，显著提升了模型在细粒度视觉推理任务中的准确性和泛化性； 7.OmniZip，行业第一个为OmniLLMs量身定制的视听令牌压缩方法。在保持98%模型性能的同时，将FLOPs减少了60%-70%，并实现2.51-3.42倍的推理加速比。 职位描述： 1.伪造检测方向，统一篡改和生成，统一图像、音频和视频的Allinone模型，并探索推理和生成reward； 2.多模推理方向，视觉图像&视频reasoning，提升理解和推理能力，攻坚reward设计、多模态推理框架设计等核心问题； 3.多模交互方向，构建统一的端到端多模态模型，使其能够像人类一样同时感知多种模态的信息（文本、图像、音频、视频），并以流式方式生成文本和自然语音响应。