课题详情： 课题背景： 多模态大模型正向着原生图音视频融合方向演进。本课题旨在提升腾讯混元大模型对复杂视频、长音视频、复杂图片、多图以及图文交错等场景的深度理解能力，为下一代原生多模态大模型奠定算法基础。 课题挑战： 1、跨模态对齐与联合建模：高分辨率高帧率视频、音频、文本的细粒度跨模态对齐与联合建模； 2、幻觉控制与长上下文建模：在超长视频或音频流中保持理解的准确性，降低模型幻觉，突破现有架构的上下文长度瓶颈； 3、Agentic探索：原生多模态单模型存在先天短板，通过Agentic弥补短板实现综合提升； 4、理解生成一体化下的理解任务，探索生成如何帮助理解。 具体工作： 面向生图生视频场景，研究如何提升多模态大模型的图音视频的理解能力，为图音视频提供全面准确的caption描述，工作包括后训练、强化、架构设计优化、数据管线搭建等。 课题要求： 学历和专业要求： 来自计算机、人工智能、自动化等相关专业的博士/优秀硕士同学。 技术技能要求：扎实的深度学习基础，熟练掌握PyTorch、transformers、verl、Megatron、ms-swift等主流框架；熟悉主流多模态大模型的结构与预训练后训练方法，有相关实践经验和相关top论文。