1.负责AI大模型的评测系统的构建，与模型训练团队配合不断优化提升AI大模型效果。 2.深入理解大规模语言模型/多模态模型，参与自动化评测框架的开发、评测方案的制定与评测数据集的建设。 3.通过对模型进行全方面细致的评测，明确模型能力边界，对模型能力进行深入分析，产出围绕大模型的客观认知，从而为模型训练迭代提供指导意见。 4.追踪大模型方向前沿进展，积极主动地学习和探索新的评测及分析的方法和技术。 1.本科或硕士在读，计算机及相关专业优先，实习时间不少于4个月，每周不少于4天； 2.良好的 pytorch / python技术栈，具备熟练的阅读代码和编写代码的能力。 3.了解大语言模型，日常高频使用大语言模型解决问题，热衷于探索大语言模型的上限。 4.对SOTA 的大模型技术有深入了解(不管是来自实践还是其他)，能够问出好的问题，并对至少一个重要问题有非共识理解 5.科学的研发习惯;具备良好的问题定义能力;对细节敏感;独立思考; 6.有较强的代码能力，参与过有影响力开源项目/有 acm获奖经验的优先。