职位描述： 我们正在招聘大模型预训练评测研发实习生，共同建设覆盖语言模型与多模态模型的预训练评测体系。你可以根据个人兴趣和能力，重点参与以下一个或多个方向： 一、Benchmark 建设与模型评测 1. 负责 Public Benchmark、In-house Benchmark 及多模态 Benchmark 的调研、接入与维护； 2. 参与评测数据的清洗、格式转换、质量检查和版本管理； 3. 支持预训练模型不同阶段、不同 Checkpoint 的评测，跟踪并分析模型能力变化； 4. 参与模型能力拆解，分析模型的优势、短板、异常表现和能力退化风险； 5. 使用大模型辅助数据处理、评测分析和日常研发，持续提升工作效率； 6. 跟踪业界主流模型、Benchmark 和评测方法，协助完善内部预训练评测体系。 二、评测框架与自动化研发 1. 参与 LLM Harness 及多模态评测框架的设计、开发与维护； 2. 参与 Eval Workflow 建设，推动评测任务编排、执行、监控和结果分析自动化； 3. 参与推理引擎及不同模型架构的适配，支持评测任务稳定、高效运行； 4. 优化评测系统的并发能力、执行效率、稳定性和可扩展性； 5. 建设通用评测工具与基础组件，提高 Benchmark 接入和模型评测效率； 6. 协助定位评测链路中的工程问题，持续改进系统架构和研发体验。