工作职责 1. 设计与执行评估方案：参与构建和实现针对大模型（如对话、推理、代码生成、多模态等能力）的评估基准（Benchmark）与测试用例。 2. 系统性测试与数据分析：对国内外主流大模型进行多维度、可量化的测试，包括但不限于能力测评、安全性评估、稳定性测试及性能对比分析。 3. 结果整理与洞察挖掘：严谨记录实验过程，分析评估数据，识别模型优势、缺陷与潜在风险，并撰写清晰的评估报告与技术文档。 4. 工具与流程支持：协助开发或优化内部的自动化评估工具、脚本及工作流，提升团队评估效率。 5. 技术调研：跟踪业界最新的模型发布、评估方法学与研究动态，并进行总结分享。 职责要求 1. 教育背景：计算机科学、软件工程、人工智能、数据科学或相关专业的在读本科及以上学生。 2. 技术能力： ① 对机器学习/深度学习有基本理解，有大模型（如GPT系列、Claude、LLaMA等）使用或实验经验者优先。 ② 具备良好的数据处理和分析能力，能够运用工具或代码进行数据清洗、统计与可视化。 ③ 具备良好的编程基础，熟练掌握 Python，有使用相关科学计算库（如NumPy, Pandas）的经验。 ④ 熟悉Git等版本控制工具，具备良好的代码习惯。 3. 核心素质： ① 逻辑严谨：思维缜密，注重细节，能够设计公平、可控的实验。 ② 主动学习：对AI技术有强烈兴趣，具备快速学习新技术、新知识的能力。 ③ 责任心与沟通：工作认真负责，有良好的团队协作精神和书面沟通能力。 ④ 英语能力：能够阅读并理解相关的英文技术文献与资料。