【岗位职责】 设计和构建大模型评测方法、系统和infra，重点面向coding agent和自动化办公场景； 深度挖掘大模型在复杂任务、长尾场景中的能力弱点，设计并构建具有可扩展性的自动化评测方案及高质量数据集； 参与 long-horizon agent 类任务的评测方法建设，建立能够真实反映模型专业能力的评估体系； 构建自动化评分机制，建模专业领域判断标准与人类偏好，准确评测出模型的综合表现； 能够基于评测分析报告，定位模型能力短板，推动评测、数据、训练之间形成闭环，持续提升模型的能力上限。 【任职资格】 1. 27届毕业，统招硕士及以上学历（优秀者本科亦可），计算机相关专业，有较强的算法和工程能力； 2. 熟练掌握 Python 语言及 PyTorch 深度学习框架，熟悉 Agent 基本原理； 3. 熟悉Transformer架构和大语言模型原理； 4. 具备良好的沟通能力、跨团队协作能力，能与非技术的行业专家沟通协作。 【加分项】 1. 有构建公开或内部 Benchmark 的完整经验，能阐述任务设计与评判方式背后的思路； 2. 熟悉主流 agent harness（Claude Code、Codex 等）； 3. 有半年以上深度使用 AI Agent 类产品完成真实专业工作的经历，对其在长任务中的行为特征有切身体感； 4. 有高水平论文、开源项目或竞赛成果。 【智谱星计划】 我们在寻找和招募对科学研究、创新技术有热情和潜力的全球顶尖技术人才。如果你在学术、竞赛、工程实践任一方面有突出表现，如果你想与权威科学家、世界一流技术人才共同挑战突破性的前沿技术，引领人工智能创新变革，就来成为“智谱星”吧！ - 权威Mentor带教，飞速成长 - 极具竞争力的智谱星薪酬体系 - 探索技术边界、冲刺SOTA榜单 - 与全球最优秀的AI人才共事