-负责大模型智能标注与智能评测平台的整体设计、研发和业务落地 -建设自动标注、弱监督标注、模型协同标注、主动学习和人工复核相结合的数据生产体系 - 设计任务分类、内容分级、评测 Rubric 和质量标准，支持不同业务场景快速建立理想态 -研发 Judge Model、Reward Model 和评测 Agent，支持 Pointwise、Pairwise、GSB及细粒度维度评测 -建设评测校准机制，通过金标集、专家评审和一致性分析持续提升人机一致率及评测可信度 -建设线上反馈驱动的自动迭代闭环，实现 Bad Case 发现、归因、数据生成、训练和回归评测 -识别位置偏差、长度偏好、自洽偏差和模型同源偏差，提升评测系统的稳定性与可解释性 -支撑模型选型、流量分配和收益衡量，为业务模型升级与上线决策提供依据 -计算机、人工智能、机器学习、统计学等相关专业本科及以上学历 -熟练掌握 Python、PyTorch及主流大模型应用或训练框架 -熟悉大模型评测方法，具备 Judge Model、Reward Model、Rubric 或评测集建设经验 - 熟悉数据工程和标注质量治理，能够设计可扩展、可追溯的数据生产链路 - 理解模型偏差、一致性、置信度校准和统计显著性等基本方法 -具备良好的业务抽象能力，能够把产品目标转化为评测标准和技术指标 -有医疗健康、智能标注、Agent、RLHF或大规模模型评测平台经验者优先