大模型评测工程师当面告知
北京和利时系统工程有限公司
2027-01-09 14:11:43
校招27届本科硕士
岗位详情
地区：
北京
专业要求：
人工智能计算机科学与技术
岗位职责：
1、建设场景级评测集、Golden Case 与自动化回归，定义发版质量门禁；2、设计证据包与停止条件（数据版本、模型版本、约束/规则结果、人工确认记录等）；3、实现或配置决策门控：超适用域降级、证据缺失拦截、风险分级转人工；4、与算法、认知运行时协作，将评测与门控接入 CI/发布流程；5、输出可审计的决策轨迹与验收报告材料；6、组织测试用例设计与回归执行、缺陷管理与版本质量报告；支持现场验收测试与问题复现；7、对合同约定的效果类指标建立在线测量口径并按门限判定，形成可向客户出示的举证材料；8、建设记忆与经验治理机制：Agent 结论回流的入库门控、经验条目的定期回标、技能条目的分级晋级判定。
招聘要求：
1、具备评测集建设、自动化回归或质量门禁落地经验；2、具备规则引擎/策略引擎或业务审核、风控流水线经验之一；3、理解 LLM/Agent 常见失效模式（幻觉、越权工具调用、证据不足仍下结论）并能设计拦截点；4、熟练使用 Python，能开发校验器或评测脚本；5、具备审计留痕或操作可追溯方案设计/实现经验；6、具备把主观效果指标转化为可测量口径的能力：能定义「建议被采纳」「根因判断正确」的判定规则、采样方式与统计口径，并说明其局限；7、具备回归测试体系与缺陷管理经验，能设计数据类用例（对齐、缺失、时钟异常等）。
公司介绍
北
北京和利时系统工程有限公司
北京和利时系统工程有限公司，成立于1996-09-25，位于北京，法定代表人：李智，登记状态：存续，注册资本10000万人民币，公司类型：民营/私企
公司信息:公司名称:北京和利时系统工程有限公司公司类型:仪器/仪表/工业自动化/电气公司性质:1000-4999人公司地点:北京市海淀区学清路9号汇智大厦A座10层公司规模:--涉及领域:--公司网址:北京市海淀区学清路9号汇智大厦A座10层