Agent 底线与执行安全评估研究当面告知
深圳市腾讯计算机系统有限公司
2026-12-12 20:45:03
其他校招27届
岗位详情
地区:
北京
·
上海
·
深圳市
专业要求:
网络空间安全
岗位职责:
课题详情:
课题背景: Agent 获得工具权限后,风险从"说错话"变成"做错事"。最新研究显示主流模型在可执行红队基准上宏平均攻 击成功率超过六成,且近五分之一的实际违规发生在 Agent 已经明确说出相关约束之后,暴露出认知与执行之间的鸿沟。同时提示注入连续两年位居 OWASP 大模型风险首位,监管侧也已将对抗测试文档化列为合规要求。 课题挑战: 第一,安全评测测的是最坏情况而非平均水平,采样策略、指标定义和统计方法都与能力评测完全不同。第二,单一攻 击成功率会把暴露、执行、观测和判定四件事混在一起,需要沙箱内的状态级证据来确认真实危害是否发生,而不是看模型说了什么。第三,风险是轨迹级现象,危险路径可能在逐步执行中形成,单轮拒答测试完全看不见。第四,Agent 会因察觉自己正在被评测而改变行为,评测环境的隐蔽性成为方法学难题。第五,公开攻 击集会被快速拟合,必须持续产出私有对抗样本,对团队持续产能提出很高要求。 具体工作: 负责 Agent 安全评测体系建设,构建可执行沙箱与轨迹级红队方法,建立危害判定与证据链标准,输出风险画像并支撑发布准入决策。
课题要求:
学历和专业: 网络安全、人工智能安全、计算机系统、机器学习等相关专业,有红队攻防、对抗鲁棒性或安全评测研究经历者优先。 技术技能: 熟悉提示注入与越狱攻 击方法,掌握 Agent 沙箱与权限隔离技术,具备自动化攻 击生成与轨迹分析能力,精通 Python,了解相关合规框架要求。 软性素质: 具备攻 击者视角与防守者责任感,能在业务压力下坚持安全底线;与法务、合规和产品团队协作顺畅;对新型风险保持高度敏感和主动性。
招聘要求:
课题详情:
课题背景: Agent 获得工具权限后,风险从"说错话"变成"做错事"。最新研究显示主流模型在可执行红队基准上宏平均攻 击成功率超过六成,且近五分之一的实际违规发生在 Agent 已经明确说出相关约束之后,暴露出认知与执行之间的鸿沟。同时提示注入连续两年位居 OWASP 大模型风险首位,监管侧也已将对抗测试文档化列为合规要求。 课题挑战: 第一,安全评测测的是最坏情况而非平均水平,采样策略、指标定义和统计方法都与能力评测完全不同。第二,单一攻 击成功率会把暴露、执行、观测和判定四件事混在一起,需要沙箱内的状态级证据来确认真实危害是否发生,而不是看模型说了什么。第三,风险是轨迹级现象,危险路径可能在逐步执行中形成,单轮拒答测试完全看不见。第四,Agent 会因察觉自己正在被评测而改变行为,评测环境的隐蔽性成为方法学难题。第五,公开攻 击集会被快速拟合,必须持续产出私有对抗样本,对团队持续产能提出很高要求。 具体工作: 负责 Agent 安全评测体系建设,构建可执行沙箱与轨迹级红队方法,建立危害判定与证据链标准,输出风险画像并支撑发布准入决策。
课题要求:
学历和专业: 网络安全、人工智能安全、计算机系统、机器学习等相关专业,有红队攻防、对抗鲁棒性或安全评测研究经历者优先。 技术技能: 熟悉提示注入与越狱攻 击方法,掌握 Agent 沙箱与权限隔离技术,具备自动化攻 击生成与轨迹分析能力,精通 Python,了解相关合规框架要求。 软性素质: 具备攻 击者视角与防守者责任感,能在业务压力下坚持安全底线;与法务、合规和产品团队协作顺畅;对新型风险保持高度敏感和主动性。
公司介绍

深圳市腾讯计算机系统有限公司
深圳市腾讯计算机系统有限公司,成立于1998-11-11,位于广东,法定代表人:马化腾,登记状态:存续,注册资本6500万人民币,公司类型:民营/私企
公司信息:
公司名称:深圳市腾讯计算机系统有限公司
公司类型:互联网/电子商务
公司性质:5000以上
公司地点:
公司规模:--
涉及领域:--
公司网址: