蚂蚁数字科技-Agent后训练算法工程师当面告知
蚂蚁科技集团股份有限公司
2027-01-03 00:00:00
校招博士26届27届硕士
岗位详情
地区：
杭州市
专业要求：
人工智能计算机科学与技术
岗位职责：
项目简介：
如何让大模型在多轮交互中"边决策、边使用工具、边进化"，是 Agent 后训练的核心命题。当前大模型已具备基础工具调用能力，但在多轮交互中仍面临奖励信号稀疏、长轨迹信用分配困难、工具环境不可复现、安全边界难以编码化等挑战。单纯的 Prompt 约束无法改写模型的固有行为模式，必须通过 Agentic RL 让模型在真实工具环境中自主探索并持续改进。
本项目围绕 Agentic RL 全栈建设展开，从四个互补维度推进研究：构建面向多轮 Agent 交互的 RL 训练管线（rollout→reward→replay→update），设计融合硬约束规则、过程奖励（PRM）、结果奖励（ORM）与 Pairwise 比较的多维奖励体系，研究在策略蒸馏（On-Policy Distillation, OPD）与 RL 联合优化中的置信门控与退火调度机制，以及建设可复现、可审计的工具沙箱与结构化 trace 数据闭环。核心目标是让模型在真实工具环境中学会识别用户真实目标、何时追问、选择什么工具、如何组织调用顺序，并在安全边界内给出严谨结论。项目涉及 GRPO/PPO 等策略优化算法、多轮工具调用 RL、On-Policy 蒸馏、用户仿真与对抗训练、沙箱环境工程等后训练核心技术，具有明确的学术前沿性和发表潜力。
招聘要求：
1. 在读硕士或博士研究生，计算机科学、人工智能、机器学习等相关专业；
2. 熟悉大语言模型（LLM）的基本原理，了解 Transformer 架构与主流开源模型（如 Qwen、LLaMA 等）；
3. 具备扎实的 Python 编程能力和 PyTorch 深度学习框架使用经验；
4. 对强化学习（尤其是 RLHF/RLVR/GRPO/PPO）、大模型后训练方向有了解或研究兴趣；
5. 了解或使用过主流 Agentic RL 训练框架（如 veRL、OpenRLHF、TRL、OpenPipe ART 等）者优先；
6. 对 Agent 工具调用、多轮交互、知识蒸馏或 LLM 推理能力提升方向有了解或研究兴趣；
7. 具有良好的文献阅读能力和数学基础，能理解优化目标推导与理论分析；
8. 逻辑思维清晰，具备独立设计和执行实验的能力，能从实验结果中提炼规律并迭代方案。
加分项：
1. 有 RLHF/RLVR/GRPO/DPO 等大模型后训练方法的实践经验，能独立跑通 SFT→RL 全流程；
2. 有使用分布式训练框架（如 veRL、DeepSpeed、FSDP、Megatron-LM 等）的经验；
3. 有多轮 Agent RL、工具调用 RL、或 On-Policy Distillation 方向的论文发表；
4. 熟悉 GRPO、PPO 等策略优化算法的原理与实现，理解 advantage 估计、KL 约束、clip 机制等细节；
5. 有奖励设计经验，包括规则奖励、过程奖励模型（PRM）、结果奖励模型（ORM）或 LLM-as-Judge；
6. 有沙箱环境、工具仿真或 Agent 评测体系建设经验（如 τ-bench、SWE-bench、OSWorld 等）；
7. 了解知识蒸馏、自蒸馏或在线蒸馏的相关方法。
公司介绍
蚂蚁科技集团股份有限公司
蚂蚁科技集团股份有限公司，成立于2000-10-19，位于浙江，法定代表人：韩歆毅，登记状态：存续，注册资本3500000万人民币，公司类型：民营/私企
蚂蚁集团是中国较大的移动支付平台支付宝的母公司，也是全球金融科技开放平台，致力于以科技推动包括金融服务业在内的全球现代服务业的数字化升级，携手合作伙伴为消费者和小微企业提供普惠、绿色、可持续的服务，为世界带来微小而美好的改变。