业务介绍： 我们在做“ai 在金融领域全业务链路的落地”，面向研究、投研、风控、合规、运营、产品与工程团队，打造生产级的金融多模态文档理解与信息抽取体系，并进一步构建可规模化复用的 多模态 **agent（browser use / computer use）** 能力：从公告/财报/研报/合同/尽调材料等文档的理解、结构化抽取与一致性校验，到跨站检索、证据归因、可追溯引用与任务闭环，目标是把金融数据做到稳定、可控、可交付。 岗位方向：金融多模态文档理解 × 信息抽取 × 多模态 agent（browser/computer use） 把多模态大模型对版式/表格/图文混排/扫描件的细粒度理解能力，与 agent 的工具使用、网页检索与交互、长任务规划与质检校验深度结合：让系统会搜、会读、会核、会追溯引用，能在真实金融业务中持续提升效果与效率。 工作内容： 1. 聚焦金融场景核心任务，负责多模态文档理解 + 信息抽取算法设计与研发： - 财报/公告/研报/合同/表单/票据/截图等的结构化解析（段落、标题层级、表格、关键字段、关系与证据定位） - 抽取结果的一致性校验（跨页/跨表/跨文档对齐）、异常检测与可解释输出 2. 构建生产级多模态 agent 能力： - 检索与浏览（search/browse）、站点导航、表单/网页交互与流程探索（browser use / computer use） - 证据归因与可追溯引用，支持审计与复核 - 长任务规划、任务分解、失败恢复与自我修复（重试策略、状态机/工作流、工具调用约束） 3. 深入研究多模态大模型与 llm 的预训练/后训练技术（sft、偏好优化/rl 等），在数据构建与配比、训练范式、推理策略、成本与时延上探索最佳实践，推动关键指标显著提升 4. 设计金融垂类评测与对齐体系： - 指标覆盖：抽取准确率、事实一致性、可执行性/可复现性、鲁棒性（低质扫描/复杂表格）、引用可追溯、成本与延迟 - 结合公开基准与企业内部集，建立可持续迭代的评测闭环 5. 与产品、风控/合规、工程与测试团队紧密协作，把算法能力落地到真实业务链路中：可灰度、可回滚、可监控、可持续迭代 岗位要求： 1. 2026 届硕士及以上学历，计算机/人工智能/软件工程/信息安全/金融工程等相关专业优先 2. 具备优秀的问题分析与解决能力，能深入解决多模态/智能体在**训练、推理、评测与落地**中的复杂问题 3. 熟悉多模态大模型关键技术：视觉编码与对齐、布局/结构理解、表格理解、指令跟随、工具调用与约束推理等 4. 熟悉 agent 相关机制：任务分解与规划、工具使用、记忆与上下文管理、rag/检索、反思与自我修复、可靠性工程等，能设计可上线的任务闭环 5. 有大模型训练/微调经验者优先：数据构建、指令微调、偏好学习/rl、分布式训练与推理优化等 6. 工程能力扎实：熟练使用 python / pytorch（或同类框架），具备良好代码规范、性能意识与系统化落地能力（可观测性、评测流水线、灰度发布） 加分项： 1. 有金融文档理解/抽取经验：财报、招股书、公告、研报、合同、尽调材料等；或在复杂版式/表格/扫描件上有显著优化经验 2. 熟悉布局感知文档模型与路线：layoutlm 系列、多模态生成式文档模型等，并能结合业务数据做有效后训练 3. 对 browser use / computer use 方向有实践：能做网页导航、交互路径探索与自动化任务闭环；了解相关框架/工程化实现 4. 在 acl/emnlp/naacl、iclr/neurips/icml、cvpr/iccv/eccv 等顶会期刊发表论文或有高质量开源项目贡献 5. 主导或参与过具有广泛影响力的 ai 开源/闭源项目，具备可复用的工程化产出与落地经验者优先。