爬虫与采集工程师6.0-12.0K/月 (月薪)

北京尔创互动科技有限公司
招满即止
社招(不限)社招博士本科硕士

岗位详情

地区:

广州市

专业要求:

信息工程网络工程

岗位职责:

职责: 1、构建“生成式引擎结果采集”链路:对接国内模型平台的联网搜索调用,固化请求参数、响应落库、版本化 schema,确保可复现与可回放。 2、采集并留存证据链:把“回答内容 + 搜索来源列表 + 角标引用”做快照留存,用于后续归因与争议排查。 ​3、建设站点侧采集:接入客户 CDN/网关/服务器访问日志,解析与识别“可能与 AI/搜索相关的抓取行为”,沉淀 top pages、抓取失败、抓取但未被引用等数据集。 ​4、反爬与风控:限频、重试、代理池、任务调度、幂等与成本控制,并确保采集遵循目标平台规则与客户合规要求(尤其金融/教育)。 要求: 有爬虫/后端经验,具备分布式任务系统落地经验(队列、调度、容错、幂等)。(不限工作年限) 熟悉浏览器自动化/渲染采集(Playwright/Puppeteer 等)与数据留存(HTML/截图/响应元信息)。 有“采集数据产品化”意识:字段稳定、可回溯、可审计。 加分项: 1、熟悉大模型的联网搜索能力的工程对接细节,能把“引用监控”做成标准化能力。 2、香港科技大学等南沙附近的计算机、数学等专业优先。

招聘要求:

职责: 1、构建“生成式引擎结果采集”链路:对接国内模型平台的联网搜索调用,固化请求参数、响应落库、版本化 schema,确保可复现与可回放。 2、采集并留存证据链:把“回答内容 + 搜索来源列表 + 角标引用”做快照留存,用于后续归因与争议排查。 ​3、建设站点侧采集:接入客户 CDN/网关/服务器访问日志,解析与识别“可能与 AI/搜索相关的抓取行为”,沉淀 top pages、抓取失败、抓取但未被引用等数据集。 ​4、反爬与风控:限频、重试、代理池、任务调度、幂等与成本控制,并确保采集遵循目标平台规则与客户合规要求(尤其金融/教育)。 要求: 有爬虫/后端经验,具备分布式任务系统落地经验(队列、调度、容错、幂等)。(不限工作年限) 熟悉浏览器自动化/渲染采集(Playwright/Puppeteer 等)与数据留存(HTML/截图/响应元信息)。 有“采集数据产品化”意识:字段稳定、可回溯、可审计。 加分项: 1、熟悉大模型的联网搜索能力的工程对接细节,能把“引用监控”做成标准化能力。 2、香港科技大学等南沙附近的计算机、数学等专业优先。

公司介绍

北

北京尔创互动科技有限公司

北京尔创互动科技有限公司,成立于2016-10-09,位于北京,法定代表人:康赛,登记状态:存续,注册资本1879.6992万人民币