爬虫专家(J19219)当面告知
深圳传音控股股份有限公司
2027-02-07 22:17:44
社招本科硕士
岗位详情
地区：
上海市
专业要求：
专业不限
岗位职责：
岗位职责
1. 负责公司级分布式爬虫采集平台的架构设计、开发与交付，推动爬虫系统的平台化、服务化和智能化，提升采集效率与稳定性，充分支持模型训练、AI搜索等数据需求。
2. 主导解决大规模数据采集中的技术难题，包括高并发、分布式调度、JS逆向、智能化解析及复杂验证码突破等。
3. 建立数据清洗、去重、校验机制，确保采集数据的准确性、完整性和一致性；负责爬虫系统的监控告警与性能优化。
招聘要求：
任职要求
1. 本科及以上学历，计算机软件等相关专业，5年以上爬虫开发经验。
2. 具备搜索引擎爬虫开发与爬虫平台化建设经验，深入理解搜索引擎爬取原理、调度算法及去重策略，掌握分布式爬虫架构。
3. 熟练掌握 Kafka, Redis, MongoDB, HBase, Elasticsearch, ClickHouse 等中间件和数据库的使用与调优。
4. 精通各类反爬虫策略及应对方案，具备优秀的逆向分析能力。
5. 一线互联网企业核心爬虫团队工作经验者优先。
加分项
AI Coding重度使用者
公司介绍
深
深圳传音控股股份有限公司
深圳传音控股股份有限公司，成立于2013-08-21，位于广东，法定代表人：竺兆江，登记状态：存续，注册资本114035.0575万人民币，公司类型：民营/私企
公司信息:公司名称:深圳传音控股股份有限公司公司类型:通信/电信设备、运营、增值服务公司性质:5000以上公司地点:公司规模:--涉及领域:--公司网址: