数据开发团队-数据接入与采集工程师当面告知
中数联物流科技(上海)有限公司
2026-12-31 00:00:00
社招博士本科硕士
岗位详情
地区:
上海市
专业要求:
数据科学软件工程
岗位职责:
】
1.负责数据接入体系的建设与维护,支持多源异构数据(API、数据库、日志、IoT、文件流等)的采集与接入;
2.设计并实现数据采集流程,包括接口对接、任务调度、增量/全量采集与数据清洗;
3.构建统一的数据接入规范,确保数据传输的稳定性、准确性和安全性;
4.维护数据采集链路的监控与预警,保障实时数据与批量数据的高可用性;
5.参与建设数据平台,推动数据采集与数据治理、资产管理的打通;
6.协同合规、安全团队,确保数据采集与跨境传输符合相关法律法规(如《数据安全法》、《个人信息保护法》);
7.总结沉淀数据采集方法论,提升采集自动化与可复用能力。
【任职条件】
1.本科及以上学历,计算机、软件工程、数据科学等相关专业;
2.2年及以上数据采集、数据开发或接口集成相关经验;
3.熟悉常见数据接入与采集工具(如Flume、Logstash、NiFi、DataX等),具备API/SDK开发与使用经验;
4.熟悉消息队列与数据流系统(Kafka、Pulsar、RabbitMQ等),理解实时数据采集与流处理原理;
5.精通SQL,掌握Python/Java/Shell等语言,能编写数据采集脚本与接口逻辑;
6.具备数据质量与安全意识,能在采集环节控制数据完整性与合规性。
【优先条件】
-有交通物流、IoT、供应链场景的数据采集与对接经验;
-主导过跨系统/跨组织的数据接入平台建设;
-熟悉数据湖、实时数仓等架构;
-熟悉跨境数据合规与安全传输方案。
招聘要求:
【岗位职责】
1.负责数据接入体系的建设与维护,支持多源异构数据(API、数据库、日志、IoT、文件流等)的采集与接入;
2.设计并实现数据采集流程,包括接口对接、任务调度、增量/全量采集与数据清洗;
3.构建统一的数据接入规范,确保数据传输的稳定性、准确性和安全性;
4.维护数据采集链路的监控与预警,保障实时数据与批量数据的高可用性;
5.参与建设数据平台,推动数据采集与数据治理、资产管理的打通;
6.协同合规、安全团队,确保数据采集与跨境传输符合相关法律法规(如《数据安全法》、《个人信息保护法》);
7.总结沉淀数据采集方法论,提升采集自动化与可复用能力。
【任职条件】
1.本科及以上学历,计算机、软件工程、数据科学等相关专业;
2.2年及以上数据采集、数据开发或接口集成相关经验;
3.熟悉常见数据接入与采集工具(如Flume、Logstash、NiFi、DataX等),具备API/SDK开发与使用经验;
4.熟悉消息队列与数据流系统(Kafka、Pulsar、RabbitMQ等),理解实时数据采集与流处理原理;
5.精通SQL,掌握Python/Java/Shell等语言,能编写数据采集脚本与接口逻辑;
6.具备数据质量与安全意识,能在采集环节控制数据完整性与合规性。
【优先条件】
-有交通物流、IoT、供应链场景的数据采集与对接经验;
-主导过跨系统/跨组织的数据接入平台建设;
-熟悉数据湖、实时数仓等架构;
-熟悉跨境数据合规与安全传输方案。
公司介绍
中
中数联物流科技(上海)有限公司
中数联物流科技(上海)有限公司,成立于2025-09-10,位于上海,法定代表人:张雄,登记状态:存续,注册资本100000万人民币,公司类型:国有企业