数据工程实习生(数据清洗与采集方向)150-200元/天
上海碳乐科技有限公司
2027-02-04 18:23:03
27届28届实习本科硕士
岗位详情
地区:
上海
专业要求:
统计学数据科学软件工程信息管理
岗位职责:
1. 负责多源异构数据的采集、清洗、规整与入库工作,支持结构化、半结构化等多种数据格式的处理。
2. 运用 Python、SQL 编写数据处理脚本,完成字段解析、格式标准化、数据去重、实体关联、数据拆分与批量导入等治理工作。
3. 参与核心数据主库建设,以基础主数据表为核心,梳理数据主体维度,关联拓展多维度明细数据,完善数据资产体系。
4. 参与数据标准化治理,完成主体名称、唯一标识编码等核心字段的统一规范与跨源关联映射。
5. 开展全链路数据质量校验,覆盖数据量级、重复值、空值、字段完整性等维度,记录异常数据并协助排查问题根因。
6. 负责数据处理任务的分批执行、运行监控与日志管理,支持断点续处理机制,保障任务稳定性,避免数据重复处理。
7. 配合技术团队完成测试环境的数据导入、表结构核对与结果验收,严格遵守数据操作权限与安全规范,非经审批不得操作生产环境数据。
8. 沉淀数据来源、处理规则、操作流程与任务结果,输出标准化的操作文档与交接材料。
招聘要求:
1. 本科及以上在读,计算机、软件工程、数据科学、统计学、信息管理等相关专业。
2. 每周可到岗 4 天及以上,连续实习 3 个月及以上。
3. 熟练掌握 Python,能使用 Pandas、NumPy 等数据工具完成数据读取、清洗、转换与统计,可独立编写基础数据处理脚本。
4. 熟练掌握 SQL 语法,了解 PostgreSQL、MySQL 等主流关系型数据库,可完成数据查询、去重、关联、统计与批量导入等操作。
5. 具备大规模数据处理意识,了解分批处理、流式读取、断点续传、日志记录等基本数据处理方法。
6. 工作严谨细致,具备良好的数据敏感度,重视数据准确性与可追溯性,能按要求完成多维度数据核对工作。
7. 具备代码阅读与基础修改能力,可遵循现有脚本规范、表结构与数据标准开展工作,严格保护原始数据安全。
8. 具备较强的学习能力与沟通协作能力,能独立推进分配任务,也能配合团队完成数据治理相关工作。
优先条件:
1. 有结构化数据清洗、数据治理相关实习或项目经验。
2. 有数据采集、网页解析或接口数据对接经验,熟悉 requests、BeautifulSoup、Scrapy 等工具中的一种或多种。
3. 有数据去重、实体匹配、字段标准化治理相关经验。
4. 熟悉 Linux 环境与基础 Shell 命令,可完成日志查看、脚本运行与文件管理操作。
5. 有 PostgreSQL 批量数据处理、CSV/JSONL 等格式文件处理经验。
6. 了解数据质量体系、数据分层、主明细表设计等基本数据治理概念。
基础信息:工作地点:上海;学历要求:本科;经验要求:经验不限;岗位类型:实习;实习月数:3;每周到岗天数:4;提供实习证明:是;可转正:否
岗位标签:Python;PostgreSQL;Shell
公司介绍
上
上海碳乐科技有限公司
上海碳乐科技有限公司,成立于2021-12-31,位于上海,法定代表人:薛松,登记状态:存续,注册资本100万人民币,公司类型:民营/私企