工作职责 1. 数据需求分析。数据采集工程师与算法团队合作，了解他们的数据需求和目标，理解业务问题，并确定需要采集的数据场景、类型、格式、频率和量级等要求。调研和评估可用的数据源。 2. 数据采集和抓取。使用数据采集设备现场采集或编写采集脚本、爬虫程序或其他自动化工具，从各种数据源中提取数据。 3. 数据清洗和预处理。能够识别和处理数据中的异常值、缺失值、重复值等问题。熟悉数据清洗工具和技术，如数据清洗规则、数据规范化、数据转换等，确保数据的质量和准确性。 4. 数据存储和管理。选择适当的数据存储技术，考虑数据的容量、访问速度、安全性和可扩展性等方面的要求，并确保数据的备份和恢复机制。 5. 数据质量控制。监控数据采集过程，确保数据的准确性和完整性。开发和实施数据验证和清洗策略，识别和处理数据异常和错误，并与算法团队合作解决数据质量问题。 6. 数据文档和元数据管理。创建和维护数据文档和元数据。记录数据源的详细信息。制定数据标准和命名规范，以确保数据的一致性和可理解性。 7. 确保采集和存储的数据符合相关法规和政策。如数据保护法规、隐私规定等。能够对数据进行脱敏处理，能够确保采集和存储的数据的安全性和合规性。 任职资格 1、大专及以上学历，设计类、影像学专业优先； 2、爱拍照、细节控； 3、积极主动，沟通表达良好，有责任心。 4、能够高效地进行数据采集、清洗、可视化，熟悉linux操作。