数据采集工程师（视频／多模态／爬虫方向）

我们正在建设服务于视频生成模型的高质量数据体系，数据覆盖影视、纪录片、广告、动画、创作者视频及各类专业素材。你将参与数据来源探索、采集系统开发和原始数据管理，与算法及数据工程团队合作，持续提升训练数据的质量、多样性和供给效率。

工作职责： 1、探索和接入新数据源。 根据训练需求，调研视频平台、专业素材库、创作者及制作机构等来源，评估内容覆盖、原始画质、可获取性、更新频率和采集成本，完成小规模验证与批量接入； 2、开发和维护采集程序。 通过 API、批量数据接口、网页解析及浏览器自动化，采集目录、视频和相关元数据；沉淀可复用的来源适配器，支持搜索、分页、合集和增量更新； 3、保障批量采集的稳定性。 实现并发调度、限速、失败重试、断点续传、任务去重和异常恢复；监控来源变化、下载失败及字段缺失，持续优化吞吐和带宽、存储成本； 4、完成视频入库验收。 采集并校验分辨率、帧率、编码、码率、时长和文件完整性，识别预览版、降质转码、截断文件、广告及水印等问题，与数据团队建立自动检查和抽样复核流程； 5、支持作品关联和版本更新。 整理作品、季集、来源及文件版本信息，与内部库存建立关联，支持缺片／缺集补采、更高质量版本发现和重复内容控制，保留来源与更新记录； 6、对接训练数据流水线。 将采集结果接入现有对象存储、数据库和数据管理平台，与切分、去重、质量筛选及标注流程衔接，跟踪新增内容覆盖、验收通过率和去重后有效视频时长； 7、按项目确定的授权和使用范围开展采集，维护来源、许可及采集依据等记录。

1、具有 3 年及以上爬虫、数据采集或数据工程经验，能够独立完成一个数据源从调研、开发到上线维护的完整过程；项目经验突出的候选人可适当放宽； 2、熟练使用 Python，掌握异步编程、并发控制及常用网络请求工具，熟悉 Scrapy、Playwright、Selenium 等框架中的一种或多种； 3、熟悉 HTTP／HTTPS、Cookie、会话和鉴权机制，具备浏览器开发者工具、接口分析和 JavaScript 调试能力，能够定位动态页面、限流、会话失效及站点改版问题； 4、有视频或其他大文件采集经验，熟悉 FFmpeg／ffprobe，理解常见容器、编码、分辨率、帧率和码率，能够处理分段下载、音视频合并及媒体完整性检查； 5、熟悉 Linux、Git、Docker、SQL及对象存储，具备任务队列、调度、日志监控和失败恢复的实践经验，能够维护长期运行的采集任务； 6、具备数据质量意识，能够处理重复记录、缺失字段、错误关联和来源变化；能清楚说明项目的数据规模、成功率、质量问题及优化结果； 7、加分项： a）有视频生成、多模态模型训练数据，或影视、纪录片、广告、专业素材采集经验； b）有跨来源作品匹配、剧集解析、视频去重、版本比较或画质检测经验； c）熟悉 Go、分布式采集及大规模数据处理，或有相关开源项目贡献； d）能阅读英文技术文档，独立调研和接入海外数据源。