数据采集工程师

1. 负责核心业务网络数据采集体系的架构设计、迭代优化与落地实施，支撑数据量的稳定采集需求。 2. 攻克复杂网页与接口的访问限制、数据加密、动态渲染等技术难题，保障公开数据获取的持续性与成功率。 3. 负责采集系统的性能调优，解决采集延迟、资源占用过高、数据重复/丢失等问题，提升采集效率与数据质量。 4. 调研前沿网络数据获取、接口解析与合规采集技术、对抗技术，输出技术方案与最佳实践。

1. 本科及以上学历，计算机、软件工程、通信工程、数学等相关专业，5年及以上专业数据获取开发与实战经验，有大型分布式数据获取系统搭建经验者优先。 2. 精通Python/Go/Java至少一门主流开发语言，熟练使用Scrapy、BeautifulSoup、Playwright、Selenium、PySpider等主流爬虫框架与工具，具备自研数据获取框架或二次开发能力者优先。 3. 精通HTTP/HTTPS协议、TCP/IP协议、Web前端技术（HTML/CSS/JS），熟练掌握抓包分析工具（Charles、Fiddler、Wireshark），具备深度逆向分析接口加密、JS混淆代码的能力。 4. 具备丰富的对抗实战经验，能独立解决各类复杂数据获取场景，熟悉验证码平台、代理池搭建与优化、Cookie池管理、设备指纹等技术方案。 5. 严格恪守数据合规与网络安全准则，无恶意数据采集、数据泄露等行为。