Job description
- 结合大模型训练需求，设计和优化高效、智能化的爬虫系统，进行多源（文本、语音、视觉）数据采集。
- 针对大模型数据预处理要求，优化爬虫数据格式和质量，提升爬取的数据对训练和推理的适用性。
- 结合大模型场景，构建半自动/自动化定向抓取能力，推进数据抓取工作平台化建设。
- 跟进最新的反爬技术与反制策略，持续优化爬虫架构和性能。
任职要求 / Qualifications:
- 本科及以上学历，计算机科学、人工智能、网络安全等相关专业。
- 3年以上爬虫开发及逆向工程经验，有大模型或AI相关领域的爬虫应用经验者优先。
- 熟悉并能绕过常见的反爬技术（如动态网页加载、验证码、JS加密等）。
- 精通Python或其他编程语言，熟悉爬虫框架（如Scrapy、Selenium、Playwright等）。
- 熟悉大模型训练和数据处理流程，能够根据模型需求调整数据抓取策略。
- 熟悉常见网络协议（HTTP/HTTPS）和接口抓取，能够对复杂数据进行高效提取和清洗。 加分项：
- 有大规模数据抓取与处理经验，尤其是针对大模型训练数据的采集和优化。
- 熟悉数据加密与解密技术，能够破解复杂的加密算法。
- 具备AI或大模型领域的技术背景，能够理解和支持模型数据需求。
符合京东价值观：客户为先、创新、拼搏、担当、感恩、诚信。