数据处理架构师

1.主导 PB 级训练数据处理平台的架构设计与实现 2.设计高效的数据清洗、过滤、去重 pipeline 3.优化数据处理效率，降低端到端处理延迟 4.建立数据质量保障体系，确保训练数据质量 5.制定数据处理技术规范，指导团队执行

•5+ 年大数据处理经验 •精通 Spark、Flink、Kafka 等大数据技术栈 •熟悉分布式存储（HDFS、Iceberg、S3） •有 100TB+ 数据处理经验 •理解机器学习训练数据需求 •具备流式处理与批处理混合架构设计能力

加分项： •大模型预训练数据处理经验 •数据质量检测框架开发经验 •Iceberg/Hudi 数据湖经验