数据湖开发工程师

1、负责企业级数据湖平台的设计、开发与运维，支撑海量数据存储与分析。 2、基于 Iceberg/Lance 构建湖仓一体架构，提升数据管理能力。 3、设计并实现数据全生命周期的加密方案（静态加密、传输加密、字段级加密），落地脱敏、分级分类、权限管控等安全机制，确保合规（GDPR / 等保 / 个保法）。 4、参与数据治理体系建设，包括不限于数据质量、数据血缘、数据生命周期等能力建设。 5、优化数据存储、计算性能及资源成本，保障平台稳定运行。 6、推动数据湖与 AI、数据分析等业务场景结合落地。

1、本科及以上学历，计算机/软件/数据相关专业，3年以上大数据/数据平台研发经验。 2、熟练掌握 Java/Scala/Python 中至少一种开发语言。 3、熟悉 Spark、Flink 等分布式计算框架及其运行原理。 4、熟悉 Iceberg、Hudi等数据湖技术中的至少一种，有生产实践经验。 5、熟悉 Kafka 等消息中间件及实时数据处理架构。 6、熟悉分布式存储、对象存储及数据湖存储架构。 7、熟悉 Docker、Kubernetes 等云原生技术优先。 8、有完整的数据治理实践经验，熟悉 Atlas / DataHub / Amundsen 等元数据与血缘工具，了解 DAMA、DCMM 等方法论。 9、熟悉数据加密与安全：对称/非对称加密、KMS、TDE、字段级加密、Tokenization、动态脱敏；了解 Ranger / Sentry 等权限框架。 10、熟悉向量检索相关技术：主流向量数据库（Milvus / Qdrant / Weaviate / Vespa / pgvector / Elasticsearch kNN等），掌握HNSW、IVF-PQ、ScaNN、DiskANN 等近似最近邻（ANN）算法原理与调优；了解 Embedding 生成、向量与结构化数据的混合检索（Hybrid Search）。 11、熟悉数据合规要求（GDPR、个人信息保护法、数据安全法、等保 2.0）。