云测试开发工程师

【岗位描述 / Description】

1. 负责大数据产品的技术方案评审，测试用例设计、执行和撰写测试报告，产品问题分析并跟踪解决；
2. 负责大数据产品的功能、性能、稳定性、高可用等方面的质量保障。
3. 负责数据湖/湖仓一体架构的质量保障，负责基于 Hudi / Iceberg 构建的实时数据湖的质量保障工作；
4. 负责 Trino / StarRocks / Doris 等 MPP 查询引擎的功能与性能测试，验证其对 Hive/Iceberg/Hudi 等多数据源的联邦查询能力。针对复杂的多维分析场景，设计高并发查询、大表 Join 及资源隔离的压测方案，优化查询响应时间（RT）和并发度；
5. 参与基于 Ambari 的大数据平台部署与维护，制定组件升级、扩缩容的稳定性回归测试用例。验证 Kerberos 与 Ranger 集成的权限控制体系，包括库、表、列级的数据脱敏与访问授权，确保数据安全策略在 Spark/Flink 计算任务中生效；
6. 针对 Spark/Flink 开发的实时/离线 ETL 任务，构建数据质量校验基线和自动化测试框架（Python/Java）。

【任职要求 / Requirements】

1. 熟悉 K8s，操作系统及编译环境，熟悉 Linux、Idea 等；
2. 熟悉 Hadoop 生态，掌握 MapReduce 原理，进行二次调优；
3. 理解 Spark 工作机制，掌握 Spark 任务的执行流程；
4. 掌握 Kafka、Flume 数据采集工具的原理，实现流式数据的过滤和分析；
5. 使用 Sqoop 工具，实现非关系型数据库与关系型数据库表数据互导；
6. 熟练掌握大数据技术栈，包括 Hadoop/Hive/Kafka/Spark/Flink 开源组件；
7. 掌握 MapReduce、Hive、Spark、Flink 引擎调优等技术；
8. 熟悉 Python、Java 和 Shell 等脚本编写自动化测试用例；
9. 精通 SQL 语言，熟练使用 PostgreSQL、Mongo、MySQL、HBase 等数据库；
10. 熟悉 Ambari、Hudi、Iceberg、StarRocks、Kerberos、Doris 等优先；
11. 具有良好的沟通能力及理解能力，能够独立阅读英文资料。

【薪资福利 / Compensation】

1. 员工福利：午餐补贴、晚间免费打车、节日补贴和生日福利；
2. 个人保障：五险一金、补充医疗保险、年度体检；
3. 学习成长：入职集训、在线学习平台、导师制、项目锻炼、快速晋升通道。

工作性质: 全职 职位编号: ZDYJ20260518000092