
Job description
职位描述:
- 负责设计与开发公司级高性能、高可用的实时计算平台,基于Apache Flink构建和优化核心实时数据管道,支撑关键业务场景。
- 深入钻研Flink内核机制(如内存管理、任务调度、容错恢复),具备源码级调试、性能优化与定制开发能力,攻克生产环境中复杂技术挑战。
- 主导实时任务的深度优化,包括但不限于反压调控、数据倾斜处理、状态管理及Checkpoint机制调优,保障实时服务的高吞吐、低延迟与稳定运行。
- 结合业务需求,负责重大实时数据项目的技术方案选型、架构设计及评审,并输出清晰、规范的技术文档。
- 跟踪流计算领域前沿技术(如Flink CDC、Apache Paimon、流批一体等),推动创新技术在公司落地,赋能团队成员,提升整体技术水平。
任职要求 / Qualifications:
- 3年及以上大数据开发经验,其中3年以上流式计算领域专注经验,具备丰富的Flink实战背景,有日均千亿级别数据量的处理经验和实时数仓建设经验。
- 深入阅读并理解Apache Flink核心模块(如Runtime、Network、Checkpoint)源码,能结合实际业务问题运用底层机制给出解决方案。
- 精通Java/Scala语言,具备优秀的编码与系统设计能力;熟练掌握Flink DataStream/Table API/SQL,深刻理解其实现原理与应用场景;熟悉Flink与常见消息中间件(Kafka、Pulsar)、数据源(MySQL、PostgreSQL via CDC)和维表(HBase、Redis)的集成与优化。
- 具备较强的线上问题排查与性能优化能力,能够独立解决数据延迟、反压、数据不一致、Checkpoint异常等生产环境常见问题。
- 拥有良好的沟通协作能力,有主导技术项目或指导初级工程师的经验。
符合京东价值观:客户为先、创新、拼搏、担当、感恩、诚信。