Job description
亮点 / Highlights: 1.数万节点规模和EB级数据规模，服务覆盖美团本地生活多种领域业务，从数据规模、集群体量、业务复杂度多个维度提供了技术挑战和锻炼发展的机会； 2.在万亿级流计算场景下面对线上服务的高可用挑战； 3.挑战千万核规模计算集群相关技术，探索大数据与云原生的深度结合。
岗位职责 / Duties: 1.负责构建基于Kubernetes的云原生分布式计算平台，支撑离线计算、实时流处理等多场景需求，实现计算资源的弹性伸缩与高效调度； 2.解决数仓生产场景下业务规模增长带来的引擎扩展性问题，通过优化Shuffle服务、向量化执行引擎以及内核改造，支撑每天百万级Spark Job，EB级数据处理，单作业百TB Shuffle，不断提升生产引擎稳定性和扩展性，保障核心数据的稳定产出； 3.综合调度、引擎层内核改造优化等多种技术方案持续提升计算效率，降低计算成本； 4.设计并实现云原生环境下的弹性扩缩容策略，结合K8s编排能力与计算引擎特性，应对流量洪峰与资源碎片化挑战。