数据架构-数据湖与数据集成后端开发

亮点 / Highlights:

1. 负责美团数据同步解决方案的建设，推进流批一体在数据同步领域的持续优化。
2. 参与美团数据湖引擎从0到1的落地。
3. 能够接触到丰富的业务场景，包括但不限于数据开发、机器学习等，助力业务数据集成与数据湖解决方案的落地。
4. 提供良好的职业发展空间，参与解决复杂的技术问题，不断学习和成长。

岗位职责 / Duties:

1. 构建实时/离线数据采集与同步解决方案，支持跨数据库、数据仓库、数据湖的数据交互。优化数据传输性能，解决高并发、大数据量场景下的延迟与容错问题。设计数据一致性保障机制，处理数据冲突、断点续传、幂等性等核心问题，确保端到端数据质量。
2. 持续迭代数据集成解决方案的架构设计，支持容灾、出海等业务场景；优化架构设计，持续降低成本。
3. 研究前沿技术（如CDC、流批一体架构），推动数据同步技术在业务场景中的创新应用。
4. 构建高性能、高可用性数据湖引擎，参与美团数据湖引擎从0到1的落地与业务推广工作，持续提升系统性能和稳定性，降低成本。
5. 驱动数据湖的周边生态建设，包括实时/离线计算引擎，查询引擎，产品开发平台等生态，助力业务基于数据湖的解决方案落地。
6. 探索AI驱动的智能数据映射能力，基于大模型理解源表schema自动生成目标表映射规则，将数据集成配置从人工逐字段编排简化为AI辅助一键生成。

任职要求 / Requirements:

1. 计算机相关专业本科及以上学历，2年以上数据集成与同步/大数据计算、存储引擎开发或数据湖相关工作经验。
2. 熟悉Java/C++编程语言，能够独立进行系统和工具开发。
3. 熟悉主流的大数据数据集成引擎和数据湖引擎，如Canal、DataX、Spark、Flink、Paimon等。
4. 熟悉分布式系统和大规模数据处理的设计和实现，具备高并发、高性能系统开发经验。
5. 具备良好沟通能力和问题解决能力，能够高效与系统上下游、业务方沟通协作。