MiMo-大模型数据链路工程师

【岗位定位】 连接“全网海量数据”与“大模型训练”的核心枢纽。负责万亿级原始异构数据的存储架构、数据算法研发（去重/分类/采样/质量评分）、高吞吐清洗与 Paimon 湖仓分层治理，打造极致纯净的数据底座。

【岗位职责】

1. 数据算法与质量建模：研发并落地海量文本的去重算法（MinHash/LSH/语义 Embedding）、质量评估模型（Quality Profiling）、文本分类与毒性/低质筛选算法，提升预训练与 SFT 数据品质。
2. 采样与多样性策略：设计大规模数据集的特征提取、分布分析与多样性采样算法，优化训练数据的配比与信息密度。
3. 原始数据海量存储：设计并优化全网接入原始数据（Raw Staging）的高吞吐落盘、分块存储与压缩策略，保障 PB 级存储的高可用与成本管控。
4. Paimon 湖仓与分层建模：基于 Apache Paimon 构建流批一体语料湖仓，负责 ODS/DWD/DWS 数仓分层、元数据管理与版本血缘追溯。
5. 极致吞吐与性能优化：深入 Spark / Ray 计算引擎与 Paimon 读写机制，调优海量数据处理在分布式集群中的内存开销、I/O 瓶颈与算法计算吞吐。