MiMo算法研究员-预训练

我们在做什么？核心预训练（Core Pre-training）我们不仅是在训练模型，更是在探索智能的本质边界。我们致力于从零构建下一代通用的智能基座：

1. Backbone & Architecture

• 下一代基座：Model size scaling & context length scaling
• 原生多模态：设计文本、视觉、音频原生融合的统一架构，实现端到端的物理世界感知与推理。
• Co-design：坚持 Algorithm-Infra Co-design，结合底层硬件特性（Kernel/拓扑）设计架构，突破训练与推理的效率瓶颈。

1. Data

• 真实数据 scaling：建设超大规模多模态数据发掘、采集、清洗与配比流水线，覆盖所有人类已有数据。
• 合成数据 scaling：攻克高质量合成数据的生成与验证难题，解决数据稀缺性，提升数据知识密度、推理密度、推理长度。

1. Optimization

• 极致收敛：研发适应万卡集群、超大 Batch Size 的新型优化器。
• 训练稳定性：深入研究 Training Dynamics，解决 Loss Spike 与泛化难题，保障大规模训练的鲁棒性。