视觉多模态大模型算法工程师
Job description
-
视觉多模态基座模型研发:参与构建具备原生视频感知与推理能力的下一代多模态基座模型。设计融合图像、视频与文本的统一建模方案,攻克长视频的时序因果推理、情节记忆与关键信息召回,强化对微小动作、物体轨迹与交互关系的时空细粒度感知,实现复杂动态场景下的精准理解与推理。
-
核心能力构建:围绕视觉感知、空间与时序理解、OCR、视觉推理等核心能力,设计高质量训练数据的构建与合成方案及配套训练策略,持续突破模型的能力上限。
-
训练策略与数据配比:负责训练策略设计,包括预训练 / 后训练阶段划分、课程学习、loss 与超参策略;通过系统的消融实验研究不同来源、类型与难度数据的最优配比,从全局定位并补齐模型短板。
-
后训练与对齐:探索强化学习等后训练方法,设计奖励与偏好数据,降低幻觉,提升模型推理与交互的准确性与鲁棒性。
-
实时 / 流式视频理解:探索流式、因果、可在线感知与主动交互的视频理解能力——这是我们区别于多数「离线」视频理解工作的特色方向。
-
扎实的工程功底:计算机、人工智能或数学等相关专业;数据结构与算法基础扎实,精通 Python,熟练掌握 PyTorch;能基于 DeepSpeed / Megatron 等分布式训练框架独立跑通并管理大规模训练实验;具备良好的工程实践与代码风格。
-
视觉 / 多模态认知:理解计算机视觉与多模态大模型的基本原理,熟悉主流 VLM 架构(ViT 视觉编码 + LLM)与视频时空建模,对多模态预训练与后训练范式(CLIP / LLaVA / Qwen-VL 一脉,及 SFT / RLHF / RLVR)有清晰认知。
-
数据与实验方法论:对训练数据的质量、多样性与配比有敏锐判断;具备严谨的实验方法论,能通过消融实验把「数据 / 策略 → 模型能力」的因果链跑清楚,而非只盯单点指标。
-
闭环思考能力:拥有从 0 到 1 端到端构建视频 / 多模态项目的完整经历,能从系统层面权衡模型能力、训练成本与迭代效率。
加分项
- 竞赛与代码:ACM/ICPC、NOI/IOI 获奖者,或在 Kaggle、CVPR / ICCV / ECCV / ACL Challenge 等顶级竞赛中名列前茅。
- 数据与后训练实战:有大规模训练数据构建 / 合成,或 RLHF / RLVR 等强化学习后训练的落地经验;曾独立端到端训练并迭代过一个真实模型。
- 方向负责人潜质:有独立定义并扛起一个方向的经历——从 0 设计 recipe 与数据策略,并推动到可复用的结论。我们同时在为多个方向招募负责人。
- 学术品味与前沿嗅觉:能敏锐捕捉前沿问题(流式 / 在线感知、视觉推理、Agentic、World Model 等),追求可规模化的改进;相比论文数量,我们更看重工业界影响力与开源社区贡献。
Description copied from Mosi Intelligence's careers page. Read the full posting before you apply.
More jobs at Mosi Intelligence
视觉创意&动效设计实习生
Mosi Intelligence· ShanghaiAI大模型内容运营实习生
Mosi Intelligence· ShanghaiAI Agent Harness 工程师(Workspace / 端云协同 / 云端 Swarm)
Mosi Intelligence· Shanghai海外社群运营实习生(Community Operations Intern - Discord)
Mosi Intelligence· Shanghai海外社媒内容制片实习生(Social Media Content Producer Intern)
Mosi Intelligence· Shanghai