具身运动模型算法评测
Job description
-
建立模型评测指标体系和定期评测流程,支持多模型、多版本、多场景下的评测、对比和报告产出。
-
将复杂任务拆解为可执行、可复现、可评分的评测场景,定义成功标准、失败类型和评分规则。
-
负责评测数据清洗、处理和分析,识别无效数据、异常样本、典型失败模式和高价值训练样本。
-
参与自动化评测系统建设,结合规则、VLM / value model / reward model 和人工抽审,提高评测效率和一致性。
-
与数据、运营团队协作,将评测结果转化为模型迭代建议、数据采集需求和诊断报告。
-
有智能驾驶、机器人、多模态模型或其他 AI 系统的评测、数据分析、benchmark 维护经验。
-
理解模型评测的基本方法,熟悉 A/B test、场景集构建、长尾/OOD 测试、可复现实验等概念。
-
能把复杂任务拆成清晰的评测场景,定义成功标准、失败模式和评分规则。
-
熟悉 Python 数据分析与实验工具链,能处理视频、状态、动作、标签、日志等多模态评测数据。
-
对真实系统评测有基本理解,知道传感器、标定、环境扰动、人工操作、安全事件等因素会影响模型结果。
-
有较强的问题拆解和写作能力,能把评测结果整理成清晰的诊断报告。 加分项
-
做过智能驾驶感知/规划/端到端模型评测、仿真场景评测、数据闭环或问题归因。
-
做过机器人、VLA、robot foundation model、模仿学习、强化学习或多模态模型相关工作。
-
熟悉自动化评测、人工标注校准、评分一致性分析或模型 leaderboard。
-
有 value model / reward model / VLM-as-Judge 相关经验。
-
有将评测结果转化为训练数据、数据筛选或模型迭代建议的经验。
Description copied from 简智新创's careers page. Read the full posting before you apply.
More jobs at 简智新创
Business Development Representative
简智新创· SunnyvaleFDE
简智新创· SunnyvaleEmbodied AI Solutions Engineer
简智新创· SunnyvaleBusiness Development Manager/Director
简智新创· SunnyvaleGR
简智新创· Beijing
More jobs in Beijing
Intern (Engineering & digitalization)
Airbus· Beijing AreaIntern-IM& SCM
Hitachi· Beijing, ChinaService design engineer
GE HealthCare· BeiJingIncident Manager
DXC Technology· CHN - BEIJINGMarketing Mgr
Amgen· China - Beijing