【校招】学科评测工程师-评测中心

1. 学科能力体系研究：结合学科研究流程与典型科研任务，拆解科学智能所需的知识、推理及问题求解能力，建立能力维度、评测任务与评价指标之间的对应关系。
2. 学科评测集建设：调研、引入和建设高质量学科Benchmark，负责题目设计、数据筛选、专家标注与质量审核，覆盖文本、多模态及科研智能体任务。
3. 评测方法与工具开发：设计适用于不同任务的评分方法，开发数据处理、模型调用、自动评分和结果分析工具，推进评测任务标准化接入与可复现运行。
4. 模型评测与能力诊断：开展内部模型及外部竞品评测，通过指标对比、错误归因和典型案例分析，形成能力研判、评测报告及研发改进建议。
5. 学科合作与场景验证：对接领域科研团队和外部专家，将真实科研需求转化为评测方案，推动评测结果与专家判断、实验或仿真结果相互验证。
6. 成果沉淀与持续维护：参与司南榜单建设与更新，沉淀评测数据、工具、技术规范及研究成果，持续跟踪学科前沿和模型能力变化。

1.专业背景：数学、物理、化学、材料、生命科学、计算机等相关专业，或具有科学智能交叉研究背景；具备至少一个学科方向的扎实基础。 2.该岗位侧重评测数据与工具建设、模型接入、自动化评测及运行维护。原则上具有硕士及以上学历，具备独立交付评测模块或相关工程项目的能力。 3.科研理解能力：能够阅读学科前沿文献，理解科研问题、研究方法与结果验证逻辑，独立判断评测任务的科学性及答案质量。 4.编程与数据能力：熟练使用Python，具备数据处理、实验脚本开发和结果分析能力，熟悉Linux及Git等常用开发工具。 5.模型与评测基础：了解大模型或智能体的基本原理与使用方式，具备模型调用、部署、评测或应用开发经验；能够设计合理的对照实验并分析结果。 6.严谨性与协作能力：重视数据质量、实验可复现性和结论边界，能够与算法、工程及学科团队协作，清晰撰写技术方案和评测报告。

加分项

1. 参与过学科Benchmark、科研数据集或大模型评测项目。
2. 具有科研智能体、工具调用、仿真计算或实验平台使用经验。
3. 具有多模态评测、开放式问题评分、LLM-as-a-Judge或专家评价一致性研究经验。
4. 在相关领域发表过高质量论文，或具有开源项目、评测工具及平台建设成果。
5. 具有跨学科合作经验，能够将领域专家需求转化为具体技术任务。