【校招】代码预训练数据研究工程师-大模型中心
Job description
1.负责代码预训练数据的质量研究、数据策略实现、训练验证和版本化交付; 2.与数据中心团队合作,定义并验收 file-level 代码 preprocessing substrate,包括语言识别、SHA256/MinHash 去重、语法解析、文件分类、reject reason 和数据版本接口; 3.建设代码质量评价体系,包括 LLM teacher 标注和质量 rubric、回归 scorer、ranker 或轻量分类器、代码可读性/正确性/完整性/复杂度及教育价值评估等; 4.借鉴 Seed-Coder、Nemotron 等公开方法,验证 heuristic filtering、LLM scorer 和 soft weighting 等方案的训练效果; 5.研究被过滤代码数据中的 false rejection,探索修复、重新组织、重评分或转换为其他数据形态后对预训练的价值; 6.建设代码 benchmark contamination 检测方案,覆盖 EvalPlus、MultiPL-E、MBPP、CRUX-O 等评测; 7.设计并执行代码数据消融及 proxy training 实验,评估代码数据对 Coding、Reasoning、Math/STEM 及 General 能力的影响。
1.计算机科学、人工智能、软件工程等相关专业硕士及以上学历; 2.熟悉 Python,并能够阅读和处理多种主流编程语言; 3.理解 AST、parser、Tree-sitter、代码去重、FIM 和 repository/file 数据结构; 4.具有 LLM batch inference、数据评分、模型训练或数据消融实验经验; 5.能够在不完整基础设施条件下快速实现研究原型,并与工程团队协作完成规模化; 加分项:参与过代码大模型预训练或代码语料建设;熟悉 Seed-Coder、StarCoder、The Stack、OpenCoder 或 Nemotron Code 数据方法;具有代码执行、编译、单元测试或沙箱环境经验;具有合成代码、代码重写或跨语言转换数据经验。
Description copied from Shanghai Artificial Intelligence Laboratory's careers page. Read the full posting before you apply.
More jobs at Shanghai Artificial Intelligence Laboratory
【校招】多模态青年研究员/工程师(脑机接口方向)-脑机接口组
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】智能体中心运营实习生
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】科研规划管理实习生(战略)-科研规划与评价中心
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】专项项目管理实习岗 - 总师办
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】AI 研究实习生(大模型训练 / Agentic RL / 智能体 / AI for Materials)
Shanghai Artificial Intelligence Laboratory· Shanghai
More jobs in Shanghai
Senior Manager Business Development
DKSH· Shanghai, SH, CNSales Coordinator
W. R. Grace· Shanghai, SH, CNScheduler
J2w_com_ace1960· Shanghai, CNSenior Application Chemist, Coating
Sun Chemical· Shanghai, SH, CNQA Specialist
Getinge· Shanghai, Changning District, China