【星启计划】AI安全可控青年研究员-安全可控任务部
Job description
1.安全对齐与后训练:研究/优化大模型后训练与强化学习对齐算法(SFT、RFT、RLHF、PPO、GRPO、DAPO、SAO、OPD 等),提升模型的安全性、推理与泛化能力。 2.AI安全研究:研究大模型、多模态与智能体的潜在安全风险,可解释性分析并设计新型防御方案。 3.智能体安全与对齐:设计 Agent 对齐机制、异常干预机制与反馈奖励建模,研究多智能体安全协同与目标一致性,防范协同失效或失控。 4.安全评测与风险治理:构建安全评测体系与红队测试,识别模型能力边界与风险,开展前沿风险建模、量化识别与可信治理。 5.平台与工程化建设:搭建安全平台、训练框架、数据管线等基础设施,沉淀可复用最佳实践,支撑安全能力评测、数据生产与业务落地。
1.硕士及以上学历,计算机、人工智能、信息安全、网络空间安全、软件工程、数学等相关专业。 2.扎实的强化学习基础,熟练掌握 RLHF、PPO、GRPO、DPO、SAO 等主流 RL 对齐方法,有大模型后训练实操经验。 3.熟练掌握 Python,熟悉 PyTorch 分布式训练;熟悉 veRL / OpenRLHF / TRL / slime 等 RL 训练框架,或有 Megatron-LM / vLLM / SGLang 等训练推理 Infra 经验。 4.熟悉渗透测试、漏洞挖掘、逆向分析、模糊测试,掌握 Burp Suite / AFL / GDB / IDA Pro / Ghidra 等工具。 5.在 NeurIPS / ICML / ICLR / ACL / CCS / CVPR 等顶会发表论文,或有重量级开源项目、竞赛获奖经历(论文多非硬性要求)。
加分项: 1.一线大厂后训练团队经验,或在模型/技术报告中署名 2.ACM / CTF / NOI 等竞赛获奖,CVE / CNVD 漏洞发现与披露 3.参与或维护 AI 安全、模型评测、智能体安全相关开源项目 4.大模型 / 智能体评测、红队测试、安全对齐经验
Description copied from Shanghai Artificial Intelligence Laboratory's careers page. Read the full posting before you apply.
More jobs at Shanghai Artificial Intelligence Laboratory
【校招】多模态青年研究员/工程师(脑机接口方向)-脑机接口组
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】智能体中心运营实习生
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】科研规划管理实习生(战略)-科研规划与评价中心
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】专项项目管理实习岗 - 总师办
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】AI 研究实习生(大模型训练 / Agentic RL / 智能体 / AI for Materials)
Shanghai Artificial Intelligence Laboratory· Shanghai
More jobs in Shanghai
Senior Manager Business Development
DKSH· Shanghai, SH, CNSales Coordinator
W. R. Grace· Shanghai, SH, CNScheduler
J2w_com_ace1960· Shanghai, CNSenior Application Chemist, Coating
Sun Chemical· Shanghai, SH, CNQA Specialist
Getinge· Shanghai, Changning District, China