【星启计划】AI安全可控青年研究员-安全可控任务部

ShanghaiFull-timePosted Sep 22, 2026

Job description

1.安全对齐与后训练:研究/优化大模型后训练与强化学习对齐算法(SFT、RFT、RLHF、PPO、GRPO、DAPO、SAO、OPD 等),提升模型的安全性、推理与泛化能力。 2.AI安全研究:研究大模型、多模态与智能体的潜在安全风险,可解释性分析并设计新型防御方案。 3.智能体安全与对齐:设计 Agent 对齐机制、异常干预机制与反馈奖励建模,研究多智能体安全协同与目标一致性,防范协同失效或失控。 4.安全评测与风险治理:构建安全评测体系与红队测试,识别模型能力边界与风险,开展前沿风险建模、量化识别与可信治理。 5.平台与工程化建设:搭建安全平台、训练框架、数据管线等基础设施,沉淀可复用最佳实践,支撑安全能力评测、数据生产与业务落地。

1.硕士及以上学历,计算机、人工智能、信息安全、网络空间安全、软件工程、数学等相关专业。 2.扎实的强化学习基础,熟练掌握 RLHF、PPO、GRPO、DPO、SAO 等主流 RL 对齐方法,有大模型后训练实操经验。 3.熟练掌握 Python,熟悉 PyTorch 分布式训练;熟悉 veRL / OpenRLHF / TRL / slime 等 RL 训练框架,或有 Megatron-LM / vLLM / SGLang 等训练推理 Infra 经验。 4.熟悉渗透测试、漏洞挖掘、逆向分析、模糊测试,掌握 Burp Suite / AFL / GDB / IDA Pro / Ghidra 等工具。 5.在 NeurIPS / ICML / ICLR / ACL / CCS / CVPR 等顶会发表论文,或有重量级开源项目、竞赛获奖经历(论文多非硬性要求)。

加分项: 1.一线大厂后训练团队经验,或在模型/技术报告中署名 2.ACM / CTF / NOI 等竞赛获奖,CVE / CNVD 漏洞发现与披露 3.参与或维护 AI 安全、模型评测、智能体安全相关开源项目 4.大模型 / 智能体评测、红队测试、安全对齐经验

Description copied from Shanghai Artificial Intelligence Laboratory's careers page. Read the full posting before you apply.

More jobs at Shanghai Artificial Intelligence Laboratory

See all openings at Shanghai Artificial Intelligence Laboratory

More jobs in Shanghai

See all jobs in Shanghai