【校招】大模型安全算法青年研究员-攻防平台中心
Job description
-
负责大模型与智能体前沿安全研究,面向具备推理、规划、工具调用、记忆及环境交互能力的新一代智能体,研究长程自主任务中的目标偏移、权限越界、风险累积、工具滥用及多智能体交互等新型安全问题,探索面向复杂真实环境的风险建模、行为监控与安全控制方法;
-
负责自演化安全评测与自动化红队算法研究,研究基于大模型、强化学习、自博弈与搜索优化的自动化攻击和风险发现方法,构建能够随模型能力持续演化的动态评测体系,面向推理模型、多模态模型及智能体自动发现未知攻击面、对齐薄弱点与能力跃迁带来的新型风险,推动安全评测从静态 Benchmark 向开放式、交互式和持续演化评测升级;
-
负责高级模型对齐与安全控制研究,围绕推理过程安全、对齐真实性、欺骗性行为、规避监督、目标泛化及安全能力迁移等问题,研究过程监督、可扩展监督、推理时安全干预、模型行为分析与可验证安全等技术,探索模型能力持续增强背景下可扩展、可泛化的安全机制,并推动相关成果在前沿模型和真实智能体系统中验证落地。
-
本科及以上学历,计算机科学、人工智能、信息安全、网络空间安全、数学或相关专业背景优先,具备扎实的机器学习、深度学习和大模型基础,对大模型训练、后训练、强化学习、推理增强及智能体系统具备系统理解;
-
熟悉大模型与智能体相关技术,了解Transformer、RLHF/RLAIF、推理模型、工具调用、长期规划、多智能体协作、记忆机制等技术路线,具备模型训练、推理、评测或Agent系统研发经验,能够独立完成算法设计、实验验证与效果分析;
-
具备较强的AI安全研究能力,熟悉大模型安全、智能体安全、自动化红队、越狱攻击、安全对齐、推理安全、模型行为分析、可扩展监督等至少一个方向,能够围绕新型风险提出研究问题、设计攻击与评测方法,并探索相应的检测、缓解和安全增强机制;
-
具备良好的研究与工程实现能力,熟练使用Python、PyTorch、Transformers等主流深度学习框架,具备大规模实验、模型调用、数据构建、评测流水线或分布式训练经验,能够快速复现、改进和验证前沿研究工作;
-
具备较强的问题抽象、实验设计和学术研究能力,能够持续跟踪大模型、智能体及AI安全领域的最新进展,对新型模型能力和风险变化保持较高敏感度,具备独立推进研究课题并形成高质量研究成果的能力。 加分项:
-
在NeurIPS、ICLR、ICML、ACL、EMNLP、CCS、S&P、USENIX Security、NDSS等人工智能或安全领域高水平会议发表过论文;
-
具备Agentic AI Safety、推理模型安全、自动化红队、自博弈、强化学习安全、可扩展监督、模型欺骗与行为监测等前沿方向研究经验;
-
参与过大模型安全Benchmark、开源安全评测框架、红队系统或Agent安全项目建设,并具有可复现的研究成果或开源贡献者优先。
Description copied from Shanghai Artificial Intelligence Laboratory's careers page. Read the full posting before you apply.
More jobs at Shanghai Artificial Intelligence Laboratory
【校招】多模态青年研究员/工程师(脑机接口方向)-脑机接口组
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】智能体中心运营实习生
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】科研规划管理实习生(战略)-科研规划与评价中心
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】专项项目管理实习岗 - 总师办
Shanghai Artificial Intelligence Laboratory· Shanghai【实习】AI 研究实习生(大模型训练 / Agentic RL / 智能体 / AI for Materials)
Shanghai Artificial Intelligence Laboratory· Shanghai
More jobs in Shanghai
Senior Manager Business Development
DKSH· Shanghai, SH, CNSales Coordinator
W. R. Grace· Shanghai, SH, CNScheduler
J2w_com_ace1960· Shanghai, CNSenior Application Chemist, Coating
Sun Chemical· Shanghai, SH, CNQA Specialist
Getinge· Shanghai, Changning District, China