AI内容安全运营经理

Wuhan, BeijingFull-timePosted Jun 11, 2026

Job description

保障线上AI生成业务安全运营，构建大模型内容安全核心指标（拦截率、漏/误拦截率等），深入分析 Badcase 并产出分析报告，挖掘策略漏洞或执行偏差，推动策略机制优化，保持用户体验前提下持续降低漏/误拦截率
模型数据安全审核，管理模型训练集和测试集，优化安全大模型、机审模型；参与模型调优与效果评估，结合业务场景设计评测方案，对模型基础安全能力进行全流程把关。
组织红蓝攻防对抗测试，主动发现大模型安全漏洞，设计针对性防御机制与拦截策略，推动漏洞修复与防护体系升级，持续降低模型回复风险率。
联动算法、工程、产品团队搭建安全运营体系，结合AI工具提效各环节工作，提高产出质量。
结合国家法律法规及监管要求，持续更新内容安全审核规则和防御策略，应急处置和监管应对。
跟踪AIGC内容安全前沿动态，提高对AI新型安全漏洞（如提示词注入、越狱攻击、claw框架下信息泄露、深度伪造、AI 换脸）等风险的治理方案。