Job description
- 搭建Agent端到端评测体系，覆盖单轮问答质量、多轮对话一致性、工具调用准确率、任务完成率等维度。
- 构建和维护评测数据集（Golden Dataset），包括标准问答对、多步推理用例、边界Case、对抗样本等。
- 开发自动化评测Pipeline，集成到CI/CD流程，实现Agent版本发布前的自动回归测试。
- 设计Agent安全性评测方案，包括Prompt注入防御、信息泄露检测、权限越界测试。
- 对标Manus、Genspark等产品的Agent能力，定期进行竞品Benchmark对比评测。
- 输出评测报告，驱动算法和工程团队持续优化。