AI产品工程师

岗位职责

1. AI网关持续开发和高可用运维

• 负责持续开发改进 AI 网关，系统性的解决各种影响稳定性和扩展性问题；
• 负责 基于EKS 的云原生高可用架构部署、监控、性能调优与故障排查；
• 负责持续运营维护AI网关的智能调度策略

1. 供应商与 Token 资产管理

• 即时持续对接 AI 前沿 SOTA 模型，对内持续释放前沿 AI 能力；
• 与多供应商协同合作，处理配额，异常切换等各类问题；

1. 成本控制与精细化运营

• 持续治理优化 Prompt Caching，提高缓存命中率以降低整体 Token 成本；
• 持续对内做 AI 架构选型的支持，以及配额控制；

1. 设计和实现 Agent 系统架构

• 任务规划与分解、工具调用、Memory 管理（短期工作记忆 + 长期经验记忆）、多 Agent 协作编排；

任职要求：

1. 3 年以上类 DevOps / AI 基础架构工作经验，1 年以上 LLM API / 大模型网关（如 LiteLLM, One API 等）的实战开发和运维经验，精通 Prompt Caching 优化；
2. 熟悉主流云厂商（AWS/Azure/GCP以及国内主流 AI 模型供应商），有devops 经验，有操作k8s，eks，aws等相关infra经验；
3. 熟练掌握 Python 或 Go 语言深度开发基础的高性能平台系统； 加分项：
4. 善于沟通协作，能够快速响应并处理各种突发问题
5. 熟悉LiteLLM并有实际部署运维经验
6. 熟悉大模型工作原理，对前沿模型发展有敏锐的感知和对主要模型有深刻的理解；
7. 有前沿的技术视角，对构建产品感到兴奋。