Job description
负责大模型网关的架构设计与核心代码编写,支撑高并发、低延迟的 AI 请求调度 对接国内外主流大模型,实现多模型协议转换、动态权重路由及故障自动熔断降级 负责新模型接入与效果验证,支撑算法研究员团队高效选型与使用 负责网关可观测性与质量体系建设,量化成功率、延迟、流式完整性等核心指标,保障服务稳定性
负责大模型网关的架构设计与核心代码编写,支撑高并发、低延迟的 AI 请求调度 对接国内外主流大模型,实现多模型协议转换、动态权重路由及故障自动熔断降级 负责新模型接入与效果验证,支撑算法研究员团队高效选型与使用 负责网关可观测性与质量体系建设,量化成功率、延迟、流式完整性等核心指标,保障服务稳定性