推理架构师

ShanghaiPosted May 25, 2026

Job description

1.主导大模型推理系统的整体架构设计 2.设计与优化高并发、低延迟推理服务架构 3.攻克推理性能瓶颈(首Token延迟、吞吐、显存) 4.制定推理优化技术路线,跟进前沿技术(投机解码、FlashDecoding等) 5.保障推理服务的稳定性、高可用与成本可控

•5+ 年 AI 推理系统相关经验 •深入理解 vLLM、TensorRT-LLM、TGI 等推理框架 •精通 PagedAttention、Continuous Batching 等核心机制 •有大规模推理服务(QPS 1000+)的架构设计经验 •熟悉 Kubernetes、Docker 等容器化技术 •具备 SRE 能力,保障服务可用性

加分项: •vLLM/TGI 核心贡献者 •TensorRT、CUDA 优化深度经验 •高并发推理系统实战经验

Description copied from Shanghai Innovation Institute's careers page. Read the full posting before you apply.

More jobs at Shanghai Innovation Institute

See all openings at Shanghai Innovation Institute

More jobs in Shanghai

See all jobs in Shanghai