推理架构师
ShanghaiPosted May 25, 2026
Job description
1.主导大模型推理系统的整体架构设计 2.设计与优化高并发、低延迟推理服务架构 3.攻克推理性能瓶颈(首Token延迟、吞吐、显存) 4.制定推理优化技术路线,跟进前沿技术(投机解码、FlashDecoding等) 5.保障推理服务的稳定性、高可用与成本可控
•5+ 年 AI 推理系统相关经验 •深入理解 vLLM、TensorRT-LLM、TGI 等推理框架 •精通 PagedAttention、Continuous Batching 等核心机制 •有大规模推理服务(QPS 1000+)的架构设计经验 •熟悉 Kubernetes、Docker 等容器化技术 •具备 SRE 能力,保障服务可用性
加分项: •vLLM/TGI 核心贡献者 •TensorRT、CUDA 优化深度经验 •高并发推理系统实战经验
Description copied from Shanghai Innovation Institute's careers page. Read the full posting before you apply.
More jobs at Shanghai Innovation Institute
科研助理
Shanghai Innovation Institute· Shanghai基金运营管理
Shanghai Innovation Institute· Shanghai资产与公共空间管理
Shanghai Innovation Institute· Shanghai费用核算与合同档案专员(派遣制)
Shanghai Innovation Institute· Shanghai财务岗位
Shanghai Innovation Institute· Shanghai
More jobs in Shanghai
Senior Manager Business Development
DKSH· Shanghai, SH, CNSales Coordinator
W. R. Grace· Shanghai, SH, CNScheduler
J2w_com_ace1960· Shanghai, CNSenior Application Chemist, Coating
Sun Chemical· Shanghai, SH, CNQA Specialist
Getinge· Shanghai, Changning District, China