大模型推理加速优化工程师-急招

使用 PyTorch 开发与维护推理引擎。

面向实际模型与实际硬件平台部署模型推理服务。

面向实际模型与实际硬件平台对服务进行端到端性能优化。

计算机科学或相关专业。

具有良好的学习能力和团队合作精神。

掌握 Python、C++、C 等编程语言，有良好的编程能力。

熟悉 PyTorch 框架。

熟悉大模型的完整推理流程，熟悉不同情形下模型推理的计算、访存、通信行为。

熟悉大模型分布式推理原理、调度原理、量化原理、国内外最新大模型发展者，或具备相关优化经历者优先。