2027校招-推理框架工程师（上海/成都/北京）

分布式推理系统开发 1、设计并实现大规模AI模型（如LLM、多模态模型）的分布式推理框架，优化吞吐量（Throughput）和延迟（Latency）。 2、开发模型并行（Tensor/Pipeline Parallelism）、动态批处理（Dynamic Batching）和连续批处理（Continuous Batching）策略。 3、解决多节点、多GPU环境下的负载均衡和通信瓶颈问题。 4、优化计算图执行（如使用TensorRT、ONNX Runtime、vLLM等工具）。 5、实现量化（FP8/INT8）、KV Cache优化、Flash Attention等加速技术。

精通 Python/C++，熟悉PyTorch/TensorFlow推理生态。 深入理解分布式系统（NCCL/RPC通信、GPU Direct RDMA）和 并行计算（CUDA、OpenMP）。 熟悉推理加速技术（量化、剪枝、算子融合）和框架（TensorRT、vLLM 、Sglang）。