大模型部署工程师

HefeiShanghaiFull-timePosted Sep 9, 2026

Job description

我们正在构建面向大模型推理的自研 AI SoC 芯片平台。如果你对“让千亿参数模型在芯片上高效跑起来”这件事感兴趣,欢迎加入!

你将参与的工作

  • 将主流 LLM / 多模态模型适配并部署到自研 AI SoC 芯片
  • 深入理解 Transformer 推理流程(Prefill / Decode / KV Cache)
  • 参与算子级优化:
  • Matmul / Attention / RMSNorm / RoPE 等核心算子优化
  • Kernel 融合与调度优化
  • 内存访问与带宽优化
  • 参与模型量化(FP16 / BF16 / INT8)与数值一致性验证
  • 定位并解决:
  • 精度异常(如 NaN / 溢出 / 数值漂移)
  • 性能瓶颈(算力利用率、访存瓶颈、调度不均衡)
  • 编写性能 profiling 与自动化验证工具

我们希望你具备

-硕士及以上学历, 3-8年工作经验 -熟悉 Transformer / LLM 结构与推理流程

  • 理解计算机体系结构基础:
  • Cache / Memory hierarchy
  • 并行计算模型
  • 访存与算力平衡
  • 熟练使用 C++ 或 Python
  • 熟悉 Linux 开发环境

强力加分项(具备任意一项即可)

  • 有大模型推理部署经验(如 vLLM / TensorRT / ONNX Runtime 等)
  • 有 GPU / NPU / 异构计算开发经验
  • 参与过算子开发或 AI 编译器相关项目
  • 有性能调优经验(Roofline 分析、带宽建模等)
  • 做过模型精度对齐与数值 Debug

你将获得

  • 深度参与“大模型 × 自研芯片”的完整工程闭环
  • 接触真实 AI SoC 架构与底层优化
  • 直接面对工程级问题,而不是玩具级 Demo

Description copied from 辉羲智能's careers page. Read the full posting before you apply.

More jobs at 辉羲智能

See all openings at 辉羲智能