大模型工程化验证与部署测试实习生

岗位职责

1. 搭建完善的大模型多维度效果评测体系，覆盖文本、多模态任务场景，设计标准化测试用例，独立开发自动化评测脚本，实现模型能力常态化评测。
2. 跟进学术界与工业界主流评测方案，复现文本生成、多模态理解等核心任务的前沿评测方法，横向对比模型综合能力，输出专业、结构化的模型能力分析报告。
3. 搭建大模型部署态专属测试工具链，实现推理结果一致性校验、显存占用、推理时延、吞吐性能的自动化压测与数据统计，支撑部署效果迭代优化。
4. 针对INT4、FP16等量化方案设计完整的精度验证与对比评测流程，精准定位量化精度损失关键网络层与问题节点，输出量化优化整改建议。
5. 实测验证vLLM、FlashAttention等主流推理优化技术的真实性能增益，梳理适配场景、优化细节与落地经验，迭代编写标准化性能调优落地指南。

任职要求

1. 计算机、软件工程、人工智能、数学等相关专业在读硕士/博士，基础扎实、能力优秀的本科生可酌情放宽。
2. 熟悉NLP、CV基础任务，精通BLEU、ROUGE、CIDEr、mAP等主流评测指标原理与适用场景，具备模型效果量化评估思维。
3. 熟练使用MjEval、LM Evaluation Harness、OpenCompass等主流大模型评测框架，有实际模型评测落地经验优先。
4. 熟练掌握Linux开发调试环境，精通Nsys、PyTorch Profiler等性能分析工具，能够精准定位性能瓶颈与异常问题。
5. 熟练掌握Python/C++混合编程，具备高并发测试工具、自动化测试链路开发能力，可独立完成评测数据整理与可视化分析。
6. 了解GPU显存架构、NVLink拓扑等硬件特性，熟悉大模型推理硬件适配逻辑者优先。
7. 逻辑严谨、细心缜密，具备较强的问题复盘与文档沉淀能力，沟通协作顺畅，可高效配合算法与工程团队完成联合迭代。