大模型推理优化工程师（vLLM/SGLang方向）15K-30K
上海燧弘华创科技有限公司
2027-02-08 19:10:46
校招博士27届硕士
岗位详情
地区：
无锡市
专业要求：
软件工程计算机类
岗位职责：
1、参与大模型推理引擎优化工作（基于 vLLM、SGLang 等框架），协助完成 NVIDIA 与昇腾 (Ascend) 硬件上的性能调优，参与 Prefill-Decode（PD）分离架构的设计与落地；
2、协助优化 PD 分离场景下计算与通信开销，参与 KV Cache 管理、请求调度、跨卡 / 跨节点通信拓扑设计，改善分布式推理吞吐与延迟瓶颈；
3、面向昇腾国产硬件，参与 FlashAttention、PagedAttention 等核心算子适配与重构，排查内存、同步机制兼容性问题，提升硬件算力利用率；
4、调研前沿推理加速技术，协助落地投机采样、稀疏注意力、动态批处理等优化方案；
5、参与大模型推理服务平台核心模块研发，协助推理引擎二次开发与平台封装，开发模型转换、性能监控、日志分析类工具链。
招聘要求：
1、硕士及以上学历，计算机、软件工程等相关专业；
2、具备大模型 Infra、高性能计算相关科研 / 课题 / 竞赛项目；理解 Transformer 架构与 LLM 推理流程；有 PD 分离架构相关项目实践优先；
3、核心能力：
- 掌握 C++/Python 编程，阅读过 vLLM、SGLang、TensorRT-LLM 任一推理框架源码，理解底层运行机制；
- 了解 GPU/NPU 硬件架构、并行计算与内存访问模型，有 CUDA 或昇腾 Ascend C 开发实践；
- 理解分布式系统基础，了解 NCCL/HCCL 集合通信、RDMA/TCP 通信原理优先；
- 良好工程实践能力，能够定位推理性能瓶颈，配合团队完成算子、调度策略优化。
加分项：
1、有 vLLM/SGLang 二次开发、PD 分离架构落地项目经验；
2、实现或优化过 FlashAttention、PagedAttention 等注意力算子；
3、有昇腾 NPU 算子开发、推理框架适配经验；
4、研究 / 复现过投机采样、稀疏注意力等 LLM 推理加速技术；
5、有分布式推理、KV Cache 调度优化相关论文、开源项目经历。
公司介绍
上
上海燧弘华创科技有限公司
上海燧弘华创科技有限公司，成立于2023-12-11，位于上海，法定代表人：李强，登记状态：存续，注册资本10000万人民币，公司类型：民营/私企