推理加速工程师-南京-2027届秋招(J18105)当面告知
浩鲸云计算科技股份有限公司
2026-11-28 00:00:00
校招27届本科硕士
岗位详情
地区：
南京市
专业要求：
人工智能计算机类电子信息类
岗位职责：
1. 本科及以上，计算机/电子/AI相关专业，有大模型推理加速/高性能计算经验，千亿级优化经验优先
2. 精通C++/Python，熟悉PyTorch，能独立完成推理优化开发调试优先
3. 熟悉NVIDIA GPU架构与CUDA生态，掌握CUDA Kernel/TensorRT，会用Nsight定位瓶颈
4. 深入理解Transformer推理流程，熟练使用至少一种主流推理框架，熟悉量化/剪枝/蒸馏
5. 有分布式推理部署、GPU集群优化或开源框架贡献经验者优先
1. 大模型推理全链路优化，通过量化、剪枝、KV Cache等技术提升吞吐、降低延迟、降本增效
2. 深耕vLLM、TensorRT-LLM等推理框架，二次开发与定制优化
3. GPU异构计算优化，运用CUDA编程、Tensor Core加速，解决算力利用率低、内存碎片化
4. 协同算法工程团队推动推理系统工程化，参与分布式推理部署，保障P99延迟、吞吐达标
5. 跟踪推测解码、动态批处理等前沿技术并落地
招聘要求：
1. 本科及以上，计算机/电子/AI相关专业，有大模型推理加速/高性能计算经验，千亿级优化经验优先
2. 精通C++/Python，熟悉PyTorch，能独立完成推理优化开发调试优先
3. 熟悉NVIDIA GPU架构与CUDA生态，掌握CUDA Kernel/TensorRT，会用Nsight定位瓶颈
4. 深入理解Transformer推理流程，熟练使用至少一种主流推理框架，熟悉量化/剪枝/蒸馏
5. 有分布式推理部署、GPU集群优化或开源框架贡献经验者优先
1. 大模型推理全链路优化，通过量化、剪枝、KV Cache等技术提升吞吐、降低延迟、降本增效
2. 深耕vLLM、TensorRT-LLM等推理框架，二次开发与定制优化
3. GPU异构计算优化，运用CUDA编程、Tensor Core加速，解决算力利用率低、内存碎片化
4. 协同算法工程团队推动推理系统工程化，参与分布式推理部署，保障P99延迟、吞吐达标
5. 跟踪推测解码、动态批处理等前沿技术并落地
公司介绍
浩
浩鲸云计算科技股份有限公司
浩鲸云计算科技股份有限公司，成立于2003-02-21，位于江苏，法定代表人：鲍钟峻，登记状态：存续，注册资本79162.4476万人民币，公司类型：民营/私企
公司信息:公司名称:浩鲸云计算科技股份有限公司公司类型:计算机软件公司性质:合资企业公司地点:南京鲸融科技有限公司公司规模:1000-4999人涉及领域:--公司网址:--