推理优化算法工程师当面告知
浙江核新同花顺网络信息股份有限公司
2027-01-02 18:53:22
校招27届本科硕士
岗位详情
地区：
杭州市
专业要求：
人工智能
岗位职责：
1. 大模型推理系统研发与优化：负责 LLM 及多模态大模型高性能推理系统的研发、部署与优化，基于 vLLM、SGLang、TensorRT-LLM 等框架持续提升吞吐、时延、显存利用率和服务稳定性。
2. GPU 算子与性能优化：负责 Attention、GEMM、MoE、Normalization、Quantization 等关键算子的性能分析与优化，使用 CUDA、Triton 等进行算子开发、Kernel Fusion 及计算/访存优化。
3. 分布式与 MoE 推理优化：负责 TP、DP、PP、EP、CP/SP、Prefill-Decode 分离等分布式推理方案设计与优化，开展 MoE Expert Parallel、Grouped GEMM、DeepEP/NCCL 通信及负载均衡优化。
4. KV Cache 与量化优化：负责 Paged/Prefix/Radix KV Cache、KV Transfer/Offloading 等内存管理技术，以及 FP8、FP4/NVFP4、INT8/INT4、AWQ、GPTQ 等低精度推理方案的研发与落地。
5. 大规模推理集群优化：面向百卡/千卡级生产集群开展 Serving 架构和调度优化，包括 Continuous Batching、KV-aware Routing、负载均衡、资源调度和弹性伸缩，并建立端到端 Benchmark、Profiling 和性能诊断体系。
招聘要求：
1. 扎实的系统与编程基础：计算机、人工智能、电子工程等相关专业本科及以上学历；熟练掌握 Python、C/C++，具备良好的数据结构、操作系统、计算机体系结构和并行计算基础。
2. 熟悉 LLM 推理技术栈：深入理解 Transformer/LLM 推理原理，熟悉 Attention/FlashAttention、Prefill/Decode、Continuous Batching、PagedAttention、KV Cache、Prefix Caching 等核心技术。
3. 具备推理框架开发经验：熟悉 vLLM、SGLang、TensorRT-LLM 等至少一种主流推理框架，有核心模块源码阅读、二次开发或生产环境性能优化经验。
4. 具备 GPU 性能优化能力：熟悉 CUDA/Triton 编程及 GPU 架构，能够使用 Nsight Systems、Nsight Compute 等工具定位计算、访存、Kernel Launch 和通信瓶颈，并开展针对性优化。
5. 熟悉分布式推理与通信：理解 TP、DP、PP、EP、CP/SP 等并行策略及 All-Reduce、All-Gather、All-to-All 等通信机制；有 MoE、DeepEP、NCCL、RDMA、NVLink/NVSwitch 或 PD 分离相关经验者优先。
6. 熟悉量化及大规模 Serving 者优先：理解 FP8、FP4/NVFP4、INT8/INT4、AWQ、GPTQ 等量化技术；具备百卡/千卡级推理集群、KV-aware Routing、分布式调度或线上大模型性能优化经验者优先。
加分项
* 有 vLLM、SGLang、TensorRT-LLM、DeepEP、FlashAttention 等开源项目贡献经验；
* 有百卡/千卡级大模型推理集群生产环境开发或性能优化经验；
* 有 DeepSeek、Qwen、GLM、Kimi 等主流万亿以上大模型部署与优化经验；
公司介绍
浙
浙江核新同花顺网络信息股份有限公司
浙江核新同花顺网络信息股份有限公司，成立于2001-08-24，位于浙江，法定代表人：易峥，登记状态：存续，注册资本53760万人民币，公司类型：其他
公司信息:公司名称:浙江核新同花顺网络信息股份有限公司公司类型:互联网/电子商务公司性质:1000-4999人公司地点:公司规模:--涉及领域:--公司网址: