推理优化工程师(扩散模型/生成式AI方向)当面告知

杭州群核信息技术有限公司
2027-06-30 23:59:59
其他社招

岗位详情

地区:

杭州市

专业要求:

数据科学人工智能计算机科学与技术软件工程电子与计算机工程

岗位职责:

1、针对扩散模型(如图像生成、视频生成、3D生成)的高性能推理引擎,支持多步采样、动态分辨率、多种调度算法等特性; 2、借鉴PagedAttention等思想,优化扩散模型中的KV Cache(或中间状态)管理,减少显存碎片和冗余存储。探索步数压缩(如LCM/LoRA)、模型剪枝等技术与推理的协同设计; 3、应用INT8/FP8/INT4等量化技术,在最小化画质损失前提下大幅提升推理速度; 4、基于K8S构建弹性的推理服务集群,实现动态批处理、自动扩缩容,提升GPU平均利用率。设计优雅的请求排队和负载均衡策略; 5、跟踪业界最新的推理加速技术,评估并引入新技术以持续优化生产环境成本结构和性能天花板。 任职资格: 1、精通Python和C++,具备优秀的代码优化和工程实现能力; 2、深入理解推理的全流程,熟悉常见优化技术。有丰富的ONNX/TensorRT/vLLM/TGI等推理引擎使用或二次开发经验; 3、对扩散模型的原理(前向/反向过程、去噪网络结构)有清晰认识,熟悉HuggingFace Diffusers库,并了解其性能瓶颈所在; 4、熟悉Docker/K8S等云原生技术,有模型服务的部署和调优经验,理解服务化指标(延迟、吞吐、SLO)。

招聘要求:

岗位职责: 1、针对扩散模型(如图像生成、视频生成、3D生成)的高性能推理引擎,支持多步采样、动态分辨率、多种调度算法等特性; 2、借鉴PagedAttention等思想,优化扩散模型中的KV Cache(或中间状态)管理,减少显存碎片和冗余存储。探索步数压缩(如LCM/LoRA)、模型剪枝等技术与推理的协同设计; 3、应用INT8/FP8/INT4等量化技术,在最小化画质损失前提下大幅提升推理速度; 4、基于K8S构建弹性的推理服务集群,实现动态批处理、自动扩缩容,提升GPU平均利用率。设计优雅的请求排队和负载均衡策略; 5、跟踪业界最新的推理加速技术,评估并引入新技术以持续优化生产环境成本结构和性能天花板。 任职资格: 1、精通Python和C++,具备优秀的代码优化和工程实现能力; 2、深入理解推理的全流程,熟悉常见优化技术。有丰富的ONNX/TensorRT/vLLM/TGI等推理引擎使用或二次开发经验; 3、对扩散模型的原理(前向/反向过程、去噪网络结构)有清晰认识,熟悉HuggingFace Diffusers库,并了解其性能瓶颈所在; 4、熟悉Docker/K8S等云原生技术,有模型服务的部署和调优经验,理解服务化指标(延迟、吞吐、SLO)。

公司介绍

杭

杭州群核信息技术有限公司

杭州群核信息技术有限公司,成立于2011-11-09,位于浙江,法定代表人:黄晓煌,登记状态:存续,注册资本149125万人民币,公司类型:民营/私企
公司信息:
公司名称:杭州群核信息技术有限公司
公司类型:互联网/电子商务
公司性质:1000-4999人
公司地点:
公司规模:--
涉及领域:--
公司网址: