推理优化工程师(扩散模型/生成式AI方向)当面告知
杭州群核信息技术有限公司
2027-06-30 23:59:59
其他社招
岗位详情
地区:
杭州市
专业要求:
数据科学人工智能计算机科学与技术软件工程电子与计算机工程
岗位职责:
1、针对扩散模型(如图像生成、视频生成、3D生成)的高性能推理引擎,支持多步采样、动态分辨率、多种调度算法等特性;
2、借鉴PagedAttention等思想,优化扩散模型中的KV Cache(或中间状态)管理,减少显存碎片和冗余存储。探索步数压缩(如LCM/LoRA)、模型剪枝等技术与推理的协同设计;
3、应用INT8/FP8/INT4等量化技术,在最小化画质损失前提下大幅提升推理速度;
4、基于K8S构建弹性的推理服务集群,实现动态批处理、自动扩缩容,提升GPU平均利用率。设计优雅的请求排队和负载均衡策略;
5、跟踪业界最新的推理加速技术,评估并引入新技术以持续优化生产环境成本结构和性能天花板。
任职资格:
1、精通Python和C++,具备优秀的代码优化和工程实现能力;
2、深入理解推理的全流程,熟悉常见优化技术。有丰富的ONNX/TensorRT/vLLM/TGI等推理引擎使用或二次开发经验;
3、对扩散模型的原理(前向/反向过程、去噪网络结构)有清晰认识,熟悉HuggingFace Diffusers库,并了解其性能瓶颈所在;
4、熟悉Docker/K8S等云原生技术,有模型服务的部署和调优经验,理解服务化指标(延迟、吞吐、SLO)。
招聘要求:
岗位职责:
1、针对扩散模型(如图像生成、视频生成、3D生成)的高性能推理引擎,支持多步采样、动态分辨率、多种调度算法等特性;
2、借鉴PagedAttention等思想,优化扩散模型中的KV Cache(或中间状态)管理,减少显存碎片和冗余存储。探索步数压缩(如LCM/LoRA)、模型剪枝等技术与推理的协同设计;
3、应用INT8/FP8/INT4等量化技术,在最小化画质损失前提下大幅提升推理速度;
4、基于K8S构建弹性的推理服务集群,实现动态批处理、自动扩缩容,提升GPU平均利用率。设计优雅的请求排队和负载均衡策略;
5、跟踪业界最新的推理加速技术,评估并引入新技术以持续优化生产环境成本结构和性能天花板。
任职资格:
1、精通Python和C++,具备优秀的代码优化和工程实现能力;
2、深入理解推理的全流程,熟悉常见优化技术。有丰富的ONNX/TensorRT/vLLM/TGI等推理引擎使用或二次开发经验;
3、对扩散模型的原理(前向/反向过程、去噪网络结构)有清晰认识,熟悉HuggingFace Diffusers库,并了解其性能瓶颈所在;
4、熟悉Docker/K8S等云原生技术,有模型服务的部署和调优经验,理解服务化指标(延迟、吞吐、SLO)。
公司介绍
杭
杭州群核信息技术有限公司
杭州群核信息技术有限公司,成立于2011-11-09,位于浙江,法定代表人:黄晓煌,登记状态:存续,注册资本149125万人民币,公司类型:民营/私企
公司信息:公司名称:杭州群核信息技术有限公司公司类型:互联网/电子商务公司性质:1000-4999人公司地点:公司规模:--涉及领域:--公司网址: