分布式推理工程师当面告知
北京电子数智科技有限责任公司
2026-12-05 12:26:47
校招27届本科硕士
岗位详情
地区:
北京
专业要求:
计算机科学与技术软件工程
岗位职责:
1. LLM Gateway研发:负责LLM Gateway(大模型网关)系统研发,实现多模型、多框架的统一接入与请求转发,构建标准化大模型服务入口;
2. 模型协议兼容层设计:设计模型协议兼容层,适配OpenAI API、Anthropic API等多种模型协议,实现不同厂商模型的无缝切换与兼容调用;
3. 智能路由机制研发:研发智能路由机制,根据模型能力、负载状态、延迟要求等维度动态选择最优推理实例,提升服务质量与资源利用率;
4. 流量治理建设:建设流量治理能力,包括限流、熔断、降级、灰度发布,保障大模型服务在高并发场景下的稳定性;
5. 服务生命周期管理:推进模型服务生命周期管理,实现模型部署、版本管理、弹性扩缩容、优雅下线的全流程自动化。
1、本科及以上学历,计算机、软件工程相关专业;
2、熟练掌握Go/Python/Java中至少一门编程语言,具备良好的工程素养,熟悉微服务架构与分布式系统原理,了解API Gateway、服务注册发现等技术,了解K8s与容器化部署,熟悉高可用架构设计;
3、具备良好的系统设计与高并发处理能力,对大模型服务化有浓厚兴趣;
4、具备良好的学习能力与团队协作精神;
5、有API Gateway或反向代理(Nginx/Envoy)二次开发经验者优先,了解大模型推理服务部署与运维者优先,有高并发系统设计或性能调优经验者优先。
招聘要求:
1. LLM Gateway研发:负责LLM Gateway(大模型网关)系统研发,实现多模型、多框架的统一接入与请求转发,构建标准化大模型服务入口;
2. 模型协议兼容层设计:设计模型协议兼容层,适配OpenAI API、Anthropic API等多种模型协议,实现不同厂商模型的无缝切换与兼容调用;
3. 智能路由机制研发:研发智能路由机制,根据模型能力、负载状态、延迟要求等维度动态选择最优推理实例,提升服务质量与资源利用率;
4. 流量治理建设:建设流量治理能力,包括限流、熔断、降级、灰度发布,保障大模型服务在高并发场景下的稳定性;
5. 服务生命周期管理:推进模型服务生命周期管理,实现模型部署、版本管理、弹性扩缩容、优雅下线的全流程自动化。
1、本科及以上学历,计算机、软件工程相关专业;
2、熟练掌握Go/Python/Java中至少一门编程语言,具备良好的工程素养,熟悉微服务架构与分布式系统原理,了解API Gateway、服务注册发现等技术,了解K8s与容器化部署,熟悉高可用架构设计;
3、具备良好的系统设计与高并发处理能力,对大模型服务化有浓厚兴趣;
4、具备良好的学习能力与团队协作精神;
5、有API Gateway或反向代理(Nginx/Envoy)二次开发经验者优先,了解大模型推理服务部署与运维者优先,有高并发系统设计或性能调优经验者优先。
公司介绍
北
北京电子数智科技有限责任公司
北京电子数智科技有限责任公司,成立于2023-07-25,位于北京,法定代表人:荆磊,登记状态:存续,注册资本35000万人民币,公司类型:国有企业