大模型MaaS推理系统研发工程师（练习生）当面告知
行吟信息科技（上海）有限公司
2027-01-28 12:36:15
28届29届实习本科硕士
岗位详情
地区：
北京
·
上海
专业要求：
人工智能计算机科学与技术软件工程
岗位职责：
核心职责
1、参与小红书万亿级Token量推理系统构建，包括但不限于大模型智能网关、大模型弹性伸缩、推理系统优化等方向，共同打造国内领先的大模型MaaS服务；
2、探索负载感知的推理系统流量调度算法，如基于Prefix Cache命中率调度、基于P/D分离的流量调度、基于KVCache使用率、推理排队负载感知的流量调度、长上下文请求调度优化等，持续提升MaaS系统的稳定性、成本效益；
3、探索并跟进业界开源SOTA模型，如Qwen系列、DeepSeek系列，多维度评估模型效果并建立相关的准入体系，及时上架到MaaS系统；
4、参与MaaS系统的国产卡适配与异构算力统一调度体系，如华为910C、阿里PPU、昆仑芯P800；
5、参与攻克大规模分布式推理系统带来的复杂挑战，通过弹性调度、容量规划、链路压测等手段提升系统健壮性，确保平台能够弹性扩展，支撑业务的飞速增长
任职资格：
招聘要求：
1、熟悉业界主流Dense、MOE大模型架构及主要特点，能识别出模型效果及主要使用场景，支持用户大模型的选型和使用需求；
2、了解至少一种大模型服务推理部署框架，如vLLM、SGLang、Dynamo等，并有过大模型服务部署的经验；
3、优秀的代码能力、数据结构和基础算法功底，熟悉C++/Python开发，熟悉 Linux/Git 开发环境；
4、有强烈的工作责任心，较好的学习能力、沟通协作能力和自驱力，能和团队一起探索新技术，推进技术进步。
加分项
1、有AI大模型网关相关方向研究或实操经验，如多模型路由、AI负载感知路由等；
2、有大模型推理系统问题排查和优化经验，如推理的RT分析和优化；
3、有国产主力卡型，如华为910C、阿里PPU、昆仑芯P800，性能评测或相关接入经验；
公司介绍
行
行吟信息科技（上海）有限公司
行吟信息科技（上海）有限公司，成立于2013-08-02，位于上海，法定代表人：任爽，登记状态：存续，注册资本100万人民币，公司类型：民营/私企
公司信息:公司名称:行吟信息科技（上海）有限公司公司类型:互联网/电子商务公司性质:1000-4999人公司地点:公司规模:--涉及领域:--公司网址: