2027校招-推理框架工程师（上海/成都/北京）当面告知
上海思朗科技股份有限公司
2026-12-27 19:30:25
校招27届本科硕士
岗位详情
地区：
北京
·
上海
·
成都市
专业要求：
计算机科学与技术软件工程
岗位职责：
分布式推理系统开发
1、设计并实现大规模AI模型（如LLM、多模态模型）的分布式推理框架，优化吞吐量（Throughput）和延迟（Latency）。
2、开发模型并行（Tensor/Pipeline Parallelism）、动态批处理（Dynamic Batching）和连续批处理（Continuous Batching）策略。
3、解决多节点、多GPU环境下的负载均衡和通信瓶颈问题。
4、优化计算图执行（如使用TensorRT、ONNX Runtime、vLLM等工具）。
5、实现量化（FP8/INT8）、KV Cache优化、Flash Attention等加速技术。
招聘要求：
精通 Python/C++，熟悉PyTorch/TensorFlow推理生态。
深入理解分布式系统（NCCL/RPC通信、GPU Direct RDMA）和 并行计算（CUDA、OpenMP）。
熟悉推理加速技术（量化、剪枝、算子融合）和框架（TensorRT、vLLM 、Sglang）。
公司介绍
上
上海思朗科技股份有限公司
上海思朗科技股份有限公司，成立于2016-06-16，位于上海，法定代表人：查浩，登记状态：存续，注册资本1431.7801万人民币，公司类型：民营/私企