大模型精度与性能测试工程师当面告知
上海燧弘华创科技有限公司
2027-01-19 14:23:41
校招博士27届硕士
岗位详情
地区：
无锡市
专业要求：
电子信息工程人工智能
岗位职责：
1、参与搭建大模型（LLM/VLM）全链路测试体系，协助设计 NVIDIA、昇腾等算力平台测试方案，覆盖算子级、模型级、业务场景级精度对齐与 Benchmark 基准建设；
2、参与 vLLM、SGLang、TensorRT-LLM 等推理框架深度评测，协助搭建自动化测试流水线，定位延迟、吞吐、显存占用等性能瓶颈；
3、参与大模型输出质量评估体系建设，开展幻觉检测、事实校验、RAG 效果量化、安全合规相关测试工作；
4、探索大模型自动生成测试用例方案，协助构建非确定性输出自动化评估，提升长文本、多轮对话场景测试覆盖率；
5、配合优化团队，使用 PyTorch Profiler、Nsight、Prometheus 等监控工具分析性能抖动、资源异常问题，支撑推理引擎参数调优与架构迭代。
招聘要求：
1、硕士及以上学历，计算机、人工智能、电子工程等相关专业；
2、了解 LLM/VLM 基础原理；有深度学习、模型评测、自动化测试相关课题 / 竞赛 / 实习项目优先；
3、核心能力：
- 掌握 Python/C++ 至少一门语言，具备自动化脚本开发能力，了解 CI/CD 基础概念；
- 了解 GPU/NPU 硬件架构，理解分布式计算、模型并行 / 数据并行基础原理；
- 熟悉模型量化、剪枝等压缩技术基础，理解其对模型精度、性能带来的影响；
- 了解 Ragas、DeepEval、TruLens 等 AI 评测工具，能够编写测试脚本、整理测试报告；
- 具备较强问题排查能力，善于记录、复现并定位软硬件协同层面问题。
加分项：
1、有大模型、深度学习相关自动化测试项目实践经验；
2、接触过 vLLM、SGLang 等推理框架，做过性能 Benchmark；
3、了解 CUDA、昇腾 NPU 基础及 NCCL 集合通信原理；
4、有 RAG 评测、大模型幻觉 / 安全评估相关项目经历；
5、熟悉 Prometheus 等监控工具，有集群性能分析经验。
公司介绍
上
上海燧弘华创科技有限公司
上海燧弘华创科技有限公司，成立于2023-12-11，位于上海，法定代表人：李强，登记状态：存续，注册资本10000万人民币，公司类型：民营/私企