混元基座模型-Mid-Train数据的高效筛选与合成研究当面告知

深圳市腾讯计算机系统有限公司
2027-02-07 20:30:46
博士27届实习硕士

岗位详情

地区:

北京市

专业要求:

数据科学人工智能计算机科学与技术软件工程智能科学与技术

岗位职责:

课题详情: 课题背景: 中期训练是衔接预训练与对齐阶段的核心,直接决定模型在代码、数理逻辑等复杂任务上的上限。由于高质量垂直领域人工数据极度稀缺,利用模型合成数据成为主流。但现有方案面临生成多样性坍塌及跨领域能力干扰等问题,亟待突破多领域数据精细筛选与高质量合成技术。 课题挑战: 1、模型退化危机:利用模型合成数据极易导致分布收敛与多样性丧失,在代码、数理等严谨领域合成出突破现有能力边界的“增量新知识”是核心难点; 2、能力跷跷板效应:多领域(如逻辑类与发散类)数据混合训练时易产生能力负迁移,通过提纯与组合策略实现各领域能力全面正向增益极具研究难度; 3、质量评估黑盒化:面对海量合成的垂直领域数据,缺乏高效且普适的自动化难度与质量评估标准,构建精准的打分体系面临巨大困难。 具体工作: 负责代码、数理、Agent、文创等核心领域数据的深度挖掘与筛选;设计高多样性的数据合成链路并在生产级别的模型上验证效果。 课题要求: 1、自然语言处理/机器学习/模式识别/人工智能/计算机等相关专业硕士、博士学历; 2、在NLP、LLM领域有深入实践,对生成式AI、复杂推理或特定垂域(如代码生成、数学定理证明等)有丰富的数据构建与模型调优经验; 3、较强的工程实现能力,熟练掌握Python、C/C++等至少一种语言,熟悉指令演化(如Self-Instruct等)及合成数据Pipeline架构; 4、熟悉DeepSpeed、Megatron等分布式训练框架,熟练使用至少一种深度学习框架(如PyTorch等); 5、有高质量论文发表者优先(如ACL、EMNLP、NeurIPS、ICML、ICLR等),特别是在数据合成、模型微调或特定垂域能力突破方向; 6、具备强烈的进取心、自驱力及跨领域学习能力,团队合作精神极佳,对实现AGI核心能力跃迁充满热情。

招聘要求:

课题详情: 课题背景: 中期训练是衔接预训练与对齐阶段的核心,直接决定模型在代码、数理逻辑等复杂任务上的上限。由于高质量垂直领域人工数据极度稀缺,利用模型合成数据成为主流。但现有方案面临生成多样性坍塌及跨领域能力干扰等问题,亟待突破多领域数据精细筛选与高质量合成技术。 课题挑战: 1、模型退化危机:利用模型合成数据极易导致分布收敛与多样性丧失,在代码、数理等严谨领域合成出突破现有能力边界的“增量新知识”是核心难点; 2、能力跷跷板效应:多领域(如逻辑类与发散类)数据混合训练时易产生能力负迁移,通过提纯与组合策略实现各领域能力全面正向增益极具研究难度; 3、质量评估黑盒化:面对海量合成的垂直领域数据,缺乏高效且普适的自动化难度与质量评估标准,构建精准的打分体系面临巨大困难。 具体工作: 负责代码、数理、Agent、文创等核心领域数据的深度挖掘与筛选;设计高多样性的数据合成链路并在生产级别的模型上验证效果。 课题要求: 1、自然语言处理/机器学习/模式识别/人工智能/计算机等相关专业硕士、博士学历; 2、在NLP、LLM领域有深入实践,对生成式AI、复杂推理或特定垂域(如代码生成、数学定理证明等)有丰富的数据构建与模型调优经验; 3、较强的工程实现能力,熟练掌握Python、C/C++等至少一种语言,熟悉指令演化(如Self-Instruct等)及合成数据Pipeline架构; 4、熟悉DeepSpeed、Megatron等分布式训练框架,熟练使用至少一种深度学习框架(如PyTorch等); 5、有高质量论文发表者优先(如ACL、EMNLP、NeurIPS、ICML、ICLR等),特别是在数据合成、模型微调或特定垂域能力突破方向; 6、具备强烈的进取心、自驱力及跨领域学习能力,团队合作精神极佳,对实现AGI核心能力跃迁充满热情。

公司介绍

深圳市腾讯计算机系统有限公司

深圳市腾讯计算机系统有限公司

深圳市腾讯计算机系统有限公司,成立于1998-11-11,位于广东,法定代表人:马化腾,登记状态:存续,注册资本6500万人民币,公司类型:民营/私企

公司信息:


公司名称:深圳市腾讯计算机系统有限公司


公司类型:互联网/电子商务


公司性质:5000以上


公司地点:


公司规模:--


涉及领域:--


公司网址: