【小红书 Hi Lab｜LLM 预训练组】 研究型实习：下一代预训练“学习策略”与训练范式探索（ 我们在做的不是把模型“训练得更久”，而是研究：训练过程究竟应该优先学什么、何时学、花多少算力学、用什么表示单位去学，目标是提升样本效率和智能密度。 你将探索的方向（开放命题） 1. 学习信号与训练调度（Learning Signal Scheduling） - 从训练反馈中判断哪些学习信号在当前阶段更“值钱”、哪些更像噪声 - 设计动态学习策略与自适应课程，让训练不再对所有内容一视同仁 - 指向：更高的样本效率、更快的能力增长 2. 训练范式的下一跳（Beyond Next-Token Prediction） - 探索 NTP 之外更优的自监督目标组合，更直接地塑造推理、规划与长程一致性能力 - 在不牺牲可扩展性的前提下，引入新的训练信号 - 指向：更高的智能密度与更强的泛化形态 3. 表示单位与词表的革命（Rethinking Tokenization / Representation Units） - 训练单位一定要是“固定词表 + 静态切分”吗？ - 让表示更贴合不同语种/代码/符号系统结构，从源头减少无效学习与偏置 - 指向：更高的样本效率与跨域能力上限 4. 算力的动态分配（Compute Allocation as a First-Class Citizen） - 把计算留给边际收益更高的部分：训练像资源调度系统一样被优化 - 在吞吐、稳定性与收益之间做最优折中 - 指向：更高的智能密度（同等效果更小模型/更少算力） 5. 面向训练效率的结构探索（Next Architecture for Training Dynamics） - 下一代结构不只追求推理速度，更服务于“可学习性”和“可控训练过程” - 结构如何与训练目标/数据策略协同形成整体最优 - 指向：系统级提升智能密度与样本效率 我们希望你 - 算法直觉强，愿意挑战训练与泛化的本质问题； - 代码硬、系统感强，能在大规模工程环境里把研究变成可复现实验； - 姚班/竞赛/系统或 ML 研究背景都欢迎（更看重能力与作品）。 你将获得 1. 课题的自由：选择你觉得最反共识、最值得下注的方向，做你认为最正确的事情，而不是按既定路线“完成任务”。 2. 充足的算力：只要方向对、设计严谨，我们会为关键实验提供足够的训练资源与工程支持。 3. 灵感爆发：和预训练核心成员高频脑爆，把“未来可能的训练范式”快速变成可验证的实验。 4. 极具竞争力的实习薪资。