1.用户偏好采集与建模：设计并构建系统化的用户偏好数据采集方案，深入分析用户行为与反馈信号，建立多维度、可扩展的用户偏好表征与建模体系，为 Reward Model 训练提供高质量数据基础。 2.Reward Model 训练与优化：训练高精度、低偏差的 Reward Model，覆盖创作质量、指令遵循、安全对齐、人类偏好等多个专项维度；持续优化训练策略，有效缓解 Reward Hacking 与分布偏移问题，为下游 RL 训练（PPO / GRPO 等）和用户偏好评测提供可靠的奖励信号。 3.用户反馈分析与 Badcase 聚类：建立从线上用户反馈到模型迭代的闭环机制，利用聚类、归因分析等方法系统性挖掘 Badcase，定位模型能力短板与偏好盲区，驱动数据策略与训练目标的持续优化。 4.LLM Judge / Verifier 体系建设：研究并构建基于 LLM 的自动化评测与验证体系，设计可 Scalable 的 Verifier 信号，使其既能作为高效的偏好评测工具，也能作为奖励信号直接融入 RL 训练流程，提升模型迭代的自动化程度与覆盖广度。 5.偏好对齐前沿探索：持续跟踪 RLHF / RLAIF / DPO / Constitutional AI 等对齐技术的前沿进展，探索更高效的偏好学习范式，推动 基础模型在对齐质量与训练效率上的双重突破。