模型结构设计与优化： 深入研究并优化大语言模型的基础架构（如 Transformer 及其变体，MoE 等），探索高效的 Attention 机制、位置编码及新型网络结构，突破模型长上下文（Long-context）和推理效率的瓶颈。 预训练策略与 Scaling 研究： 负责超大规模参数模型的预训练工作，研究 Scaling Laws 并指导算力与数据规模的最优分配；探索并落地前沿的训练策略（如 Curriculum Learning、优化器改进、学习率调度等），持续提升模型基础能力。 预训练数据策略： 深入分析海量多模态/多语言预训练数据分布特征，设计科学的数据混合（Data Mix）与采样算法；探索数据质量与模型能力之间的关联，针对性提升模型在逻辑推理、代码编写、数学计算等核心领域的表现。 分布式训练与稳定性保障： 基于大规模算力集群（千卡/万卡级别），联合系统工程团队优化分布式训练框架（如 DeepSpeed、Megatron-LM），解决训练过程中的 Loss Spike（梯度爆炸/不收敛）问题，保障大规模训练的高效性与极高稳定性。