随着模型尺寸和数据规模的持续扩大，预训练任务已成为AI研究和发展中最为资源密集的环节之一。本项目旨在深入的理解预训练任务的workload特点，定位性能瓶颈，并进行优化从而降低预训练任务的成本开销。例如从显存，通信，计算优化等方面优化MoE大规模训练任务的吞吐，支持包括通义实验室等领域方向。