增强数学推理：步控DPO

步控DPO（SCDPO）优化了直接偏好优化技术，提升了大型语言模型的推理能力。SCDPO引入了逐步错误监督机制，从正确的起点构建推理缺陷样本。这种方法提高了模型对错误的识别能力和推理准确性。应用于多种模型时，SCDPO显著提升了性能，特别是在数学任务中。一个经过SCDPO训练的200亿参数模型表现卓越，在GSM8K测试中得分88.5%，在MATH测试中得分58.1%，挑战了顶尖的开源LLM。