阿里巴巴开源了最新数学模型Qwen2-Math，一共有基础和指令微调两种版本，包括1.5B、7B和72B三种参数。
根据阿里在主流数学基准测试显示，Qwen2-Math-72B指令微调版本的性能超过了GPT-4o、Cloude-3.5-Sonnet、Gemini-1.5Pro等知名闭源模型，就连Meta最新开源的超强模型Llama-3.1-405B也照样拿下。
也就是说，Qwen2-Math-72B是目前全球最强的数学推理大模型。不知能否挑战一下前不久谷歌刚获得国际数学奥林匹克竞赛银牌，仅差1分获得金牌的双混合模型AlphaProof和AlphaGeometry2（这两个模型还处于研究阶段）。
开源地址:https://huggingface.co/Qwen
Github:https://github.com/QwenLM/Qwen2-Math?tab=readme-ov-file
基础模型
Qwen2-Math的基础模型使用Qwen2-1.5B、7B和72B进行初始化，然后在精心设计的高质量数学专用语料库上进行预训练，该语料库包含大规模高质量的数学网络文本、书籍、代码、考试题目以及由 Qwen-2模型合成的数学预训练数据。
阿里在在三个英语数学基准 GSM8K、Math 和MMLU-STEM 上评估了Qwen2-Math 基模型。同时评估了三个中国数学基准 CMATH，GaoKao Math Cloze 和 GaoKao Math QA，所有评估均使用 Few-shot CoT 方式。
结果显示，Qwen2-Math基础模型的性能大幅度超越了Llama-3.1-8B/7B/405B全系列。
指令微调模型
在开发指令微调模型方面， Qwen2-Math-72B 训练的模型采用了密集的奖励信号与二元信号的结合，二元信号在此起到指示模型是否正确回答问题的作用，类似于分类任务中的标签，有助于模型在训练过程中进行自我校正。
结合信号后，模型通过拒绝采样方法构建了SFT数据集。拒绝采样是一种蒙特卡罗方法，通过在更大范围内按照均匀分布随机采样，然后接受或拒绝采样点来估计复杂问题的概率分布。
这种方法在处理复杂概率分布时特别有用，因为它不要求分布的概率分布函数可逆，从而解决了一些分布难以直接采样的问题 。
随后使用GRPO强化学习算法进行优化，这是近端策略优化的一种变体，通过迭代过程进行训练，其中奖励模型会根据策略模型的输出不断更新，以确保策略的持续改进 。
阿里使用英语和中文的数学基准评测对Qwen2-Math-72B指令微调模型进行了综合评估。还使用了更有难度的OlympiadBench、CollegeMath、高考（GaoKao）、AIME2024、 AMC2023以及中国2024年高考/中考数学题进行了测试。
结果显示，其数学推理性能大幅度超越了GPT-4o、Claude-3.5-Sonnet、Gemini-1.5-Pro 和 Llama-3.1-405B等知名开闭源模型。阿里表示，Qwen2-Math已经能解答一些数学竞赛难题，包括多道IMO竞赛题。
在预训练和微调数据集上阿里都进行了去污染处理，特别是清洗了对GSM8K、MATH、Aqua、SAT Math、OlympiadBench、College Math等知名基准测试数据集有重叠的正例污染样本，以保证测试效果的准确性、公平性。
目前，Qwen2-Math模型仅支持英文，但阿里表示会很快推出中英双语版本，帮助更多的用户开发生成式AI应用。
总结
阿里巴巴近日开源了其最新的数学推理大模型Qwen2-Math，该模型提供基础和指令微调两种版本，均包含1.5B、7B和72B三种参数配置。Qwen2-Math经过多年积累的高质量数学专用语料库预训练，性能卓越。特别地，其72B指令微调版在主流数学基准测试中表现抢眼，不仅超越了多个知名闭源模型如GPT-4o和Gemini-1.5Pro，还击败了Meta最新开源的超强模型Llama-3.1-405B，成为全球最强的数学推理大模型。这一成就引发了业界关注，未来或将进一步挑战谷歌的双混合模型AlphaProof和AlphaGeometry2，这两者在国际数学奥林匹克竞赛中近乎夺金。Qwen2-Math的成功归功于其独特的训练方法，包括结合密集奖励信号与二元信号进行训练，利用拒绝采样方法构建SFT数据集，并采用改进的GRPO强化学习算法优化模型。这些技术使Qwen2-Math在数学推理能力上实现了显著提升，能够解答包括数学竞赛难题在内的复杂问题。
阿里还强调，Qwen2-Math在预训练和微调过程中均进行了严格的数据去污染处理，确保了测试结果的准确性和公平性。虽然目前模型仅支持英文，但阿里计划快速推出中英双语版本，进一步扩大其应用范围和用户体验。
Qwen2-Math的开源地址为，详细的GitHub资源页面为：，供开发者和研究者探索和应用。