智谱 AI 推出数学模型 MathGLM，数学能力超过GPT4

智谱AI近日发布了数学模型MathGLM，旨在提升大语言模型的数学推理能力。该模型能够在不使用计算器工具的情况下高效执行复杂算术运算，解答中文数学应用题，部分表现超过GPT4和ChatGPT。目前，MathGLM已在魔搭社区ModelScope全球首发上架。

过往研究认为，大语言模型在执行高位数的算数运算方面存在局限，尤其是涉及超过8位数的乘法运算以及涉及小数、分数的运算。然而，MathGLM的出现打破了这些偏见。该模型包含10M、100M、500M、2B等多个参数版本，具备处理最多12位数字的运算能力。

MathGLM在模型架构、数据集等方面进行了创新。研发团队采用Transformer的decoder架构，并使用自回归目标在生成的算术数据集上从头训练。针对算术任务，研发团队还采用分步计算策略对数据集进行了重构，让单个算术表达式由2到10个运算步骤组成，以方便MathGLM进行准确计算。

评测结果显示，MathGLM在一个包含9592条测试用例的专门为算术任务量身定制的数据集上的表现，显著优于GPT4和ChatGPT。此外，研发团队还微调了一系列以GLM为基座模型的MathGLM，用于解决中文应用题。在Ape210K数据集上进行测试的结果显示，MathGLM模型在答案准确性方面已接近GPT-4。

为方便开发者快速上手体验MathGLM，魔搭社区第一时间推出了模型体验、推理实践教程。总之，MathGLM的出现填补了大语言模型在数学推理方面的空白，有望推动AI在数学教育等领域的应用。