AI开卷数学模型,哪家强?

营销技术Martech
王智远
3小时前

Kimi这两天悄悄推出数学版,名字叫:k0-math。

知道模型前,已经有不少外部不少信息说对标OpenAI o1系列,还有人放出了在MATH、中考、高考、考研4个数学基准测试中的数据。

结论是,Kimi数学版成绩均超过了OpenAI o1-mini和o1-preview模型。

对于这种评测肯定有各种说法。有些人认为,Kimi 在处理几何、代数和计算准确性方面表现不错,还能提供多种解题思路。即使遇到一时解不出的题目,它也会“回炉”重新分析,最终给出正确答案。

但也有人指出,国内大模型推出数学版的同时,也暴露了自身的真实水平;以前,数学能力不是大家关注的重点,但随着 Kimi 推出这个新模型,人们逐渐意识到:数学才是衡量大模型底层能力的核心。

既然如此,大模型卷数学哪家更强呢?纸上得来终觉浅,绝知此事要躬行;所以,和团队伙伴一口气测了8个模型。


01


模型包括:主流的Kimi、ChatGPT(o1 和 o1-preview)、豆包、通义千问 2.5、讯飞星火、夸克和知乎直答。

问题来了,该怎么测试这些模型的数学能力?刚好前两天发完小绿书后,有位朋友留言推荐了一道题。他说,试试这个问题:

正方形ABCD绕B逆时针旋转任意角度得正方形 BPQR ,连 QD ,连 CP 交 QD 于 E 。已知CE =5V2, ED =4,求AB的边长。

说实话,我不是专业的数学博主,只能从评测的角度来还原这个过程。先说明一点,这里面有些模型可能并没有对外宣传自己能做数学题,但这没关系,测一测或许会发现一些意想不到的表现。

我把问题给Kimi数学版,这是它给的结论:

微信图片_20241127184440.png

准确吗?

说实话,我不知道。毕竟这些几何知识早就还给老师了,为了避免答得太离谱,我顺便问了 Kimi 一个问题:这道题属于什么范畴、什么难度?

它告诉我:这是一道正方形旋转、勾股定理、以及三角形组成的题,主要在初中、高中的几何课程中,反复被讨论更复杂的几何变换使用。

好吧,先不纠结我自己的数学水平,接着测试豆包。为了阅读方便,这里就不放截图了。豆包的计算速度很快,结论和 Kimi 数学版完全一致。这么看来,这两个模型在答案上还是比较统一。

通义千问2.5模型怎么样呢?它的第一个答案是 √33,但当我再次测试时,它给出的结果变成了 √66。这个结果让我有点懵。

事情总是按照英雄之旅的模式发展,测试讯飞星火时,它的计算速度比其他几个模型明显慢了一些。

更离谱的是,它得出的结论是正方形 ABCD 的边长是 9,而我问的是 AB 的边长;于是,我指出了这个错误,要求重新计算,这才得到一个和通义千问类似的答案。

接下来是夸克的测试。

它提供了三个不同的计算过程,但结论并不一致,带着疑惑,我又测了知乎直答,结果更不一样,答案五花八门,让人有点摸不着头脑。

心里带着疑惑,转向 ChatGPT 4o。

这个模型很有意思,它一开始几乎快解完了,却突然删掉了;更有趣的是,它解完又删,又重新计算,像在“反思”自己的解题思路。最终,它的答案和 Kimi 数学版一致。

切换到 ChatGPT o1-preview 模型后,答案和通义千问、讯飞星火类似。

8个模型最终测试下来,豆包、Kimi、ChatGPT 4o计算方式和答案一致;通义千问、讯飞星火、ChatGPT o1-preview答案另一个答案;夸克和知乎直答,提供了不同的结果。‍


02‍


有句话,被人经常说起,即:如果给我一个小时来解决问题,我会用55分钟来思考问题,再用5分钟来思考解决方案。

虽然,无法证明是不是爱因斯坦说的,至少告诉我们,思考比答案更重要,问题被定义,答案也就很好解决。

于是乎,我们来了一波反向操作,把问题又给了8个大模型,让它来纠正错误。

首先,拿ChatGPT4o和ChatGPT o1-preview进行对比,果然,统一大模型下测试语言类和数学类就能看出它真正的能力。

ChatGPT4o逻辑性比较明显,回答也很干脆,它说:

一,旋转角度不明确,比如“绕 B 点逆时针旋转任意角度”,这个角度到底是多少?需要明确。

二,已知条件和几何关系不匹配,导致计算困难。

三,因为有前两个问题存在,求 AB 角度会很灵活,结果容易变化。

ChatGPT 0.1-preview 的回答方式有点不同。它会先分析,等梳理完再给出完整答案。虽然内容和ChatGPT4o一致,但思路展开得更全面些。

Kimi呢?表现如何?

它更懂中国人一些,我虽然做数学题的能力早蜕化完了,但能看懂解题思路;它分析了三个关键问题,最后建议直接设定一个具体角度(比如 90°)或补充几何信息,这样能避免理解偏差;总体来说,Kimi 的回答简单明了。

豆包回答更注重细节。它明确指出旋转角度模糊、缺少等量关系线索等问题,给出具体修改建议,比如将“绕 B 点逆时针旋转任意角度”改为“旋转 45°”,或者增加三角形面积比等条件。

它的回答怎么评价呢?

Kimi结构化清晰,列出几点就没了;豆包,则会在条目上进行一步展开动作,内容更丰富一些。

通义千问 2.5 的表现有些矛盾。它一开始说问题没有逻辑错误,但又指出条件中 CE 和 ED 的长度与旋转角度不匹配。这种前后不一致让我有点困惑。

再说说讯飞星火模型,它在纠错方面表现一般,会直接还原解题思路,但几乎没有排查问题,即使调整提示词,结果还是一样,和其他模型的表现有明显差距。

对于夸克,体验感受是这样,它网页版只有搜题、上传图片来解题这俩功能,不像其他智能体能直接把问题发给它,再给提示词让帮忙解题。

缺了过程就限制了互动性。只能换种形式,对着电脑拍张图片给它;不过它的解题能力很强,能根据缺少的条件生成多个答案,并还原出对应的解题思路。

知乎知答倒是挺意外,虽然它没宣传解题功能,但它不仅能解决问题,还能纠错。

一部分答案依赖搜索,另一部分通过生成完成,它还能直接指出题目中模糊的地方,加入修正设想。不过它的回答没有 Kimi 或豆包那样条理清晰,可能是训练数据不足的原因。

8个模型,整体纠错下来,ChatGPT 4.o和Kimi水平相当,回答清晰,ChatGPT o1-preview和豆包细节更丰富,展开更多。

通义千问 2.5 表现模糊,讯飞星火 在纠错方面还需提升,夸克解题能力强,但互动性差。知乎知答算是意外之喜,能解题纠错,但条理性稍弱。

以上是我和团队另一位伙伴测试中的个人体验,如果认为不准,也可以亲自测试一下模型中的表现。

测试完后,我查了一下,这道题如果出现在试卷里通常会明确说明旋转角度。但在我的测试中,这个条件没有给出,所以问题本身确实有些模糊。

也正因如此,我更觉得,明确和梳理清楚问题才能找到答案。


03‍


大模型卷数学能力蛮重要,为什么重要?理由有很多,不过,从我的感受上认为有两个值得关注下。

第一点:教育‍

家长们辅导孩子做作业已经够费劲了,尤其是数学题,将来你有了孩子,遇到难题想用AI帮忙,结果几个模型给出的答案都不一样,那得多让人焦虑?

从大方面看,解题思路可以有很多种,但答案必须准确无误。因为数学是严格按照逻辑规则来的学科,从公理到定理,每一步推导都要精确,数学结论出错了,接下来的推导可能全错。

我们可以想象一个实际场景。比如:工程设计。

某天我们用 AI 模型帮忙计算关键数据,结果有偏差,那施工时是不是会直接酿成事故?

还有一点,我感觉数学模型的实际应用场景比语言模型更多,从金融分析到天气预测,从自动驾驶到工程设计,哪一样离得开精确的数学运算?

第二点:模型本身

过去几年,大语言模型学了不少东西,比如语言、语义和情感表达。这就像一个刚出生的孩子,最初大脑充满了对情感、语言和人际交流的敏感性。

但接下来,模型要进入更高层次的认知发展阶段,就像孩子逐渐开始上学,学习数学、科学等逻辑性更强的东西。

这个阶段,好比大脑的“系统2”,更高级的理性思考能力。系统2的作用是什么?深入理解、推理和解决复杂问题的基础。

如果模型在理科上不够精准,那怎么能指望它在复杂的任务中表现得好呢?所以,数学是对系统2的极限测试,因为数学不容模糊,要么对,要么错,没有中间地带。

更进一步说,大语言模型不能只会讲故事、安慰人,它得成为一个会计算的“科学家”或者“工程师”,这样才能解决更高层次的问题,而这一切都要靠数学能力。


04‍


我注意到除Kimi外,还有不少大公司推出了专门提升数学能力的大模型。

比如:好未来的MathGPT,它主要为全球的数学爱好者和科研机构服务的,主要做搜题和答题,属于千亿级别的大模型。

百川智能的Baichuan 4,主要关注金融行业,能做风险评估和交易策略分析,已经和用友、软通动力、新致软件、达观数据、华胜天成等伙伴合作了。

阿里云的Qwen2-Math是个开源模型,专门用来解数学题。虽然它还没公布具体客户,但在学术研究和竞赛培训中经常看到它的影子。

除此之外,还有云从科技的从容大模型和MiniMax的abab6.5等等。它们有的专注政府领域,有的更偏向制造业,以前,这些公司大多通过大模型或者某个具体应用场景来让大家了解。

现在AI在个人用户端应用竞争,已经变得有些局限了。

因为主要集中在搜索、对话、写作、代码生成这几个领域,AI的极致体验,更多是从搜索开始,然后逐步建立起搜集、应用、输出的完整流程。

这种局限让AI的潜力还没有完全发挥出来,实际上数学模型的应用场景要比文科类、代码生成要广泛得多;不信,只要思考一个场景就够了:

上班时,无论是财务、运营还是市场决策,几乎所有公司每天都离不开数据。

管理者们关注的是什么?是各种报表上的ROI指标,是增长率、转化率,是用数字来衡量业务健康状况的关键指标。

这些数字背后,靠强大的数学分析、预测和建模能力。

进一步来说,这种能力在更大的层面甚至关系到供给侧的优化。比如,企业如何通过数据优化供应链,降低库存成本,同时提升交付效率?

如何用数学模型分析市场需求波动,及时调整生产计划?这些都是企业面临的核心问题,而解决问题的关键,正是强大的数学建模能力。

所以,数学模型意义早已超越学科本身,它是推动经济发展,加速商业效率的支柱,AI模型卷数学,无疑能让能力迈向新高度。


总结


未来,谁更胜一筹呢?

不太好定义,不过,我认为,在比能力这件事上,不如多思考一下,如何进入某个领域拿到数据,毕竟数据是训练模型重要的语料。

参与讨论

回到顶部