美团LongCat推出General 365评测集:26款主流大模型实测,Gemini 3 Pro推理准确率仅62.8%
头像 三元桥David 2026-06-21 15:38:44    发布
3528 浏览 1 点赞 0 收藏

大模型越来越"卷",到底哪家推理能力更强?最近美团LongCat团队直接甩出一套"硬核考卷"——General 365评测集,结果让人意外:连目前公认最强的Gemini 3 Pro,准确率也只有62.8%,刚刚过及格线;而绝大多数受测的26款主流大模型,连60分都没够着。

一、为什么是365?覆盖一年365天的复杂推理

这套评测集不是随便凑的题目,而是覆盖了日常复杂推理任务的多维度场景。美团LongCat团队把一整年里人类在工作、生活中可能遇到的逻辑难题、数学推演、因果分析等高难度问题,做了系统化整理,构成了"365"道关卡。

跟之前那些只考"能不能写诗"、"会不会聊天"的传统评测不同,General 365专门盯的是大模型的"硬功夫"——复杂推理、跨步骤思维、抗干扰能力。换句话说,它考的不是AI"会不会说话",而是"会不会动脑子"。

二、实测结果:60分及格线成了"高门槛"

在26款主流大模型的横向对比中,结果相当扎心:

第一名Gemini 3 Pro:准确率62.8%,是唯一明显突破60分及格线的选手;
第二梯队:GPT-5.6、Claude Opus 4.8等海外旗舰模型,准确率在55%-60%之间徘徊;
国产大模型阵营:阿里通义、字节豆包、智谱GLM、深度求索等头部产品,准确率集中在45%-55%区间;
大量中小模型:准确率不足40%,复杂推理几乎"抓瞎"。

这一结果直接打破了一个行业错觉:很多人觉得现在的大模型已经"无所不能"了,但面对真正的多步骤复杂推理,哪怕是顶级模型也只能拿到60多分。AI的"智商天花板",远比我们想象的要低。

三、为什么大模型"考不好"?

评测结果背后,暴露的是当前大模型的几个核心短板:

长链路推理容易"断片":问题稍微复杂、需要五六步连续推导时,模型容易在中间环节出错或跳跃;
对隐含条件不敏感:很多现实问题不会把条件明摆出来,需要"听话听音",而大模型对隐含信息的捕捉能力依然薄弱;
知识调用不精准:模型虽然"看过"海量数据,但调用相关知识点时容易"张冠李戴";
对抗干扰能力差:题目里多一句无关信息,模型就开始"跑偏"。

四、对行业意味着什么?

美团LongCat这次推出General 365,至少传递了三个明确信号:

1. 评测标准要"卷"起来。过去大家刷分靠MMLU、GSM8K这些老题库,刷到90多分就敢说"超越人类"。但General 365直接把及格线拉到60分,逼着行业正视"推理短板",别再自欺欺人。

2. 复杂推理是下一个战场。大模型的下一阶段竞争,不再是参数规模、上下文窗口这些"显性指标",而是真正的"思考深度"。谁能解决多步骤推理问题,谁就能拿下AI Agent、智能客服、自动编程这些高价值场景。

3. 国产大模型有差距,但也有机会。虽然榜单上国产模型整体落后海外旗舰10-15个百分点,但这种"差距明确"的评测,反而给国产厂商指明了优化方向——不用再卷参数,把推理能力做扎实才是硬道理。

五、美团LongCat的"小算盘"

值得注意的是,美团这次发布评测集,醉翁之意可能不止"做裁判"。作为本地生活领域的AI大户,美团内部业务对复杂推理的需求极为旺盛:智能客服处理海量用户咨询、外卖调度系统的实时路径规划、商家经营分析的逻辑推演——这些场景都极度依赖大模型的"硬推理能力"。

推出一套自家主导的评测标准,既能推动行业往美团需要的技术方向走,又能在AI生态里建立"规则制定者"的位置。这手棋,下得相当精明。

结语

62.8%——这就是2026年6月,最强大模型的"推理天花板"。

General 365评测集的发布,与其说是给大模型"打分",不如说是给整个行业浇了一盆冷水:AI革命的真正深水区,不是参数、不是上下文长度,而是机器到底能不能像人一样"想清楚问题"。

对开发者来说,这套评测集是很好的"体检表";对行业来说,它是一记清醒的警钟;对普通用户来说,它提醒我们——别把AI神化,它还远没到"无所不能"的地步。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。
分类
业界新闻

暂无评论数据

加载中...

发布

地址:北京市朝阳区北三环东路三元桥曙光西里甲1号第三置业A座1508室 商务内容合作QQ:2291221 电话:13391790444或(010)62178877
版权所有:电脑商情信息服务集团 北京赢邦策略咨询有限责任公司
声明:本媒体部分图片、文章来源于网络,版权归原作者所有,我司致力于保护作者版权,如有侵权,请与我司联系删除

京ICP备:2022009079号-2

京公网安备:11010502051901号

ICP证:京B2-20230255