
大模型越来越"卷",到底哪家推理能力更强?最近美团LongCat团队直接甩出一套"硬核考卷"——General 365评测集,结果让人意外:连目前公认最强的Gemini 3 Pro,准确率也只有62.8%,刚刚过及格线;而绝大多数受测的26款主流大模型,连60分都没够着。
一、为什么是365?覆盖一年365天的复杂推理
这套评测集不是随便凑的题目,而是覆盖了日常复杂推理任务的多维度场景。美团LongCat团队把一整年里人类在工作、生活中可能遇到的逻辑难题、数学推演、因果分析等高难度问题,做了系统化整理,构成了"365"道关卡。
跟之前那些只考"能不能写诗"、"会不会聊天"的传统评测不同,General 365专门盯的是大模型的"硬功夫"——复杂推理、跨步骤思维、抗干扰能力。换句话说,它考的不是AI"会不会说话",而是"会不会动脑子"。
二、实测结果:60分及格线成了"高门槛"
在26款主流大模型的横向对比中,结果相当扎心:
• 第一名Gemini 3 Pro:准确率62.8%,是唯一明显突破60分及格线的选手;
• 第二梯队:GPT-5.6、Claude Opus 4.8等海外旗舰模型,准确率在55%-60%之间徘徊;
• 国产大模型阵营:阿里通义、字节豆包、智谱GLM、深度求索等头部产品,准确率集中在45%-55%区间;
• 大量中小模型:准确率不足40%,复杂推理几乎"抓瞎"。
这一结果直接打破了一个行业错觉:很多人觉得现在的大模型已经"无所不能"了,但面对真正的多步骤复杂推理,哪怕是顶级模型也只能拿到60多分。AI的"智商天花板",远比我们想象的要低。
三、为什么大模型"考不好"?
评测结果背后,暴露的是当前大模型的几个核心短板:
• 长链路推理容易"断片":问题稍微复杂、需要五六步连续推导时,模型容易在中间环节出错或跳跃;
• 对隐含条件不敏感:很多现实问题不会把条件明摆出来,需要"听话听音",而大模型对隐含信息的捕捉能力依然薄弱;
• 知识调用不精准:模型虽然"看过"海量数据,但调用相关知识点时容易"张冠李戴";
• 对抗干扰能力差:题目里多一句无关信息,模型就开始"跑偏"。
四、对行业意味着什么?
美团LongCat这次推出General 365,至少传递了三个明确信号:
1. 评测标准要"卷"起来。过去大家刷分靠MMLU、GSM8K这些老题库,刷到90多分就敢说"超越人类"。但General 365直接把及格线拉到60分,逼着行业正视"推理短板",别再自欺欺人。
2. 复杂推理是下一个战场。大模型的下一阶段竞争,不再是参数规模、上下文窗口这些"显性指标",而是真正的"思考深度"。谁能解决多步骤推理问题,谁就能拿下AI Agent、智能客服、自动编程这些高价值场景。
3. 国产大模型有差距,但也有机会。虽然榜单上国产模型整体落后海外旗舰10-15个百分点,但这种"差距明确"的评测,反而给国产厂商指明了优化方向——不用再卷参数,把推理能力做扎实才是硬道理。
五、美团LongCat的"小算盘"
值得注意的是,美团这次发布评测集,醉翁之意可能不止"做裁判"。作为本地生活领域的AI大户,美团内部业务对复杂推理的需求极为旺盛:智能客服处理海量用户咨询、外卖调度系统的实时路径规划、商家经营分析的逻辑推演——这些场景都极度依赖大模型的"硬推理能力"。
推出一套自家主导的评测标准,既能推动行业往美团需要的技术方向走,又能在AI生态里建立"规则制定者"的位置。这手棋,下得相当精明。
结语
62.8%——这就是2026年6月,最强大模型的"推理天花板"。
General 365评测集的发布,与其说是给大模型"打分",不如说是给整个行业浇了一盆冷水:AI革命的真正深水区,不是参数、不是上下文长度,而是机器到底能不能像人一样"想清楚问题"。
对开发者来说,这套评测集是很好的"体检表";对行业来说,它是一记清醒的警钟;对普通用户来说,它提醒我们——别把AI神化,它还远没到"无所不能"的地步。
暂无评论数据
发布
相关推荐
510
0
1598
0
2266
0
goldjin
2611
0
1809
0三元桥David
我还没有写个人简介......
帖子
提问
粉丝
AI算力焦虑下,企业要重新思考“够用、可控、可持续”的基础设施
2026-07-08 18:09:42 发布AI拟人化服务新规临近实施,智能体产品要先学会“守边界”
2026-07-07 10:03:31 发布
京公网安备:11010502051901号