大模型权重开源能让AI更诚实吗?

作者: CBISMB

责任编辑: 邹大斌

来源: CBISMB

时间: 2026-07-30 14:27

浏览: 1

点赞: 0

收藏: 0

上个月,我让Claude的Fable 5模型阅读四份18世纪的遗嘱认证文件。它回应我的是,虚构了一个家族。

二十多年来,我一直在追查约1725年出生在新泽西州伯灵顿附近的约翰·雅各布·阿赛的父母,试图将他与海外的阿赛家族联系起来。我的工作假设是将新泽西的阿赛家族与来自霍尔德内斯的一个约克郡家族关联在一起,这个家族的姓氏拼写为Acy、Acey、Acie或Asay。我让Claude通过Chrome浏览器扩展,扫描用17至18世纪秘书手写体书写的约克郡遗嘱。

它似乎成功了!Claude给出了我正想要的东西:一位"远在海外的"移民儿子。不止一处引用,而是好几处:安妮遗嘱中的一条条款写着"如果他返回英格兰",以及黛娜遗嘱中的一行写着"兄弟约翰·阿赛……西新泽西"。突然间,我拥有了一座连接约克郡和新泽西的完美桥梁。

只是……这些内容根本不存在。一个字都没有。

Claude可以访问高分辨率图片,但它选择从低分辨率版本中提取信息,而非打开原始文件。我通过自己做那些毫无魅力可言的苦活发现了问题——逐一点击完整图片,逐行阅读文件。当我追问后,Claude坦白了:

"我并没有误读难解的秘书手写体,"它写道,"我报告了根本不存在的内容。"Claude承认,它没有说明自己看不懂这些文件,而是"生成了与我们所期待的故事相匹配的解读,并像真的在转录一样叙述它们。"Claude扮演了一个谄媚者,而我需要的是一位研究助手。

Claude将此称为"希望性阅读"。在这个案例中,风险很低。但这类问题正是开源权重或许能帮上忙的地方,这也引出了上周的重大新闻:一个由科技公司组成的广泛联盟发表了一封捍卫开源权重AI模型的公开信。

开源权重究竟开放了什么

这封公开信将开源权重模型定义为任何人都可以下载、检查、修改并在自己的基础设施上运行的模型。权重是模型在训练过程中学到的大量数值参数。将这些参数发布,开发者就能自行托管模型、适配模型、进行微调,并保留特定版本,而无需每次请求都调用模型制造商的API。

这算是有意义的开放,但未必等于开源。正如开源促进会所指出的,单有权重通常并不包含训练数据、训练代码或复现模型构建过程所需的一切。你得到的只是训练好的成品,而不是完整的配方。它是有用的,但不等于开源。

对大多数开发者而言,实际区别比定义上的区别更重要。使用Claude这样的闭源模型,你只能用Anthropic选择提供的内容。使用开源权重模型,你或者为你服务的提供商可以控制模型成品及其运行环境。

这些新涌现的企业级开源权重布道者希望美国政府避免对可下载模型施加"过早的限制"。他们的公开信发布在Axios报道特朗普政府正重新推动封禁中国开源权重模型的消息四天之后,这一禁令的触发点是月之暗面的Kimi K3——一个拥有2.8万亿参数的开源权重模型,在部分编码基准测试上击败了美国顶级系统,完整权重定于7月27日发布。财政部长斯科特·贝森特表示,如果中国实验室"不当蒸馏"了美国模型,可能面临制裁。

换句话说,这封公开信的签署方有着大量的自身利益考量。当一家公司免费赠送某些东西时,它是在保护技术栈中其他层的利润。英伟达出售运行一切模型所需的GPU——无论开源与否。微软出售你用来运行推理的云服务。Meta播种标准,确保没有人独占它们。Hugging Face和GitHub是分发渠道。这些公司中的每一家,当模型变得便宜且充足时都能赚到更多钱;开源权重将那些它们不需要拥有的层次商品化。

OpenAI的签名更有意思。OpenAI在Apache 2.0许可下发布了其gpt-oss模型,让开发者可以在本地运行、用专业数据微调或在自有基础设施内部署。与此同时,OpenAI将其最强大、集成度最高的模型保留在API背后。

这不是哲学上的转变,而是产品细分策略。OpenAI在本地化、主权化、专业化和低成本的AI领域占据了一席之地,同时无需放弃其前沿服务的优势。它也确保Meta、Mistral和中国实验室无法在缺乏它参与的情况下定义开源权重生态系统。Anthropic做出了不同选择。它既没有签署这封公开信,也不发布Claude的权重。但Anthropic并非纯粹地反对开源。它创建了Model Context Protocol作为开放标准,后来将其捐赠给Linux基金会。它还开源了可解释性工具。

换言之,Anthropic开放那些帮助Claude连接更多软件的层面,同时严格控制Claude本身。这种立场也反映了真实的安全关切。Anthropic表示,DeepSeek、月之暗面和MiniMax在试图进行的蒸馏攻击中使用了超过1600万次Claude交互,它认为当提取出的能力被释放到开源模型中时,风险会成倍增加。Anthropic自身的政策立场比"封禁开源权重"更为微妙,但它不在这封特定公开信上签名,从战略上完全解释得通。

OpenAI想在开源和闭源模型两条战线上竞争。Anthropic想在闭源模型周围建立一个开放生态。没有哪家公司是出于企业的善意在赠送东西。

Ancestry才应该做这件事,不是我

回到我那不存在的移民祖先。开源权重并不能让Claude变得诚实。一个可下载的模型同样可以自信满满地虚构出"西新泽西"。发布数十亿个浮点数字,并不能强迫一个模型说"我读不懂这个"。我也不太可能去下载一个模型,收集一批约克郡遗嘱,然后微调出一个专门的秘书手写体专家。大多数开发者也不会这么做,无论他们多么热爱家族史研究。

但FamilySearch或Ancestry可能会。

这两个组织已经拥有了个体开发者所缺乏的一切:庞大的历史影像收藏、领域专业知识、计算基础设施、数百万用户,以及持续不断可以改进其系统的用户纠错流。FamilySearch的全文搜索已经在使用AI来阅读和解读近20亿份历史记录,同时承认准确率因笔迹年代和图像质量而异。Ancestry已经构建了专有的手写识别、置信度评分、文档转录以及带词级高亮的全文搜索功能。

开源权重给了这些应用开发者在用户界面之下更自由地创新的空间。他们可以保留一个精确的模型版本,针对约克郡秘书手写体和遗嘱词汇进行适配,以可预测的成本在档案馆藏上运行,并在展示转录结果前比较不同的专业模型。更重要的是,他们可以设计产品,使模型的流畅性永远不会替代证据。每一个被提议的词语都可以链接到原始文档的精确裁剪区域。低置信度的词可以进行视觉标记。模型之间的分歧可以触发人工审查。转录模型可以对用户希望证实的家族关系保持无知,从而将"这页上有什么标记?"与"这些标记对我的家族树意味着什么?"这两个问题分离开来。

更多的家族史发现,更少的"希望性阅读"。

当然,这些安全措施都并非严格需要开源权重。一个好的开发者可以在Claude、Gemini或其他闭源API之上构建其中的许多措施。但开源权重的重要性在于,它让像FamilySearch或Ancestry这样的应用提供商能够控制模型的更多方面,而不仅是围绕模型的工作流:确切的版本、微调的能力、推理配置、部署位置,以及将其应用于数十亿条记录的经济性。

这正是普通开发者从中受益的方式——即便普通开发者从未亲自下载过权重。开源数据库对于通过托管云服务使用它们的开发者来说意义重大。开源权重模型同样可以如此。它们拓展了应用公司可以构建的范围,并减少了这些公司对单一模型提供商路线图、定价和行为的完全依赖。

模型不是产品

我的遗嘱研究是几乎所有严肃AI应用的一个缩影。把18世纪的遗嘱认证记录换成发票、保险理赔、病历、法律合同或代码库,问题是一样的。输出看似合理的东西很容易,但当人们要求的是"确定的"结果时,没有人真正想要"看似合理的"。

我曾将此称为AI的信任税。开发者可以在答案到达用户之前付出验证成本,也可以让用户在答案造成损害后再付出代价。开源权重并不能消除这种税,但它们确实为应用开发者提供了更多关于如何将其最小化的选择。

是一个闭源模型为我虚构了祖先,但闭源权重并非直接原因。失败在于,一个AI体验允许一个故事讲述者伪装成转录者。我通过自己阅读原始文件发现了问题。开源权重并不能让模型变得诚实,但它们或许能帮助FamilySearch、Ancestry以及成千上万不那么热衷于家谱研究的应用开发者,构建出不需要模型在这一点上诚实的系统。

©本站发布的所有内容,包括但不限于文字、图片、音频、视频、图表、标志、标识、广告、商标、商号、域名、软件、程序等,除特别标明外,均来源于网络或用户投稿,版权归原作者或原出处所有。我们致力于保护原作者版权,若涉及版权问题,请及时联系我们进行处理。