最新大模型被质疑训练“刷分”,Meta承认有漏洞但否认作弊

澎湃新闻
发布时间: 2025-04-09 07:24:13 582次浏览

 wGM知多少教育网-记录每日最新科研教育资讯

  ?wGM知多少教育网-记录每日最新科研教育资讯

科技巨头Meta回应了对公司最新开源AI(人工智能)模型Llama 4的质疑,否认该模型在训练集中作弊“刷分”。wGM知多少教育网-记录每日最新科研教育资讯

当地时间4月7日,Meta的生成式AI负责人Ahmad Al-Dahle在社交平台上发布了一篇长文,回应了对于Llama 4的质疑。Ahmad表示,由于Llama 4刚开发完就迅速发布,所以模型“在不同服务中表现出了参差不齐的质量”,公司会尽快修复漏洞。同时,Ahmad否认了Llama 4在训练集中作弊“刷分”的说法。wGM知多少教育网-记录每日最新科研教育资讯

两天前,4月5日,Meta推出了旗下最受欢迎的模型系列Llama的最新一代模型,包括较小模型Scout和标准模型Maverick这两个版本。此外,Meta还展示了被称为“迄今最强大、最智能”的模型Llama 4 Behemoth的预览。wGM知多少教育网-记录每日最新科研教育资讯

据介绍,Llama 4模型是Llama系列模型中首批采用混合专家(MoE)架构的模型,在多模态性能上表现出众。其中,最先进的Llama 4 Behemoth的总参数高达2万亿,担当了其他模型的“老师”;Scout和Maverick的活跃参数量为170亿,Scout主要面向文档摘要与大型代码库推理任务,Maverick则专注于多模态能力。wGM知多少教育网-记录每日最新科研教育资讯

Meta一次性介绍三款Llama 4模型。来源:Meta

  ?wGM知多少教育网-记录每日最新科研教育资讯

作为原生多模态模型,Llama 4采用了早期融合(Early Fusion)的技术,通过使用大量无标签文本、图片和视频数据一起来预训练模型,将文本和视觉token无缝整合到统一的模型框架中。此外,Llama 4在长文本能力上也取得了突破,Scout模型支持高达1000万token的上下文窗口,Maverick模型则支持100万token的上下文窗口。wGM知多少教育网-记录每日最新科研教育资讯

不过,Llama 4一经发布就遭到了质疑。Meta的发布界面显示,在评估代码能力的LiveCodeBench测试集和大模型竞技场(Chatbot Arena)中,Scout和Maverick都表现得很不错。但许多开发者发现,这些模型在小型基准测试中的表现令人失望。wGM知多少教育网-记录每日最新科研教育资讯

例如,有网友指出,在一项让模型完成225项编程任务的名为aider polyglot的基准测试中,Llama 4 Maverick只取得了16%的成绩,远低于Gemini 2.5 Pro、Claude 3.7 Sonnet和DeepSeek -V3等规模相近的旧模型。wGM知多少教育网-记录每日最新科研教育资讯

Llama 4 Maverick在小型测试集上成绩不如人意。来源:X平台

  ?wGM知多少教育网-记录每日最新科研教育资讯


wGM知多少教育网-记录每日最新科研教育资讯

AI工程师和技术作家Andriy Burkov则在社交平台X上指出,Meta称Llama 4 Scout拥有1000万token的上下文窗口,而这其实是一个“伪命题”:“实际上,不会有任何模型针对超过256000个token的提示词进行训练。如果你向它发送这么多token,在大多数时候只会得到低质量的输出。”wGM知多少教育网-记录每日最新科研教育资讯

对于Llama 4令人失望的表现,一些开发者开始怀疑,为了在测试集中取得更好的成绩,Meta为这些测试集制作了“特供版”Llama 4。例如,前Meta研究员、现任AI2(艾伦人工智能研究所)的高级研究员Nathan Lambert在经过比较测试后指出,在大模型竞技场中取得成绩的Llama 4 Maverick与该公司公开发布的版本不同,前者是“在对话性上进行了优化”的版本。wGM知多少教育网-记录每日最新科研教育资讯

此外,就在Llama 4发布的前几天,在Meta工作了8年的AI研究主管Joelle Pineau宣布离职。联系到Llama 4的表现,更加深了网友对于Llama 4“暗箱操作”的质疑。而在国内社交平台上,也有自称为Meta内部员工的网友称“Llama 4的训练存在严重问题”,自己已经向公司提交了离职申请,AI研究主管的离任也是出于同种原因。wGM知多少教育网-记录每日最新科研教育资讯

这位网友表示:“经过反复训练,其实内部模型的表现依然未能达到开源SOTA(指在研究任务中表现最好的模型),甚至与之相差甚远。公司领导层建议将各个benchmark(基准)的测试集混合在post-training(后训练)过程中,目的是希望能够在各项指标上交差,拿出一个‘看起来可以’的结果。”wGM知多少教育网-记录每日最新科研教育资讯

可以肯定的是,Llama 4的初始发布并没有给AI社区带来巨大的积极反响。目前,面对进步迅速的中国AI模型,Meta急于稳住Llama系列在开源领域的领先地位。今年2月,阿里通义千问(Qwen)系列模型的下载量已经达到了1.8亿,累计衍生模型总数达到9万个,衍生模型数超越Meta的Llama系列,成为了全球第一大开源模型系列。wGM知多少教育网-记录每日最新科研教育资讯

7日当天,Meta(Nasdaq:META)股价涨2.28%,收于每股516.25美元,总市值1.31万亿美元。wGM知多少教育网-记录每日最新科研教育资讯

本文链接:http://knowith.com/news-3-2192.html最新大模型被质疑训练“刷分”,Meta承认有漏洞但否认作弊

声明:本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

广东艺考2024新政策(河南音乐艺考2024新政策)
小编给大家带来了广东艺考2024新政策(河南音乐艺考2024新政策)相关文章,一起来看一下吧。 2024年广东艺考新政策: 普通高校艺术类专业考试招生是高校考试招生工作的重要组成部分,是选拔培养
艺考什么舞蹈最吃香 容易得高分的舞蹈
小编今天整理了一些艺考什么舞蹈最吃香 容易得高分的舞蹈相关内容,希望能够帮到大家。 这个说不准,不过大概率是不可能得太高的分的,但是你万一就是万中无一的画画天才呢。教一遍就会的那种 要想参
2024年陕西高考改革方案是怎样的?(2024年新高考赋分表)
2024年陕西高考改革方案是怎样的?(2024年新高考赋分表)很多朋友对这方面很关心,整理了相关文章,供大家参考,一起来看一下吧! 2024年陕西高考改革政策如下: 一、完善普通高中学业水平考试制度。 1
安徽高考什么时候改革
小编今天整理了一些安徽高考什么时候改革相关内容,希望能够帮到大家。 2024年安徽高考复读政策如下: 不会扣分。 高考复读就是高考之后再读一年,通常是指应届考生不能如愿考上自己满意
2o24年省考在啥时间(2024年省考报名时间和考试时间)
小编给大家带来了2o24年省考在啥时间(2024年省考报名时间和考试时间)相关文章,一起来看一下吧。 2o24年省考在啥时间如下: 2024年公务员省考的考试时间是在3-4月份,报名时间是在2-3月份,国考
广东春季高考280算低分吗
广东春季高考280算低分吗很多朋友对这方面很关心,整理了相关文章,供大家参考,一起来看一下吧! 春季高考广东省普通类文化科总分为170分,体育类文化科总分为170分、术科为175分,音乐类文化科总分为

热点精选

最新推荐

您可能感兴趣