开启辅助访问 联系我们关于我们文明投稿
关闭窗口

简单4步,开始与 传播网-传播网门户网站(www.icbw.com.cn) - 传播网! 对话吧!

1. 打开你的微信、朋友们选择添加朋友   2. 使用扫一扫功能扫一下上面的二维码
3. 扫描后出现详细资料选择关注就好了   4. 现在开始与我们的官方微信对话吧!

传播网-传播网门户网站(www.icbw.com.cn) - 传播网!

 找回密码
 立即注册

微信登录

微信扫一扫,快速登录

热搜: 活动 交友 discuz
打开微信扫一扫
查看: 1111|回复: 0
打印 上一主题 下一主题

斯坦福两学生抄袭清华系大模型,是如何被发现的?对话打假者

[复制链接]

9万

主题

9万

稿子

29万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
295309
跳转到指定楼层
楼主
发表于 2024-6-5 15:55:52 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式 来自: 四川成都
一则斯坦福大学Llama3-V团队抄袭清华系大模型的消息,近日在海内外引发热议。北京时间4日凌晨,该团队的两名成员Siddharth Sharma和Aksh Garg在社交媒体X上对这一学术不端行为公开致歉,并表示会将Llama3-V模型悉数撤下。
1 _) u) r/ @. z# J8 Y
* z. Z) v1 c0 a8 w: j/ h" ]. m' q  据悉,两人是斯坦福大学计算机科学专业的本科生,自称在团队中的角色是模型推广,而负责该项目代码编写的是毕业于南加利福尼亚大学Mustafa Aljadery。事发后,他们要求Mustafa提供原创性证明和训练代码,但未取得任何证据。1 r6 K( {0 W; }' m& m8 k
7 v. |! Z: k3 I: _
  4日记者尝试联系率先发现清华系模型被套壳的网友,他表示只是做了一名开源社区工作者应该做的事。此次Llama3-V的抄袭行为,“相当于把可口可乐换成可日可乐就说是自己的项目”。+ C) {' P* ^- T4 I2 m

: c1 t- V9 A8 u! ]  针对此事,面壁智能CEO李大海也作出回应,称技术创新不易,呼吁共建开放、合作、有信任的社区环境。" z$ P& k; u% {

! J7 d+ Z; P0 v  用不到500美元训练出超越SOTA水平的大模型?! \% P: U7 j$ v4 l
9 Y7 {8 J1 w0 o, B
  事情起源于5月29日,斯坦福大学AI团队发布Llama3-V开源模型,称它比当前开源SOTA视觉语言模型LLaVA的性能提高了10%-20%,不仅尺寸比GPT-4V小近100倍,而且性能比肩GPT-4V、Gemini Ultra与Claude Opus。 Llama3-V团队声称训练出一个超越SOTA(意为“最新技术”的最佳状态)水平的多模态大型模型,性能比肩多家。3 C" p8 a7 t4 H+ r' @

+ t& H! G5 R/ o+ {  更重要的是,该大模型的训练成本仅不到500美元。这一惊艳的成果,再加上三位作者出色的专业和技术研发背景,让Llama3-V一经发布就引发各方关注,并一度登上全球最大的开源大模型社区HuggingFace趋势榜第五位。
7 ^6 U* A$ `8 e1 f3 X
7 F- ]- X8 r, m. O  不过很快,质疑声便出现。6月2日下午,网友Magic Yang称发现了一个“令人震惊”的事实:Llama3-V项目中有大量疑似抄袭MiniCPM-Llama3-V 2.5的内容,同时晒出了多项Llama3-V涉嫌抄袭的证据。" {7 r2 P6 S6 H. L

& O: s. Q2 c: a  比如在模型结构和配置文件上,二者高度雷同,只是变量名不同。Llama3-V的代码也几乎完全照抄MiniCPM-Llama3-V 2.5,仅做了一些重新格式化和变量重命名,包括但不限于图像切片、分词器、重采样器、数据加载等变量。 网友晒出Llama3-V涉嫌抄袭的证据。
2 E+ |) ]% p8 d, |$ d. [/ N+ b  GitHub项目信息显示,MiniCPM-Llama3-V2.5共有8B个参数,整体性能超越GPT-4V-1106、Gemini Pro、Qwen-VL-Max和Claude3等专有模型,配备了增强的OCR和指令跟踪能力,还可以支持英语、中文、法语等30多种语言的多模态对话。这款端测多模态开源模型,由清华大学自然语言处理实验室与面壁智能合作开发,于今年5月20日推出。0 B/ l) {. P% p4 `/ X# m+ A) c

4 Z% x+ s( B) u  南都记者尝试联系这位揭露Llama3-V涉嫌抄袭的网友Magic Yang(知乎网名“社恐患者杨老师”),他向南都记者回顾了这场打假的过程。杨老师表示,最近正在帮助一名博士生做有关运动处方的项目,想选择一个质量较好的开源模型作为微调的基座。此前他曾测试了MiniCPM-Llama3-V2.5,因此对MiniCPM的模型架构和代码都相对熟悉。
* C9 s& A6 ^1 z
% A+ }! y( k: A9 x2 G1 J6 p  后来他注意到,Llama3-V项目在HuggingFace上排名也非常靠前,且获得了相关博主推荐,于是想进一步做测试。但在这过程中,他发现二者在模型架构和代码上存在高度相似的情况,就此询问了Llama3-V作者。结果对方避重就轻,并不正面回应,随后更是将质疑帖子删除,且隐藏了MiniCPM-Llama3-V 2.5的项目主页。1 }$ ^% N9 X2 k) w. }
# ?: C1 G+ u2 T8 i5 A- `
  这一系列的操作,令人生疑。6月2日下午,杨老师把所知的证据发到MiniCPM-V的Github项目主页,并提醒面壁智能团队关注。相关对话截图显示,Llama3-V项目作者最初否认抄袭,并称他们的项目开始时间更早,只是使用了MiniCPM-V2的分词器。
$ v" h0 F6 T8 c" f, @1 ]# c, r8 _5 k* {8 s' Q0 z8 i! ]( G
  杨老师告诉南都记者,作为一个有大模型经验的开发者,发现(抄袭行为)不难,但要证实不易。此事最终一锤定音,还是因为面壁智能团队使用内部数据集“清华简”做了对比测试。& Z. R9 ?9 _' @- g

0 W- L2 U3 F, w4 ]/ ~8 T  “连错的都一模一样”,确信是套壳
% I9 S+ E3 a/ R5 n  t  Z: ]4 n$ K. \- _7 V
  南都记者注意到,6月2日深夜,面壁智能团队证实了抄袭行为的存在。经核实,除了社区网友列出的证据外,还发现Llama3-V项目与MiniCP-Llama3-V 2.5一样,可以识别出“清华简”战国古文字,“不仅对的一模一样,连错的都一模一样”。% T/ O4 Y- B: [
: V  O& M: e# I
  据面壁智能首席科学家、清华大学长聘副教授刘知远介绍,“清华简”的识别能力,是MiniCPM-Llama3-V 2.5研发时内置了一个彩蛋。这是该团队花费数月从清华简逐字扫描,人工标注而来的数据集,并未公开,由此“已经比较确信Llama3-V是对MiniCPM-Llama3-V2.5套壳。” 刘知远的回应。
, c0 `' v# b  V2 A6 Q$ \9 y" |3 R  针对此事,面壁智能CEO李大海也发文称,深表遗憾。“技术创新不易,好的成果希望被更多人关注和认可,但不是以这种方式。”李大海呼吁,大家共建开放、合作、有信任的社区环境。9 n; S/ Y! d! U( a* K! b3 t2 R1 j$ P

# h- m! E1 T+ W! J0 F  刘知远也表示,人工智能的飞速发展离不开全球算法、数据与模型的开源共享,让人们始终可以站在SOTA(意为“最新技术”的最佳状态)的肩上持续前进。这次开源的MiniCPM-Llama3-V 2.5就用到了最新的Llama3作为语言模型基座。. ?% \8 v4 I# S6 Q6 B

  J; J7 r. y5 y7 T1 Y! R  “开源共享的基石是对开源协议的遵守,对其他贡献者的信任,对前人成果的尊重和致敬,Llama3-V团队无疑严重破坏了这一点。”同时他提到,Llama3-V团队的三位作者中,有两位是斯坦福大学本科生,未来还有很长的路,“如果知错能改,善莫大焉”。: e, w  b3 {  B. d/ }

" E$ Z9 m6 t+ @% Y- V# `  北京时间4日凌晨,卷入此次风波的两名斯坦福大学本科生Siddharth Sharma和Aksh Garg在社交平台上解释,称该项目由三人发布,他们只在其中帮忙推广模型,负责代码编写的是Mustafa Aljadery。事发后,他们曾尝试联系Mustafa发布原创性声明,并提供训练代码,但到目前为止还未看到任何证据。在这份联合声明中,两人再次向原作者道歉,并称对未尽职尽责确保Llama3-V的独创性而感到失望,现已将所有对Llama3-V的引用都删除了。 两人联合发文道歉。被推为主要责任方的Mustafa,是团队中唯一的全职成员。其本硕毕业于南加利福尼亚大学,主攻深度学习和数学,是一名软件工程师。截至目前,Mustafa尚未发声。
) y! ]6 p/ I) }. k+ A
% ~3 v3 t3 q8 s1 L8 [2 n" A  两名作者的解释,尚不能平息质疑。斯坦福人工智能实验室主任Christopher David Manning公开发文谴责这一抄袭行为,称两人借口推脱,是拒不认错的表现。
4 G: T0 ^' |+ [0 A) l% h2 X9 P- X
1 Q6 W6 r  G4 x* e  此番随着原创者也下场打假,这场大模型抄袭风波将暂告一段落。
" [2 \2 v7 ?% d4 I
* h4 x2 n2 h" }
新浪微博 QQ空间
您需要登录后才可以回帖 登录 | 立即注册 微信登录

本版积分规则

QQ|小黑屋| 传播网-传播网门户网站 ( 蜀ICP备19023435号 )  

GMT+8, 2026-6-12 02:34

Powered by WW.ICBW.COM.CNtechnical support:传播网

川公网安备51010602002315号

快速回复 返回顶部 返回列表