传播网-传播网门户网站（www.icbw.com.cn） - 传播网!

标题: 斯坦福两学生抄袭清华系大模型，是如何被发现的？对话打假者 [打印本页]
作者: admin    时间: 2024-6-5 15:55
标题: 斯坦福两学生抄袭清华系大模型，是如何被发现的？对话打假者
一则斯坦福大学Llama3-V团队抄袭清华系大模型的消息，近日在海内外引发热议。北京时间4日凌晨，该团队的两名成员Siddharth Sharma和Aksh Garg在社交媒体X上对这一学术不端行为公开致歉，并表示会将Llama3-V模型悉数撤下。
% J2 G! [& |" p9 y/ }2 R' ], Z  T1 Q$ g( q( d* v/ j- x7 X
　　据悉，两人是斯坦福大学计算机科学专业的本科生，自称在团队中的角色是模型推广，而负责该项目代码编写的是毕业于南加利福尼亚大学Mustafa Aljadery。事发后，他们要求Mustafa提供原创性证明和训练代码，但未取得任何证据。
& b' k  k. d2 ~# L
1 a0 s& ?& H5 _: Z, U" e- ~) n　　4日记者尝试联系率先发现清华系模型被套壳的网友，他表示只是做了一名开源社区工作者应该做的事。此次Llama3-V的抄袭行为，“相当于把可口可乐换成可日可乐就说是自己的项目”。
$ m1 F8 L4 k8 `: c8 B% |$ H2 S, O% D+ ]- p. N
　　针对此事，面壁智能CEO李大海也作出回应，称技术创新不易，呼吁共建开放、合作、有信任的社区环境。& ?3 s0 |4 a# _: d

5 @, X6 H+ W- q2 ?) J7 l) a  N　　用不到500美元训练出超越SOTA水平的大模型？, ?/ a1 ~) [6 J* a

/ o* j9 O( H; l0 J( n　　事情起源于5月29日，斯坦福大学AI团队发布Llama3-V开源模型，称它比当前开源SOTA视觉语言模型LLaVA的性能提高了10%-20%，不仅尺寸比GPT-4V小近100倍，而且性能比肩GPT-4V、Gemini Ultra与Claude Opus。 Llama3-V团队声称训练出一个超越SOTA（意为“最新技术”的最佳状态）水平的多模态大型模型，性能比肩多家。0 T( }% _0 N+ f' K3 o
3 ~! p/ T1 w5 h) V& ~& q
　　更重要的是，该大模型的训练成本仅不到500美元。这一惊艳的成果，再加上三位作者出色的专业和技术研发背景，让Llama3-V一经发布就引发各方关注，并一度登上全球最大的开源大模型社区HuggingFace趋势榜第五位。/ |5 S# L) x2 c9 U/ D# D: U- s

& _5 {$ x( @! w8 `2 E9 R9 }0 f　　不过很快，质疑声便出现。6月2日下午，网友Magic Yang称发现了一个“令人震惊”的事实：Llama3-V项目中有大量疑似抄袭MiniCPM-Llama3-V 2.5的内容，同时晒出了多项Llama3-V涉嫌抄袭的证据。* N& d, y5 y$ d
' [- d1 q1 Z$ P! Q
　　比如在模型结构和配置文件上，二者高度雷同，只是变量名不同。Llama3-V的代码也几乎完全照抄MiniCPM-Llama3-V 2.5，仅做了一些重新格式化和变量重命名，包括但不限于图像切片、分词器、重采样器、数据加载等变量。 网友晒出Llama3-V涉嫌抄袭的证据。
2 ^6 o) r' o' d6 Y7 g8 m! O% p　　GitHub项目信息显示，MiniCPM-Llama3-V2.5共有8B个参数，整体性能超越GPT-4V-1106、Gemini Pro、Qwen-VL-Max和Claude3等专有模型，配备了增强的OCR和指令跟踪能力，还可以支持英语、中文、法语等30多种语言的多模态对话。这款端测多模态开源模型，由清华大学自然语言处理实验室与面壁智能合作开发，于今年5月20日推出。
, R, B3 b/ z6 h1 F! l$ l$ U
6 g  C3 y  F: M6 k  L. `  A$ M　　南都记者尝试联系这位揭露Llama3-V涉嫌抄袭的网友Magic Yang（知乎网名“社恐患者杨老师”），他向南都记者回顾了这场打假的过程。杨老师表示，最近正在帮助一名博士生做有关运动处方的项目，想选择一个质量较好的开源模型作为微调的基座。此前他曾测试了MiniCPM-Llama3-V2.5，因此对MiniCPM的模型架构和代码都相对熟悉。
, `* t6 s( m) Q* ]
8 Q% t; _7 U- U7 A/ o　　后来他注意到，Llama3-V项目在HuggingFace上排名也非常靠前，且获得了相关博主推荐，于是想进一步做测试。但在这过程中，他发现二者在模型架构和代码上存在高度相似的情况，就此询问了Llama3-V作者。结果对方避重就轻，并不正面回应，随后更是将质疑帖子删除，且隐藏了MiniCPM-Llama3-V 2.5的项目主页。
# g9 [6 {7 l! \
0 j& z3 s% ]. @　　这一系列的操作，令人生疑。6月2日下午，杨老师把所知的证据发到MiniCPM-V的Github项目主页，并提醒面壁智能团队关注。相关对话截图显示，Llama3-V项目作者最初否认抄袭，并称他们的项目开始时间更早，只是使用了MiniCPM-V2的分词器。
2 R& d- q8 t. R* @+ Q& F4 V4 X( v2 m6 v* Q. X9 i
　　杨老师告诉南都记者，作为一个有大模型经验的开发者，发现（抄袭行为）不难，但要证实不易。此事最终一锤定音，还是因为面壁智能团队使用内部数据集“清华简”做了对比测试。; O' i" q$ R9 v
" [  d! e. q8 \  L( H1 I$ q
　　“连错的都一模一样”，确信是套壳5 m# t; I% q$ H7 c

$ P& x1 B7 ]# R* X7 J& F) ^7 {* l　　南都记者注意到，6月2日深夜，面壁智能团队证实了抄袭行为的存在。经核实，除了社区网友列出的证据外，还发现Llama3-V项目与MiniCP-Llama3-V 2.5一样，可以识别出“清华简”战国古文字，“不仅对的一模一样，连错的都一模一样”。
3 I: d; N$ H2 U0 C4 L( _: c0 s; V$ P0 g$ n% |/ R0 b1 l
　　据面壁智能首席科学家、清华大学长聘副教授刘知远介绍，“清华简”的识别能力，是MiniCPM-Llama3-V 2.5研发时内置了一个彩蛋。这是该团队花费数月从清华简逐字扫描，人工标注而来的数据集，并未公开，由此“已经比较确信Llama3-V是对MiniCPM-Llama3-V2.5套壳。” 刘知远的回应。" ^: K& e2 f& ~$ N3 X. v, h9 i9 e
　　针对此事，面壁智能CEO李大海也发文称，深表遗憾。“技术创新不易，好的成果希望被更多人关注和认可，但不是以这种方式。”李大海呼吁，大家共建开放、合作、有信任的社区环境。4 s9 S4 c$ |5 a7 B  e- E: \
/ f! _3 ^5 M. ^. a. a
　　刘知远也表示，人工智能的飞速发展离不开全球算法、数据与模型的开源共享，让人们始终可以站在SOTA（意为“最新技术”的最佳状态）的肩上持续前进。这次开源的MiniCPM-Llama3-V 2.5就用到了最新的Llama3作为语言模型基座。6 F6 L, g" u8 f; J9 A, Y

; k( [) j1 r8 u+ X" e　　“开源共享的基石是对开源协议的遵守，对其他贡献者的信任，对前人成果的尊重和致敬，Llama3-V团队无疑严重破坏了这一点。”同时他提到，Llama3-V团队的三位作者中，有两位是斯坦福大学本科生，未来还有很长的路，“如果知错能改，善莫大焉”。
- j* M# e0 b' F, S3 \7 {2 w0 l5 h7 w
　　北京时间4日凌晨，卷入此次风波的两名斯坦福大学本科生Siddharth Sharma和Aksh Garg在社交平台上解释，称该项目由三人发布，他们只在其中帮忙推广模型，负责代码编写的是Mustafa Aljadery。事发后，他们曾尝试联系Mustafa发布原创性声明，并提供训练代码，但到目前为止还未看到任何证据。在这份联合声明中，两人再次向原作者道歉，并称对未尽职尽责确保Llama3-V的独创性而感到失望，现已将所有对Llama3-V的引用都删除了。 两人联合发文道歉。被推为主要责任方的Mustafa，是团队中唯一的全职成员。其本硕毕业于南加利福尼亚大学，主攻深度学习和数学，是一名软件工程师。截至目前，Mustafa尚未发声。
% K% Y! c* t! o# M3 N
* ~  f" A- s: a6 }' Z0 x4 E3 M8 }　　两名作者的解释，尚不能平息质疑。斯坦福人工智能实验室主任Christopher David Manning公开发文谴责这一抄袭行为，称两人借口推脱，是拒不认错的表现。
3 O5 x# l! V1 b. L! N! L$ S$ w! y  h
3 c0 q+ J5 y) h0 Z- O　　此番随着原创者也下场打假，这场大模型抄袭风波将暂告一段落。2 I  S' i+ E; v
8 H+ u+ z8 }, b1 i




欢迎光临 传播网-传播网门户网站（www.icbw.com.cn） - 传播网! (https://icbw.com.cn/) Powered by Discuz! X3.1