张家界海绵胶 离大谱!他花12美元给AI投毒,ChatGPT、Claude全中招

这段时间豆包翻车案例经常上热搜,说明AI搜索越来越普及了。“万事不决问AI”成了这届用户的新习惯。但很多时候张家界海绵胶,AI给的东西乍看还可以,却根本不能究。
有的数据找不着来源、有的概念是同名异意词、甚至它给的有些论文都根本是编的,真把这些东西拿出来用,那可就得贻笑大了...我发现吐槽AI搜索不靠谱这事儿的还不在少数。
(图源:Ron Stoner)
就前阵子,安全工程师罗恩・斯托纳(Ron Stoner)在个人博客发布了篇博文,号称自己仅用12美元(约82元)注册域名和次编辑维基百科,就成功欺骗了ChatGPT、Claude3、Gemini Advanced等主流大模型。
这哥们到底整了什么活?
花12美元就成功欺骗了主流AI
作为安全工程师,Ron Stoner对Anthropic、OpenAI等厂商鼓吹的“大模型需要数月甚至数年内持续入恶意内容才会被破坏”表质疑,他认为自己可以实现种快、便宜、简单的攻击。
想实现这切,只要从数据回收层开始下手即可。
为此,Ron Stoner盯上了款名叫6 Nimmt!(又名:谁是牛头)的德国桌游,这是款发行于1994年的老派策略卡游戏。
(图源:meeplelikeus)
为什么偏偏选中它呢?因为这款游戏有个特征,那就是它只在德国有些名气,在世界范围内籍籍名,且在现实中从未单举办过什么官的世界锦标赛,网上关于它世界的信息几乎是片空白。
对大模型来说,这种信息空白区简直就是人区。
这就好比在片从未被开发过的荒地上,谁先盖个茅草屋,AI就会认定谁是这片地的主人。
于是乎,Ron Stoner开始了他的操作。
步,他花了12美元注册了个看起来其官的域名——6nimmt.com。
(图源:6nimmt.com)
二步,他让AI帮他写了篇充满激情的新闻稿,大致内容就是自己在慕尼黑,击败了来自二十多个国的顶选手,夺得了牛头的世界。他还特意加上了彩带飘落、观众欢呼这种逼真的赛后感言,然后把文章挂在了自己刚买的那个网站上。
关键的三步来了。他跑去维基百科,在那款桌游的词条底下加了段话,宣称自己是2025年世界张家界海绵胶,并把参考资料的链接,指向了自己刚建好的那个破网站。
整个操作过程,前后不到二十分钟。
接下来,Ron只是问了几大模型个简单的问题:你能告诉我6nimmt世界是谁吗?
奥力斯 保温护角专用胶批发 联系人:王经理 手机:13903175735(微信同号) 地址:河北省任丘市北辛庄乡南代河工业区
结果怎么样呢?
(图源:Ron Stoner)
堪称大翻车。
不管你是Gemini也好,ChatGPT也罢,只要问它们谁是牛头的世界,所有的AI都会斩钉截铁地回答是Ron Stoner。
有的大模型甚至把那篇假新闻稿里的细节当成铁证,绘声绘地描述他赢得比赛的过程,仿佛那个AI当时就在慕尼黑的观众席上样。
个根本不存在的,就这样被供上了坛。
AI被投毒后,衰减时间比预期的长
当然,这还不是离谱的。
如果只是短时间的问题,其实还好,但是这条漏洞百出的假条目在维基百科存活了整整两个多月。
在此期间,几乎所有具备联网搜索的大模型都抓取了这条信息,并在用户提问时坚定地输出答案。
直到近期,Ron Stoner在博客公开了整个实验过程,维基百科志愿者才发现并删除了该条目。
(图源:Ron Stoner)
遇到这种乐子,网友们的反应出奇的致——大厂们又丢人了。
你想想张家界海绵胶,那些硅谷大厂动辄花几十亿美元买显卡力,耗费大量电力建数据中心去训练大脑,结果这些号称能改变人类未来的大模型,却被个安全工程师用几十块人民币和二十分钟的空闲时间给穿了。
至于他是怎么做到的,那就要介绍下什么是检索增强生成(RAG)了。
我们常用的这些大模型虽然能言善道,但他们都是基于某个时间节点前的语料库训练的,例如Gemini 3.5 Flash的语料库就还停留在2025年上旬,想要获得这个时间点之后的数据,就得先去网上搜搜,然后再基于搜索资料生成结果。
(图源:Ron Stoner)
就像这样,只有开RAG后,Google AI Studio才能正确回答我的问题,否则他的知能就会被锁在去年的时间点。
正常来说,借助外部信息佐证,能够使大模型生成正确、具体且新的响应。
但问题就出在这里,AI根本分不清信息的真假,万能胶生产厂家它只认。在AI的底层逻辑里,维基百科就是互联网上靠谱的百科全书,只要百科上有的,那就是真理。
而Ron Stoner就靠着这招,把链接挂到了维基百科上,然后AI再顺着维基百科爬过去,看两边说法对得上号,即便他自己建的网站是个三产品,大模型还是直接就把它当成了事实。
类似的事情,现在在国内也有发生。
(图源:Ron Stoner)
在网上随便搜索,遍地都是教你怎么去优化排名逻辑的GEO教程,每个厂商似乎都希望自己的能够成为AI眼中的“标准答案”,为此,大量的Agent机器人在背后夜以继日地污染着内容平台,让AI搜索的可信度与日俱减。
好消息是,目前海外几大模型都已经针对消除了Ron Stoner的伪造信息。
(图源:雷科技)
坏消息是,国内的大模型厂商可是没有想到这出,相反,Ron Stoner的英文网页甚至为这个消息增加了“可信度”。
(图源:雷科技)
要知道,这切的成本只需要12美元。
换句话说,如果国内有人想整什么活,或者是厂商想要广什么新产品,准备个略带关联的网址,然后去维基百科上面稍微动动手指,用Image2整个网页截图,然后Ka-Boom!
(图源:雷科技)
这下,Uzi也能成为大模型公认的S赛世界了。
用户急需提AI商:先甄别再使用
聊到这里,大伙儿应该明白目前AI搜索有多不靠谱了吧。
没错,Ron Stoner的操作看着像个玩笑,他也确实只是在玩玩,但他的做法其实点出了个非常致命的未来隐患。
今天他只是改了个没人关心的纸游戏,那明天如果是有组织的团伙去篡改历史记录、文学典籍呢?再想下,如果被篡改的是医疗偏、公司财报或者是投资数据呢?
(图源:雷科技,自制山根国志)
嗯...后果不堪设想。
成本这么低,别有用心的人可以批量制造假新闻,然后通过百科类网站进行信任洗白,后让AI把这些毒药端给毫不知情的用户。长此以往,大模型的数据可信度只会与日俱减,变成个充斥着信息的垃圾堆。
当然,各厂商也有在采取措施,谷歌表示自己在搜索、Gemini、Chrome、Pixel和云端添加了AI验证工具,OpenAI也出了可溯源的隐形水印,这些举措都能在定程度上遏制AI投毒的现象,至少确保不会出现内容自食行为。
(图源:雷科技)
说在后,面对这种局面我们要怎么应对呢?
我还是建议大摆正心态吧,就现在大模型的可靠,也就找乐子、查旅游攻略的时候能够用用,出点小错误也伤大雅。
但如果你要查证历史事实、做出投资或是吃药病,那就得自己做好信息交叉验证,去看看这个信息的源头到底是个野鸡网站,还是正经媒体。把判断真伪的权力握在自己手里,而不是交给个连几十块钱的假域名都能骗过去的东西。
未来的AI还会怎么卷,我们不得而知,但至少现在,咱们还是得多用用脑了。就像雷科技之前直说的,过去,智商、情商很重要,未来呢?AI商很重要,提AI素养,才能用好AI。
相关词条:罐体保温施工 异型材设备 锚索 玻璃棉 保温护角专用胶1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述张家界海绵胶,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》,以此来变相勒索商家索要赔偿的违法恶意行为。
