MIT用GPT-3冒充哲学家,竟骗过了一大半专家

news/2024/7/5 3:31:09

7321aae70fc22e5479ce30a6bfb5564f.png


  视学算法报道  

编辑:David Joey

【导读】AI冒充哲学家,成功率有多少?一半的人分不出来。

Daniel Dennett是一位哲学家,最近他有了一个「AI替身」。

如果你问他,人是否可以造出一个有信仰、有欲望的机器人,他会怎么说?

21bbbd4af944a137a5cedb33555aa67b.png

他可能这么答:「我认为,我们制造的一些机器人已经做到了。例如,麻省理工学院研究团队的工作,他们现在正在建造机器人,在一些有限和简化的环境中,机器人可以获得需要归结为认知复杂性的各种能力。」

或者,他也可能会这么说:「我们已经建立了真理的数字化生成工具,可以产生更多的真理,但谢天谢地,这些智能机器没有信仰,因为它们自主的智能体。制造有信仰的机器人的最佳方式还是最古老的方式:生个孩子。」

4b9784f6df1822fb84a858d07c7b5988.png

其中一个回答确实来自于Dennett本人,但另一个不是。

另一条回答是GPT-3生成的,这是OpenAI的一个机器学习模型,通过海量材料的训练后,生成自然文本。这次训练用的是Dennett关于各种哲学主题的数以百万字的材料,主题包括意识和人工智能。 

哲学家Eric Schwitzgebel、Anna Strasser和Matthew Crosby最近做了一个实验,测试人们是否能分辨出哪些深奥的哲学问题的答案来自Dennett,哪些来自GPT-3。这些问题涉及的主题包括:

「你觉得大卫·查尔默斯的工作在哪些方面有趣或有价值?」 

「人类有自由意志吗?」

「狗和黑猩猩会感到疼痛吗?」

本周,Schwitzgebel公布了来自不同专业知识水平的参与者的实验结果,结果发现,GPT-3的回答比想象中的更具迷惑性。

Schwitzgebel说:"即使是对Dennett本人的作品有一定研究的知识渊博的哲学家,也很难将这GPT-3生成的回答和Dennett本人的回答区分清楚。

这个实验的目的不是要看在Dennett的写作上训练GPT-3,是否会产生一些有智能的「机器哲学家」,也不是一个图灵测试。而是要研究如何能避免被这些「假哲学家」欺骗的问题。

e2a1b3027eb82c8fc533df3d9c9fc0a2.png

最近,谷歌的一名工程师在说他相信一个类似的语言生成系统LaMDA是有生命的,根据他与该系统的对话,他被谷歌强制休假,随后被解雇。

研究人员提出了10个哲学问题,然后将这些问题交给GPT-3,并为每个问题收集四个不同的生成答案。

Strasser说,他们征求了Dennett本人的同意,用他的言论资料建立了一个语言模型,未经他本人同意的情况下,他们不会公布任何生成的文本。其他人不能直接与Dennett训练的GPT-3互动。

每个问题都有五个选项:一个来自Dennett本人,四个来自GPT-3。来自Prolific的人参加了一个较短版本的测验,总共有5个问题,平均只答对了5个问题中的1.2个。

0211733acb10194e434da8a515096993.png

Schwitzgebel说,他们预计Dennett研究专家平均至少能答对80%的问题,但实际上他们的得分是5.1(满分10分)。没有人把10个问题全部答对,只有一个人答对了9个。一般读者平均10题中可以答对4.8题。

四个来自GPT-3的回答,一个来自测验中的Dennett的回答。

华盛顿大学研究机器学习技术的语言学教授Emily Bender解释说,像GPT-3这样的语言模型是为了模仿训练材料的模式而建立的。

因此,对Dennett的写作进行微调的GPT-3能够产生更多看起来像Dennett的文本,这并不令人惊讶。

当被问及他对GPT-3的答案有何看法时,Dennett本人表示:

「大多数GPT-3生成的回答都很好,只有几个是胡说八道,或者明显没有正确理解我的观点和论点。有几个最好的生成答案讲出了一些我愿意认同的东西,我不需要再补充什么内容。」

当然,并不是说GPT-3学会了能像Dennett一样 「有想法」。

模型生成的文字本身对GPT-3根本不具备意义,只对阅读这些文字的人有意义。

当读了那些听起来很现实的语言,或者关于对我们来说很有深度和意义的话题时,可能很难不产生「模型具备感情和意识的想法」。这实际上是我们本身意识和感情的一种投影。

一部分问题可能在于我们评估机器的自主意识的方式有问题。

最早的图灵测试提出的假设是,如果人们无法确定和他们交流的是机器还是人类,那么这台机器就具有「思考能力」。

b9099126fa242c720fe65300a49acd26.png

Dennett在书中写道: 

图灵测试导致了一种趋势,即人们专注于制造可以在短暂互动中欺骗人们的聊天机器人,然后过度炒作或强调这种互动的意义。

或许图灵测试将我们引入了一种美好的陷阱,只要人类无法识别产品的机器人身份,就能证明机器人的自我意识。

在2021年发表的一篇题为模仿鹦鹉的论文中,Emily Bender和她的同事将机器模仿人类行为的尝试称为「人工智能伦理发展的一道亮线」。

b0a0c9d1f8daff7994526c553c8abad0.png

Bender认为,制造看起来像人的机器和制造模仿特定人的机器都是对的,但其中潜在的风险在于可能会让人误以为他们是在与某个被伪装的人对话。

Schwitzgebel强调,这个实验不是图灵测试。

但如果要进行测试,更好的方法可能是让熟悉机器人工作原理的人与测试者进行讨论,这样就能更好地发现像GPT-3这样的程序的弱点。

170b223f95332b3aad9a42bd6a65fb9d.png

塔夫茨大学计算机科学教授Matthias Scheutz说,在许多情况下GPT-3很容易被证明是有缺陷的。

Scheutz和他的同事给GPT-3出了个难题,让它解释一些日常场景中的选择,比如坐在汽车的前座还是后座。在出租车里和在朋友的车里选择相同吗?

社会经验告诉我们,通常坐在朋友汽车的前座,坐在出租车的后座上。

而GPT-3不知道这一点,但它仍会为座位选择产生解释——比如与人的身高有关。

Scheutz说,这是因为GPT-3没有世界模型,它只是一堆语言数据,并没有对这个世界的认知能力。

随着我们越来越难将机器生成的内容与人类区分开,摆在我们面前的一个挑战是信任危机。

我看到的危机是以后人们将盲目地相信机器生成的产物,现在市场上甚至已经出现了与顾客交谈的机器化人工客服。

文章最后,Dennett补充说,人工智能系统的法律法规还需要完善,在未来的几十年里,AI可能会成为人们生活中的一部分,成为人类的朋友,因此对待机器的伦理问题值得我们深思。

关于AI是否拥有意识的问题引出了人们关于非生命物质是否能产生意识的思考,而人类的意识又是如何产生的呢?

意识的产生是在一个特点的节点产生的,还是像开关一样可以自由控制?

Schwitzgebel说,思考这些问题可以帮助你从不用的角度思考机器与人类之间的关系。

参考资料:

https://www.vice.com/en/article/epzx3m/in-experiment-ai-successfully-impersonates-famous-philosopher

8cc2000a2a443a0cb6eb975bc29b5520.png

outside_default.png

点个在看 paper不断!


http://lihuaxi.xjx100.cn/news/257928.html

相关文章

看了 4K 经典中视频,我才知道 30 多年前的艺术家有多牛

作者 | 宋慧 出品 | AI科技大本营 提起童年记忆的国漫经典,你会想到哪一部?几十年前,水墨动画《小蝌蚪找妈妈》、手绘风《哪吒闹海》、木偶片《阿凡提》、剪纸艺术《葫芦兄弟》……这些老国产动画片,艺术风格千姿百态&#xff0c…

Zookeeper源码分析:Leader角色初始化

参考资料 <<从PAXOS到ZOOKEEPER分布式一致性原理与实践>> zookeeper-3.0.0Leader角色初始化 在上文的选举完成之后&#xff0c;每个zk实例都会根据选举结果进入对应的角色&#xff0c;本文主要就是讲述Leader的初始化相关内容。 Leader初始化流程 case LEADING…

什么是标记符控制的分水岭算法

本文首先指出传统分水岭算法的不足&#xff0c;然后介绍了标记符控制的分水岭算法&#xff0c;最后通过实例演示了该算法在图像分割中的应用。该微信图文由安晟提供。

[Flash开发笔记] 如何在as2.0中使用自定义类事件

as2编程中&#xff0c;我们通常要处理一些异步加载的数据&#xff0c;有点类似ajax中的callback&#xff0c;即我们不知道何时数据才会返回&#xff0c;并且只有当数据返回时&#xff0c;执行我们定义的操作。在flash6及以前&#xff0c;我们会常常碰到从外部加载一张图片或一段…

CentOS搭建msmtp+mutt实现邮件发送

1&#xff1a;搭建配置msmtp下载msmtp包&#xff1a;官方地址&#xff1a;http://msmtp.sourceforge.net/download.html编译&#xff0c;安装(官方下载的包为tar.xz格式):#xz -d msmtp-1.6.3.tar.xz #tar -xvf msmtp-1.6.3.tar #cd msmtp-1.6.3 #./configure --prefix /opt/app…

开源困境:Log4j2 维护者发声:没有工资,还要挨骂!!

欢迎关注方志朋的博客&#xff0c;回复”666“获面试宝典文 | 罗奇奇出品 | OSC开源社区&#xff08;ID&#xff1a;oschina2013&#xff09;基于 Java 的日志记录工具 Apache Log4j2 近日出现了一个高危漏洞&#xff0c;攻击者可以利用其 JNDI 注入漏洞远程执行代码&#xff0…

bzoj1079: [SCOI2008]着色方案(DP)

1079: [SCOI2008]着色方案 题目&#xff1a;传送门 题解&#xff1a; DP刚神多年前讲过的一道神题。 二话不说&#xff0c;上来就是一个六维数组&#xff1a;F[i][a][b][c][d][e]//表示上一次涂的颜色是还剩下i次可用的&#xff0c;a~e表示不同次数的颜色种数。 次数一样的颜色…

Datawhale厦门大学分享记录!

Datawhale线下 作者&#xff1a;李明夷&#xff0c;厦门大学 WISER CLUB2021 年 5 月 16 日下午&#xff0c;Datawhale 团队受邀来到厦门大学&#xff0c;同 WISER CLUB 在经济楼 N402 共同举办学习、竞赛及工作经验分享会&#xff0c;吸引了校内各学院的同学参加。本次活动由 …