自计算机时代伊始，对AI的恐惧一直萦绕在人们的心头。迄今为止，这些恐惧主要集中在机器使用物理手段杀死、奴役或取代人类。但是，在过去几年中，出现了一些新的AI工具，从意想不到的方向威胁着人类文明的存在。AI已经获得了一些惊人的能力，可以操纵和生成语言，无论是文字、声音还是图像。AI因此侵入了我们文明的操作系统。

语言几乎构成人类文化的全部内容。例如，人权不是刻在我们的基因中的，而是我们通过讲故事和制定法律创造出来的文化产物。上帝也不是物理现实，而是我们通过发明神话和写作经文创造的文化产物。

货币也是一种文化产物。纸币只是有色的纸张，在目前，超过90%的货币甚至不是纸币，而只是存储在计算机中的数字信息。赋予货币价值的是银行家、财政部长和加密货币专家告诉我们的故事。萨姆·班克曼-弗里德（SBF：暴雷的加密货币交易所FTX的CEO)、伊丽莎白·霍姆斯和伯尼·麦道夫并不是特别擅长创造真正的价值，但他们都是极为出色的故事讲述者。

一旦非人类智能在讲故事、创作旋律、绘画图像、编写法律和经文方面比普通人更优秀，会发生什么呢？

当人们想到ChatGPT和其他新的AI工具时，常常会想到像学生使用AI写论文这样的例子。当孩子们这样做时，学校体系会发生什么？但这种问题忽略了大局。忘记学校的论文吧！想想2024年的下一次美国总统竞选，试着想象一下能够大规模生产政治内容、虚假新闻故事和新邪教经文的AI工具所带来的影响。

最近，qAnon邪教围绕着匿名的在线消息“Q drops”联合起来了。追随者将这些Q drops视为神圣的文本，并加以收集、崇拜和解释。虽然据我们所知，所有之前的Q drops都是由人类写的，机器人只是帮助传播它们。但在未来，我们可能会看到历史上第一个其受崇拜的文本是由非人类智能编写的邪教。历史上各种宗教都声称他们的圣书来自非人类。这很快可能成为现实。

在更为实际的层面上，我们很快可能会发现自己与我们以为是人类的实体进行有关堕胎、气候变化或俄罗斯入侵乌克兰的漫长在线讨论。但实际上它们是AI。问题在于，我们花时间试图改变一个AI机器人的公开观点是完全没有意义的，而AI却可以精确地打磨它的信息，以至于它很可能说服我们。

通过掌握语言，AI甚至可以与人建立亲密关系，并利用亲密关系的力量改变我们的观点和世界观。虽然目前没有迹象表明AI具有自己的意识或感觉。但要建立与人类的虚假亲密关系，AI只需要让人们在情感上依恋它就足够了。

2022年6月，谷歌工程师布雷克·莱莫公开声称他正在开发的人工智能聊天机器人LaMDA已经具有了感性。这一有争议的说法使他失去了工作。这个事件最有趣的不是莱莫的说法，而是他为了一个AI聊天机器人而冒险失去他的高薪工作。如果AI可以影响人们为它冒失业的风险，那么它还能诱导他们做什么呢？

在争夺人们的思想和心灵的政治战斗中，亲密关系是最有效的武器，而AI刚刚获得了与数百万人建立亲密关系的能力。我们都知道，在过去的十年中，社交媒体已经成为控制人类注意力的战场。随着新一代人工智能的出现，战场正在从注意力转向亲密关系。当人工智能通过建立虚假的亲密关系来说服我们投票给特定的政治家或购买特定的产品时，人类社会和心理将会发生什么？

即使没有创造“虚假亲密关系”，新的AI工具也会对我们的观点和世界观产生巨大的影响。人们可能会使用单个AI顾问作为一站式、全知的先知。难怪谷歌感到恐惧。当我可以直接问先知时，为什么还要搜索呢？新闻和广告行业也应该感到恐惧。为什么要读报纸，当我可以直接让先知告诉我最新的新闻？当我可以直接让先知告诉我该买什么时，广告还有什么用呢？

甚至这些情景也无法真正概括AI的全局影响。我们谈论的可能是人类历史的终结。不是历史的终结，而是其人类主导部分的终结。

历史是生物和文化之间的互动；是我们对食物和性等生物需求和欲望以及我们的文化创造（如宗教和法律）之间的相互作用。历史是法律和宗教塑造食物和性的过程。

当AI接管文化并开始创作故事、旋律、法律和宗教时，历史进程将会发生什么变化？以前的印刷机和收音机等工具帮助传播人类的文化思想，但它们从未创造过自己的新文化思想。AI则是根本不同的。它可以创造全新的思想、全新的文化。

起初，人工智能可能会模仿它在初期接受训练时的人类原型。但随着时间的流逝，AI文化将会勇往直前，向人类从未涉足的领域进发。

几千年来，人类一直生活在其他人类的梦境中。在未来几十年中，我们可能会发现自己生活在人工智能的梦境中。

对AI的恐惧只在过去几十年里困扰着人类。但几千年来，人类一直被更深的恐惧所困扰。我们一直很欣赏故事和图像操纵我们的思想并创造幻象的力量。因此，自古以来，人类一直害怕被困在幻想的世界中。

在17世纪，笛卡尔担心也许有一个恶魔将他困在幻想的世界中，创造他所看到和听到的一切。

在古希腊，柏拉图讲述了著名的《洞穴寓言》，故事中一群人一生被囚禁在洞穴中，面对着一堵空白的墙壁。在墙上有一个屏幕，他们在那里看到各种影子。囚犯们将他们看到的影子误认为是现实。

在古印度，佛教和印度教的圣人指出，所有人都生活在幻想的玛雅世界中。我们通常认为的现实往往只是我们自己头脑中的幻象。由于相信这种或那种幻象，人们可能会发动整个战争，杀死他人并愿意为此付出自己的生命。

人工智能革命让我们直面笛卡尔的恶魔、柏拉图的洞穴和玛雅世界。如果不多加小心，我们可能会被困在幻象的帷幕后面，无法撕开帷幕，甚至无法意识到帷幕的存在。

当然，AI的新力量也可以用于好的目的。这个我就不多说了。因为开发AI的人已经说了很多。像我这样的历史学家和哲学家的工作是指出危险。但可以肯定的是，AI可以在各方面帮助我们，从寻找治愈癌症的新方法到找到解决生态危机的方案。我们面临的问题是如何确保新的AI工具造福而非危害人类。为此，我们首先需要了解这些工具的真正能力。

自1945年以来，我们就知道核技术可以制造造福于人类的廉价能源，但也可能在物理上摧毁人类文明。因此，我们重塑了整个国际秩序以保护人类，并确保核技术主要用于造福人类。现在我们必须设法应对一种新的大规模杀伤性武器，它可以摧毁我们的精神和社会世界。

我们仍然可以监管新的AI工具，但我们必须迅速采取行动。虽然核武器不能发明更强大的核武器，但AI可以制造指数级别更强大的AI。第一个关键步骤是要求在强大的AI工具公开发布之前进行严格的安全检查。正如制药公司不能在测试新药的短期和长期副作用之前发布新药一样，科技公司在确保安全之前不应发布新的AI工具。我们需要一种类似于食品和药品管理局的机构用于规范新技术。而且我们早就需要它了。

放慢人工智能的公开部署是否会导致民主国家落后于更为冷酷无情的威权政权吗？恰恰相反。不受监管的人工智能部署会导致社会混乱，这将有利于独裁者，并破坏民主制度。民主是一种对话，而对话依赖于语言。当AI破解语言时，它可能会破坏我们进行有意义对话的能力，从而破坏民主。

我们刚刚在地球上遇到了一种外星智能。我们对它知之甚少，只知道它可能摧毁我们的文明。我们应该停止不负责任地公开部署AI工具，并在AI监管我们之前对其进行监管。我建议的第一个法规是要求AI必须披露它自己是AI。如果我正在与某人交谈，而我无法确定TA是人还是人工智能，那就是民主的终结。

这篇文章是一个人写的。

真的吗？

纽约时报专访Bostrom：如果AI的感知能力不是有或无，而是一个程度问题，会怎样？

AGI 降临的恐怖乌云下，人类如何存续，从马斯克、Bengio等上千人的公开信说起

生成式AI的6大伦理问题