人工智能按下暂停键。全世界大佬在呼吁：“让我们享受一个漫长的AI夏天，而不是毫无准备地冲进秋天。”

数千名科技界专家联合签署了一份由生命未来研究所（Future of Life）发起的“暂停巨型人工智能实验”的公开信。

响应名单包括特斯拉和推特的首席执行官埃隆·马斯克 (Elon Musk) 、苹果联合创始人斯蒂夫·沃兹尼亚克 (Stephen Wozniak) 、蒙特利尔学习算法研究所所长约书亚·本吉奥 (Yoshua Bengio) 等业界大佬。

这封公开信呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月，并建议如果不暂停，应该政府强制暂停。

在经历了9个月指数级进步后，人工智能行业选择主动刹车，或许并非是因为它已经创造了社会矛盾，而是它在商业化普及后可能会带来的更大未知。

该公开信签名的发起方，生命未来研究所（Future of Life Institute，FLI）是一家位于美国波士顿地区的研究与推广机构，创立于2014年3月，以“引导变革性技术造福生活，远离极端的大规模风险”为使命。FLI致力于降低人类所面临的风险，目前主要关注人工智能、生物技术、核武器以及气候变化这四个议题。

该机构创始人包含麻省理工学院宇宙学家马克斯·泰格马克，Skype联合创始人让·塔林，哈佛大学博士生维多利亚·克拉科夫那（Viktoriya Krakovna），波士顿大学博士生、泰格马克之妻美雅·赤塔-泰格马克（Meia Chita-Tegmark）与加州大学圣克鲁兹分校宇宙学家安东尼·阿吉雷等。

FLI的外部顾问，图源：futureoflife.org

在本份倡议之前，生命未来研究所已经对美国国家标准技术研究院 (NIST) 人工智能风险管理框架初稿进行过反馈。“AI 风险管理框架” (AI RMF) 是2020 年美国国会已要求美国国家标准与技术研究院 (NIST) “为可信赖的人工智能系统开发自愿风险管理框架。”

生命未来研究所在对该项管理框架反馈中强调：在人工智能技术介入后，信息提供者与信息接收者的新利益冲突。他们认为通过人工智能技术，信息提供者有更大的机会和动机，以操纵信息接受者行为。同时其在该份反馈中也明确表达了人工智能监管缺乏风险预警的方法论。

截至发稿，生命未来研究所的这份公开信已有1125人签署。值得一提的是，提交公开信签名需要经过人工审核，但这次的签署人中短暂地出现了Open AI首席执行官山姆·阿尔特曼 (Sam Altman) 的名字，后来又很快被移除。本周也有消息传出，GPT-5已经完成研发。山姆·阿尔特曼本人也并未对此事发表任何看法。

部分响应者名单SIGNATURES

Yoshua Bengio    图灵奖获得者，人工智能深度学习发展的奠基人

Steve Wozniak    

苹果联合创始人

Andrew Yang    

2020年美国总统大选候选人，畅销书作家

John Hopfield    

普林斯顿大学教授，关联神经网络的发明者Yuval Noah Harari    

以色列未来学家

《人类简史》系列畅销书的作者

Yoshua Bengio作为AI界的顶级专家在该份倡议书中第一位签字，此外他也是图灵奖三巨头中唯一一位至今仍然留在学术界的AI老炮。另外两位分别为Geoffrey Hinton和Yann LeCun。这三位是目前公认的多层构建深层网络（之后被业界称为“深度学习”）的重要推动者。

这样的倡议并非FLI的首个。早在《AI Magazine》2015年冬季号上，Stuart Russell, Daniel Dewey, Max Tegmark等“生命未来研究所”的研究者公布了一份题为《迈向稳健和有益人工智能的优先考量研究方案》(Research Priorities for Robust and Benefcial Artifcial Intelligence) 的文章，旨在提倡就方兴未艾的人工智能技术对社会所造成的影响做认真的调研。

《迈向稳健和有益人工智能的优先考量研究方案》，图源：futureoflife.org

据生命未来研究所网站介绍，英国物理学家斯蒂芬·霍金和美国高科技企业家埃隆·马斯克，以及许多其他的人工智能专家等八千多人在当时签署了这份关于人工智能的公开信。

但本次公开信的倡议更加尖锐，其所强调的重点终于落在了，人工智能系统具有与人类竞争的智能，这可能对社会和人类造成深远的风险。

根据阿西洛马人工智能原则指出，先进的 AI 可能代表着地球生命历史上的深刻变革，应该以相应的关注和资源来计划和管理。但随着最近几个月 AI 实验室陷入一场无法控制的竞赛，试图开发和部署越来越强大的数字智能，这种规划和管理并未实现，甚至连它们的创造者也无法理解、预测或可靠地控制这些智能。

本次倡议的核心观点KEY POINTS1我们是否应该让机器用宣传和谎言充斥我们的信息渠道？2我们应该自动化所有的工作？3我们是否应该发展最终可能超越我们、取代我们的非人类思维？我们应该冒险失去对我们文明的控制吗？

对于这些重要的决定，公开信表示，现代AI系统正逐渐在通用任务上实现与人类竞争的水平，只有当我们确信AI系统的影响是积极的，风险是可控的时候，才应该开发强大的AI系统。

此外，AI实验室和独立专家应该利用这个暂停期共同制定和实施一套共享的AI设计和开发安全协议，这些协议应由独立的外部专家严格审核和监督，应确保遵守它们的系统在合理怀疑范围之外是安全的。这并不意味着暂停整个AI领域的发展，而仅仅是从危险的竞赛中退一步，避免研究更大、更难以预测、具有突现性能力的黑箱模型。

附公开信原文翻译

原文链接：
https://futureoflife.org/open-letter/pause-giant-ai-experiments/

正如广泛的研究和顶级人工智能实验室所承认的那样，具有与人类媲美的智能的AI系统可能对社会和人类构成深刻的风险。也正如被广泛认可的阿西洛马人工智能原则所指出的那样，先进的AI可能代表着地球生命历史上的深刻变革，应该以相应的关注和资源来计划和管理。不幸的是，尽管最近几个月AI实验室正陷入一场无法控制的竞赛，试图开发和部署越来越强大的数字智能，但这种规划和管理并未实现，甚至连它们的创造者也无法理解、预测或可靠地控制这些智能。

随着当代AI系统正逐渐在一般任务上实现与人类竞争的水平，我们必须问自己：我们应该让机器充斥我们的信息渠道，散布宣传和不实信息吗？我们应该自动化所有工作，包括那些令人有成就感的工作吗？我们应该发展可能最终比我们更多、更聪明、更先进、能取代我们的非人类智能吗？我们应该冒着失去对文明的控制的风险吗？这些决定不应该被委托给未经选举的技术领袖。只有当我们确信AI系统的影响是积极的，其风险是可控的时候，才应该开发强大的AI系统。这种信心必须有充分的理由，并随着系统潜在影响的增加而增加。OpenAI最近关于人工智能的声明指出：“在某个时候，可能需要在开始训练未来系统之前获得独立审查，并要求最先进的努力同意限制用于创建新模型的计算增长。”我们对此表示同意。现在就是那个时候。

因此，我们呼吁所有AI实验室立即暂停至少6个月的时间，停止训练比GPT-4更强大的AI系统。这个暂停应该是公开和可验证的，并包括所有关键参与者。如果这样的暂停无法迅速实施，政府应该介入并实行一个暂停令。

AI实验室和独立专家应该利用这个暂停期共同制定和实施一套共享的AI设计和开发安全协议，这些协议应由独立的外部专家严格审核和监督。这些协议应确保遵守它们的系统在合理怀疑范围之外是安全的。这并不意味着暂停整个AI领域的发展，而仅仅是从危险的竞赛中退后一步，避免研究更大、更难以预测、具有突现性能力的黑箱模型。

AI研究和发展应该重新聚焦于使现有的强大、最先进的系统更加准确、安全、可解释、透明、稳健、一致、可信和忠诚。

同时，AI开发人员必须与政策制定者合作，大力加速AI治理系统的发展。这些治理系统至少应包括：专门负责AI的新型和有能力的监管机构；对高能力AI系统和大量计算能力的监督和跟踪；用于区分真实与合成内容并跟踪模型泄漏的来源和水印系统；强大的审计和认证生态系统；对AI造成的损害承担责任；对技术AI安全研究的强大公共资金支持；以及应对AI带来的剧变（尤其是对民主制度）的经济和政治破坏的资源充足的机构。

人类可以与AI共享一个美好的未来。在成功创建强大的AI系统之后，我们现在可以享受一个“AI的夏天”，在这个夏天里，我们可以收获成果，为所有人明确地造福，并给社会一个适应的机会。我们的社会已经在其他可能对社会产生灾难性影响的技术上按下了暂停键。我们在这里也可以做到。让我们享受一个漫长的AI之夏吧，而不是毫无准备地冲进秋天。