最近，一封埃隆·马斯克等人签名的公开信引起全球关注。这封生命未来研究所发布的《暂停大型人工智能研究》呼吁：所有人工智能实验室立即暂停训练比gpt-4更强大的人工智能系统，暂停时间至少6个月，以防范人工智能让人类失去文明控制的风险。

很多人觉得，这个呼吁并非杞人忧天；也有很多人认为，早已离开openai董事会的马斯克呼吁“暂停”，是“酸葡萄心理”作怪。哪种观点更有道理？记者采访了上海市科学学研究所研究员李辉博士。

【资料图】

公开信犀利发问有其道理

有媒体指出，签署公开信的人主要有三类：学者、在人工智能竞争中落后的企业负责人、已套现的企业创始人。虽然一些签署公开信的人可能有“酸葡萄心理”，想延缓openai研发gpt系列大语言模型的节奏，但是在李辉看来，公开信中列举的人工智能风险是真实存在的，随着chatgpt和gpt-4问世，通用人工智能（agi）可能已近在眼前。所谓通用人工智能，就是人工智能像人一样可以做很多事，不再局限于某些特定任务。这类agi系统投入应用后，做出违背伦理、违反法律的事情已经成为可能。

《暂停大型人工智能研究》公开信（来源：futureoflife.org）

“当人工智能系统在执行一般任务上变得具有人类竞争力时，我们必须问自己：应该让机器用宣传和谎言淹没我们的信息渠道吗？应该实现所有工作的自动化，包括令人满意的工作吗？应该开发出非人类的思想，让它们最终可能在数量上超过我们，比我们聪明，甚至取代我们？应该冒着失去文明控制的风险吗？”《暂停大型人工智能研究》发出了这些犀利的问题。

这些问题涉及人工智能的多个负面效应：chatgpt等大语言模型在回答一些用户提问时，会“一本正经地胡说八道”，给出看似真实的虚假信息；大语言模型有可能独立完成很多白领的工作，如撰写各类文本、制作表格和演讲幻灯片，存在让很多人失业的风险；未来某一天，通用人工智能系统可能产生自我意识，不再听从人类的指令。

“目前，人工智能系统有很大的黑箱属性，其中的一些规律，研发人员也没有完全掌握，所以有不可控性。”李辉分析，“而且随着科技进步，这种异于人类智能的智能系统拥有了超强的学习能力，可以在很短时间内学完人一辈子也看不完的文献，智能升级的潜力非常大。”

openai已研究伦理问题多年

2020年，上海市科学学研究所在编写《全球人工智能治理年度观察》时，邀请openai政策团队撰写了一篇文章《2019：推动负责任发表规范的一年》。当时，公众知晓度还不高的openai分析了gpt-2等人工智能系统带来的风险，如作为系统子集的生成模型可能被人违法利用，用于合成图像、音频、文本等内容，在互联网上行骗。

“我们也担心gpt-2可能被用来生成误导性文本。为此，我们采取了不同寻常的步骤，分阶段发布功能愈发强大的模型版本，而不是一次性发布开源模型。同时，我们探索了在整个过程中获取专家意见的新方法，以降低有人利用该系统作恶的可能性。”这段openai政策团队2020年写给上海专家的文字，现在看来也很有借鉴价值。

chatgpt使openai成为全球知名企业。来源：新华社/路透

由此可见，在预训练语言模型开发的相关伦理和安全问题上，openai比国内科研机构领先几年。如今，随着多个国产大语言模型的加快开发和投入试用，如何通过技术和方法创新，规避大语言模型违背伦理、违反法律以及意识形态等风险，成为摆在我们面前的重要课题。

人工智能治理应“两手抓”

李辉认为，要做好人工智能治理工作，必须技术和制度“两手抓”。马斯克等人签署的公开信提出的治理方案，也是遵循这一思路。

在技术方面，公开信写道：“人工智能实验室和独立专家应利用这段时间（指至少6个月的暂停期），共同制订和实施一份高级人工智能开发共享安全协议，由独立外部专家进行严格审计和监督。这一协议应确保遵守协议的系统是安全的，排除合理的怀疑。”

在制度方面，公开信呼吁：“人工智能开发者必须与政策制定者合作，大幅加快开发强大的人工智能治理系统。这个系统至少应包括：专门针对人工智能的有能力的新监管机构；监督和跟踪高能力的人工智能系统和大型计算能力池；出处和水印系统，以帮助区分真实和合成信息，并跟踪模型泄漏；强大的审计和认证生态系统；为人工智能造成的伤害承担责任；为人工智能安全技术研究提供充裕的公共资金。”

马斯克陷入沉思。来源：新华社/路透

“这些建议都值得我们借鉴，不过我觉得落地有难度，很多科研团队不会暂停研发，因为在大语言模型这条新赛道上，竞争非常激烈。”李辉说，“公开信的响应情况如何，还有待观察。”

在研发难以暂停的情况下，人工智能治理研究要迎头赶上，与科技发展尽量保持同步。近日印发的《党和国家机构改革方案》显示，国家科技伦理委员会已成为中央科技委员会领导下的学术性、专业性专家委员会。经过这一改革，我国人工智能治理的研究工作有了更强的制度保障，将促进国产大语言模型等人工智能系统积极向善。

栏目主编：黄海华

本文作者：俞陶然

题图来源：上观题图

图片编辑：邵竞

关键词：