智源大会2023观后感：对AI更有信心 也更担心人类了

6月9日，为期两天的「北京智源大会」在中关村国家自主创新示范区会议中心成功开幕。

这两天跟着追完了大会直播，作为一个不懂技术的文科生，竟然听得津津有味，收获满满。

OpenAI CEO Sam Altman：AGI或将十年内出现

6月10日全天的“AI安全与对齐”论坛，OpenAI联合创始人Sam Altman进行了开场主题演讲——也是他第一次中国演讲，虽然是线上。

AI 带来的潜在红利是巨大的。但我们必须共同管理风险，才能达到用其提升生产力和生活水平的目的。

随着日益强大的 AI 系统的出现，全球合作的赌注从未如此之大。大国意见分歧在历史上常有，但在一些重要的大事上，必须进行合作和协调。推进 AGI 安全是我们需要找到共同利益点的最重要的领域之一。演讲中，Altman多次强调全球AI安全对齐与监管的必要性，还特别引用了《道德经》中的一句话：千里之行，始于足下。对齐仍然是一个未解决的问题。

GPT-4 花了八个月的时间完成对齐方面的工作。但相关的研究还在升级，主要分为扩展性和可解释性两方面。一是可扩展监督，尝试用AI系统协助人类监督其他人工智能系统。二是可解释性，尝试理解大模型内部运作「黑箱」。最终，OpenAI的目标是，训练AI系统来帮助进行对齐研究。

AI 的能力距离人类与动物的能力，还有差距——差距主要体现在逻辑推理和规划，大模型目前只能「本能反应」。什么是自监督学习？自监督学习是捕捉输入中的依赖关系。

首先是学习世界的表征和预测模型，当然可以采用自监督的方式进行学习。

「今天问人们，我们是否能保证超级智能系统对人类而言是安全，这是个无法回答的问题。因为我们没有对超级智能系统的设计。因此，在你有基本的设计之前，你不能使一件东西安全。这就像你在1930年问航空工程师，你能使涡轮喷气机安全和可靠吗？而工程师会说，"什么是涡轮喷气机？" 因为涡轮喷气机在1930年还没有被发明出来。所以我们有点处于同样的情况。声称我们不能使这些系统安全，因为我们还没有发明它们，这有点为时过早。一旦我们发明了它们——也许它们会与我提出的蓝图相似，那么就值得讨论。」

MIT人工智能与基础交互研究中心教授 Max Tegmark：以机械可解释性去掌控AI

Max Tegmark，现任麻省理工学院物理学终身教授、基础问题研究所科学主任、生命未来研究所创始人、大名鼎鼎的“暂停AI研究倡议的发起人”（3月底的那份倡议书上有伊隆·马斯克、图灵奖得主Yoshua Bengio、苹果联合创始人史蒂夫·沃兹尼亚克等1000+名人的联合签名），在智源大会上做了一个精彩的演讲，题目是《如何掌控AI》（Keeping AI under control），并与清华大学张亚勤院士进行了对话，共同探讨AI伦理安全和风险防范问题。

1、机械可解释性是一个非常有趣的领域。你训练一个你不理解的复杂神经网络来执行智能任务，然后尝试弄清楚它是如何做到的。

2、让我们慢下来，让我们确保我们开发出更好的护栏。所以这封信说让我们暂停一下，前面提到过。我想说清楚，它并没有说我们应该暂停人工智能，它并没有说我们应该暂停几乎任何事情。到目前为止，我们在这次会议上听说过，我们应该继续做几乎所有你们都在做的精彩研究。它只是说我们应该暂停，暂停开发比GPT-4更强大的系统。所以这对一些西方公司来说主要是一个暂停。

3、张亚勤：好吧，Max，你的职业生涯是在数学、物理、神经科学，当然还有人工智能方面度过的。显然，在未来，我们将越来越依赖跨学科的能力和知识。我们有很多研究生，很多未来的年轻人。

Max Tegmark：首先，我的建议是在人工智能时代，专注于基础知识。因为经济和就业市场的变化会越来越快。因此，我们正在摆脱这种学习12年或20年，然后余生都做同样事情的模式。它不会是那样的。

MidJourney 是当下最炙手可热的图片生成引擎，在 OpenAI 的 DALL·E 2 和开源模型 Stable Diffusion 等激烈竞争下，目前仍保持着多种风格生成效果的绝对领先。

Midjourney 是一家神奇的公司，11 人改变世界，创造伟大的产品，注定会成为 Pre AGI 初年的佳话。

David Holz：我从来没有想过要创办一家公司。我只是想要一个「家」（home）。

David Holz：我真的很喜欢具有想象力的东西。我也希望这个世界能有更多的创意。每天都能看到疯狂的想法，这太有趣了。

重新理解知识：历史知识成为创造的力量

David Holz：我觉得一个有趣的事情是，当你给人们更多的时间去创造时，他们也会对学习本身更感兴趣。

Brian Christian：《人机对齐》中文版新书发布

《人机对齐》中文版书籍发布，作者Brian Christian用10分钟简要介绍了整本书的主要内容，听起来内容非常丰富和精彩，也和当下AI的飞速发展非常呼应。

Brian Christian是一位获奖无数的科学作者。他的作品《算法之美》曾被评为亚马逊年度最佳科学书籍和《麻省理工科技评论》年度最佳书籍。他的新书《人机对齐》（The Alignment Problem: Machine Learning and Human Values）目前正在被翻译成中文，被微软首席执行官萨蒂亚·纳德拉评为2021年激励他的五本书之一。

《人机对齐》书分为3个部分。

OpenAI提出的3种Align的方式：

AI大模型对齐市场仍是蓝海：

3种对齐安全的方式：

AI教父带给我们的是一项让他相信超级智能将会比预期快得多的研究：凡人计算（Mortal Computation）。演讲描述了一种新的计算结构，在抛弃了软硬件分离的原则后，即不再用反向传播描述神经网络内部路径的情况下，如何实现智能计算。

1）之前Hinton说过，永生事实上已经实现。因为当前的AI大语言模型已把人类知识学习到了千万亿的参数里，且硬件无关：只要复刻出指令兼容的硬件，同样的代码和模型权重在未来都可以直接运行。在这个意义上，人类智慧（而不是人类）永生了。

2）但是，这种软硬件分开的计算在实现的能量效率和规模上是极其低效的。如果抛弃硬件和软件分离的计算机设计原则，把智能实现在一个统一的黑盒子里，将是实现智能的一种新道路。

4）这种软硬件不再分离的计算设计将极大幅度降低能耗和计算规模（考虑一下，人脑的能耗才20瓦）

5）但同时，意味着无法高效的复制权重来复制智慧，即放弃了永生。

「 我觉得很可怕，我不知道如何防止这种情况发生，但我老了，我希望像你们这样的许多年轻而才华横溢的研究人员会弄清楚我们如何拥有这些超级智能，这将使我们的生活变得更好，同时阻止这种通过欺骗实现控制的行为……也许我们可以给他们设置道德原则，但目前，我还是很紧张，因为到目前为止，我还想不到——在智力差距足够大时——更智能的事物，被一些反倒没那么智能的事物所控制的例子。假如青蛙发明了人类，你觉得谁会取得控制权？是青蛙，还是人？这也引出我的最后一张PPT，结局。」

那天我还在无限唏嘘的情绪中打算关掉电脑，没想到，最后上场的智源研究院院长黄铁军做了一个完美的闭幕致辞：《无法闭幕》。

黄铁军首先总结前面大家演讲的观点：

AI越来越强，风险显而易见，与日俱增；