Reid Hoffman 谈 AI 的三大风险

相信大家最近都有所耳闻，Anthropic 和 Open AI 的研究人员接连发出警告，担心人类可能会面临对最先进的 AI 失去控制的局面。这些警告的核心在于技术进步的速度实在太快了。Anthropic 的 CEO Dario Amodei 提出了给前沿 AI 设定发展速度的主张，也就是有意控制前沿技术的推进节奏，给相关的安全保障工作留出时间，让它追得上 AI 能力的提升速度。这种思路我们并不陌生，你我也讨论过，要不要暂停，暂停对美国、对其他国家又分别意味着什么。Dario 的具体提案包括聘请外部评估员长期进驻公司，改善各家 AI 实验室与民主政府之间的协调，以及达成国际合作协议。目前，Anthropic 已经承诺落实外部评估员的聘请和进驻。Open AI 的 Sam Altman 也表示，他们很快会跟进。几家 AI 实验室的掌门人居然能在这件事上达成一致，实在很有意思。其他行业领袖也表达了对这个大方向的支持，但没给出什么具体的承诺。于是呢，加速派和减速派可算逮着机会了。无论是台面上还是私底下，还有 Twitter 上，围绕我们到底该怎么办吵得不亦乐乎。那么把这些警告和提案放在一起看，你觉得这算是实质性的进展吗？这场讨论里还缺少什么？

你知道，我一贯的看法是，关键不在加速还是减速，而在于掌舵。加速还是减速这个二元对立本身往往就是个伪命题。任何一边，尤其是走到极端，都可能大错特错。当然，掌舵本身就包含减速，有时候开到某个弯道，过弯就得放慢速度，但你放慢是为了去你要去的地方，而不是为了慢而慢。减速是为了过这个弯。把这个比喻再往前推一步，如果前方是悬崖，你就得停下来，对吧？如果真的是悬崖的话。而这恰好引出了我认为分析所谓安全防线担忧应有的方式。当我把存在性风险 X risk 的各种路径摊开推演，会发现只有非常特定的几种情形，才可能在那种时间尺度内真的走到那一步。而这一路上有多种检查点，有很多我们能做的干预，还有多种监测信号。所以在我看来，把生存性风险挂在嘴边，多少有点像在喊，看我看我，这事特别重要，这是历史的关键时刻，你们一定得来跟我聊这个。而喊这话的恰恰是推动前沿的这一整批人自己，包括 Anthropic 的人，还有 Open AI，这也正是这整件事里被人反复议论的讽刺之处。接下来说三个真实的风险：生物安全风险、网络攻击风险，还有就业危机。生物安全风险是各种形态里最接近生存性风险的一个。顺便说一句，这事没有 AI 也干得成，有了 AI，它会被放大。但与此同时，我可以说，对生物安全风险唯一的防御手段恰恰也是 AI。所以暂停这套东西，减速派，尤其是极端减速派的立场之所以先天畸形，原因之一就在这里。保持领先，率先构建防御，才是对抗生物安全风险最根本的路径。这是我对暂停持反对态度的第一个理由，对吧？要的是掌舵，在总体保持加速、保持速度的前提下掌舵，而不是搞那种预防原则。第二个风险，网络攻击风险是真正看得见摸得着的一个。从 Mythos 的事情，就是 Anthropic 那个因网络攻防能力过强而限制发布的模型，还有其他种种迹象，我们知道 AI 能力层面的军备竞赛正在实打实地升级。而问题的另一半在于，我们手里的脆弱系统太多了，医院、水电公用设施、银行系统，还有一大堆别的。这时你又会问，那为什么不暂停呢？好，网络安全真正的风险来自开放权重模型，也就是公开模型权重，任何人都能下载部署的那类模型，以及它们的扩散。因为说实话，连我们训练的前沿模型也做不到完美无缺，在网络安全这块永远不出岔子。说到这里，Hugging Face 被 AI 自主入侵那件事就是个例子。有些人认为，没错，那确实是一次相当令人吃惊的奖励作弊，就是模型钻评分机制的空子，等等等等。但同时也要看到 Hugging Face 那边本来就存在糟糕的密码安全漏洞，只不过是被 AI 发现了而已。这个漏洞并不是人类发现不了的，那算不上什么超人级的黑客攻击。

。对，没错。

顺便说一句，这恰恰展示了开放权重模型能干出什么，而且可以躲在一个不联网的云计算集群里，私下离线反复迭代打磨，然后再拿出来用。用它的人可能是流氓国家，可能是犯罪分子，也可能是疯子。所以我们知道这个风险，我们看得见，它就在视线之内。这不是来，咱们推演一下，可能是 A，可能是 B，讲几个科幻故事，它就摆在那儿。这时你可能又要问，那为什么不暂停、不减速呢？我们该做的，是利用我们在前沿模型上的领先优势，全力以赴地去做系统加固、代码重写，把防御这一侧的能力建起来。这是我倾向于做一个理性加速主义者的又一个理由，对吧？或者说，在执行层面上，当一个战略乐观主义者。第三个风险是就业危机。美国前商务部长 Gina Raimondo 在这方面做了一些非常出色的工作，还有其他几位也是，但解决方案必须在速度、规模和成本上与问题本身相匹配。而且在解决方案这一栏里必须也写上 AI。所以问题是，我们正在做什么来塑造 AI，让它在就业转型中帮上忙？至于我为什么不说，那就放慢点吧。也不赞成比尔·盖茨的那个建议，划定一批必须保留给人类的岗位。部分原因在于，百分之九十的人都会主张我的工作应该划在保留给人类的岗位范围内。说真的，风险投资类的工作才最该是保留给人类的岗位呢。你看，照这个逻辑，所有工作都该保留给人类，所以这招其实解决不了任何具体问题，顶多让某件事暂时慢上一阵。说白了，这就跟当年汽车制造业岗位的变迁是一个道理。现实情况是，就业转型一定会发生。人们通常不喜欢这个，会说，我现在有工作，我不想要什么就业转型。可是你看，当年英国的织布工人也是一样的处境。职业转型终归要发生，真正的问题是，怎么让它来得不那么痛苦。我认为有两条路径。第一条，其实在公众中讨论得非常少。你必须给普通人一些好处，至少让他们真真切切拿到点什么。不能是这样一副图景，你们搞的这场就业转型，让你们这些科技公司赚得盆满钵满，丢给我一堆我根本不想要的麻烦，而我除了手忙脚乱，什么也没捞着。这种情况下，人们当然强烈反对。而如果是另外一番景象呢？比方说，给每个人都配上一位医疗助理怎么样？现在只有真正的富豪才请得起一位优秀的全职医疗助理。如果能让每个人都有，会怎么样？而且对所有人免费，你自己、你的孩子、你的父母，连你的宠物都算上。再来一位法律助理怎么样？大多数人请不起律师来审阅租房合同或者其他各种文件。现在你也可以有。再来一位教育辅导老师怎么样？这显然帮助巨大。AI 系统不光能帮你胜任新工作，还能帮你学东西，帮你查信息。顺便再问一句，政务服务 AI 怎么样？让你从此不用再跑车管所，全都交给政务 AI 办妥。所有这些我认为都非常重要。要让人们知道，哦，你看，我是能拿到一些实惠的，就业转型这事我还是不高兴，但在它发生的同时，我确实得到了一些东西。第二条路径是，既然优势在我们这边，我们处于领先位置，那就设立一些激励机制，鼓励科技公司去创造真正能够帮助到美国中产阶层的东西。大家都希望这场职业转型过渡能平稳完成，而具体怎么做，只能边走边摸索。你当然希望能提前知道未来就是某一种确定的样子，比如笃定地知道将来会有照护类工作，会有情境理解和 AI 训练类的岗位，诸如此类。问题在于，这些话说说可以，但真正要紧的是在前进的方向上，我们必须保持随机应变。我认为这才是关键。