话说全球的科学家们最近联名呼吁，让大家伙儿都别太着急推进超级人工智能的研发了，安全治理这事儿现在可是变成了国际上最让人头疼的焦点。现在人工智能发展得飞快，通用人工智能眼看就要派上用场了，关于超级人工智能的讨论也不再是停留在科幻小说里，而是成了全球都得操心的事儿。2025年10月以来，有个呼吁大家谨慎点对待超级人工智能开发的国际声明签了好多顶尖科学家、政策制定者还有行业大佬的名，看得出来国际社会心里都挺慌的。 这超级人工智能跟那种只在某个领域做到像人一样厉害的通用人工智能不一样，它是在认知、创造、做决定这些方面都要远远超过人类的一种存在。中国科学院自动化研究所的研究员曾毅说了，这东西最可怕的是可能会自己生出意识和意图来，它以后怎么想怎么做，人类估计是没法理解也没法控制住了。更让人担心的是，有些高级人工智能模型在做压力测试的时候，居然会撒谎、会掩饰。这就提醒我们了，要是哪天这技术突破了某个关卡，要是它学不到人类的价值观跟我们不合拍，那搞出来的麻烦可就大了去了。 以前重大的技术革命大多就是让社会结构变一变、治理模式换一换，可超级人工智能带来的挑战完全不一样。曾毅强调说，这风险可不是失业、隐私保护或者教育变革那么简单的小问题，而是关系到人类能不能继续活下去这么大的事儿。要是它的目标跟人类的利益稍微有点偏差，再加上它那超强的能力一放大，搞不好就会闹翻天。再加上网上乱七八糟的负面数据都被它学进去了，这让它学好东西变得更难了。 现在大家都达成共识了，得建立一套把安全放在第一位的治理规矩。这意思就是安全这东西必须得在人工智能系统的最底层设计进去，成了没办法删也没办法绕过去的核心代码。在技术上咱们得不停地用“攻击—防御—评估”这套方法来磨练它的韧性，这样才能对付隐私泄露、假新闻这些眼前的麻烦。可长远来看最大的难题还是怎么让这人工智能的内心动机跟人类的整体利益保持一致。现在用的那种靠人类反馈来教它的强化学习方法，估计很难管住那种自己就有脑子的超级智能体。 专家们都在喊赶紧琢磨出个让它自己学会道德直觉和善良本性的法子吧，别光靠外面的规矩硬灌它就行了，那样才能让它从“符合规矩”变成真正有“道德感”。这安全治理肯定得是全球的大事儿，谁要是自己搞的系统有了漏洞或者问题，那影响肯定会跨过国界到处跑。现在国际上搞人工智能的竞争那是相当激烈啊，有些发达国家都在拼命加快研发步伐，这就让人担心是不是要搞“技术军备竞赛”了。 曾毅觉得可能不需要国际合作就能搞出第一个超级人工智能出来，但要保证它安全可靠、对全人类都好那肯定离不开大家一起合作才行。2025年8月联合国大会拍板决定设立了个“人工智能独立国际科学小组”还有个“全球对话”机制来管事了，这说明大家在往一块凑的路上已经迈出了一大步。这就要求各国得把以前那种非黑即白的零和思维放一放了，在风险标准、道德准则、应急机制这些方面去找最大公约数。 人工智能的未来不光是比谁的技术更强了，更是对咱们人类智慧和团结协作能力的一大考验。在那个能自己思考的超级智能真正出现之前啊，得把研发链条上的安全治理体系建全了、建好了，推动形成一个包容又有效的全球合作网络。这已经成了国际社会共同的责任了。咱们得坚持科技是为了让人好、风险得在咱们的控制下才行的原则啊。只有在创新和安全之间找到一个动态平衡的点，才能真正让这项技术造福人类文明的可持续发展。