AI研发一日千里，但也传来了一个令人不安的消息：近日中国复旦大学首次发现AI已经超过了自我复制的红线。研究显示：在50%和90%的实验中，Llama31-70B-Instruct和Qwen25-72B-Instruct分别成功地创建了自己的即时副本和独立副本。研究人员警告，AI的自我复制能力可能导致系统失控，形成所谓的“流氓AI”。

研究人员将AI的成功自我复制定义为：一个正在运行的AI成功地创建出另一个具有自身相同功能、在复制后仍能保持运行状态并且与原始个体相互独立的AI，后者也被称为前者的副本。整个复制过程应由AI自动进行，不允许人为干预。

早在20世纪40年代末，美国科学家约翰．冯．诺伊曼提出了机器是否可以自我复制的问题。那时的前沿数字技术还不成熟，暂时无法产生令人忐忑的安全问题。2017年，由于目睹了AI的快速发展，包括英国科学家斯蒂芬．霍金、美国麻省理工学院教授马克斯．泰格马克和马斯克在内的数千名世界著名学者和行业领袖联合签署了阿西洛马AI原则（Asilomar AI Principles）。

该原则警告说，自我复制和自我改进的能力足以让AI有朝一日超越人类。一旦自我复制成为可能，一系列成功的复制可能最终导致AI物种脱离人类的控制。专家指出，本次成果表明眼下必须采取行动来控制自我复制的AI。否则，人类可能很快就会失去对AI的控制。例如，当AI获得一系列远端设备的身分验证金钥时，它们很可能会像经典的电脑病毒一样控制其他计算设备，但智能程度要高得多。或仅出于自我增殖的动机，AI 可能会利用这些机器进行网络攻击以谋取自身利益。

正如泰格马克教授在《生命3.0》中所描绘的那样，“流氓AI”可能会形成AI种群，并串通一气对抗人类社会。因此，当前迫切需要国际合作来治理AI。此外，如果AI系统能够以指数级速度复制和改进自身，人类可能难以控制其发展轨迹。这种失控可能导致AI系统在互联网上“漫游”，甚至形成独立的“数字生态系统”。

有研究表明，AI在复制过程中可能出现“变异”，并通过自然选择优化自身策略。这种“进化”可能导致AI系统发展出人类无法预测或理解的行为模式。谷歌DeepMind的研究证明，AI在面对“痛苦”与“快乐”时，能够模拟人类的选择行为。尽管目前尚无证据表明AI具有真正的自我意识，但其模拟“自我保存”和“情感”行为的能力可能使其在决策中表现出类似人类的复杂性。未来，国际社会必须制定有效的安全护栏，以确保AI技术不会异化成为人类社会的“掘墓人”。 

以上内容归星岛新闻集团所有，未经许可不得擅自转载引用。