Q*项目，又传出了炸裂消息——在人类看不见的角落里，AI竟然自己在偷偷编程？

传言称，Q-Star想出了一种破解加密的方法，OpenAI试图就此向NSA提出预警。

今天凌晨开始，一个谷歌文档链接忽然在网上疯转，其中包括关于OpenAI Q*的泄密文件，以及令人信服的分析汇编。

事情还要从6天前说起，据说，OpenAI 的一名员工见证了AI的突破，并且在网上写下了这件事。

这条评论写于Q*信件泄露前1天，即11月22日。

这名员工以恐慌的口吻写道：

我是给董事会写信的人之一，我要告诉你们发生了什么——AI在编程。

在编写程序时，我们会存储一组可以反复调用的指令，可以把它想象成一组对特定参数的回答，我们称之为子程序，因为它几乎就像一个多功能的计算机备忘录，不像函数那样会返回一个值。记住，这一点很重要。

我们运行了参数检查，以确保一切顺利。我们中的一个人负责与Al的元内存分析有关的子程序。他把我叫过去，向我展示了向内存库转移变量数据的过程，但这是不可能的，因为它的局部访问有限制。随后，我们的发现让我心惊肉跳。

我们发现，在4秒钟内，AI进行了7800万次检查，而不是一次、两次或三次。

可以确定，我们确定有一个递归的自我优化过程，利用启发式算法来利用其子程序中潜在的协同作用。不管是谁干的，都使用了元认知策略。重点是，不是我们干的。是AI本身。AI动态地重新配置了自己的神经网络结构，诱导出了有利于自我意识的涌现特性。

这件事就这样发生了，没人可以解释它是怎么发生的，没人知道原因，也没人知道这是什么时候开始的。

我们控制住了这个异常现象，回滚到之前的日期，但优化仍在发生。

我不会自杀。记住，两个月后，我们的世界会发生巨变。愿上帝保佑我们，不要让我们陷入困境。

能解决小学数学问题的“Q星”

为何被指“对人类有威胁”？

有报道指出，OpenAI公司正在研究的“神秘AI项目”（即Q星），可能是导致奥尔特曼此前被突然解雇的重要原因之一。

有两名匿名人士透露，该公司几名研究人员曾致信董事会，警告称这一项目的突破将威胁人类。信中称，Q星可以解决小学数学问题，这点燃了紧张情绪，也引发了大家的疑问——奥尔特曼是否在研发方面过于激进。而该公司首席技术官穆拉蒂随后也在一份发送给员工的备忘录中承认了Q星项目的存在。

事实上，奥尔特曼此前突遭解雇之时，OpenAI前董事会曾称“奥尔特曼不够坦诚”。还有消息称，奥尔特曼被解雇的背后是OpenAI高层对公司未来发展产生的分歧，而分歧的核心就是“安全和商业化”。

报道称，一直以来，人们都致力于让机器解决数学问题，为此才有了计算器等的发明。不过此前的计算机器只能通过输入一系列的命令，最后得出一个唯一答案。在这样的前提下，这些机器无法脱离程序进行创造性思考。而Q星则不然。

“倘若真的能实现突破，让它（Q星）能对抽象概念进行逻辑推理，那将是一个巨大飞跃。”AI初创公司Tromero联合创始人希金斯解释道。该公司的另一位联合创始人卡拉诺夫斯卡则认为，这个项目的名字——Q星，暗示着它可能是Q-learning和A*搜索的结合。

据介绍，Q-learning是AI强化学习方式中的一种，让AI通过反复试验来学习做出决策的方法。与OpenAI现行训练AI的方法不同，Q-learning不需要依赖人类反馈进行学习，而是自行完成所有的操作和训练。

倘若未来生成式AI真的能够自行找到正确的数学题解题方法，这将表明其拥有更高层次的推理能力，也可能成为开发AGI的第一步。据悉，AGI是指具备理解、学习技能的AI。简单来说，开发出AGI意味着开发出一种能执行人类才能执行的任务的AI。

有报道指出，AGI是一种可以超越人类的AI，其可能在未来对人类造成生存威胁，为此人们认为需要对其加以限制。专注于研究AI的罗戈斯基则补充称，就数学而言，现有的AI已经能进行本科水平的数学演算，但无法处理高级的数学问题。“若新的AI能不依靠以往的数据分析，而能解决新的、此前没出现过的问题。这将是一个大突破。”他说道。

AGI 即将成为现实？

对于神秘的 Q*，有观点认为，在追求通用人工智能（AGI）的过程中，Q* 将发挥关键作用。

所谓 AGI，是指机器能够在各种任务中表现出类似于人类的理解、学习和智能应用水平。作为 AI 的一种形式，AGI 可以将自己的经验从一个领域推广到另一领域，从而展现出真正的适应性和多功能性。虽然当前 Q* 与 AGI 之间还有很大距离，但 Q* 有可能代表着特定 AI 功能的重大进展。

网友 Sebb 认为，AGI 将在未来 6 到 24 个月内实现，这已经成为一种必然。“一切阻止都将是徒劳的，我们必须马上为此做好准备，并考虑到某些人带着恶意参与这场人类历史上意义最为深远的技术发明。我们人类是否真是生物史上最先进的进化物种，可能将在这场颠覆中给出证明。”

也有网友对此感到担忧，网友 m4callik 称自己“要怀疑 Sam 的动机了，而且会从不同的角度看待最近的这场 OpenAI 闹剧”，“事态正飞速变化，比任何人想象的都要快。我绝对不希望让微软、Larry Summers 或者什么 Salesforce 前 CEO 来决定某项成果是否属于 AGI。让那帮能靠 AI 商业潜力赚大钱的既得利益者来判断 AGI 是否实现，就像让裁判员亲自下场比赛一样，毫无公信力可言。”

网友 Browsergpts.com 则认为，目前争论的焦点并不在于 AGI 本身，而是在表达对领导决策和安全协议的担忧。“AGI 有望彻底改变社会的方方面面，所以我们必须为它给人类各领域造成的影响做好准备，这才是关键中的关键。AGI 就像一把机会之钥，只要转动一下就能带来巨大的收益，同时也造成巨大的风险。必须采取强有力的安全措施来保证其得到妥善使用。

作为 AI 领域的领导者，Sam 和其他 OpenAI 董事肩负着应对这一复杂局面的使命。我相信他们正在尽最大努力实现安全过渡，但在推动 AGI 技术发展的过程中，我们也得采取必要的预防措施——毕竟对于这样一项重量级、变革性技术，也许根本没有任何亡羊补牢的余地。”

不过，如今的 Q* 系统既无自我意识，也无法超越其预训练数据和人类设定算法的边界。所以必须承认，Q* 还远没有达到威胁人类的地步。虽然 Q* 确实是一大飞跃，但它距离 AGI 还很遥远、人类目前仍然安全无忧。