OpenAI招兵买马,成立发展超智能AI管理方案的团队

OpenAI招兵买马,成立发展超智能AI管理方案的团队

因应AI对人类社会可能的危害,OpenAI宣布已成立专门团队开发能驾驭和控管超智慧(superintelligent)AI的方案,并正式公开征才。

这个团队是由OpenAI共同创办人Ilya Sutskever及AI治理团队主管Jan Leike掌理。 他们的目标是在4年内发展能驾驭和控管AI的突破性科学及科技。

这是OpenAI首席执行官Sam Altman、Sutskever联同其他AI公司高管5月联合签署声明后,OpenAI的实际行动之一。 该声明认同全球首要之务,是应设法减缓AI危害人类文明及社会的风险。

Sutskever和Leike指出,超智慧(Superintelligence)可能非常危险,可能会侵害人类或造成人类灭绝,目前虽然还很遥远,但他们相信10年就会来到。 管理风险需要新的治理机构及能驾驭或控制超智能AI,防止它做坏事的方法,但目前并没有这种技术。 现有能控制AI的技术如增强式学习(reinforcement learning)可由人来监控AI,但是人类却无法稳定监控比人类聪明的AI,因此这些控制方法无法沿用到超智能,需要有新的突破性科学和技术。

这个小组的目标是建立智慧约略等同人类的自动化导正(alignment)研究系统。 之后可以用大量运算资源扩充,它就会反复执行来导正超智能AI。 而为了建立第一步的自动化导正研究系统,他们需要开发可扩充的训练方法、验证模型,及进行整个导正流程(pipeline)的压力测试。

这个流程一开始为了提供给模型人类难以评估的任务作为训练信号,研究小组计划以AI系统协助评估其他AI系统(可扩展的监管)。 此外,研究人员也想了解和控制模型如何将管理原则扩大到人类无法监管的系统(概括化)。 其次,为了验证系统,研究小组也将自动搜寻有问题的行为及有问题的内部元件。 最后,再藉由刻意训练一些未导正的模型来测试其导正流程,证明他们的方法是否能侦测出最严重的未导正情境(对抗测试adversarial testing)。 研究小组希望藉着摸着石头过河,渐渐找出研究优先要务,也可能再增加全新的研究主题。

为此,他们正在召募最顶尖的机器学习研究人员及工程师。 目前开出的职缺有研究工程师、研究科学家及研究经理等。 OpenAI也将拨用20%的运算资源,投入4年来建立超智能AI的导正和控制方法,也号召业界其他团队一起投入。

(0)
老哥老哥

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注