尽管人工智能取得了所有进步,但大多数基于人工智能的产品仍然依赖于“深度神经网络”,这种网络往往非常庞大且训练成本过高。麻省理工学院的研究人员希望改变这种状况。在今天发表的一篇论文中,研究人员发现,神经网络包含的子网络小10倍,教学成本更低,速度更快。

麻省理工学院发现更容易训练的小型神经网络-而后网

为了训练大多数神经网络,工程师为他们提供大量数据集,但这可能需要数天和昂贵的GPU。来自麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员发现,在那些受过训练的网络中,较小的子网络可以做出同样准确的预测。CSAIL所谓的“彩票假设”基于这样一种观点,即培训大多数神经网络就像购买彩票中的所有门票以保证获胜一样。相比之下,培训子网就像购买中奖票一样。

问题在于,研究人员还没有想出如何在不构建完整神经网络的情况下找到这些子网,然后修剪掉不必要的位。如果他们能够找到一种方法来跳过这一步并直接进入子网,这个过程可以节省数小时的工作量,并使训练神经网络可供个别程序员使用 – 而不仅仅是大公司。但是,确定如何有效地找到子网并理解为什么有些人在学习上比其他人更好,这可能会使研究人员忙碌多年。