深度学习已进入瓶颈期,模拟人类神经结构将是突破口?

多伦多大学的助理教授戴维·杜文多(David Duvenaud)和辛顿在同一个部门。他认为,深度学习就像物理学出现之前的工程学。“有人写了一篇论文,说‘我建了座桥,它立起来了!’另一个人写了篇论文:‘我建了座桥,它倒下了,但我后来加了几个柱子,它就能撑住了。’于是,柱子火了。有人提出建拱桥,于是人们都说‘拱桥太棒了!’杜文多继续说:“有了物理学以后,你才能明白什么行得通,以及为什么行得通。”他说,直到最近我们才开始真正了解人工智能。

辛顿自己也说:“大多数会议只做一些微调,而不会努力思索讨论‘我们现在做的事情有什么不足?难点是什么?让我们专注这个问题。’”

外界很难理解这个观点,因为人们看到的是一个又一个伟大进步。但是人工智能最新进展的科学含量少于工程含量,甚至只是修修补补。虽然我们已经知道如何更好地提升深度学习系统,我们仍不了解这些系统的运作方式,也不知道它们是否有可能变得像人脑一般强大。

值得探讨的是,我们是否已经穷尽了反向传播的用途?如果是这样,说明人工智能已发展已经进入瓶颈。