图丨马文·明斯基(Marvin Minsky)
辛顿在 1986 年取得了突破,他发现反向传播可以用来训练深度神经网络,即多于两层或三层的神经网络。但自那以后又过了 26 年,不断增强的计算能力才使这一理论得以证实。辛顿和他在多伦多的学生于 2012 年发表的一篇论文表明,用反向传播训练的深度神经网络在图像识别领域打败了当时最先进的系统——“深度学习”终于面世。
在外界看来,人工智能似乎一夜之间突然爆发了,但对辛顿而言,这只是一个迟到的礼物。
矢量无所不能,反向传播已被榨干潜力?
神经网络通常被比喻成一块有很多层的三明治。每层都有人工神经元,也就是微小的计算单元。这些神经元在兴奋时会把信号传递给相连的另一个神经元(和真正的神经元传导兴奋的方式一样)。每个神经元的兴奋程度用一个数字代表,例如0.13或32.39。两个神经元的连接处也有一个重要的数字,代表多少兴奋从一个神经元传导至另一个神经元。这个数字是用来模拟人脑神经元之间的连接强度。数值越大,连接越强,从一个神经元传导至另一个神经元的兴奋度就越高。