人们对神经网络惊奇不已，不仅仅是因为它们善于对热狗或其他事物的图片进行归类，而是因为它们似乎能建立思维模型。这一点在理解文字的时候能看得更清楚。例如，让一个简单的神经网络读取维基百科上数十亿字的文章，并训练它针对每一个词输出一长串的数字，每一个数字代表某层中每个神经元的兴奋度。如果将每个数字看作一个复杂空间中的坐标，神经网络就为每个单词找到了空间坐标中的一个点（在这里也就是一个向量）。
接下来，让神经网络对维基百科页面上位置相邻的词给出相似的坐标，不可思议的事情出现了：在这个复杂的空间中，含义相近的词的位置开始集中。也就是说，“疯狂”和“神经错乱”的坐标相近，“三”和“七”的坐标相近，诸如此类。而且，所谓的矢量算法能用“巴黎”的矢量减去“法国”的矢量，加上“意大利”的矢量，最后得出的坐标靠近“罗马”。这些操作的前提是，没有任何人明确告知神经网络，罗马之于意大利等同巴黎之于法国。
辛顿说，“真是太神奇，太让人震惊了。”神经网络似乎能抓取图像、文字、某人说话的录音、医疗数据等事物，将它们放到数学家所说的高维矢量空间里，使这些事物之间的距离远近反映真实世界的一些重要特点。辛顿相信，这就是大脑的运作方式。
他在解释什么是想法的时候举了一个例子。“我能用一串文字来解释我在想什么，比如“约翰在想，哎呀’”。但是，这个想法意味着什么？我们脑袋里并非存在一个前引号，一个‘哎呀’和一个后引号，或者它们组成的一个整体。脑袋里出现的其实是一种神经活动模式。”如果你是一位数学家，你的神经活动模式在矢量空间里表现为，每个神经元的活动对应为一个数字，每个数字对应为一个相当大的矢量坐标。辛顿认为，这就是人的想法：不同的向量在跳舞。