最新论文:神经网络技术模拟「人脑海马体」,AI 预测能力准度更高、成本更低了!(下)

神经网络发展史
人工智能的发展与神经系统有着千丝万缕的联系。在1943 年,Warren McCulloch 和Walter Pitts 的《神经活动内在想法的逻辑演算》第一次提出了如何让人造神经元网络实现逻辑功能,这也奠定了神经网络最早的数学基础和开启了人们模拟人脑神经系统开发人工智能(虽然当时还没有这个词)的早期尝试。

模仿人类神经系统的问题是: 人类大脑神经系统实在太复杂了 。在人类大脑神经系统中包含 10^11(10 的 11 次方)的神经元,即便现在也难以模拟。在1958 年,Frank Rosenblatt 通过解剖大鼠的大脑发布了一个模仿神经元的感知机,当时有研究者认为,只要神经元足够多、网络连接足够复杂,感知机就至少可以模拟部分人类智力,但在1969 年,Marvin Minsky 和Seymour Papert 证明了感知机只能解决线性问题,还揭露了关于多层感知器的缺陷,这使得人工神经网络研究在人工智慧领域很快就陷入了低谷,被基于规则和逻辑推理的专家系统所取代。

1974 年,一位叫 Geffory Hinton 的年轻研究者发现,把多个感知机连接成一个分层的网络,即可以解决 Minsky 的问题。这带动了80 年代连接主义的兴起,这个阶段的连接理论最初被称为分布式并行处理PDP (parallel distributed processing),他们以人工神经网络为工具方法,引领着神经科学和人工智慧领域的发展,与行为学派和符号学派三足鼎立。

随之而来的问题是,如果要模拟人类大脑数量如此庞大的神经元,可能需要对几百甚至上千个参数进行调节,如何对这样复杂的网络进行训练呢? Hinton 等人的发现是, 透 过反向传播算法可以解决多层网络的训练问题 。这一人工神经网络算法是用来训练人工神经网络的常见方法,该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。

神经网络的现代分类器的各个方面也受到了我们所了解的大脑的视觉系统的启发 。这方面研究的先驱包括Geoffrey Hinton、Yann LeCun、Yoshua Bengio 等人,1998 年,Yann LeCun 提出了卷积神经网络(CNN),2006 年,Hinton 提出了深度学习的概念并在其经典论文《A fast learning alforithm for deep belief nets》中提出了深度信念网络,带来了深度学习直到今天的黄金时代;2009 年,Yoshua Bengio 提出了深度学习的常用模型堆叠自动编码器(Stacked Auto-Encoder,SAE),基于神经网络的研究得到进一步发扬光大。

然而人工智慧专家基于神经系统的研究和思考并没有停止。如脑科学的研究结果表明,大脑中神经元的信号处理机制和连接学习方式是不同的,尤其是大脑的无意识感知和自我意识功能并不需要有监督的学习,在大脑神经系统中,非监督学习和自主学习同样占有重要的地位,相应地,对于无监督学习和迁移学习的研究也成为人工智慧的热点之一。

而随着深度学习和神经科学的发展,之前对深度学习的一些基础理论也在面临着更新。例如在深度学习领域,神经元是最底层的单元;而在神经科学领域,神经元并不是最底层的单位。目前的深度神经网络主要是三种结构,即DNN(全连接的)、CNN(卷积)和RNN(循环),而目前的研究表明,人类神经网络可能比较类似上述三种结构的组合,层内更像DNN, 层间和CNN 很类似,在时间上展开就是RNN。这种结构上的差异也导致了深度学习研究的复杂性。

深度学习正在面临一个拐点——一方面,基于我们最初基于人脑结构认识的理论研究已经到了一个平台期,而另一方面,如Hinton 等最尖端的深度学习专家也在借助神经科学的最新发现,对之前对提出的理论进行反思,这也是近日Hinton 就提出「深度学习需要推倒重来」,并表示可能要彻底放弃反向传播的由来(参考TO 文章: 神经网络之父Geoff Hinton 推翻毕生心血「反向传播演算法」:打掉重来,AI 才有未来!)。

在与 OReilly 的一次访谈中,Hinton 曾经承认我们对人类神经系统的了解并不足够。 「我们真不知道为什么神经元要发脉冲。一个理论是它们想要噪声,以便正则化,因为我们的参数超过数据量。」Hinton 在访谈中说道。 「这个理论已经出现有 50 多年了,但没人知道它是否正确。」

神经科学和对人脑的模仿在人工智能中曾经起着重要的作用,而对于模仿人类大脑,是否能制造出最强大的人工智慧,在不同人工智慧学家眼里可能会有不同的答案。一个时常被提起的例子是,我们之所以能造出飞机,是因为空气动力学的发展而并非模仿鸟类飞行的动作,但雷锋网认为,这种从仿生到理论的循环可能是一种螺旋式的上升过程, 新的神经系统发现和研究可能会推翻之前的人工智慧经典理论,并随之模拟出新的人工智慧网络和产生新的理论,从而推动人工智慧的研究突破瓶颈得到进一步发展。

发表评论

电子邮件地址不会被公开。 必填项已用*标注