AI WORLD 2017 世界人工智能大会早鸟票 5 折 抢票倒计时3 天开抢
来源：news.sophos.co
编译：文强 弗格森
【新智元导读】人工神经网络性能的好坏取决于哪些要素？取得了哪些进展，最新发展趋势是什么？通过与生物神经网络的对比，本文带来对人工神经网络的深度介绍。
能够学习被认为是智能生物的一大标志。机器学习现在有能力从数据集中学习和推断，从而完成复杂的任务，比如对以前从未见过的物体进行分类。
机器学习与人类学习有着惊人的相似和重要的差异。通过比较和对比生物与人工智能如何学习，我们可以建立一个更完善的架构。
从神经元说起
在生物神经网络中，学习源自于大脑中无数神经元之间的连接。大脑接触到新的刺激后，这些神经元之间的连接改变了配置。这些更改包括出现新的连接，加强现有连接和删除那些没有使用的连接。例如，重复给定任务的次数越多，与这个任务相关的神经连接就越强，最终我们会认为这个任务被学会了。
神经元使用记忆和感知里预先建立（pre-established）的表征来处理新的刺激。每个刺激都能让一组神经元在认知过程中会被激活，而这样的神经元有很多很多。
这种生物学上的奇妙设计也启发了人工智能研究者，人工神经网络（ANN）旨在抽象地模拟这种行为，但规模和形式都要小并且简单得多。
什么是人工神经网络（ANN）？
ANN由互相连接的神经元组成，这些神经会接收一组输入，以及一组连接权重的设置，然后进行一些数学运算，并将结果作为一组与生物神经元中的突触相似的“激活”作为输出。ANN通常由几百到上千个神经元组成，但人脑的生物神经网络有数十亿神经元。
从比较高的层次看，人工神经网络由四个部分组成：
神经元
拓扑结构，也即神经元之间的连接路径
权重
一种学习算法
神经元
拓扑结构，也即神经元之间的连接路径
权重
一种学习算法
在人脑生物神经网络和用软件表达的人工神经网络之间，这四大部分有着显著的不同。
在下图中，我们看到一个生物神经元。轴突（Axon）负责输出从神经核到其他神经元的信息，树突（Dendrite）则负责从其他神经元接收信息，来自神经元（突触）的电化学信号聚集在细胞核中。如果电信号聚合超过突触阈值，就会形成电化学脉冲，沿轴突向下传播到其他神经元的树突。
下图展示了一个人脑中神经元拓扑结构的合理假设。可以看出，这个结构蕴含了让信息循环和传播的巨大潜力。
生物神经网络中的学习：对现有表征进行微调，初始状态由遗传衍生而来
在像人脑这样的生物神经网络中，学习是通过对现有表征进行微小调整实现的，其配置（configuration）在任何学习开始前就已经包含了重要的信息。神经元或权重之间的连接的强度不以随机的方式开始，连接的结构，即网络拓扑也并非随机。这种初始状态是由遗传衍生而来的，是进化的副产物。
随着时间的推移，网络通过调整拓扑和权重来学习如何执行新的功能。实际上，拥有一个起始表征（initial representation）对完成任务来说都很有用，这一点有证据支撑。研究表明，一个月大的新生儿可以通过学习识别陌生人和父母的脸之间的差异。换句话说，人类对“人脸”的概念在很大程度上是从父母那里传承的。
随着婴儿逐渐发育成长，走过童年、青春期、成年，甚至到退休，他们每天都会看到和认识新的朋友，并且要学习他们的样子。而这是通过对大脑中神经网络进行微小的改变来实现的。
同样的现象也适用于其他任务，包括被动感知任务，从识别通用对象到将声音作为一种语音模式来处理，以及主动进行的任务，比如运动和说话。这些技能逐渐被学习，那些用于改进它们的调整幅度也不断缩小。对应这种现象的精确的拓扑结构，是训练这些生物神经网络刺激类型的函数。一个著名的例子是由诺贝尔奖得主David Hubel和Torsten Wiesel领导的单眼剥夺研究。该研究涉及在发育过程中强迫动物的眼睛闭合两个月，观察其主要视觉皮层的变化。
结果表明，通常对双眼输入有反应的细胞变得完全不再对信号产生反应。因此，动物大脑和眼睛中的细胞都发生了改变。这种现象也延伸到人类身上。例如，对视觉感知的心理测验表明，相比居住在农村的人，生活在城市中的人往往对平行线条和锐角更敏感（居住在农村的人则对光滑的纹理渐变更敏感），很可能是城市中道路、摩天大楼和窗户的平行结构过多造成的。
人工神经网络中的学习：从头开始，初始状态随机
与生物神经网络不同，人工神经网络（ANN）通常从头开始训练，使用的素材是现有的针对某个问题的拓扑结构。目前，这些网络的拓扑不会随时间发生变化，而网络的权重也是通过优化算法随机初始化和进行调整，尽可能将输入刺激映射到期望的输出函数。
不过，ANN也可以基于先前存在的表征来进行学习，这一过程被称为微调。微调也包括使用相对较慢的学习速率调整预训练网络拓扑的权重，从而让网络在新的训练数据上表现良好。
我们也可以毫不费力地复制ANN，但是要做出一个人类大脑还需要一定的时间。
无论是从头开始还是微调训练，权重更新过程都是通过在神经网络中传递数据
测量结果，并相应地修改权重开始的。这就是人工神经网络如何进行“学习”的整个过程。权重会按照能在最大程度上提高所需任务性能的方向被逐渐改变，例如最大限度准确识别输入样本的方向。人工神经网络这种学习过程，可以比作一个试图学习识别日常物品的孩子。在尝试失败后，对答案的准确性进行反馈，孩子再次尝试不同的方向，为了得到正确的反应。
ANN在学习时执行的都是相同的任务。一旦这个学习过程完成，ANN就可以使用以前的问题表征来对学习过程中以前没有接触过的新刺激做出反应。跟人类的孩子一样，ANN通过接触尽可能多的类似问题，让自己学得更好。对于人类儿童，练习的次数越多，就能越快处理新的问题，因为孩子大脑中的相关神经元连接变得更加明确。而ANN则类似于更广泛地分配有关任务的可能刺激的广泛分布，从而在以前没有接触过的相同分布中学习，应对新的刺激。
越多接触越好：白天鹅 vs 黑天鹅
我们人类在长久的发展中学习到，对于儿童来说，暴露在现实世界中的机会越多，他们就能够学得越好，即使这种学习有时候是痛苦的。事实上，当学习是痛苦的时候，痛苦本身就是一个很大的反馈机制。类似地，要训练或微调任何类型的神经网络，将ANN暴露于特定领域中的各种刺激是非常重要的，并且这可以确保你的模型不会对某一种刺激产生过拟合。
通过对特定类别的刺激进行额外的表示，网络可以更好地分类新的刺激或生成概念。这适用于生物神经网络和人工神经网络，虽然生物神经网络在泛化上做得更好。这是真的，部分是因为它们暴露于更多的数据类型和模式，部分原因是由于更先进的生物拓扑和学习算法，并且在很大程度上是因为达尔文主义。
这一说法的一个例子，来源于Nassim Taleb开发的“黑天鹅理论”。这个术语来自于16世纪伦敦的一个“常识”，有人认为所有天鹅都是白色的，因为没有任何其他颜色的天鹅的记录。因此，对他们来说，天鹅必须是白色的，才能被分类为天鹅。荷兰探险家威尔明·德·弗莱明（Willem de Vlamingh）后来见到了西澳的黑天鹅，改变了这种固有的分类。
这里的概念是，如果一个人从小到大到只能看到白天鹅，也就是说，一个人的神经网络只能在“所有的天鹅都是白色的”这一分布上进行训练，这个时候给他呈现一个“黑天鹅”，他就不能将它分类为天鹅， 因为这是一个从未见过的天鹅。如果一个人从小到大看到天鹅有两种颜色，那么他更适合对所有的天鹅类型进行分类，因为这个生物神经网络是在更大的天鹅类型分布上进行训练的，这些分布中包括了更多的知识，让人可以更多地了解天鹅可能包含的属性。
泛化，或者说从以前学到的知识进行抽象的能力，是一种非常有用的功能，可以通过轻微地权重调整，快速地解决跨不同领域的问题。这是一个神经网络针对迁移学习和解决适应性问题的方案。
事实上，不用重新连接很多的神经元这一点，也是平均而言经常滑雪的人要比第一次滑雪的人滑得快的一个原因。被训练用于物体检测的人工神经网络在通过微调后，也能很好用于面部识别，其性能往往比从头开始在相同的面部识别数据集上严格训练的解决方案要更好。
人 vs 机器
应该清楚的是，今天的人工神经网络还处于起步阶段。虽然在结构上类似，对于权重概念，神经元（功能单位），拓扑学习和学习算法，它们还不能模仿人类对于许多复杂类型任务的处理能力。它们的拓扑结构要简单得多，它们的数量级要小一些，学习算法比较幼稚。此外，他们还不能同时接受许多异构任务的训练。
随着我们继续构建ANN来解决诸如检测以前未知类型的恶意软件的难题，我们还将继续了解人类大脑如何完成任务。或者某些类别的任务，ANN实际上可以胜过人类分析人员的准确性和速度。大脑中的动作电位以千秒数传播，而ANN可以更快地对数据量进行分类。
对于其他任务，ANN的优势补充和增强了即使是最强大的人类思维的能力，使大型工作流程自动化。在不久的将来，ANN将开始在近人甚至超人的层面上执行额外的任务，它们可能在数学和结构上更类似于生物神经网络。
原文链接：https://news.sophos.com/en-us/2017/09/21/man-vs-machine-comparing-artificial-and-biological-neural-networks/返回搜狐，查看更多
责任编辑：