这种简化确实使我们可能对它们的行为有所了解，即使是简单网络中出现的特点也可能出现在具有相同普遍特性的更复杂的网络中，此外，它们向我们提供了多种观点，表明特定的脑回路所可能具有的功能。例如，海马中有一个称为CA3的区域，它的连接事实上很像一个按内容寻址的网络。当然，这是否正确尚需实验检验。

    有趣的是，这些简单的神经网络具有全息图的某些特点。在全息图中，几个影像可以彼此重叠地存贮在一起；全息图的任何一部分都能用来恢复整个图像，只不过清晰度会下降；全息图对于小的缺陷是鲁棒的。对脑和全息图两者均知之甚少的人经常会热情地支持这种类比。几乎可以肯定这种比较是没有价值的。原因有两个。详细的数学分析表明神经网络和全息图在数学上是不同的。更重要的是，虽然神经网络是由那些与真实神经元有些相似的单元构建的，没有证据表明脑中具有全息图所需的装置或处理过程。（1）

    一本更新的书产生了巨大的冲击力，这就是戴维·鲁梅尔哈特（David Rumel）、詹姆斯·麦克莱兰（James Mc Clelland）和PDP小组所编的一套很厚的两卷著作《平行分布式处理》（1)。该书于1986年问世，并很快至少在学术界成为最畅销书。名义上我也是PDP小组的成员，并和浅沼智行（Chiko Asanuma）合写了其中的一个章节。不过我起的作用很小。我几乎只有一个贡献，就是坚持要求他们停止使用神经元一词作为他们网络的单元。

    加利福尼亚州立大学圣迭戈分校心理系离索尔克研究所仅有大约一英里。在70年代末80年代初我经常步行去参加他们的讨论小组举行的小型非正式会议。那时我时常漫步的地方如今已变成了巨大的停车场。生活的步伐越来越快，我现在已改为驱车飞驰于两地之间了。

    研究小组当时是由鲁梅尔哈特和麦克莱兰领导的，但是不久麦克莱兰就离开前往东海岸了。他们俩最初都是心理学家，但他们对符号处理器感到失望并共同研制了处理单词的quot;相互作用激励器quot;的模型。在克里斯托夫·朗格特-希金斯（Cop-on）的鼓励下，他们着手研究一个更加雄心勃勃的quot;联结主义quot;方案。他们采纳了平行分布式处理这个术语，因为它比以前的术语——联想记忆②——的覆盖面更广。

    在人们发明网络的初期，一些理论家勇敢地开始了尝试。他们把一些仍显笨拙的小型电子回路（其中常包括有老式继电器）连接在一起来模拟他们的非常简单的网络。现在已发展出了复杂得多的神经网络，这得益于现代计算机的运算速度得到了极大的提高，也很便宜。现在可以在计算机（这主要是数字计算机）上模拟检验关于网络的新思想，而不必像早期的研究那样仅靠粗糙的模拟线路或是用相当困难的数学论证。

    1986年出版的《平行分布式处理》一书从1981年底开始经过了很长时间的酝酿。这很幸运，因为它是一个特殊算法的最新发展（或者说是它的复兴或应用），在其早期工作基础上，很快给人留下了深刻的印象。该书的热情读者不仅包括脑理论家和心理学家，还有数学家、物理学家和工程师，甚至有人工智能领域的工作者。不过后者最初的反应是相当敌视的。最终神经科学家和分子生物学家也对它的消息有所耳闻。

    该书的副标题是quot;认知微结构的探索quot;。它是某种大杂烩，但是其中一个的特殊的算法产生了惊人的效果。该算法现在称作quot;误差反传算法quot;，通常简称为quot;反传法quot;。为了理解这个算法，你需要知道一些关于学习算法的一般性知识。

    在神经网络有些学习形式被称作是quot;无教师的quot