如何调节所有这些连接的强度呢？194年，加拿大心理学家唐纳德·赫布（Donald ;当细胞A的一个轴突和细胞B很近，足以对它产生影响，并且持久地、不断地参与了对细胞B的兴奋，那么在这两个细胞或其中之一会发生某种生长过程或新陈代谢变化，以致于A作为能使B兴奋的细胞之一，它的影响加强了。quot;这个机制以及某些类似规则，现在称为quot;赫布律quot;。

    霍普菲尔德在他的网络中使用了一种形式的赫布规则来调节连接权重。对于问题中的一种模式，如果两个单元具有相同的输出，则它们之间的相互连接权重都设为+1。如果它们具有相反的输出，则两个权重均设为-1。大致他说，每个单元激励它的quot;朋友quot;并试图削弱它的quot;敌人quot;。

    霍普菲尔德网络是如何工作的呢？如果网络输入的是正确的单元活动模式，它将停留在该状态。这并没有什么特别的，因为此时给予它的就是答案。值得注意的是，如果仅仅给出模式的一小部分作为quot;线索quot;，它在经过短暂的演化后，会稳定在正确的输出即整个模式上，在不断地调节各个单元的输出之后，网络所揭示的是单元活动的稳定联系。最终它将有效地从某些仅仅与其存贮的quot;记忆quot;接近的东西中恢复出该记忆，此外，这种记忆也被称作是按quot;内容寻址quot;的——即它没有通常计算机中具有的分离的、唯一用于作为quot;地址quot;的信号。输入模式的任何可察觉的部分都将作为地址。这开始与人的记忆略微有些相似了。

    请注意记忆并不必存贮在活动状态中，它也可以完全是被动的，因为它是镶嵌在权重的模式之中的即在所有各个单元之间的连接强度之中。网络可以完全不活动（所有输出置为0），但只要有信号输入，网络突然活动起来并在很短时间内进入与其应当记住的模式相对应的稳定的活动状态。据推测，人类长期记忆的回忆具有这种一般性质（只是活动模式不能永久保持）。你能记住大量现在一时想不起来的事情。

    神经网络（特别是霍普菲尔德网络）能quot;记住quot;一个模式，但是除此以外它还能再记住第二个模式吗？如果几个模式彼此不太相似，一个网络是能够全部记住这几个不同模式，即给出其中一个模式的足够大的一部分，网络经过少数几个周期后将输出该模式。因为任何一个记忆都是分布在许多连接当中的，所以整个系统中记忆是分布式的。因为任何一个连接都可能包含在多个记忆中，因而记忆是可以叠加的。此外，记忆具有鲁棒性，改变少数连接通常不会显著改变网络的行为。

    为了实现这些特性就需要付出代价，这不足为奇。如果将过多的记忆加到网络之中则很容易使它陷入混乱。即使给出线索，甚至以完整的模式作为输入，网络也会产生毫无意义的输出。①

    有人提出这是我们做梦时出现的现象（弗洛伊德称之为quot;凝聚quot;——condensation），但这是题外话。值得注意的是，所有这些特性是quot;自然发生quot;的。它们并不是网络设计者精心设置的，而是由单元的本性、它们连接的模式以及权重调节规则所决定的。

    霍普菲尔德网络还有另一个性质，即当几个输人事实上彼此大致相似时，在适当计算网络的连接权重后，它quot;记住quot;的将是训练的模式的某种平均。这是另一个与脑有些类似的性质。对我们人类而言，当我们听某个特定的声调时，即便它在一定范围内发生变化，我们也会觉得它是一样的。输入是相似但不同的，而输出——我们所听到的——则是一样的。

    这些简单网络是不能和脑的复杂性相提并论的，但