关键词：神经网络；网络结构优化；灰色关联度分析；剪枝算法
4实例建模
4.1分类实例――XOR问题
XOR问题就是如何用神经网络实现异或逻辑关系，即Y=A・XOR・B。对于这个问题用单个神经元模型无法解决，因为该问题是线性不可分的，对于两维输入空间，神经元的作用可以理解为对输入空间进行一条直线划分。
多层神经网络可以解决这个问题，因为多层网络引入了中间隐含层，每个隐含神经元可以按不同的方法来划分输入空间抽取输入空间中包含的某些特征，从而形成更为复杂的分类区域。理论上已经证明三层神经网络足以解决任意复杂分类问题。
我们考虑用BP神经网络实现XOR问题，初步建立一个隐含层为30个神经元的网络结构，再运用前文灰色关联度分析的方法进行网络剪枝，以实现最简网络的XOR问题。
XOR问题的样本有四个，即他们的输入为x=■；对应的输出为：y=[0101]；输入是2维向量，用2个神经元作为输入层，网络输出是1维向量，用1个神经元作为输出层，对于这个问题，在BP神经网络隐含层节点个数未知的情况下，先取30个节点，经过简单的训练后得到网络结构，再利用灰色关联分析优化网络结构。
初始结构：2-30-1，神经元的传递函数取tinsig函数，BP网络的训练函数取tansig；设定网络的训练参数如下：目标误差为1e-4；最大迭代步数为5000步；其余为系统默认值。
灰色关联计算时选取的分辨系数为？籽=0.4；额定灰色关联度为？着=0.55，最大剪枝次数为5，考虑到没进行一次剪枝和并枝操作，网络训练较好，各神经元间的联系更加紧密，故每进行一次剪枝和并枝过程，额定灰色关联度累加一次即？着=？着+0.05；
由表1-3可知，在程序运行过程中，原BP神经网络的结构首先调整为2-15-1，此时被删除的节点是E=2，5，6，7，9，10，16，17，20，21，
22，23，24，25，29共15个，在此基础上继续对网络进行训练学习，第二次删除的节点是E=14，26，27，28，30共4个，此时的网络结构调整为2-10-1，依次过程第五次网络达到稳定，得到BP网的最优化结构为2-3-1，具体每次调整过程对应的纵向节点和横向节点以及关联度如表1-2所示（省略前两次调整过程）。
每次剪枝完后网络的输出值是比较可观的，误差也是接近我们的目标误差，精度很高，足见虽然每次减少了隐含层神经节的个数，但网络训练不受影响，也证实了剪枝算法的合理性，如表3所示。
4.2函数逼近实例――Y=sin（X）
我们考虑用BP神经网络实现函数逼近问题，初步建立一个隐含层为30个神经元的网络结构，进行网络剪枝运用前文灰色关联度分析的方法，以实现最简网络的Y=sin（X）函数逼近问题。
我们选取100个样本，隐含层节点数为30，输入和输出都是一维的。选取Y=sin（X）为逼近函数，输入从0.01？仔到0.02？仔，增长率为0.02？仔。最大训练次数为5000，学习速率为0.005，目标误差为1e-3。
灰色关联计算时选取的分辨系数为？籽=0.5；额定灰色关联度为？着=0.50，最大剪枝次数为5，考虑到没进行一次剪枝和并枝操作，网络训练较好，各神经元间的联系更加紧密，故每进行一次剪枝和并枝过程，额定灰色关联度累加一次即？着=？着+0.05；
通过调节权值和阈值，网络达到稳定后，进行剪枝操作，第一次剪枝节点为E=12，13，21，25，27第二次剪枝节点为E=2，5，6，7，11，
16，22，30第三次剪枝节点为E=10，14，26，28，最终隐层节点为7个。函数逼近结果如图1所示。由图可知，大体符合函数逼近的趋势，逼近效果较好。
5结束语
文章通过分析了几类前馈神经网络纵向和横向信息的传输特点，采用灰色关联分析方法，通过剪枝和并枝过程来设计一种以BP算法为例的剪枝算法，数值试验结果表明这种方法非常有效，同时也对前馈神经网络的结构优化提供了一种新的学习算法。
参考文献
[1]冯知凡.基于图像处理及BP神经网络的车牌识别技术的研究[D].武汉科技大学，2011.
[2]杨晟院，高协平.基于面向对象BP算法的灰度位图图像处理[J].计算机工程与应用，2003，33：103-105.
[3]周凌翱.改进BP神经网络在模式识别中的应用及研究[D].南京理工大学，2010.
[4]张宇.基于BP神经网络汇率预测的智能交易系统[D].安徽大学，2011.
[5]李聪.基于BP神经网络的股票指数期货价格预测[D].青岛大学，2012.
[6]黄庆斌.BP算法的改进及其应用研究[D].西南交通大学，2010.
[7]李晓峰，徐玖平，王荫清，贺昌政.BP人工神经网络自适应学习算法的建立及其应用[J].系统工程理论与实践，2004，05：1-8.
[8]黄丽.BP神经网络算法改进及应用研究[D].重庆师范大学，2008.
[9]陈小前，罗世彬，王振国，陶玉静.BP神经网络应用中的前后处理过程研究[J].系统工程理论与实践，2002，1：65-70+88.
[10]熊焱，吴微，张超，亢喜岱.基于灰色关联分析的高阶神经网络剪枝算法[J].大连理工大学学报，2010，3：463-468.
关键词：人工神经网络；Hopfield神经网络；联想记忆
DOIDOI：10.11907/rjdk.161853
中图分类号：TP391
文献标识码：A文章编号文章编号：16727800（2016）009014603
基金项目基金项目：
作者简介作者简介：余洋（1994-），男，湖北随州人，四川理工学院自动化电子信息学院硕士研究生，研究方向为智能控制；傅成华（1958-），男，四川富顺人，四川理工学院自动化与电子信息学院教授、硕士生导师，研究方向为先进控制与系统优化、神经网络与非线性信息处理。
0引言
Hopfield于1982年提出了一种新型的神经网络――Hopfield网络模型。它采用了与层次型人工神经网络完全不一样的结构特征和学习方法来模拟生物神经网络的记忆机理，首次使用“能量函数”的概念，并且说明了此神经网络与动力学之间的关系，使得判断神经网络在工作过程中的稳定性有了非常简便和可靠的依据。该神经网络非常利于人们理解学习，也可以比较方便地在集成电路中实现。Hopfield神经网络根据网络输入输出的不同分为两种形式：离散型Hopfield神经网络和连续型Hopfield神经网络，两种形式的神经网络应用领域也各不相同。本文使用离散型Hopfield神经网络实现联想存储器设计。
1离散型Hopfield神经网络
离散型Hopfield神经网络是由n个神经元相互连接而成的二值神经网络[12]，并且各神经元之间的连接是双向的，连接强度用权值表示。网络的全互联结构如图1所示。神经元的输出为离散值0（或-1）和1，分别代表神经元的抑制和激活状态。由于神经网络的时间离散特性，因而其被称为离散型Hopfield神经网络[3]。
这种连接方式使得离散型Hopfield神经网络中每个神经元的输出均通过神经元之间的连接权值反馈到同一层次的其它神经元，并作为该神经元的输入，从而使各神经元之间相互制约，保证离散型Hopfield神经网络在没有外部输入的情况下也能进入稳定状态。
两个互联神经元之间的连接权值相同（wij=wji），每个神经元到其自身的连接权值为0，即wii=0。
1.1处理单元模型
离散型Hopfield神经网络的单个神经元结构如图2所示，单个神经元采用M-P模型进行信息处理，假设神经网络有n个神经元，以xj表示神经元j的输出（也称为神经元的状态），wij表示神经元i与神经元j之间的连接权值，θj表示神经元j的阈值。
神经元j的净输入sj=∑ni=1xiwij-θj（1）
神经元j的输出xj=f（sj）=sgn（sj）=1sj>0-1sj≤0（2）
1.2网络状态及运行规则
离散型Hopfield神经网络的状态由网络所有（n个）神经元的状态集合构成，在任意一个给定的时刻t，离散型Hopfield神经网络的状态表示为：
X（t）=（x1，x2，…，xn）（3）
离散型Hopfield神经网络是全互联反馈式的连接结构，每个神经元都会接收到全部神经元的反馈信息，故当网络中的各神经元状态改变时，整个网络状态也随之变化。当网络中各神经元的输出状态都不再改变时就表示网络达到稳定状态（即xj（t+1）=xj（t）=f（sj（t）））。神经网络要达到稳定状态需要经过反复更新，学习训练。
离散型Hopfield神经网络的工作过程就是网络状态的动态演化过程，即从网络初始状态沿能量递减的方向不断演化的过程，直到达到网络的稳定状态，这时网络的稳定状态就是网络的输出。离散型Hopfield神经网络工作时有以下运行步骤：①对网络进行初始化；②从网络中随机选取一个神经元i；③按照式（1）计算神经元i在t时刻的净输入si（t）；④按照式（2）计算神经元i在t+1时刻的输入xi（t+1），此时网络中除i以外的其它神经元j的输出保持不变，即xj（t+1）=xj（t）其中i≠j；⑤按照式xj（t+1）=xj（t）=f（sj（t））判断网络是否达到了稳定状态，如果未达到稳定状态就转到②继续进行，如果网络达到稳定状态则网络的工作过程终止。
1.3离散型Hopfield神经网络的能量函数
Hopfield神经网络的一大特点就是引入了“能量函数”，它表明了神经网络与动力学之间的关系。上文也提到，网络运行时在网络状态不断变化过程中，网络的能量值不断递减，直到达到稳定状态。这说明网络的能量值与网络的稳定状态有着十分密切的关系。能量函数定义为：
E=-12∑ni=1∑nj=1wijxixj+∑ni=1θixi（4）
Hopfield神经网络实际上是一个非线性动力系统，网络按动力学方式运行，网络状态的变化过程实际上是使能量极小化的过程：每次神经元状态改变时，整个网络的能量应单调递减，即能量与以前相同或下降。证明如下：
设任一神经元j由式（4）得神经元j的能量为：
Ej=-12∑ni=1wijxixj+θjxj（5）
该式可变换为：
Ej=-12xj∑ni=1wijxi+θjxj（6）
由t时刻到t+1时刻神经元j的能量变化为：ΔEj=Ej（t+1）-Ej（t）=-Δxj（∑ni=1wijxi-θj）+12Δxj∑ni=1wijxi（7）
由于在t+1时刻只有神经元j调整状态，并且各神经元不存在自反馈，式（7）可简化为：
ΔEj=-Δxj（∑ni=1wijxi-θj）（8）
在t+1时刻共有以下3种可能情况来分析ΔEj的大小从而论证网络能量值的改变方向：①如果神经元j的状态不发生变化，即xj（t+1）=xj（t），则Δxj=0，由式（8）可知ΔEj=0；②如果神经元j的状态发生变化，是从-1变为1，则Δxj=2，此时由式（1）和式（2）可知∑ni=1wijxi-θj>0，再由式（8）得ΔEj
综上可知，从t时刻到t+1时刻，无论神经元j的状态如何变化，其能量的改变量均为ΔEj≤0。由于神经元j是网络中任意一个神经元，而网络中的神经元又都是按照同一规则来更新状态的，因而整个网络的能量一直向减少的方向进行。网络变化的过程就是网络能量的极小化过程，因为能量函数是有界的，故网络一定会趋于稳定状态，该稳定状态就是网络的输出。离散型Hopfield神经网络能量函数的变化曲线如图3所示，能量函数的变化过程可以看作是下坡的过程，当网络的状态随时间改变时，整个网络的能量沿着下降最快的方向改变，最终停在整个网络能量的极小点[4]。这些极小点有全局极小点c，也有局部极小点a、b，最终落入哪种极小点取决于网络的初始状态。网络能量函数变化曲线如图3所示。
1.4关于离散型Hopfield神经网络联想记忆的连接权值设计
离散型Hopfield神经网络可以应用于联想记忆[5]，其联想记忆的基本原理是利用能量函数的极值点，网络将记忆的样本信息存储在不同的能量极值点上，当网络输入某一种模式时，网络工作到稳定状态后能够“联想记忆”出与其相关的其它存储样本，从而实现联想记忆。并且神经网络都有很好的容错性能，即使是对一些不全的、破损的、变形的输入信息，网络也能够很好地将其恢复成比较完整的原型信息。记忆是联想的前提，必须先将信息存储起来，才能按照某种方式或规则再取出相关信息，能量极值点存储记忆模式，而网络的连接权值和阈值决定这些极值点的分布，因此网络联想记忆的关键就是根据能量极值点和需要被记忆的模式设计一组恰当的网络连接权值和阈值。
网络在没有记忆之前是空白状态，只有设计了恰当的连接权值和阈值才会使网络具有知识，连接权值的设计调整过程就是网络的学习过程。离散型Hopfield神经网络一般用Hebb规则的外积和法来设计权值。方法具体如下：
假设网络共有n个节点，W是网络的连接权矩阵，如果网络一共处理m个两两正交的模式样本，则网络的学习记忆集合为xk=（xk1，xk2，…，xkn）（k=1，2，…，m）。
（1）若m=1只有一个学习模式，学习记忆集合为X1，对于输入模式X1，如果网络达到稳定状态，有：
X1=sgn（XW），即x1j=sgn（∑ni=1wijx1i）j=1，2，…，n（9）
由sgn函数的特点可知，若满足x1j（∑ni=1wijx1i）>0，即若连接权值wij正比于x1jx1i，则式（9）成立。综合可得，网络的连接权值与输入模式向量的每个分量之间满足关系：
wij=αx1jx1iα为常数而且大于零（10）
（2）如果有多个学习模式，则可将式（10）进行推广有：
wij=α∑mk=1xkjxkiα为常数而且大于零（11）
由wii=0可将式（11）改写为：
W=α∑mk=1[（Xk）TXk-I]α为常数而且大于零，I为nxn的单位矩阵（12）
在设计好网络连接权矩阵后，网络就处于正常工作状态，加载输入模式向量时，网络可以进行模式的记忆及联想。
2联想记忆功能实现证明
联想记忆的过程分为两个阶段：第一阶段是记忆阶段（也称存储阶段、学习阶段），它是联想记忆的关键，其处理过程是将记忆模式作为网络的稳定状态，并通过设计或学习获得需要的网络连接权值；第二阶段是联想阶段（也称回忆阶段），此阶段是利用网络进行回忆，将给定的输入模式作为网络的初始状态，网络按照既定的运行规则不断演化，一直演化到网络的稳定状态，此时网络的稳定状态就是回忆出的记忆模式。下面举例证明离散型Hopfield神经网络是如何实现联想记忆功能。设有一个4神经元的离散型Hopfield神经网络，各神经元的阈值为0，其中存储了两个模式，模式一X1为（1，1，1，1），模式二X2为（-1，-1，-1，-1），每个存储模式由两部分组成：名称和颜色。前两神经元存储的是名称，后两个神经元存储的是对应的颜色。模式一表示“蓝色的天空”，前两个1表示天空，后两个1表示蓝色的；模式二表示“绿色的树”，前两个-1表示树，后两个-1表示绿色的，当网络上加载信息不全或错误地输入模式三X3=（1，1，-1，1）时，让网络联想记忆输出模式X1。若想让网络联想输出模式X1，必须首先设计网络的连接权值，让网络记忆模式一和模式二，然后让网络加载输入模式三运行到稳定状态。将网络要存储的模式一和模式二设计为网络的两个稳定状态，由此设计网络的连接权值。根据式（12），设α=1得网络的连接权矩阵为；
W=（X1）TX1+（X2）TX2-2I=0222202322023220
设计好连接权值后，将模式三加载至网络，然后按照网络运行规则让网络运行：
t=0：网络的初始状态X（0）=（1，1，-1，1）；
t=1：选取节点1，节点1的状态为x1（1）=sgn[1×0+1×2+（-1）×2+1×2]=sgn[2]=1
网络状态X（1）=（1，1，-1，1）；
t=2：选取节点2，节点2的状态为x2（2）=sgn[1×2+1×0+（-1）×2+1×2]=sgn[2]=1
网络状态X（2）=（1，1，-1，1）；
t=3：选取节点3，节点3的状态为x3（3）=sgn[1×2+1×2+（-1）×0+1×2]=sgn[6]=1
网络状态X（3）=（1，1，1，1）；
t=4：选取节点4，节点4的状态x4（4）=sgn[1×2+1×2+1×2+1×0]=sgn[6]=1
网络状态X（4）=（1，1，1，1）；………
按此规则循环运行下去直到网络状态不再改变，网络处于稳定状态，网络的输出就是（1，1，1，1），也即网络存储的记忆模式一X1=（1，1，1，1）。同理，当网络加载模式四X4=（-1，-1，1，-1）时，网络也可联想记忆输出模式二。从而证明了离散型Hopfield神经网络具有联想记忆功能。
3结语
神经网络的联想记忆功能虽然很强，但是也存在一些缺陷。由于联想记忆能力受到了记忆容量和样本差异的制约，当记忆的模式较多且容易混淆时，网络不能够很好地辨别出正确模式，而且达到的稳定状态也往往不是记忆住的模式。并且，所有记忆模式不是以同样的记忆强度回想出来的。
参考文献参考文献：
[1]周非.基于RBF网络和逆模型的汽油机瞬态空燃比控制[D].成都：西华大学，2006.
[2]于乐斐.两类时滞细胞神经网络的稳定性分析[D].青岛：中国海洋大学，2008.
[3]夏松.Hopfield神经网络构造的联想记忆存储器实现与研究[D].合肥：安徽大学，2010.
1引言
很长时间以来,在我们生活中所接触到的大部分计算机,都是一种被称为“电脑的冯诺依曼型计算机。这种计算http://机在运算等很多方面确实超越了人类大脑的水平,但是基于串行控制机构的冯诺依曼型计算机在图像处理、语音识别等方面远不如大脑的处理能力。于是,在人类对大脑的不断探索中,一种更接近人脑思维方式的神经网络计算机走进人们的视线。
2大脑的研究
大脑活动是由大脑皮质许许多多脑神经细胞的活动构成。
神经细胞由一个细胞体、一些树突、和轴突组成,如图1所示。神经细胞体是一颗星状球形物,里面有一个核。树突由细胞体向各个方向长出,本身可有分支,是用来接收信号的。轴突也有许多的分支。轴突通过分支的末梢和其他神经细胞的树突相接触,形成所谓的突触,一个神经细胞通过轴突和突触把产生的信号送到其他的神经细胞。每个神经细胞通过它的树突和大约10,000个其他的神经细胞相连。这就使得人脑中所有神经细胞之间连接总计可能有1,000,000,000,000,000个。
神经细胞利用电-化学过程交换信号。输入信号来自另一些神经细胞。这些神经细胞的轴突末梢(也就是终端)和本神经细胞的树突相遇形成突触,信号就从树突上的突触进入本细胞。信号在大脑中实际怎样传输是一个相当复杂的过程,但就我们而言,重要的是把它看成和现代的计算机一样,利用一系列的0和1来进行操作。Www.133229.COm就是说,大脑的神经细胞也只有两种状态:兴奋和不兴奋。发射信号的强度不变,变化的仅仅是频率。神经细胞利用一种我们还不知道的方法,把所有从树突上突触进来的信号进行相加,如果全部信号的总和超过某个阀值,就会激发神经细胞进入兴奋状态,这时就会有一个电信号通过轴突发送出去给其他神经细胞。如果信号总和没有达到阀值,神经细胞就不会兴奋起来。
尽管这是类似0和1的操作方式,由于数量巨大的连接,使得大脑具备难以置信的能力。尽管每一个神经细胞仅仅工作于大约100hz的频率,但因各个神经细胞都以独立处理单元的形式并行工作着,使人类的大脑具有非常明显的特点:
1)能实现无监督的学习。
2)对损伤有冗余性
3)善于归纳推广。
4)处理信息的效率极高:神经细胞之间电-化学信号的传递,与一台数字计算机中cpu的数据传输相比,速度是非常慢的,但因神经细胞采用了并行的工作方式,使得大脑能够同时处理大量的数据。这个特点也是神经网络计算机在处理方法上最应该体现的一点。
3人工神经网络基础
对于脑细胞的活动原理,用简单数学语言来说,一次乘法和累加就相当于一个神经突触接受一次信息的活动。许许多多简单的乘法和累加计算,就形成了脑细胞决定是激活状态还是抑制状态的简单数学模型。从这种模型出发,任何复杂的大量的脑神经细胞活动与只是大量乘法、累加和判别是否达到激活值的简单运算的并行与重复而已。因此用这种大量并行的简单运算就可以来模拟大脑的活动,这就是人工神经网络。
神经网络的基本单元是人工神经元,它是根据人脑的工作原理提出的。图2所示为一个人工神经元,可由以下方程描述
σi=wijxj+si2θi,ui=f(σi),yi=g(ui)
xi为输入信号;
yi为输出信号;
ui为神经元的内部状态;
θi为阈值;
si为外部控制信号输入(控制神经元的内部状态ui,使之保持一定的状态);
wij为神经元的连接权值。
其中,可通过学习改变连接权wij,使得神经元满足或接近一定的非线性输入输出关系。
4神经网络计算机的实现
对于神经网络计算机实现,目前主要有以下三种实现途径:
4.1用软件在整理计算机上模拟神经网络
在sisd(单指令流、单数据流,如经典个人计算机)、simd(单指令流、多数据流,如连接机制机器)或mimd(多指令流、多数据流,如在transputer网络上)结构的计算机上仿真。
这种用软件实现神经网络的方法,灵活而且不需要专用硬件,但是基于此方法实现的神经网络计算机速度较慢,一般仅适合人工神经网络的研究,另一方面,它在一定程度上使神经网络计算机失去了它的本质,体现不出并行处理信息的特征。
4.2对神经网络进行功能上的仿真
以多个运算单元节点进行运算,在不同时间模拟各异不同的神经元,串并行地模拟神经网格计算。换句话说,即用m个物理单位去模拟n个神经元,而m<n。基于并行计算机和阵列机的神经网络虚拟实现,具有一定的整理性。<br=""
虚拟实现的神经网络计算机主要可分为:协处理机,并行处理机阵列及现有的并行计算机等。目前已经有多种产品及系统问世,包括markv神经计算机、gapp系统、gf11、基于transputer的系统以及基于dsp的系统。它们各有特点,技术已日益成熟。
但是这种实现方式仍以神经网络仿真为主要目标,另外其速度,容量等性能的提高则以增加处理机等费用为代价,较难成为神经网络的最终应用产品。
4.3利用全硬件实现
4.3.1基于cmos,,ccd工艺和浮栅工艺的神经网络全硬件实现
在微电子芯片上作上许多具有模拟神经元功能的单元电路,按神经网络模型的拓扑结构在芯片上联成网络,这类神经网络芯片上的电路与所模拟神经网络种的各个神经元和神经突触等都有一一对应的关系,神经网络中的各个权值也都存贮在同一芯片上。
我国1995年开发的预言神一号就是一台实现了全硬件的整理神经网络处理机。它以pc机作为宿主机,通过编程实现前馈网络、反馈网络、som等人工神经网络的模型和算法,在网络运算过程中预言神一号神经计算机还具备随时修改网络参数及神经元非线性函数的功能。
但是这类芯片受硅片面积的限制,不可能制作规模庞大的神经网络硬件。如果一个数万个神经元的全联接网络,其互联线将达到10亿根;若以1微米三层金属布线工艺来计算,仅仅布线一项所占硅片面积将达到数十平方米。因此,在微电子技术基础上用这种一一对应的方式实现规模很大的神经网络显然不现实。
4.3.2用光学或光电混合器件实现神经网络硬件系统
光学技术在许多方面有着电子技术无法比拟的优点:光具有并行性,这点与神经计算机吻合;光波的传播交叉无失真,传播容量大;可实现超高速运算。现在的神经计算机充其量也只有数百个神经,因此用“电子式还是可能的,但是若要把一万个神经结合在一起,那么就需要一亿条导线,恐怕除光之外,任何东西都不可能完成了。但是光束本身很难表示信号的正负,通常需要双层结构,加之光学相关器件体积略大,都会使系统变得庞大与复杂。
5小结