【关键词】数据挖掘信用风险决策树支持向量机
一、引言
我国上市公司是整个国民经济整体的一个有机组成部分,甚至可以说是整个国民经济的核心所在。至2008年底,沪深两市的股票总市值在缩水62.9%的情况下仍达到12.13万亿,占GDP的48.6%。从这些数据可以看出,上市公司在我国经济中占有主体地位,因此,上市公司的优劣存亡将关系到整个国民经济的发展。然而,我国上市公司所积累的信用风险已经非常巨大,在深交所的诚信档案里仅主板市场就列出了20页的违规通报批评和处分决定。就国有企业而言,信用危机依然存在,突出的表现就是恶意拖欠逃债现象。企业信用风险状况直接关系到我国金融市场的健康发展和国民经济的持续稳定。可见,对上市公司信用风险的管理是非常必要和迫在眉睫的,而上市公司信用风险评估模型的建立是防范信用风险的重要手段。因此,研究上市公司信用风险评估这一课题,已经成为我国目前经济生活中亟待解决的一个重要问题。
目前许多定量技术和支持工具、软件已付诸商业应用,继传统的比例分析之后,统计方法得到了广泛的应用,如判别分析和Logistic回归等。信用等级评估是通过对企业或个人的某些单一财务指标进行加权平均确定的,该方法最大的缺陷在于指标和加权值的确定带有很大的主观性,使得评估结果和实际状况有很大的出入。因此,需要引入科学方法来确定有效评估指标,并建立准确的定量模型来解决信用等级评估的问题。近年来,信息技术得到了迅速发展,如数据挖掘技术等能从海量数据中智能发现有用的规则和知识,再加上我国上市公司信息披露制度的不断完善,使得我们的研究能够得到的数据资料也不断的增多,这些有利条件的出现使得我们对基于数据挖掘的上市公司信用风险评估模型的研究有了数据基础和技术基础。
二、基于数据挖掘的信用风险评估模型比较综述
1、决策树
决策树方法于20世纪60年代起源于对概念学习建模;20世纪70年代后期Quinlan发明用信息增益作为启发策略的ID3算法,从样本中学习构造专家系统;1993年Quinlan在ID3算法基础上研究出了改进的决策树归纳包(C4.5),这是目前被普遍采用的数据分类方法。其思想是一个类似于流程图的树结构,其中每个内部结点表示在一个属性熵的测试,每个分支代表一个测试输出,而每个树叶节点代表类或类分布。决策树通过把实例从根节点排列到某个叶子节点来分类实例,叶子节点即为实例所属的分类,树上每个节点说明了对实例的某个属性的测试,节点的每个后继分支对应于该属性的一个可能值。决策树分类模型之所以被广泛应用于信用风险评估,主要是因为决策树具有以下优点:(1)与神经网络或贝叶斯分类等其他分类模型相比,决策树的分类原理简单易懂,很容易被使用人员理解和接受。在决策树分类过程中,一般不需要人为设定参数,更适合于知识发现的要求;(2)决策树的学习算法具有建立速度快、计算量相对不是很大、可以处理连续值和离散值属性;(3)决策树能使用信息原理对大量样本的属性进行信息量分析,计算各属性的信息量,找出反映类别的重要属性(可以清晰的显示哪些属性对分类比较重要);(4)决策树分类方法与其他分类模型相比,易于生成可理解的规则。决策树方法对记录数越大的数据库,它的效果越明显,这就是它显著的优点。
研究表明,一般情况下,树越小则树的预测能力越强。要构造尽可能小的决策树,关键在于选择恰当属性。而属性选择依赖于各种对例子子集的不纯度度量方法。其中,基于数据挖掘中决策树C4.5算法的分析框架建立的上市公司信用风险评估模型,对数据分布无任何要求,应用于上市公司信用风险评估的效果比较好,因此具有良好的发展前景,值得我们深入研究。
2、神经网络
BP网是面向映射变换的神经网络中应用最广泛的一种,其结构如图1所示。典型的BP网有三个层次:输入层、隐含层和输出层,相邻层次神经元间采用全互连形式,同层神经元间则不相连。其思路是:当给网络提供一个输入模式时,该模式由输入层传到隐含,经隐含层神经元作用函数处理后传送到输出层,再经由输出层神经元作用函数处理后产生一个输出模式。如果输出模式与期望的输出模式有误差,就从输出层反向将误差逐层传送到输入层,把误差“分摊”给各神经元并修改连接权,使网络实现从输入模式到输出模式的正确映射。对于一组训练模式,可以逐个用训练模式作为输入,反复进行误差检测和反向传播过程,直到不出现误差为止。这时,BP网完成了学习阶段,具备所需的模式分类(识别)能力。
20世纪80年代末,西方发达国家将人工智能引入银行业,协助银行进行贷款决策,这其中,尤其以人工神经网络最为突出,其在企业财务分析中显示了巨大的优势和潜力。而在我国,无论是用统计方法还是用神经网络技术来研究信用风险,目前都尚处于起步阶段。王春峰等(1999)用神经网络技术进行商业银行信用风险评估;郝丽萍等(2001)研究了商业银行信贷风险分析的人工神经网络模型;柳炳祥、盛昭翰(2003)利用粗神经网络对企业财务危机进行了分析;庞素琳等(2003)利用BP算法对我国某商业银行2001年120家贷款企业进行3类模式(“信用好”、“信用一般”、“信用差”)分类,分类准确率达到83.34%;张德栋、张强(2004)建立了基于BP神经网络的企业信用3层神经网络评估模型,实验结果证明,该模型用于企业信用评估,减少了企业信用评估传统的定性方法中权重确定的人为因素,评估正确率达到了92.12%;王凯、黄世祥(2007)建立起基于BP神经网络的行业间信用评估模型,并代入2003年度全国农业和工业的部分行业数据进行实证。
神经网络由于其自身优势已经在各个领域得到了广泛的应用,近几年来,经济学和管理学方面的学者将其运用到经济领域,特别是在信用风险评估方面取得了很好的成效。尤其BP神经网络在商业银行信用风险评估上应用的可行性,其优点主要体现在:(1)BP神经网络模型具有高速信息处理能力。信用风险评价是一个非常复杂的系统,简单的信用风险打分模型不能很好地表述这种关系,同时结果与实际也有较大的差别。而神经网络是由大量的神经元广泛互连而成的系统,并行处理能力很强,得到的模型能对实际作出很好的预测。(2)BP神经网络模型具有很强的不确定性信息处理能力。由于神经网络中神经元个数众多以及整个网络存储信息容量巨大,使得它具有很强的对不确定性信息的处理能力。而信用风险本身就有一种不确定性,信用风险评价指标体系涉及指标众多,这些变量本身就具有一种动态性和不稳定性。运用BP神经网络模型进行预测可以很好地解决这种不确定性。(3)BP神经网络模型是一个具有高度非线性的系统。神经网络同现行的计算机不同,它是一种非线性的处理单元,因此神经网络是一种具有高度非线性的系统。在信用风险评估运用上,它突破了传统信用风险评估方法以线性处理为基础的局限性,能更有效、更精确地处理复杂信息。但是,神经网络也存在明显的不足。首先,当神经网络的输入维数高时,隐含规则呈几何级数增加,致使网络结构庞大,同时神经网络学习速率固定,存在局部最小点问题,因此网络收敛速度慢,需要很长的训练时间,甚至可能发生网络瘫痪;其次,网络结构复杂,导致网络的输入节点单元数、隐含层数的确定缺乏理论依据。尽管存在一些遗憾,神经网络方法作为一门崭新的信息处理科学方法仍然吸引着众多领域的研究者。
3、支持向量机
支持向量机(SupportVectorMachine,SVM)是根据统计学习理论得出的一种新的机器学习算法,它用结构风险最小化原则替代经验风险最小化原则,较好地解决了小样本学习问题,是一种整理的前馈网络类型。支持向量机的实现是通过某种事先选择的非线性映射(核函数)将输入向量映射到一个高维特征空间,在这个空间中构造最优分类超平面。使用SVM进行数据集分类工作的过程首先是通过预先选定的一些非线性映射将输入空间映射到高维特征空间,它使得在高维属性空间中有可能对训练数据实现超平面的分割,避免了在原输入空间中进行非线性曲面分割计算。SVM数据集形成的分类函数具有这样的性质:它是一组以支持向量为参数的非线性函数的线性组合,因此分类函数的表达式仅和支持向量的数量有关,而独立于空间的维度。
随着机器学习理论的不断发展,支持向量机作为一种专门针对小样本学习的算法被引入到了信用风险评估中。在我国,张秋水、罗林开等(2006)通过SVM与传统的多元线性回归(MultiLinearRegression,MLR)和Logit分析(LogitAnalysis,LA)的实证对比和模型分析,得出SVM在20组测试样本集上的平均误判率是最低的,显著优于MLR,也优于LA。吴冲等(2009)建立了基于模糊积分的支持向量机集成方法,该方法综合考虑了子支持向量机的输出重要性并与单个支持向量机和最多投票原则的支持向量机集成进行比较,实证结果表明,该方法具有更高的分类精度。与BP神经网络相比,SVM方法的优缺点是:(1)模型的准确率。SVM是通过解一个凸二次规划来得出结果的,因此找到的解是全局最优解,且精度高,利用支持向量机进行上市公司信用风险评估,根据有限的训练样本,建立了非线性映射关系,解决了维数问题,这种算法具有简单、准确率高的优点,很适合推广。(2)泛化能力。SVM通过结构风险最小化原则实现了经验风险和置信范围的良好折衷,避免了过拟合现象,而人工神经网络是基于经验风险最小化原理。(3)模型的适用性。SVM方法通过对不同的核函数和参数的选择,可以优化评估结果,不同的核函数可以满足不同的需求,模型的适用范围更广。(4)对数据要求。SVM可以避免小样本和“维数灾难”问题,对有限数量和维数较高的样本评估精度较高;而BP神经网络模型由于数据较少,易产生过拟合现象,因而使用范围受限制。(5)核函数也需要人为的确定,尚未有理论证明决定应选择的核函数。
三、结束语
随着信息技术的发展,数据挖掘方法被广泛应用于金融、经济领域,在信用风险方面也受到越来越多的重视。在我国,对上市企业的信用风险评估还是一个很具有挑战性的领域,不仅体现在其信用风险变化的复杂性,还在于评估所面临的巨大工作量。上市企业的信用状况是构成整个社会体系不可缺少的重要部分,因此,解决其信用风险评估问题的首要任务是要建立简单可操作的模型,并充分发挥计算机处理信息等的优势作用。
(注:本文系华东交通大学校立科研基金资助课题《基于数据挖掘的上市公司信用风险评估模型研究》的部分研究成果,课题编号:09GD02。)
【参考文献】
[1]QualianJR,C4.5:ProgramsforMachineLearning[J],SanMateo,CA:MorganKaufmannPublishers,1993.
[2]VirongrongTesprasit,PaisarnCharoenpornsawat,VirachSornlertlamvanich,AContext-SensitiveHomographDisambiguationinThaiText-to-SpeechSynthesis,ProceedingsofHumanLanguageTechnologyConference,2003.
[3]周松林、吴铭:沪深两市总市值全年缩水62.9%[J].金融界,2009(1).
[4]王春峰、万海晖、张维:基于神经网络技术的商业银行信用风险评估[J].系统工程理论与实践,1999(9).
[5]郝丽萍、胡欣悦、李丽:商业银行信贷风险分析的人工神经网络模型研究[J].系统工程理论与实践,2001(5).
[6]柳炳祥、盛昭翰:基于粗神经网络的企业危机预警系统设计[J].信息与控制,2003(1).
[7]庞素琳、王燕鸣、黎荣舟:基于BP算法的信用风险评价模型研究[J].数学的实践与认识,2003(8).
[8]张德栋、张强,基于神经网络的企业信用评估模型[J].北京理工大学学报,2004(11).
[9]王凯、黄世祥:基于BP神经网络的行业间中小企业信用评估模型及应用[J].数学的实践与认识,2007(24).
关键词:高速公路;隧道施工系统;安全评价;模糊理论;神经网络
0引言
近年来,随着国家高速公路迅猛发展,隧道建设数量也越来越多,规模也越来越大。在隧道施工过程中,由于围岩地质条件的多样性和复杂性,其施工事故发生率比其他岩土工程高且严重,给隧道工程施工人员身心带来严重的危害,社会影响恶劣,有悖于国家建设和谐社会的宗旨。这就要求用科学的方法对隧道施工生产系统进行安全分析与评估,预测事故发生的可能性[1]。
在传统的公路隧道施工生产系统安全评价中,经常使用的安全评价方法主要以定性安全评价方法为主,如专家论证法、安全检查表法及作业条件危险性评价法等[2,3]。近年来,在公路隧道施工生产系统安全评价中,引人了模糊综合评价的方法,取得了较好的决策效果[4]。但是,该方法缺乏对环境变化的自学习能力,对权值不能进行动态调整[5],而神经网络具有非线性逼近能力,具有自学习、自适应和并行分布处理能力,但其对不确定性知识的表达能力较差,因此,模糊控制与神经网络结合就可以优势互补,各取所长[6],在这方面已经出现了一些研究成果[7~11]。为此,本文把人工神经网络理论与模糊综合评价理论相融合,研究建立了一种模糊神经网络评价模型,对公路隧道施工的安全管理水平进行评价。
1模糊神经网络
1.1基本结构原理
模糊神经网络是由与人脑神经细胞相似的基本计算单元即神经元通过大规模并行、相互连接而成的网络系统,训练完的网络系统具有处理评估不确定性的能力,也具有记忆联想的能力,可以成为解决评估问题的有效工具,对未知对象作出较为客观正确的评估。
根据评估问题的要求,本文采用具有多输人单元和五输出单元的三层前馈神经网络,其中包括神经网络和模糊集合两方面的内容。
1.2神经网络
为了模拟人脑结构和功能的基本特性,前馈神经网络由许多非线性神经元组成,并行分布,多层连接。RobertHecht一Nielson于1989年证明了对于任何在闭区间内的一个连续函数都可以用一个隐层的BP网络来逼近[12],因而一个三层的BP网络完全可以完成任意的输人层到输出层的变换。因此,本文研究的公路隧道施工系统安全评价模糊神经网络采用三层BP神经网络结构。输人层有个神经元,输人向量,,输人层神经元的输出是输人向量的各分分量。隐层有个神经元,,若输人层神经元与隐层神经元之间的连接权值为,且隐层神经元的阈值为,则隐层神经元的输出为
(l)
式中是神经元的激励函数,一般选取单调递增的有界非线性函数,这里选用Sigmoid函数:
(2)
由此,隐层神经元的输出为:
(3)
同理可得输出层神经元的输出为:
(4)
1.3学习算法
本网络采用BP学习算法,它是一种有教师的学习算法,其学习过程由信号的正向传播和误差的反向传播组成。基本原理是:设输人学习样本为个,即输人矢量,已知其对应的期望输出矢量(教师信号)为,正向传播过程将学习样本输人模式从输人层经隐含单元层逐层处理,并传向输出层,得到实际的输出矢量,如果在输出层不能得到期望输出,则转人反向传播,将与的误差信号通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而调整各神经元之间的连接权值,这种信号正向传播与误差反向传播得各层权值调整过程是周而复始地进行的,直到网络输出的误差减少到可接受的程度,或进行到预先设定的学习次数为止。
网络的具体学习算法的计算模型如下:
对某一学习样本,误差函数为
(5)
式中:、分别为该样本的输出期望值和实际值。
对于所有学习样本,网络的总误差为
(6)
网络学习算法实际上就是求误差函数的极小值。利用非线性规划中的梯度下降法(最速下降法),使权值沿着误差函数的负梯度方向改变。
隐层与输出层之间的权值(及阈值)的更新量可表示为
(7)
式中:为学习率,可取。
将式(6)和(4)代入式(7),并利用复合函数求导的连锁规则,得
(8)
式中:为迭代次数,为误差信号
(9)
类似的,输入层与隐层之间的权值(及阈值)修正为
(10)
同理可得
式中为误差信号
(11)
为了改善收敛性,提高网络的训练速度,避免训练过程发生振荡,对BP算法进行改进,在权值调整公式中增加一动量项,即从前一次权值调整量中取出一部分迭加到本次权值调整量中,即:
(12)
(13)
式中为动量因子,一般有。
1.4模糊集合
评估指标集由表征一类评估决策问题的若干性能指标组成。由于指标的量化含有不确定性,故用模糊方法加以处理[13]。评估指标的模糊集合可表示为
(14)
式中:是评估指标,是相应指标的评价满意度,。
评估指标集用其满意度表示,取值在[0,1]之间,作为模糊神经网络系统中神经网络的输人向量,这正好符合神经网络对输人向量特征化的要求。实践表明,经过对输人向量的特征化处理,可大大减少网络的学习时间,加速网络训练的收敛。
2隧道施工系统安全评价模糊神经网络
2.1指标体系与神经网络划分
实践证明,一个好的隧道施工系统安全评价方法应满足以下要求:评价指标能全面准确地反映出隧道施工系统的状况与技术质量特征;评价模式简单明了,可操作性强,易掌握;评价结论能反映隧道施工系统的合理性、经济性及安全可靠性;评价中所采用的数据易于获取,数据处理工作量小;顶层输出即为系统的专家评估,而每层各评估项目的子系统都可以用子结构表示。
每个子结构具有输人输出关系可表达为
(15)
其中是子系统的输出,是子系统的输人矢量,为相应的专家(加权)知识。
评估专家系统中各子系统的评估由各自的模糊神经网络来完成。
这种对评估系统的结构分解和组合具有如下特点:
(1)每个子系统可以采用较少的神经元来实现神经网络的自学习和知识推理,这样既减少了学习样本数、提高了样本训练速度,又能够独立完成某一推理任务。
(2)分解的各子系统具有相对独立性,便于系统的修改、扩展和子系统的删除,从而具有良好的维护性。
(3)子系统的评估项目即为节点,在系统进行评估推理时产生的评估表示式可以很好地解释评估系统的推理过程,避免了神经网络权值难以理解所致的推理过程难以理解的弱点。
2.2网络的设计
评估问题是前向处理问题,所以选用如前所述的前向型模糊神经网络来实现。
(1)输人层
输人层是对模糊信息进行预处理的网层,主要用于对来自输人单元的输人值进行规范化处理,输出由系统模糊变量基本状态的隶属函数所确定的标准化的值,以便使其适应后面的处理。根据评价指标体系,对应20个指标构建BP网络的输入层为20个节点,将指标转换为相应指数后作为样本进入网络进行计算。
(2)隐层(模糊推理层)
该层是前向型模糊神经网络的核心,用以执行模糊关系的映射,将指标状态输入与评估结果输出联系起来。采用试探法选取模型的隐含层神经元数,即首先给定一个较小的隐含层神经元数,代入模型观察其收敛情况,然后逐渐增大,直至网络稳定收敛。通过计算该模型的隐含层神经元数为28个。
(3)输出层
输出层是求解模糊神经网络的结果,也是最后的评估结果。我们把评价因素论域中的每一因素分成5个评价等级,即
={安全(),较安全(),安全性一般(),较不安全(),不安全()}
对应这5个等级,确定输出层为5个节点。这样就构建了一个“20―28―5”的3层BP网络作为评价体系的网络模型。
2.3模糊神经网络训练
网络设计好后,须对其进行训练,使网络具有再现专家评估的知识和经验的能力。样本数据来自我省已经建成的高速公路隧道施工的现场数据库,从中选取30组,其中20组数据作为训练样本,余下的10组作为测试样本。实际网络训练表明,当训练步数为12875时,达到了目标要求的允差,获得模糊神经网络各节点的权值和阈值,网络训练学习成功。根据最大隶属度原则进行比较,与期望结果相符,其准确率为100%。这说明所建立的隧道施工系统安全评价模糊神经网络模型及训练结果可靠。
3工程应用实例
利用所训练好的模糊神经网络模型,对江西省正在施工的某高速公路A3合同段3座隧道(北晨亭隧道、洪家坂隧道和窑坑隧道)施工系统进行安全评价测定,评价出系统的安全状况与3座隧道施工实际情况完全相符。同时,实际系统的评价结果又可作为新的学习样本输入网络模型,实现历史经验和新知识相结合,在发展过程中动态地评价系统的安全状态。
4结论
(1)本文对模糊理论与神经网络融合技术进行了研究,建立了一种公路隧道施工系统安全模糊神经网络评价模型,利用历史样本数据进行学习训练和测试,并对工程实例进行了评价。结果显示,该评价方法可行,评价精度满足工程应用要求,为公路隧道施工安全评价探索了一种新的评价方法。
(2)运用模糊神经网络知识存储和自适应性特征,通过适当补充学习样本,可以实现历史经验与新知识完美结合,在发展过程中动态地评价公路隧道施工系统的安全状态,可及时评估出施工系统的安全状况,尽早发现安全隐患。
参考文献:
[1]徐德蜀.安全科学与工程导论[M].北京:化学工业出版社,2005.
[2]刘铁民,张兴凯,刘功智.安全评价方法应用指南[M].北京:化学工业出版社,2005.
[3]田建,李志强,张斌.交通建设工程安全评价技术现状及趋势研究[J].中国安全科学学报,2008,18(6):171-176.
[4]张鸿,刘优平,黎剑华等.基于模糊理论的隧道施工安全预警模型研究及应用[J].中国安全科学学报,2009.19(4):5-10.
[5]刘辉,王海宁,吕志飞.模糊神经网络技术在矿山安全评价中的适应性研究[J].中国安全生产科学技术,2005,1(3):54-59.
[6]张吉礼.模糊-神经网络控制原理与工程应用[M].哈尔滨:哈尔滨工业大学出版社,2004.
[7]葛淑杰,李彦峰,姜天文等.基于模糊神经网络的煤矿安全评价综合评判[J].黑龙江科技学院学报,2007,17(4):321-325.
[8]郑恒,汪佩兰.模糊神经网络在火工品生产系统安全评价中的应用[J].安全与环境学报,2004,4:159-162.
[9田军.基于模糊神经网络的隧道围岩分级系统[J].湖南交通科技,2007,34(4):104-107.
[10]郭宇航,王保国.两类新型神经网络及其在安全评价中的应用[J].中国安全科学学报,2008,18(7):28-33.
[11]宋瑞,邓宝.神经元网络在安全评价中的应用[J].中国安全科学学报,2005,15(3):78-81.
[12]韩力群.人工神经网络理论、设计及应用[M].北京:化学工业出版社,2007.
[13]杨纶标,高英仪.模糊数学原理及应用[M].广州:华南理工大学,2005.
神经网络据有学习能力和联想化的功能和混沌行为的特点,被广泛的应用于计算机网络通信中。本文详细论述神经网络的原理,在此基础上以车牌计算机识别定位系统为例,对神经网络相关分类方法、工作流程等进行了计算机通信的应用解析,综合分析其在通讯系统中的应用。
【关键词】神经网络技术计算机通讯运用
由于神网络的独特性能,神经网络技术不但大量应用于故障分析、模式识别、自动控制领域,还在计算机网络通讯领域也被广泛的使用。正是因为神经网络具有学习映射、联想花功能、混沌行为的特点,所以它可以在目前的宽带网技术问题上提供理论上的解决办法。当前,计算机技术的车牌识别定位系统所需要识别的图像大部分都是室外摄像头拍摄到的,若是遇到强降雨或者大雾等恶劣天气,车牌上面的数字就很难采集到,神经系统可以有效解决这一问题,虽然神经系统应用于识别车牌是没有必要的,但是本文将基于这个简单的系统来介绍神经网络技术。
1车牌计算机识别定位技术
车牌识别技术是我国智能交通系统的一个关键的组成部分,被广泛的应用于数字图像技术、生物识别技术和人工智能技术领域。车牌识别系统被广泛的用于公安刑侦部门的车辆违规行驶检测、失窃车辆检测、车辆违章停车,交通管理部门的实时路况检测、高速公路收费,物业管理部门的小区停车收费系统、进出入安全系统等。实际应用中采用的较多的车牌识别系统方法有特征检验法、模板匹配法和神经网络法。其中,大多数基于神经网络的车牌识别定位系统都是首先要采集足够数量的车牌图像样本作为带检测的图像,利用BP神经网络对图像进行识别,检测达到预定的正确率后即可停止;然后对需要识别定位的车牌图像用图像二值化、直方图等方法进行预处理,降低外界光线对车牌图像的影响,之后利用滤波器消除图像的噪声干扰,最后将完成预处理的车牌图像传送到神经网络搜索系统来对车牌进行定位。
2神经网络技术介绍
2.1神经网络的分类方法
常见的神经网络的分类方法有遵循网络连接拓扑结构的分类方法和遵循网络内部数据流向的分类方法。按照网络拓扑结构可以将神经网络分为层次型结构和互联型结构,其中层次型结构式指网络中层与层之间有神经元相互连接但同一层次的神经元之间没有连接;而互联型结构网络中的每个神经元之间都可以相互连接,互联型结构还可以细分为稀疏互联型、局部互联型和全部互联型。按照内部数据流向可以分为前馈性神经网络和反馈型神经网络,前馈性神经网络结构与层次型网络结构相似,数据流的方向统一从网络输入层传递到网络隐藏层,最后传递到网络输出层,传递过程中网络没有反馈回路,应用比较广泛的是BP神经网络和径向基神经网络。反馈型神经网络结构域单层互联网结构相似,反馈型神经网络中的每一个节点都可以进行数据处理和向外界输出数据,其代表是Hopfield神经网络。并且一般前反馈型神经网络的识别能力和分类能力都优于反馈型神经网络。
2.2前反馈型神经网络
前反馈型神经网络的基本数据信号包括函数信号和误差信号两种,其中函数信号是要由网络输入端传递进入经过网络隐藏层神经元的处理,逐步传递到网络的输出层形成正向传播的输出层函数信号。误差信号是在网络实际输出的误差高于设定的预计误差时产生的信号,它的传递方向与函数信号相反,从网络输出层传递到网络隐藏层到网络的输入层,通过修改权值使误差达到最初的要求。
前反馈型神经网络包括学习和识别两个过程,学习是把准备好的信息样本输入到前馈神经网络中,通过网络隐藏层和输出层的处理得到实际的输出数值,将输出数值与预定的期望数值进行比较,确定误差数值在允许的范围之内后输入下一个样本;若是超出允许范围,就要进行反向传播并修改权值,再继续下个学习过程,重复上述过程。识别过程是把待识别的信息样本传递输入到前反馈型神经网络之中得到识别结果,由于神经网络具有良好的记忆能力和联想能力,识别与之前的学习样本相似待识别的信息样本,得到正确识别的几率很高,又由于神经网络具有良好的纠错性和容错性,就算待识别的样本与之前学习的样本不同,甚至是有较大的噪声和干扰,按照整体的特征对样本进行记忆,依然能够有效地对样本进行正确识别。
3车牌识别定位系统
本文中介绍的车牌定位识别系统中包括车牌定位模块、字符分隔模块和字符识别模块。车牌定位模块包括车牌图像的灰度化、图像平滑化、图像增强和车牌定位;字符分割模块包括车牌图像为之校正、提出车牌上下便可、车牌字符分隔、车牌字符归一化处理;字符识别模块则包括神经网络训练和识别。神经网络具有很强的自适应能力、学习能力强、联想容错功能强、抗噪声干扰能力强的优点,使其在各个领域都被广泛的研究和应用。目前,大多数车牌识别定位技术都是基于BP算法的前馈性神经网络,并且具有很好的效果,但是其中还是存在一些问题,车牌定位识别技术还可以进一步发展。由于BP算法是基于梯度不断下降的,很容易在学习的过程中陷入到局部寻优中,从而无法得到全局的最优解,除此之外,BP算法的网络初始值的是根据经验而设置的,若是初始值的选择不合理,就会出现算法收敛速度下降甚至是不收敛的现象。若是在其中引入遗传算法,就可以弥补其中的不足之处,可以取得更好的效果。
4总结
科学技术的不断发展,使人们的生活越来越方便,神经网络技术在通信中的运用,可以帮助解决之前无法解决的一些技术难题,除了在车牌定位识别系统中的应用之外,还应用于ATM网络通讯系统、辅助测量识别系统等系统中,它在各个领域应用的同时也存在着一些问题,需要专业人士不断地改进,为人类的生活提供更加便利的条件。
参考文献
[1]孙蓓蓓.神经网络技术在计算机通信中的应用[J].煤炭技术,2014,33(01):202-204.
(1.克拉玛依职业技术学院,新疆克拉玛依834000;2.新疆农业大学机械交通学院,新疆乌鲁木齐830052)
摘要:学习向量量化(LVQ)神经网络可以通过监督学习完成对输入向量模式的准确分类,提出了一种基于改进的LVQ神经网络的发动机故障诊断方法,介绍了LVQ神经网络及其改进的学习算法。以长城哈佛GW2.8TC型发动机为实验对象,让发动机在怠速状况下,对发动机进行故障设置,利用金德KT600电脑故障诊断仪采集发动机数据流,运用改进的LVQ神经网络建立诊断模型,诊断结果表明,改进的LVQ神经网络能对发动机故障做出正确分类,准确率比较高。
关键词:改进的LVQ神经网络;发动机;故障诊断;神经元
中图分类号:TN98?34文献标识码:A文章编号:1004?373X(2015)17?0107?03
0引言
人工神经网络(ArtificialNeuralNetworks,ANNs),也称为神经网络(NNs),是模拟生物神经网络进行信息处理的一种数学模型。它以对大脑的生理研究成果为基础,目的在于模拟大脑的某些机理与机制,实现一些特定的功能。由于人工神经网络具有联想记忆功能、优化计算能力以及其他的一些性质,所以人工神经网络具有较强的分类识别功能。学习向量量化(LVQ)神经网络是常用的一种神经网络,LVQ神经网络是一种有导师训练竞争层的方法,竞争层自动学习识别输入向量,并对输入向量分类。
本文以长城哈佛GW2.8TC型发动机为例,运用LVQ神经网络对发动机进行故障诊断。
1LVQ神经网络
1.1LVQ神经网络结构
LVQ神经网络是两层的网络结构,即竞争层和线性层。竞争层对输入向量进行学习分类,把竞争层的分类称为子分类;线性层根据用户的要求将竞争层的分类结果映射到目标分类结果中,把线性层的分类称为目标分类。LVQ神经网络结构如图1所示。
由图1可以看出,竞争层和线性层每一类别各有一个神经元,竞争层通过学习,可以得到S1类子分类结果;然后,线性层将S1类子分类结果再分成S2类目标分类结果(S1始终大于S2)。例如,假设竞争层的第1,2,3个神经元对输入空间的子分类所对应的线性层的目标分类为第2类,则竞争层的第1,2,3个神经元与线性层的第2个神经元的连接权将全部为1,而与其他线性层神经元的连接权全部为0,这样,当竞争层的第1,2,3个神经元中的任意一个神经元在竞争中获胜时,线性层的第2个神经元将输出1。
1.2LVQ神经网络学习算法的改进
LVQ神经网络学习算法的改进是在LVQ1的基础上进行的,它可以改善LVQ1学习结果的性能。改进的LVQ网络的学习过程与LVQ1类似,在应用LVQ1进行学习后,再用改进的LVQ网络进行学习,不同的是,改进的LVQ是针对最接近输入向量的两个相邻神经元的权值进行的,其中一个神经元对应正确的分类模式,另一个神经元对应错误的分类模式,而输入向量位于定义的窗口时,有:
这样,如果给定两个很相近的输入向量,其中一个对应正确的分类,而另一个对应错误的分类,则改进的LVQ也能对靠的非常近,甚至对刚刚可分的模式进行正确地分类,从而提高分类结果的鲁棒性。
2改进的LVQ神经网络在发动机故障诊断中的应用
基于改进的LVQ神经网络在发动机中的故障诊断仿真步骤如下:
(1)让发动机处在怠速状态下,并对其进行故障设置,用电脑检测仪及其他设备测出发动机有无故障时的数据流参数;
(2)用改进的LVQ神经网络建立诊断模型,并用已知的样本数据训练网络;
(3)用训练好的网络对发动机进行故障诊断,并对训练结果进行分析。
2.1发动机故障设置及采集样本
为了验证改进的LVQ神经网络在发动机故障诊断中的可行性,本文以长城哈佛GW2.8TC型发动机为研究对象,让发动机在怠速状况下,对发动机进行故障设置,并利用金德KT600故障诊断仪采集发动机数据流。以发动机在正常怠速、油门踏板1接地线开路、凸轮轴传感器线路故障、1缸喷油器线路故障、冷却液温度传感器线路串联某阻值电阻和油门踏板插头开路六种状态下,采集发动机数据流,采集到的样本数据如表1所示。
2.2程序设计
在Matlab环境中,调用LVQ神经网络工具箱,创建的代码如下:
在代码中,p中数据为样本数据;t中以1表示正常状态,以2表示故障状态;T=ind2vec(t)为使t中的向量转换成学习向量量化网络使用的目标向量;net=newlvq()为创建LVQ神经网络,神经元数目设置为20,0.17和0.83,分别表示所采集的样本种类中正常状态和故障状态所占的比例,网络学习率设为0.5;net=init(net)为网络初始化,使其每次训练时权值都是随机的,这样可以达到预期的目标;网络训练步数设置为200;训练间隔设置为50;训练目标设置为0;网络设置好后,开始训练网络,运行程序后所得的网络训练状态图如图2所示,训练曲线如图3所示。
由图2和图3所示,网络训练只训练了8次,用时不到1s,就达到了预期目标,可见,用改进的LVQ神经网络进行故障诊断,速度非常快,精确度很高。
3结语
LVQ神经网络将监督学习和无监督学习结合起来,可以完成对输入向量模式的准确分类。本文以长城哈佛GW2.8TC型发动机为实例,并对发动机进行故障设置,采集数据流,介绍了LVQ神经网络及其改进的学习算法,运用改进的LVQ神经网络建立诊断模型,诊断结果表明,改进的LVQ神经网络能对发动机故障进行模式识别和准确分类,诊断结果完全正确,而且训练速度极快。改进的LVQ神经网络具有较高的研究价值,该方法不仅可以运用到汽车诊断领域,而且可以运用到其他故障诊断领域。
参考文献
[1]董长虹.神经网络与应用[M].北京:国防工业出版社,2005.[2]史忠植.神经网络[M].北京:高等教育出版社,2009.
[3]孙祥,徐流美,吴清.Matlab7.0[M].北京:清华大学出版社,2005.
[4]周开利,康耀红.神经网络模型及其Matlab仿真程序设计[M].北京:清华大学出版社,2005.
[5]张德丰.Matlab神经网络应用设计[M].北京:机械工业出版社,2009.
[6]李国勇.智能控制及其Matlab实现[M].北京:电子工业出版社,2005.
[7]舒宁,马洪超,孙和利.模式识别的理论与方法[M].武汉:武汉大学出版社,2004.
[8]蒋宇,李志雄,唐铭.LVQ神经网络在滚动轴承故障诊断中的应用研究[J].机械科学与技术,2011(3):408?411.
【关键词】中小企业融资征信BP神经网络
1中小企业融资征信评估应用中BP模型分析
BP网络具有较高的准确性和较快的收敛速度及更小的误差,是进行我国中小企业信用评价的理想方法。因此,本文拟采用BP神经网络来构造我国中小企业信用评价模型。
1.1BP神经网络的基本原理
BP神经网络又被称为反向传播网络,这是因为该神经网络的连接权的调整采用的是反向传播学习算法。BP神经网络的主要优点是:只要有足够的隐层和节点,就可以逼进任意的非线性映射关系,其算法是一种导师学习算法,属于全局逼近的方法,因而具有泛化能力,BP网络同时具有较好的容错性;BP网络的主要缺点是收敛速度慢,局部极小。这个缺点可以通过改进算法,加入学习率自适应,L-M等算法进行弥补。
1.2BP神经网络的具体结构及学习原理
BP神经网络基本组成是由各个神经元的连接权组成。可以大体分为三个层次:输入层、隐含层和输出层。若输入层有神经元n个,输入向量记为x1=(x1,xn,…,xn)是网络的t个输入模式,Zi(t)为网络隐含层节点的输出值,Y(t)=(Y1(t),Y2(t),…,Ym(t))是对应的实际输出值,输入神经元i到隐层神经元j的权值为Vij,隐层神经元i到输出神经元j的权值为Vij;另外分别用φi和θj表示隐含层和输出层的阀值。三者的基本关系如下:
;
在上式中,f函数被称为神经元的传递函数,也被称为激活函数,在实际应用中一般采用S型函数(Logsig):
1.3中小企业融资征信指标体系建立
中小企业融资征信评价的重点在于评价中小企业的经营状况与财务状况等内容。由于企业财务指标之间具有相关性,本文首先根据中小企业特点选择财务指标,并利用因子分析法对指标进行整理分析。依据我国中小企业的特点并利用因子分析法,本文剔除了与中小企业信用状况不相关或重复性的指标,最终选取了偿债能力指标(资产负债率,流动比率,速动比率)、盈利能力指标(销售毛利润,资产报酬率,净资产收益率)、营运能力指标(应收账款周转率、存货周转率,流动资产周转率,总资产周转率)、成长能力指标(营业收入增长率、营业利润增长率、净利润增长率,总资产增长率、净资产增长率)15个财务指标综合反映中小企业的信用状况。
由于所选择的财务指标的量纲和数量级不同,本文对各指标进行了标准化,使每一个指标都统一于某种共同的数值特性范围。本文采用如下公司对指标进行标准化。
其中,为原始数据的均值;Xj=;为原始数据的标准差,。
2中小企业融资征信评估的BP模型构建
2.1BP神经网络输出层、隐含层及输出层的设计
根据BP神经网络的相关研究,在网络设计过程中,隐层神经元数的确定十分重要。隐层神经元过多、过少都会影响网络性能,达不到预期效果。而隐层神经元个数与期望误差、输入与输出层神经元个数、实际问题复杂性都有直接的联系。在三层网络中,输入和输出神经元是依据输入向量和研究目标而定。本文在选取隐层神经元的个数上主要参考原有的两个经验公式来确定:
(1)
其中M表示输入向量元素个数,则输入层的神经元可以选为M个。
N=2M+1(2)
其中μ代表输入层神经元个数,η代表输出层神经元个数,a代表[0,10]之间的整数。根据相关经验,本文中a取为2。
本文选择了15个财务指标作为输入,因此输入层神经元数M=μ=15;输出层神经元的数量η由信用评价结果的模式确定。根据式(1),由于μ=1,η=15,a为[1,10]之间的常数,可以取L=5-14。根据式(2),由于M=15,因此N=2M+1=31。因此,可以估计最佳隐含层的神经元数目介于5-31之间。
2.2BP神经网络训练及结构确定
本文在进行样本设计时,以我国2014年50家上市公司所作出的评价为样本。所采用的指标与上文中给出的评价指标一致。数据样本有50个,选择其中的40个项目的评价作为学习样本,另外10个项目的评价作为检验样本。训练函数采用BP网络最常用的Trainlm,训练次数定位2000次,误差精度小于0.0001。本文设定最大训练步长epoch=2000,分别采用traingdx函数、traingd函数和trainglm函数进行BP神经网络训练。
本文通过Matlab7.0,分别采用traingdx函数、traingd函数和trainglm函数,对所设计的隐含层神经元数可变的BP神经网络进行了训练和仿真。结果表明,当BP神经网络的隐含层神经元数在5-31之间变化时,当N=17时,trainlm数的训练误差最小,因此本文决定采用收敛速度最快、训练误差最小的trainlm训练函数,隐含层神经元数n=17的BP神经网络作为中小企业信用评价模型。
3结论
本文建立了一般中小企业信用评价财务指标体系,据此构建的BP神经网络模型,并以2014年40家上市公司为学习训练样本,并对剩下的10家公司进行仿真,设定最大训练步长epoch=2000,详细考察了隐含层结构和网络训练函数对BP神经网络辨识性能的影响。评价结果表明,各中小企业之间的信用评价结果存在较大的异质性。这说明,利用BP神经网络对中小企业进行信用评价,具有较高的可操作性。因此,金融机构可以据此加强对中小企业的信用评价,筛选优秀的中小企业以降低信用风险。
【参考文献】