Abstract:Inordertoresolvetheproblemsinnetworkdesignofreal-timedistributionsystemforlogistics,thearticleanalyzedsystematicallyitseachlinkanditsfeatures,aimingatlogisticscorporateputforwardresolution,whichusedintegerprogrammingtodesignnetworkplantoachievethegoalofimprovingefficiencyandsavingcosts.Atlast,itprovidedanewwayfornetworkdesignofreal-timedistributionsystemsforlogistics.
关键词:物流工程;实时配送;网络设计;整数规划
Keywords:logisticsengineering;real-timedistribution;networkdesign;integerprogramming
中图分类号:U491文献标识码:A文章编号:1006-4311(2011)25-0031-02
0引言
所谓实时物流(RealTimeLogistics,RTL)就是指通过应用现代物流技术与信息技术来主动消除企业物流系统中的管理与执行的延迟,从而提高企业整个物流系统的反应速度与竞争力,提升物流服务水平的物流理念,与物流企业通常所提的“JUSTINTIME”不同。实时物流不仅关注物流各个环节的成本最低,而且更关注整个物流系统乃至企业的反应速度与能力,最终目标是要通过实时物流系统的实时采购、实时制造、在线仓储管理、实时配送、实时追踪、实时反馈等,使“四流”(商流、信息流、物流、资金流)同步合一,真正实现企业追求“实时”的理想目标。
物流实时配送系统走向计划化、规模化,任何企业要想保持持久的竞争力,就必须对市场环境变化做出实时反应,以便在激烈的竞争中抢占先机,实时企业(RealTimeEnterprise,RTE)理念,提出了成就RTE的6项原则,即标准、集成、协同、集中、敏捷、平台。物流企业如果由有经验的专人进行制定配送计划,则工作量比较大,且效率低下,同时不能适应企业今后发展的需要。在配送中心每天的业务量很大时,几乎平均每分钟一个订单,计划员要依据客户的编号来查找客户的实际地址,又要制定配送计划,因此工作量会相当大;同时企业不会只配送一种货物,而是应该利用自己的网络优势,进行其它业务的扩展。因此,建立物流实时配送信息网络系统是企业成功的关键。
1物流实时配送系统的典型流程分析
物流管理中,物流实时配送系统起到商品集散的作用,它通过商品的集中采购、集中储备和统一配送,成为一个有力的保障系统。在整个物流系统中,配送中心是一个关键的节点。配送中心的功能包括:商品进销功能,仓储保管功能,商品配送功能,商品流通功能,信息提供功能。配送中心主要业务流程有:①接受订货的业务②入库系统的业务③配货系统的业务④在库系统的业务⑤出库系统的业务⑥配送系统的业务等。
在此基础上,物流实时配送的网络信息系统建设是配送中必不可少的重要内容。为了实现多品种少量、多频度的实时配送要求,减少缺货率、降低配货的差错,提高劳动效率、使配送中心作业简单化、省力化并达到降低成本的目的,就必须依靠信息系统的完善管理。
2KJS企业概况
KJS是家国内一流的快运企业,企业总资产超过3亿元,分支机构超过300家,员工超过8000人,车辆超过1500台,年货物周转量超过3000万件。KJS于1994年1月18日成立KJS商标源于董事长的构想。猴子使人想到灵敏快捷一个跟头十万八千里的孙悟空;拎着的包裹代表从事的小件快运;圆圈寓意门到门服务;绿色象征生命,象征宅急送永远充满活力。
截止2010年,KJS全国拥有480家全资分支机构,10000个代收点及1000多家特许加盟经营合作网络,业务覆盖全国2000多个城市和地区,年货物周转量达7000万件,年业务量保持45%的增长率。多次被中国物流与采购联合会、中国交通运输协会评为“中国最具成长性物流企业”、“中国最具竞争物流企业”、“中国百强物流企业23名”。
KJS的网络优势体现在以点带面、班车连线,通过两次“绿色割据”,KJS建立起一张覆盖率仅次于EMS的快递网络。KJS网络优势不仅体现在满足自身的业务需求上,还体现在向同行业开放,满足国际、国内其他货运公司的需求上。
信息系统的优势主要表现在宅急送的ERP(综合管理)系统由17个子系统构成,分运营、客服、综合管理三大类。从最前端的COMMERCR使用,到仓库管理系统(WMS)、条码技术(BARCODE)、全球定位系统(GPS)、客户资源定位(CRM)、路由管理系统(RRM)和客户网上查询系统。全国所有分公司及其下级营业网点均已联网,运营信息实时共享;各分公司与总公司服务器间采用硬件加密设备,保障信息的安全;通过各种技术手段已经实现与部分客户、合作网络公司的信息系统对接。
信息技术方面,公司率先搭建了“物流信息网络平台”,开单,查询,结帐等业务可轻松在网上完成;货物条码跟踪系统(BarCode)和车辆全球卫星定位系统(GPS)的采用,使客户能够快速,准确的跟踪货物信息;KJS公司CALL+CENTER的投入使用,使客户与公司联系更加便捷。KJS正从一个以卡车为主的传统快运公司向着以信息技术为牵引的现代快运企业飞速发展。
KJS有一只270人的信息研发队伍,企业有很强的自主开发改造能力,目前使用比较高端的工业级PDA,通过GPRS网络实现远程任务指派、工作单基础信息实时录入与传递、签收信息反馈、签单影像扫描等应用,彻底实现信息前置,大大提高运营能力。
KJS在华北基地建立自动分拣线,在四个主要城市建立呼叫中心,在特一级分公司建立使用高架立体仓储中心,同时,KJS还大量使用叉车、尾板车,这使KJS从传统的运输模式中走出来,成为现代化的物流企业。信息技术优势的确立使其服务优势、成本价格优势、产品优势等有了坚实的基础。
3KJS陕西配送系统网络设计方案
西安分公司成立于2003年1月,网络覆盖全省内9个地级城市,在西安市内设有5个取派送网点,拥有各种类型的汽车28辆,员工200人。
KJS陕西配送网络是由上行总公司负责的开发建设的。公司在陕西的分支机构12个如表1所示。
网络内所有营业所均已投入使用,要充分利用现有的营业所,在满足企业快速货运要求的同时,降低投资成本。根据网络的综合情况分析,将网络划分为13个区域,即增加西安KJS快运有限公司安康分公司。在整个综合营运网络内将设5个节点,每个节点专设相应的配送中心,我们称其为站点。每一个站点都将根据所服务区域的实际需求配置相应的设备,所有设备均为能按照设计的技术指标完成相应区域各营业所要求的各项综合快速货运业务。如图1所示。服务站点与相应服务区域的位置,其中①,②,③,④,⑤表示服务站点,1,2,…,13表示服务区域,由于地理位置的差异,随各站点到相应区域距离的不同,因而在考虑缩短站点与相应服务区域距离的同时,合理布置站点位置,分配相应服务区域。图1中虚线表示各区域由哪个站点负责,无虚线联系的,表示为不负责。
根据现有的设计规划,上行总公司提出,在满足各服务区营业所的需求,及时准确地提供相应快速货运服务的前提下,能否减少站点的数目。表2给出了各站点到各服务区总投资量,上行总公司希望在保证各区域营业所的需求下减少站点的数目,并根据表中提供的投资量的分布情况,适当地调整各站点相应的服务区域,使得站点到相应服务区域的支路网络投资总量最小。
根据当时所处的条件和公司的目标,我们可以建立如下的数学模型:
MIN(18X11+60X12+26X21+25X22+6X31+29X41+6X42+22X51+22X52+25X62+20X63+17X72+11X73+30X82+23X83+19X84+40X93+6X94+45X95+31X104+36X105+40X114+10X115+31X125+21X135)
S.T.
(1)X11+X12=1;(2)X21+X22=1;(3)X31=1;(4)X41+X42=1;(5)X51+X52=1;(6)X62+X63=1;(7)X72+X73=1;(8)X82+X83+X84=1;(9)X93+X94+X95=1;(10)X104+X105=1;(11)X114+X115=1;(12)X125=1;(13)X135=1;(14)Xi,j=0或1。
注:X135=1表示第13个区域由第5个站点提供服务,其他类似。由管理运筹学软件计算可得。
将上述数据输入管理运筹学软件,可得到如下的求解结果。
最优函数值=3226.000
由计算结果分析:第1个区域由第1个站点提供服务,第2个区域由第2个站点提供服务,第3个区域由第1个站点提供服务,第4个区域由第2个站点提供服务,第5个区域由第1个站点提供服务,第6个区域由第3个站点提供服务,第7个区域由第3个站点提供服务,第8个区域由第4个站点提供服务,第9个区域由第4个站点提供服务,第10个区域由第4个站点提供服务,第11个区域由第5个站点提供服务,第12个区域由第5个站点提供服务,第13个区域由第5个站点提供服务。只有这样才可以保证各区域企业的需求下减少站点的数目,并根据实际投资量的分布情况,使支路网络投资总量最少为218万元。比机械按顺序投资节约336-218=118万元。
4主要研究结论
为了适应我国经济快速发展及物流产业信息化的基本要求,以提高我国物流企业管理效率为目标,利用现代信息网络与3G(GPS/GSM/GIS)技术,建立一个集科学化、可视化、智能化于一体的物流管理系统,为物流企业科学、高效管理物流物资配送过程,提供方便快捷的管理决策工具。本文通过对物流实时配送系统各环节的深入系统研究,分析了物流实时配送系统网络的特征,针对具体物流企业提出了具体的解决物流实时配送系统网络设计的解决方案,即采用运筹学中整数规划的方法设计配送网络方案,使企业达到提高效率,节约成本的目的。
实际物流系统集成的程度越来越高,物流决策者面临的问题也就越来越复杂。但是针对不同业务类型企业,其中所包含的内容是不同的,企业包含的内容才是系统的灵魂,这个灵魂就是算法结构。可以根据企业业务种类的大小,选择不同的算法结构和建立不同的运筹学模型。通过对算法结构的深入研究和改进,比如对于网络线路可以运用图论的算法,对于仓储问题用库存论,对于班次管理用线性规划、车辆配载优化采用动态规划等,结合计算机系统升级,进一步提高物流实时配送系统的效率。随经济的发展和货运的少批量多品种,采用多样化的运输工具,则配送方案也需要不断改进。
参考文献:
[1]毛光烈.第四方物流平台流程与制度一体化的创新性设计[J].管理世界,2008(4):6-12.
[2]Added-valuelogisticsservicetobeofferedIndevelopingcountries[R].ReportofUnitedNationConferenceonTradeandDevelopmentSecretariat,2000.
[3]CHENGJX,CHENGJS,etal.Algorithmonoptimaldrivingstrategiesfortraincontrolproblem[C]//Proceedingsofthe3rdWordCongressonIntelligenceControlandAutomation.June28-July2,Hefei,China,2000.
目前,全球已掀起一股信息高速公路规划和建设的高潮,作为其雏形,国际互联网(Internet)上相连的计算机已近达数千万台,全球有数亿人在Internet上进行信息交换和各种业务处理。Internet上积累了大量信息资源,这些资源涉及人类面对和从事的各个领域、行业及社会公用服务信息。成为信息时代全球可共享的最大信息基地。
当前由于网络、数据库及与之相关的应用技术不断发展,尤其国际互联网(Internet)和内部网(Intranet)技术的广泛应用,世界正在迈入网络中心计算时代。人们传统的交互和工作模式正在改变。处在不同地理位置的人们可以共享数据,使用群件技术(GroupWare)进而能够协同工作;多媒体数据的存储、传输、应用技术的不断成熟;以上这些计算机技术的发展对传统的计算机业务系统产生影响,使用户能更方便。更直观的使用系统,也使系统的性能更完善、功能更强大。
XXX区政府办公网网络建设的目标简而言之是将XXX区政府办公网内各种不同应用的信息资源通过高性能的网络设备相互连接起来,形成XXX区政府办公网园区内部的Intranet系统,对外通过路由设备接入广域网。
建设XXX区政府办公网网络不是一件容易的事情,要经过周密的论证、谨慎的决策和紧张的施工。当一堆设备变成网络的时候,大部分办公人员的满腔热情也慢慢地冷却凝固。XXX区政府办公网网络建成了,各种问题也不断涌现:设计目标根本无法实现,没有合适的应用软件,许多设想根本无法实施,后续的维护费用不堪承受等等。
我们针对计算机网络提出的需求,结合我们多年来建设各类系统集成项目的实际经验,提出计算机网络建设的设计方案,希望能最好地解决用户的实际应用问题。同时由于我们对用户的具体情况的认识可能存在偏差,因此整个方案在实施过程中有可能需要与用户进行进一步的沟通。
第二章系统分析
一、XXX区政府办公网网的设计目标
由于网络是一个新概念,在国内发展还不成熟,所以无论是办公、媒体,还是计算机业界,对网络都缺乏全面深入的理解和认识,并都带有一定的盲目性和偏见,不知道金杯网络应该起什么作用。
网络缺乏相应的应用软件。现在所谓的网络多是一些系统集成商基于先进的硬件设备提出的解决方案,是设备集成。由于网络技术是一门比较新的技术,致使许多人产生了"重视硬件,轻视软件"的想法,国内斥资开发这方面软件的软件公司也很少,造成了软件匮乏的局面。只注重有形的网络的建设而忽略了无形的文化的建设是网络失败的最关键的原因。这里所指的"无形的文化"是指人们的观念、工作方式、利益结构、办公的管理运作模式等看不见、摸不着的东西。从某种意义上讲,网络的建设绝不仅仅只是涉及到技术问题,而是会引申到更深的层次,也就是说信息技术所带来的一场革命会彻底改变我们的生活方式和工作方式。
网络方案越昂贵越好吗?作为主管人员必须研究,以后会有什么样的用途,能不能发挥这些设备的潜能,这些设备能不能满足未来发展的需要。但是,目前的网络系统集成多数是先进的设备的集成,少则几十万,一般几百万,多则几千万。花几百万采用ATM技术建起来的网络,只用来进行文件共享。
基于以上的一些状况,我们提出XXX区政府办公网网络建设的目标应该是:
第一、网络平台搭建:建设一个以办公自动化、计算机辅助办公、现代计算机XXX区政府办公网文化及办公自动化为核心,以现代网络技术为依托,技术先进、扩展性强、能覆盖主要楼宇的XXX区政府办公网主干网络,将办公的各种PC机、工作站、终端设备和局域网连接起来,并与有关单位局域网通过INTERNET进行远程互连,在网上宣传自己和获取Internet网上资源。
第二、办公自动化:形成结构合理、内外沟通的XXX区政府办公网计算机网络系统,在此基础上建立能满足办公、科研和管理工作需要的软硬件环境,开发各类信息库和应用系统,为办公各类人员提供充分的网络信息服务。系统总体设计将本着总体规划、分布实施的原则,充分体现系统的技术先进性、高度的安全可靠性,同时具有良好的开放性、可扩展性。本着为办公着想,合理使用建设资金,使系统经济可行。建立OA无纸自动化办公系统.
第三、防盗监控:根据XXX区政府办公网实际情况,建立监控防盗系统.要求达到全方位观察、记录各主要场所的人员活动情况,充当XXX区政府办公网忠实的守护神,并及时发现各种安全隐患和违章行为,便于有效处理及制止事故的进一步发展,更为某些事件日后的调查、处理提供了直观的查询资料,以创造安全的生活环境及完善各项管理.
第四、视频会议:考虑到现行办公网络的需求,我们将通过办公自动化系统的支持,实现高效率的视频会议系统.以用于会议、商务会谈、集团研讨中,并在会议中,对与会者的语言、信息进行准确交流。
第五、无线办公网络:基于网络设计先进性方面的考虑,在方案设计中我们采用了无线网络技术。TREDNET无线网络产品家族遵循最先进的IEEE网络标准,让你自由地配置你的网络。只要你愿意,你可以在任何地方共享网络资源。你可以在办公室里自由地连接到网络共享网络资源而无须线缆羁绊。
第六、防雷系统:为了保证网络安全我们应该采用防雷系统,这样,我们的网络就可以有效的避免雷击对网络设备的危害。这部分工作,将在网络系统建设完毕后进行。
二、XXX区政府办公网网络的总体设计思想
XXX区政府办公网网络不只是涉及技术方面,而是包括网络设施、应用平台、信息资源、专业应用、人员素质等众多成份的综合化以及信息化办公环境系统。因此,在总体上如何筹划、组织网络建设和开发应用的设计思想是XXX区政府办公网网络建设中的最重要的问题。
总体设计是XXX区政府办公网网络建设的总体思路和工程蓝图,是搞好XXX区政府办公网网络建设的核心任务。进行XXX区政府办公网网络总体设计,首先是进行对象研究和需求调查,弄清办公的性质、任务和改革发展的特点,对办公的信息化环境进行准确的描述,明确系统建设的需求和条件;其次,在应用需求分析的基础上,确定办公Intranet服务类型,进而确定系统建设的具体目标,包括网络设施、站点设置、开发应用和管理等方面的目标;第三是确定网络拓扑结构和功能,根据应用需求、建设目标和办公主要建筑分布特点,进行系统分析和设计;第四,确定技术设计的原则要求,如在技术选型、布线设计、设备选择、软件配置等方面的标准和要求;第五,规划安排XXX区政府办公网网络建设的实施步骤。
XXX区政府办公网网络总体设计方案是否科学,要看其能否满足以下基本要求:
1.整体规划安排。从办公建设的全局和全面工作需要出发,考虑部门的地理分布和通信条件。整体规划网络建设方案,对网络系统的目标、总体结构、服务功能、经费预算、建设步骤等重大问题作出规定。
2.先进性、开放性和标准化相结合。尽量采用符合国际工业标准的、比较成熟的技术,兼顾网络技术的发展方向,选择结构化、可扩充、多用途的网络产品,保证网络在较长时间内不落后。
3.结构合理。在通信网络、资源配置、系统服务和网络管理上有良好的分层设计,使网络结构清晰,便于使用、管理和维护。
4.高效实用。着眼于办公、科研、管理的实际需要,用有限的资金优先解决工作急需的问题。设备易于使用和维护。为科学研究提供先进平台,例如可视化计算,计算机协同作业,虚拟网络,虚拟现实,计算机仿真,远程计算机与数据处理等。
5.支持宽带多媒体业务,例如远程办公、多媒体网络办公室、视频会议
6.为学术交流提供良好的环境与Internet进行高速互连,快速访问Internet,与国内外同行交流信息、协同工作和展示办公的形象。
三、用户需求分析
XXX区政府办公网网络建设本期工程是一个基础性的建设工程,主要是完成搭建网络平台的任务。我们多年从事各类集成项目的实践经验证明,网络平台只是一个舞台,占据主角地位的是应用系统。虽然在用户中没有对这一部分做出具体要求,但我们本着对用户负责的态度,在方案设计中一方面完成用户本期建设需求,另一方面考虑用户未来的应用发展,提出对用户未来应用的一些建议性意见,以期用户可以最好地实现自己最初的建设目标。
本期XXX区政府办公网网络建设任务可以归纳为以下几点:
XXX区政府办公网网络布线工程
完成办公楼内部的结构化布线工程和信息系统集成。
网络设备配置
配备网络交换设备,实现楼宇间的千兆光纤连接,保证未来各应用系统的实施。
网管系统设计
提供可以对整个网络系统进行管理的中文图形界面工具,使系统维护人员可以集中控制网络的所有设备。(可选)
内、外网隔离
通过硬盘隔离卡及双布线系统、双网络设备实现办公内网与外网隔离。
第三章XXX区政府办公网网络络系统设计方案
网络系统是应用系统的运行平台,在整个系统建设中处于基础性的地位。网络系统的设计必须根据用户的具体情况和实际应用需求。XXX区政府办公网网络具有整个系统涉及楼宇数量众多、网络结构复杂、网络主干由于存在未来实施的视频点播等应用造成流量庞大等实际特点。因此,在网络系统设计上,网络技术选型和网络设备配置是需要重点加以考虑的问题。
一、网络技术选型
(一)选型原则
我们在网络系统设计时考虑如下特点:
稳定可靠的网络只有运行稳定的网络才是可靠的网络,而网络的可靠运行取决于诸多因素,如网络的设计,产品的可靠,而选择一个具有运营此类网络规模经验的网络合作厂商则更为重要。要求有物理层、数据链路层和网络层的备份技术。
高带宽为了支持数据、话音、视像多媒体的传输能力,在技术上要到达当前的国际先进水平。要采用最先进的网络技术,以适应大量数据和多媒体信息的传输,既要满足目前的业务需求,又要充分考虑未来的发展。为此应选用高带宽的先进技术。
易扩展的网络系统要有可扩展性和可升级性,随着业务的增长和应用水平的提高,网络中的数据和信息流将按指数增长,需要网络有很好的可扩展性,并能随着技术的发展不断升级。易扩展不仅仅指设备端口的扩展,还指网络结构的易扩展性:即只有在网络结构设计合理的情况下,新的网络节点才能方便地加入已有网络;网络协议的易扩展:无论是选择第三层网络路由协议,还是规划第二层虚拟网的划分,都应注意其扩展能力。
QoS保证随着网络中多媒体的应用越来越多,这类应用对服务质量的要求较高,本网络系统应能保证QoS,以支持这类应用。
安全性网络系统应具有良好的安全性,由于网络连接园区内部所有用户,安全管理十分重要。应支持VLAN的划分,并能在VLAN之间进行第三层交换时进行有效的安全控制,以保证系统的安全性。
容易控制管理因为上网用户很多,如何管理好他们的通信,做到既保证一定的用户通信质量,又合理的利用网络资源,是建好一个网络所面临的首要问题。
IPMulticast由于XXX区政府办公网网络中包含许多多媒体应用通信,会存在许多的广播信息,占用大量的带宽资源。所以在本项目中,网络系统应能支持IPMulticast,可以减少网络中不必要的广播,节省主干的带宽。
符合IP发展趋势的网络在当前任何一个提供服务的网络中,对IP的支持服务是最普遍的,而IP技术本身又处在发展变化中,如IpV6,IPQoS,IPOverSONET等等新兴的技术不断出现,XXX区政府办公网网络络必须跟紧IP发展的步伐,也就是必须选择处于IP发展领导地位的网络厂商。
(二)主干网网络技术选型
在XXX区政府办公网网络的建设中,主干网选择何种网络技术对网络建设的成功与否起着决定性的作用。选择适合XXX区政府办公网网络需求特点的主流网络技术,不但能保证网络的高性能,还能保证网络的先进性和扩展性,能够在未来向更新技术平滑过渡,保护用户的投资。
根据招用户要求,我们主干网络可选用千兆以太网技术。目前流行的局域网、城域网技术主要包括以太网、快速以太网、ATM(异步传输模式)、FDDI、CDDI、千兆以太网等。在这些技术中,千兆以太网以其在局域网领域中支持高带宽、多传输介质、多种服务、保证QoS等特点正逐渐占据主流位置。
1、现有网络技术介绍
以太网(Ethernet)
以太网是应用最为广泛的网络技术,它基于CSMA/CD(冲突检测媒体访问/载波侦听)机制,采用共享介质的方式实现计算机之间的通讯,带宽为10Mbps。
CSMA/CD技术采用总线控制技术及退避算法。当一个站点要发送时,首先需监听总线以决定介质上是否存在其它站的发送信号。如果介质是空闲的,则可以发送,如果介质是繁忙的,则隔一次间隔后重发,即采用某种退避算法。
早期的以太网由于它介质共享的特性,当网络中站点增加时,网络的性能会迅速下降,另外缺乏对多种服务和QoS的支持。随着网络技术的发展,现在的以太网技术已经从共享技术发展到交换技术,交换以太网的出现使传统的共享式以太网技术得到极大改进。共享式局域网上的所有节点(如主机、工作站)共同分享同一带宽,当网上两个任意节点交换数据时,其他节点只能等待。交换以太网则利用网络交换机在不同网段之间建立多个独享连接(就像电话交换机可同时为众多的用户建立对话通道一样),采用按目的地址的定向传输,为每个单独的网段
提供专用的频带(即带宽独享),增大了网络的传输吞吐量,提高了传输速率,其主干网上无碰撞问题。虚拟网技术与交换技术相结合,有效地解决了广播问题,使网络设计更加灵活,网络的管理和维护更加方便。交换式以太网克服了共享式以太网的缺点,并借助于IP技术的新发展,如IPMulticast、IPQoS等技术的推出使得交换以太网可以支持多媒体技术等多种业务服务。
快速以太网(FastEthernet)
快速以太网技术仍然是以太网,也是总线或星型结构的网络,快速以太网仍支持共享模式,在共享模式下仍采用的是广播模式(CSMA/CD竞争方式访问,IEEE802.3),所以在共享模式下的快速以太网继承了传统共享以太网的所有特点,但是带宽增大了10倍。快速以太网的应用主要是基于它的交换模式。在交换模式下,快速以太网完全没有CSMA/CD这种机制的缺陷,除了上面谈到的交换以太网的优点以外,交换模式下的快速以太网可以工作在全双工的状态下,使得网络带宽可以达到200Mbps。因此快速以太网是一种在局域网技术中性能价格比非常好的网络技术,在支持多媒体技术的应用上可以提供很好的网络质量和服务。
异步传输模式(ATM)
ATM作为一种全新的交换技术,有其明显的优越性。ATM是将分组交换与电路交换优点相结合的网络技术,采用定长的53字节的小的帧格式,其中48个字节为信息的有效负荷,另有5个字节为信元头部。对于有效负荷在中间节点不作检验,信息的校验在通信的末端设备中进行,以保证高的传输速率和低的时延。
ATM最初是为了在公共网内使用而设计的,但现在已成了专用网发展的中心,并已经走出实验阶段大量进入市场,这个转变要归功于ATM论坛等组织的努力。ATM论坛的迅速发展真实地表明了人们对ATM兴趣的增长。现在ATM论坛已经吸引了来自公用和专用网以及计算机工业的700余家公司参加,领导着众多先进客户机构、电信服务提供商和独立软件厂商。
在广域网、城域网和公用网内,ATM正在被主要采用,因为它既能够将多种服务多路复用到一种基础设施上,满足功能越来越强的台式机对带宽不断增长的需求,又能提供虚拟LAN和多媒体等新的网络服务。
但是,ATM技术也有其缺点。首先是标准还没有完全制定完成,很多重要标准还在修正之中,这就影响了ATM技术的推广,尤其是在局域网领域内。其次,ATM技术目前主要应用是在专用网络和核心网络的范围内,而延展到和用户端均仍采用传统的网络技术(以太网、快速以太网、令牌环网等),这就使得在ATM网络和传统网络之间要建立一个中间的衔接层,这是一种在ATM信元与传统网络的帧结构之间相互转换的技术,如ClassicIP和ATMLANE等技术,这种技术的优点是可以把传统网络接入到ATM网络中,但缺点是带来了很大的资源开销,这在很大程度上增加了ATM网络的复杂性并且降低了网络的总体性能。另外,目前的大部分网络应用主要是基于IP网络的应用,直接针对ATM信元的应用很少,这在很大程度上也增加了ATM网络使用和管理的复杂性。
千兆位以太网技术(GigabitEthernet)
千兆位以太网技术以简单的以太网技术为基础,为网络主干提供1Gbps的带宽。千兆位以太网技术以自然的方法来升级现有的以太网络、工作站、管理工具和管理人员的技能。千兆位以太网与其他速度相当的高速网络技术相比,价格低,同时比较简单,例如保留以太网的帧格式、管理工具和对网络概念上的认识。
千兆以太网是相当成功的10Mbps以太网和100Mbps快速以太网连接标准的扩展。现在千兆位以太网成熟的标准为IEEE802.3z,IEEE802.3z的目标是:
使用IEEE802.3帧格式;
可以使用全双工和半双工;
共享模式下仍使用CSMA/CD;
对安装介质的向后兼容;
传输速度比快速以太网提高十倍,比以太网提高一百倍。
千兆以太网通过载波扩展(CarrierExtension)、采用带中继、交换功能的网络设备以及多种激光器和光纤将连接距离扩展到从500米至3000米。如采用1300nm激光器和50um的多模光纤传输距离可以达到3km。现在,某些厂家的交换机上的千兆以太网接口还支持LongHaul(LH)的标准,采用光纤可以支持高达60Km的传输距离。
千兆位以太网能够提供更高的带宽,并且成为有强大伸缩性的以太网家族的第三个成员。利用交换机或路由器可以与现有低速的以太网用户和设备连接起来,因为千兆位以太网的帧格式和帧尺寸大小等都与所有以太网技术相同,不需要对网络做任何改变。这种升级方法使得千兆位以太网相对于其他高速网络技术而言,在经济和管理性能方面都是较好的选择。
在Intranet应用中,有很多新的应用需求不断出现,包括视频和音频。以前人们认为这些对时延要求高的应用只有在ATM这样的网络上才能实现,然而现在一些新技术(交换技术、视频压缩技术,如MPEG-2)、新协议(RTP、RTCP、RSVP等)和新标准(如802.1Q、802.1p等)的出现使得在局域网中千兆位以太网也可以极好地支持视频和音频等多媒体数据应用。
千兆位以太网的设计非常灵活,几乎对网络结构没有限制,可以是交换式、共享式的或基于路由器的。现在正在应用的网络互连技术,例如,特定IP交换技术和第三层的交换技术,都与千兆位以太网完全兼容。千兆位以太网可以通过价格便宜的共享集线器、交换机或路由器来实现。千兆位以太网支持新的交换机之间或交换机-工作站之间全双工的连接模式,同时也支持半双工连接模式以便与基于CSMA/CD存取方式的共享集线器连接。
千兆位以太网使用的传输介质有光纤、5类非屏蔽双绞线(UTP)或同轴电缆。目前,千兆以太网支持多模光纤、多模光纤和同轴电缆,支持5类非屏蔽双绞线(UTP)的标准正在制定中。
下表列出了千兆以太网现在支持的距离标准。
标准名称媒质传输距离
1000Base-SX波长850nm62.5微米多模光纤50微米多模光纤275米550米
1000Base-LX波长1300nm62.5微米多模光纤50微米多模光纤9微米或10微米多模光纤275米550米5公里
1000Base-CX同轴电缆对25米
1000Base-T4对5类双绞线100米
千兆位以太网的管理与以前使用和了解的以太网相同,使用千兆以太网,主干和各网段及桌面已实现了无缝结合,网络管理变得容易了。
千兆以太网技术的优点:
技术简单,例如保留以太网的帧格式、管理工具和对网络概念上的认识。
便于升级,从现有的传统以太网和快速以太网可以平滑地过渡到千兆以太网,并不需要掌握新的配置、管理与排除故障技术;
网络投资可以得到保护,无需对用户进行再培训,也无需为额外的网络协议进行投资;
千兆以太网有良好的互操作性,并具有向后兼容性;
端口价格相对较低;
可以提供10倍于快速以太网的传输速度。
千兆位以太网与ATM比较
千兆位以太网ATM
标准IEEE802.z尽管已有多项标准出台,但由于ATM技术的复杂性,标准的制定仍在进行中,需要时间完善
带宽1000Mbps155Mbps或622Mbps
竞争能力,厂家提交的交换机数目,各种NIC服务几十家,成为技术型公司的新增长点主要有十几家
媒质支持STP,UTP5,多模光纤,多模光纤ATM-622M及更高速的只在光纤上运行
学习曲线,技术的复杂性容易复杂,较难学习
与现存的各种数据应用程序及网络的兼容性无需作任何改动与现有的LAN协同工作技术复杂且效率低
Qos保证不同类型应用RSVP,RTP,RTCP,802.1p等新的技术协议以及在IP优先级方面的一系列技术在LANE的情况下,需要SVCs或IETF正在制定的RSVP的复杂映射来解决
多厂家产品的互操作性基于标准的互联高层的互操作性,如交换机到交换机信令,经过ATM的多协议仍无保证,标准还在改进
VLAN的支持与快速以太网一致,但同样的VLAN连接与组成标准能容易地覆盖以太网快速以太网及千兆位以太网能映像基于LAN的领域,而与ATM的可互操作性是既枯燥又复杂的
总之,千兆以太网络比ATM网络在XXX区政府办公网骨干网络的发展更具有生命力,更加的物美价廉。
2、网络技术选型结论
综上所述,在选择XXX区政府办公网网络技术时应该考虑如下:
1、长远来看如何保护现有投资。保护现有投资的有效途径就是在将来网络技术升级时还能使用现有的网络技术和产品。如同计算机的发展速度一样,网络技术的发展也是非常迅速的。如果在现有技术不能合理保证在将来网络升级后还能够使用,那么将会带来极大的资金浪费。从目前的趋势来看,采用千兆以太网技术是最适宜的。
2、性能价格比。以太网,快速以太网,千兆以太网和ATM网三者性能状况由低到高,但是价格也是由低到高的。在建设XXX区政府办公网网络时要充分考虑到办公的资金有效使用,选择适用的网络技术是关键,因此选择华为网络产品实现是最佳选择。目前满眼看到的是国外的技术和产品,无形中增加了网络造价成本,这也给网络的普及带来一定障碍。
3、售后服务:XXX区政府办公网网络的使用,从以往经验来看,售后服务问题比较突出。有很大部分国内外产品目前无法实现良好的售前、售后服务的支持,换修时间一般在3个月到6个月。华为网络强大的售后服务体系可保证全国范围内72小时响应,沈阳等一级城市可实现24小时响应;
在XXX区政府办公网网络建设中,在主干以及接入层的交换设备选择上,我们采用华为支持千兆以太网技术的交换机充当。
二、网络总体结构设计
(一)网络需求特点
以千兆交换设备构建主干,实现百兆交换到桌面,主干要求支持第三层交换技术;
具有良好的可扩展性,并且要便于网络管理员进行日常维护;
部门之间划分虚拟子网(VLAN),保证网络内部数据的安全,并降低主干数据量的压力;
控制服务的优先级和质量,可以根据特定的地址、协议来划分优先级,满足重要应用的带宽需求。
多种路由协议支持。
支持多点组播。
室外采用多模光纤布线方式,选用多模四芯光纤,采用架空布线的方式敷设。
室内布线材料选用超五类非屏蔽双绞线,合理安排配线间位置,尽量避免传输距离超长情况的发生。
(二)网络总体结构
从逻辑上,整个网络络可分为核心层和接入层,每层都有其特点。
层次化设计的优点可以总结为如下几点:
可扩展性:因为网络可模块化增长而不会遇到问题;
简单性:通过将网络分成许多小单元,降低了网络的整体复杂性,使故障
排除更容易,能隔离广播风暴的传播、防止路由循环等潜在的问题;
设计的灵活性:使网络容易升级到最新的技术,升级任意层次的网络不会对其他层次造成影响,无需改变整个环境。
可管理性:层次结构使单个设备的配置的复杂性大大降低,更易管理。
基于对于XXX区政府办公网结构的研究,结合用户的应用需求,我们设计设置一个配线间作为整个系统的网管中心,其他各楼通过千兆多模或单模光纤连接到核心交换机。实现主干链路的冗余和数据流量的均衡分布。即,由用户接入层华为LS-2403H交换机来完成数据包的解析和计算,由交换机来完成同一网段内的数据包转发,来完成不同网段VLAN之间的数据转发,整个网络数据流向合理。并可以通过核心层的链路冗余和设备冗余,实现了数据的快速转发和全网的链路冗余(生成树SpanningTree),排除了单一故障点,保证了网络应用的安全稳定。
三、网络设备配置
(一)设备选型原则
从逻辑上,整个XXX区政府办公网网络络可分为核心层、接入层,每层都有其特点。总结为如下几点:
可扩展性:方案中设计思路保证了网络可模块化增长,在以后的网络扩容不会遇到问题。依据大型网多中心网络为核心的设计思路,保证将来XXX区政府办公网网络的扩展和与现有设备的无缝升级。
简单性:通过将网络分成许多小单元,降低了网络的整体复杂性,使故障
排除更容易,能隔离广播风暴的传播、防止路由循环等潜在的问题。
设计的灵活性:使网络容易升级到最新的技术,升级任意层次的网络不会
对其他层次造成影响,无需改变整个环境。
可管理性:层次结构使单个设备的配置的复杂性大大降低,更易管理。
(二)核心层设备
由于XXX区政府办公网网络发展规模较大,未来需提供多媒体办公、办公自动化、图书资料检索、远程互联、视频会议等复杂的网络应用,为便于管理,我们建议选用的交换机作为网络组建交换设备。选用1台华为LS-3526交换机作为主干交换机实现1000M做主干100M到桌面的需求。
LS-3526系列交换机支持堆叠技术,将来扩充端口极为灵活方便,不必改变原有网络的任何配置。通过增加堆叠交换机数量或做PortTrunking(端口干路)两种办法均可扩充网络规模;并且实现了本地化交换,改善了整个网络,使整个网络的性能发生了质的变化。选用千兆光纤模块,与主干上联,实现主干的千兆传输。LS-3526系列交换机支持网管和堆叠,可以很容易地根据需要,通过堆叠扩充端口数量。另外,LS-3526系列交换机建立在一个功能强大且绝对无阻塞的32G交换背板上,可以保证堆叠中的所有端口间实现无阻塞的线速交换。
此外,LS-35266交换机,在安装千兆光纤模块的同时,还可以安装百兆光纤模块,完全可以适应现在或将来的楼内光纤布线,灵活性很强。
高可靠性的新一代以太网交换机-QuidwayS3500/3000系列
概述
随着互联网和数据通信业务的迅猛发展,人们的工作、学习、生活已经越来越依赖于网络和通讯。网络设备的可靠工作与否已经越来越与人们的正常的生产、生活秩序息息相关。作为网络数据通信的核心设备之一——以太网交换机设备来说,在面临着越来越多的数据处理量需求的同时,人们也对其提出了不断增强可靠性、提高设备无故障运行时间的要求。正因如此,华为3Com公司的QuidwayS3500/3000系列高性能以太网交换机以高可靠性、高可用性作为产品的设计目标,通过硬件、软件设计上采取各种措施,提供了多种高可靠性的系统方案。
冗余电源
QuidwayS3500/3000系列以太网交换机提供了RPS电源备份接口,可以对设备提供一对一的电源备份和保护,也可以以一路直流电源对多台支持RPS接口的设备进行备份和保护。
生成树(STP/RSTP/MSTP)
QuidwayS3500/3000系列以太网交换机支持STP/RSTP/MSTP生成树协议。
生成树协议主要用来建立和维护局域网的拓扑,消除循环连接导致的网络广播风暴,并且提供网络的拓扑的冗余备份功能,平时作为备份的路径被阻塞,当主用路径网络设备出现故障时,能够及时调整端口状态,调整网络拓扑。
生成树协议的工作原理:网络中的桥接设备根据设定的优先值和MAC地址,确定最优先的设备为网络的根桥,根桥向外定时发送ConfigBPDU报文,每个收到该报文的交换机将报文内容根据自身的配置和所掌握的网络拓扑结构进行更新下发到其他端口,当一个交换机从两个或两个以上端口接收到ConfigBPDU的时候就表明网络中存在循环,保留其中一个端口为转发状态,设置其余端口为阻塞状态。
除了支持传统的生成树协议外,QuidwayS3500/3000系列以太网交换机还支持IEEE802.1w快速生成树协议(RSTP),以及802.1s多生成树协议(MSTP)。快速生成树协议是生成树协议的改进,在原有功能的基础上提高了网络保护的性能。传统生成树倒换时间为42s,从发现链路断裂、数据中断到数据恢复至少需要三十多秒的时间,而快速生成树协议只需6~8秒的时间就可以将数据流切换到备份链路上。
802.1s多生成树协议(MSTP)可以通过支持一个网络内的多个生成树,这使管理员可以把VLAN流量分配给唯一的通路。网络管理员只要为VLAN分配独立的生成树拓扑,就可以确保两个VLAN都能在网上顺畅传输。这就可以起到均衡网络流量,提高可靠性的作用。QuidwayS3500/3000系列以太网交换机最大可以支持17个或者33个STP实例。
链路聚合(LinkAggregation)
为了在以太网上获得更高的数据传输带宽,QuidwayS3500/3000系列以太网交换机提供了二层的端口链路聚合功能(基于标准IEEE802.3ad)。这样在生成树协议(STP)和其他二层协议上看,作了链路聚合的所有物理端口被视为同一个端口。在作了链路聚合的端口之间可以做冗余备份和负载分担。
在实际应用中,进行聚合处理的端口等同于一个端口,任何转发到聚合的端口上的报文会通过对源、目的地址的逻辑运算来分布到聚合的不同端口上。即使是多播和广播报文也不会被复制多份,也要通过对地址的逻辑计算,将流量平衡分配到不同的端口上。QuidwayS3500/3000系列以太网交换机系统在二层和三层对硬件查表未命中的新地址进行监控。如果新地址是在聚合的端口上时,根据二层和三层的不同,使用MAC地址或IP地址进行逻辑计算,根据逻辑的结果选择相应端口为转发端口,发往该目的地址的帧将按照计算负载均衡后的结果进行转发,实现端口之间负载均衡和冗余保护,保证数据流不出现乱序现象。
VRRP冗余备份
QuidwayS3500系列以太网路由交换机支持VRRP冗余备份协议。VRRP全称为VirtualRouterRedundencyProtocol(RFC2338)。简单来说,VRRP是一种容错协议,保证了当主机的下一跳路由器坏掉时,可以及时由另一台路由器来代替,从而保持通讯的连续性和可靠性。通常,在主机上设置一条缺省路由(配置缺省网关即会产生该缺省路由),下一跳指向一个路由器,从而实现了主机与外部网络的通信,但当主机的缺省路由器故障时,主机就会无法与外部网络通讯。而启动VRRP之后,主机的缺省路由器的IP地址其实是一个VRRP虚拟路由器的IP地址。这个VRRP虚拟路由器由一个主路由器(Master)和一个或若干个备份路由器(Backup)组成,主路由器实现真正的转发功能。当主路由器发生故障时,备份路由器会自动进行选举程序,选出新的主路由器来负责进行三层流量的转发。通过适当的VRRP网络配置,QuidwayS3500系列以太网路由交换机还可以在实现路由故障备份的同时,实现三层流量的负载均担功能。QuidwayS3500系列以太网路由交换机最大支持256组VRRP虚拟路由器。
正常工作时,两台路由交换机互为热备份,实现流量均分;一旦发生故障,备份路由交换机变成为Master,所有流量都被路由到该路由交换机的端口。
等价路由(ECMP)
除了从设备级支持三层转发容错协议VRRP之外,QuidwayS3500系列以太网路由交换机还支持等价路由(ECMP)。等价路由即为到达同一个目的IP或者目的网段存在多条Cost值相等的不同路由路径,当设备支持等价路由时,发往该目的IP或者目的网段的三层转发流量就可以通过不同的路径分担,实现网络的负载均衡,并在其中某些路径出现故障时,由其它路径代替完成转发处理,实现路由冗余备份功能。
不仅从软件上,而且从硬件上也支持等价路由是QuidwayS3500系列以太网路由交换机与业界类似产品相比显著的优点。以前部分路由交换机虽然也宣称支持等价路由,但实际上只是从软件上支持,对软件转发的报文可以使用等价路由,但对于由硬件直接转发的报文,则只能从一条固定路径转发。而QuidwayS3500系列以太网路由交换机从硬件上也实现了等价路由的支持,真正实现了硬件三层转发流量的负载分担与路由冗余备份。
QuidwayS3500系列以太网路由交换机最大支持4条等价路由,并且不论RIP、OSPF等路由协议产生的路由,还是静态配置路由,不论是网段路由还是主机路由,甚至缺省路由,都可以支持等价路由。
QuidwayS3500系列以太网路由交换机在支持等价路由、实现负载均衡的同时,还能很好地保证报文的有序性。通过数据流的目的IP地址和源IP地址进行计算,QuidwayS3500系列以太网路由交换机可以保证同一个IP转发流都从同一个路由路径被转发出去,从而保证了整个端到端网络的路由报文转发的有序性,避免了TCP全局同步等问题的发生。
策略路由(PBR)
QuidwayS3500系列以太网路由交换机支持高性能的策略路由。策略路由(Policy-BasedRouting,简称PBR)是目前越来越多的路由器或三层交换机设备正在支持的一项路由扩展功能,支持策略路由的设备不仅能以报文的目的IP地址为依据来进行路由选择,还可以以报文的源IP地址、源MAC地址、报文大小、报文进入的端口、报文类型、报文的VLAN属性等等其它扩展条件来选择路由。通过合理的路由策略设计,可以实现网络流量的负载均衡,充分利用路由设备,并实现路由、交换设备之间的冗余备份功能,同时提供各种可以区分的服务等级,为不同用户提供不同的QoS服务。策略路由是设置在接收报文接口而不是发送接口。QuidwayS3500系列以太网路由交换机可以很好地支持策略路由功能,并且可以将路由下一跳重定向到某个物理端口,或者某个下一跳IP地址。
下图说明了QuidwayS3500系列以太网路由交换机支持策略路由的组网实例。用户网络有两个对等的负责路由接入的QuidwayS3500系列以太网路由交换机设备,两台设备的主要功能不同,一台主要负担用户私有网络内部的各种服务器访问需求,一台主要作为接入Internet的出口。通过适当的路由策略配置,根据源或目的IP地址策略指定不同的路由设备,选择不同的上网通路,从而使网络流量根据网络管理者制定的标准来进行报文的转发。并且通过策略路由的路由备份功能可以在一台设备发生故障时方便地将流量平滑切换到另一台设备,保证用户访问内部服务器和外部网站业务的不中断性。
图1策略路由组网实例
总结
综上所述,QuidwayS3500/3000系列以太网交换机从硬件设计、软件设计和实现上都提供了完善的系统可靠性保证方案,通过这些方法的合理组合运用,可以保证网络在各种不同的网络流量情况下,实现系统的高可靠性和可用性,并实现网络流量的负载均衡,提高网络的整体运行效率。
第四章系统集成方案
一、概述
XXX区政府办公网网络建设一期工程的实施,是以技术规范为基础,遵照整体方案进行全面发建设以至整体工程建成投入运行的全过程,它是一项相当复杂的系统工程,需要调动各方面积极因素,协调好内外部环境。同时还要有科学的方法,遵循一定的原则和步骤。因此,一定要加强组织管理,安排好工程实施计划。
二、工程实施方案
1、合同签订后,我方立即成立由技术骨干组成的工程组。
岗位名称负责人岗位职责
项目经理负责对该项目的总体组织、协调。根据项目副经理的汇报,组织业主方开协调会。负责定期检查项目组成员的工作情况,严格执行奖惩制度,以保障项目建设在每个阶段的顺利实施。
项目副经理负责对整个工程技术的把关。对项目组内部各部门负责协调工作。负责对各项目建设的进度进行总体监督、协调并根据实际情况及时调整。及时将有关情况向项目经理汇报,并向项目经理递交每月的项目建设进度。
综合管理部负责组织工程组各成员进行每周的工作情况小结,并及时将情况向项目副经理汇报。负责各类文档资料的搜集、整理、归类。负责每周例会的会议的记录、整理。负责各专业项目之间的协调工作。负责组织实施售后服务工作。
系统建设部负责设备的订货、到货验收工作。负责系统的建设、调试工作。负责建设的工作进度、计划安排。
建议甲方也成立一个专门项目实施小组来配合本工程的实施。具体人员组成为:
项目负责人1名
专业工程师1-2名
项目负责人负责工程配合的总体协调和联系。如与技术监督管理系统相关的其他专业的配合协调、试验院内部的配合协调工作等。
2、工程前期准备
合同签订后立即开始系统的详细设计工作。
(1)布线系统实施方案
与用户配合,开展网络安装设计工作,绘制网络安装设计图。要求图纸标有明确的尺寸标高和详细的安装说明。此等图纸要认真考虑到建筑上的修改或设备及安装上的修改,并准确地在安装图上反映出来。此图纸经业主核查认可,在设备到货前一周提交。
(2)网络设备安装方案
征求用户意见,制订详细的网络设备安装方案。包括交换机、路由器以及防火墙设备的调试计划。
(3)服务器设备调试方案
征求用户意见,制订详细的服务器设备调试方案。
(4)开展设备订货工作,由系统建设部负责设备的订货工作;
3、设备安装
施工人员进场施工。
安装过程中,将严格按照安装规范和其它有关规定进行工程施工、业主负责质量监督和验收。
4、系统调试
在软件开发完成及设备安装完毕后,我公司向业主提交一份详细的调试方案及各控制设定点,得到业主的同意后,进行系统调试。
网络硬件调试:
对交换机用几种不同方法校验;
系统联调:
整个系统通电调试,全部通讯无误;
软硬件各子系统的配合无误;
与其它系统的接口信号传输无误;
整个系统的工作稳定正常。
整个系统调试验收阶段将产生如下文档:
系统配置手册;
测试报告书;
系统还将产生其他文档:
进度报告书
会议纪要
问答表
5、工程实施进度
系统建设可分为三个阶段:
a.第一阶段为合同签定及定货阶段;
b.第二阶段为设备安装调试阶段;
d.第三阶段为培训、系统测试和验收阶段。
6、完工验收
我方将于工程完成前,提交测试表格和试运行记录表格给业主审批。
工程完工后,立即安排业主及业主指定的有关单位对工程进行验收工作。验收工作严格按合同中规定的技术性能指标进行,验收合格后双方签署验收合格证明。
7、资料提交
在签约后四个星期之内,呈交主要产品样本给业主;
两个月内呈交主要设备说明书和详尽技术资料、图样,特性曲线等给业主;
工程完成后向业主提交操作与维修说明书;
工程完成后向业主提交易损件及备件手册。
三、售后服务
(一)售后服务内容
售后服务包括技术培训、技术咨询、维修服务和用户跟踪等服务项目。
质量保证期为12个月,自双方代表在验收单上签字之日起计算
我们承诺为系统集成项目提供的免费售后服务内容为:
·保修:质量保证期内设备正常使用下发生的损坏,免费维修;非正常使用的损坏,只收取成本费。
在质量保证期内,争取在72小时内完成业主所提出的维修要求,其中超过24小时不能完成维修,提供一台相同功能的设备应急。
·技术支持:3年内提供系统功能扩充的技术咨询服务。
·现场技术支持和维护:试运行期及其后1年内,系统运行问题中,对于不能电话(邮件或传真)解决的复杂问题,到现场进行技术支持服务。
·现场操作支持:1年内,系统使用过程中,对于不能电话(邮件或传真)解决的复杂问题,到现场进行系统操作方面的技术支持服务。
·维护期以优惠的价格提供零配件
·定期巡检
(二)保证售后服务质量的措施
1.同类工程不定期举办技术讲座或培训班。单项工程在系统设备交付前试运行过程由工程负责人安排为用户培训人员,使其掌握系统性能,会正确操作,排除简单故障。
2.技术咨询服务分电话服务和信函(传真)回复。
电话回复:当用户在使用过程中遇到技术问题或其它问题时,服务人员通过电话耐心解释,一时难以回答的技术问题应及时组织相关人员商量研究,尽量在当日内答复用户,并作记录。
信函(传真)回复:用户用信函反映问题时,收到信函后三日内予以电话或挂号信回复,用户来信要有登记,并交售后服务部门存档。
3.售后服务部门负责售后服务质量信息的收集、整理,每季度召集各相关项目的项目经理开会,探讨不断提高工程质量的有效措施,并付诸实施。
4.系统设备使用过程中出现故障,接到信息后记录信息,内部协调后,立即用电话回复,约定时间,组织力量前往上门服务。保修期内免费,非正常使用的损坏,只收取成本费。
5.维修人员完成任务(排除故障)后与用户共同填写“售后(技术)服务报告”一式两份,交用户和售后服务部门保存。此报告作为维修人员报销、记奖考核的依据。
6.用户跟踪服务,根据工程项目联系卡,建立用户跟踪服务制度。对重点工程重点跟踪。重点工程跟踪在工程验收投入使用后的头一年,每月主动电话咨询一次。第二年,每季度跟踪一次;第三年至第五年,每半年跟踪询问一次,有问题及时沟通及时解决。每次电话内容要有记录。
7.条件成熟时组织用户座谈会,走访用户开展上门服务。
四、系统报价
序号名称规格单位数量单价(元)合计(元)
1主交换机LS-3526台21850037000
2二级交换机LS-2403H台12320038400
3千兆光纤模块LS-GMIU个235007000
4机柜(中心机房)2米个112001200
5机柜(分机房)1.2米个66003600
6信息插座含面板底盒模块块套200306000
7超五类AVAYA箱2550012500
8水晶头AMP盒4120480
9线槽20mm*10mm米4002800
10线槽60mm*30mm米80043200
11护套普通个5000.120
12线标盒22020
13理、配线架AMP24套128009600
14跳线1.5M条2004800
15UPS5KV/8H套13500035000
16硬盘隔离卡双硬盘隔离块10060060000
设备总价(A)215620元
【关键词】网络安全方案;风险;威胁;质量
1、前言
网络安全安全方案涉及的内容比较多、比较广、比较专业和实际。网络安全方案就像一张施工的图纸,图纸的好坏直接影响工程的质量高低。下面讨论一下网络安全设计的注意点和质量。
2、网络安全方案设计的注意点
对于网络安全人员来说,网络有一个整体性、动态的安全。也就是在整个项目有一种总体的把握能力,不能只关注自己熟悉的某个领域,而要对其他的领域不关心,不理解,那么就写不出一份好的安全方案。写出来的方案要针对用户所遇到的问题,运用技术和产品来解决问题。设计人员就只有对安全技术了解得很深,对产品了解得很深,设计出的方案才能接近用户的要求。
好的安全方案应该考虑技术、策略和管理,技术是关键,策略是核心,管理是保证。在方案中始终要休现出这三个方面的关系。在网络安全设计时,一定要了解用户实际网络系统环境,对可能遇到的安全风险和威胁进行量化和评估,这样写出的解决方案才客观。设计网络安全方案时,动态安全很重要,随着环境的变化和时间的推移,系统的安全性也会发生变化,所有在设计时不仅要考虑现在的情况,还要考虑将来的情况,用一种动态的方式来考虑,做到项目实施既考虑到现在的情况,也能很好的适应以后网络系统的升级,留一个较好的升级接口。
网络没有绝对安全,只有相对安全,在网络安全方案设计时,必须清楚这点,客观的来写方案,不夸大也不缩小,写得实实在在,让人信服接受。由于时间和空间不断发生作用,安全是没有不变的,不管在设计还是在实施的时候,无论是想得多完善,做得多严密,都不能达到绝对的安全。所以安全方案中应该告诉用户只能做到避免风险,清除风险的根源,降低风险所带来的损失,而不能做到消除风险。
3、评价网络安全方案的质量
我们怎样才能写出高质量、高水平的的网络安全方案呢?我们只有抓住重点,理解安全理念和安全过程,那么就基本可以做到了。一份好的安全方案我们需要从下面几个方面来把握。
对安全技术和安全风险有一个综合的把握和理解,包括现在的和将来可能出现的情况。
体现唯一性,由于安全的复杂性和特殊性,唯一性是评估安全方案最重要的一个标准。实际中,每一个特定网络都是唯一的,需要根据实际情况处理。
对用户的网络系统可能遇到的安全风险和安全威胁,结合现有的安全技术和安全风险,要有一合适、中肯的评估。
对症下药,用相应的安全产品、安全技术和管理手段,降低用户的网络系统当前可能遇到的风险和威胁,消除风险和威胁的根源,增强整个网络系统抵抗风险和威胁的能力,增强系统本身的免疫力。
在设计方案时,要明白网络系统安全是一个动态的、整体的、专业的工程,不能一步到位解决用户所有的问题。
方案出来后,要不断与用户进行沟通,能够及时得到他们对网络系统在安全方面的要求、期望和所遇到的问题。
方案中要体现出对用户的服务支持,这是很重要的一部分。产品和技术,都将会体现在服务中,服务用来保证质量、提高质量。
方案中所涉及到和产品和技术,都要经得起验证、推敲、实施,要有理论根据,要有实际基础。
4、安全风险分析
主要实际安全风险一般从网络的风险和威胁分析、系统风险和威胁分析、应用的风险和威胁分析、对网络、系统和应用的风险及威胁的具体实际的详细的分析。
网络的风险和威胁分析:详细分析用户当前的的网络结构,找出带来安全问题的关键,并形成图形化,指出风险和威胁所带来的危害,对那些如果不消除风险和威胁,会起引什么样的后果,要有一个中肯、详细的分析和解决办法。系统的风险和威胁分析:对用户所有的系统都要进行一次详细地评估,分析存在哪些风险和威胁,并根据与业务的关系,指出其中的厉害关系。要运用当前流行系统所面临的安全风险和威胁,结合用户的实际系统,给出一个中肯、客观和实际的分析。应用的分析和威胁分析:应用的安全是企业的关键,也是安全方案中最终说服要保护的对象。同时由于应用的复杂性和关联性,分析时要比较综合。对网络、系统和应用的风险及威胁的具体实际的详细分析:帮助用户找出其网络系统中要保护的对象,帮助用户分析网络系统,帮助他们发现其网络系统中存在的问题,以及采用哪些产品和技术来解决。
5、安全产品
常用的安全产品有:防火墙、防病毒、身份认证、传输加密和入侵检测。结合用户的网络、系统和应用的实际情况,对安全产品和安全技术作比较和分析,分析要客观、结果要中肯,帮助用户选择最能解决他们所遇到问题的产品,不要求新、求好和求大。
防火墙:对包过滤技术、技术和状态检测技术的防火墙,都做一个概括和比较,结合用户网络系统的特点,帮助用户选择一种安全产品,对于选择的产品,一定要从中立的角度来说明。
防病毒:针对用户的系统和应用的特点,对桌面防病毒、服务器防病毒和网关防病毒做一个概括和比较,详细指出用户必须如何做,否则就会带来什么样的安全威胁,一定要中肯、合适,不要夸大和缩小。
身份认证:从用户的系统和用户的认证的情况进行详细的分析,指出网络和应用本身的认证方法会出现哪些风险,结合相关的产品和技术,通过部署这些产品和采用相关的安全技术,能够帮助用户解决哪些用系统和应用的传统认证方式所带来的风险和威胁。
传输加密:要用加密技术来分析,指出明文传输的巨大危害,通过结合相关的加密产品和技术,能够指出用户的现有情况存在哪些危害和风险。
入侵检测:对入侵检测技术要有一个详细的解释,指出在用户的网络和系统部署了相关的产品之后,对现有的安全情况会产生一个怎样的影响要有一个详细的分析。结合相关的产品和技术,指出对用户的系统和网络会带来哪些好处,指出为什么必须要这样做,不这样做会怎么样,会带来什么样的后果。
结束语
一份好的网络安全方案要求的是技术面要广、要综合,不仅只是技术好。总之,经过不断的学习和经验积
累,一定能写出一份实用、中肯的网络安全方案。
关键词:网络日志;数据挖掘;数据清洗;Hadoop;MySQL
中图分类号:TN711?34;TP391.9文献标识码:A文章编号:1004?373X(2017)09?0115?06
Abstract:AthoughtofminingtheWeblogdatawithexponentlevelisputforward.AhighreliabilityWeblogdataminingschemewasdesigned.AimingattheavailablepublicWeblogdataset,thefilteringalgorithmbasedonMapReducewasimplementedinthedatapreprocessingstagetominetheserviceinformationsupportingtheenterprisedecision.Theplatformestablishedwiththisschemeisoptimized,anditsperformanceisincreasedby3.26%.Theeffectofthescheme′shighreliabilityandlogfilequantityontheI/Ospeedoftheplatform,andthecomparisonoftheplatformwiththesinglemachineintheaspectofqueryperformanceweretested.Theresultsshowthatthedesignedschemeisreliable,doubleincreasedwiththeincreaseofthelogfilequantity,thetimecostofthereadoperationisincreasedby52.58%averagely,andthetimecostofthewriteoperationisincreasedby79.69%.Withtheincreaseofthelogquantity,thequerytimecostofthesinglemachineisincreasedrapidly,andthequerytimecostoftheplatformisstable.Withtheincreaseofthemachinenodes,thecomputationaltimecostisdecreasedby8.87%averagely.
Keywords:Weblog;datamining;datafiltering;Hadoop;MySQL
0引言
随着信息爆炸时代的到来,在日常生活中每天都会产生指数级的数据,特别是网络日志,这就必然带来一系列的问题。一方面数据存储量过于庞大而且存储资源有限,另一方面传统的计算方式使得计算过程周期过长,计算资源得不到合理分配。随着Apache公司Hadoop的诞生,利用低价的集群实现了强大的计算和海量存储,并且在网络日志挖掘这一领域出现了一些应用研究[1?2]。本文的一个目的就是研究Hadoop框架及其生态系统成员,搭建出一种基于Hadoop生态系统成员Zookeeper的高可靠(HighAvailable,HA)集群并M行优化。
网络日志数据是一种暗数据,所谓暗数据就是大数据的一个子集,是指被用来收集、处理和存储但不做其他用途的数据,因其数据量庞大,受到技术和工具的限制,一般并不用来做分析[3]。但是网络日志数据对于企业有巨大的潜藏价值,它更能反映出用户的浏览兴趣与意图。利用数据挖掘技术挖掘出有价值的信息可以提高企业的产品质量和服务。另外,面对这种指数级别的日志数据,不但要关注数据的量的庞大,还要要求数据的质的可靠无误。网络日志数据往往很驳杂,数据中存在着错误和不一致性,需要剔除或者加以改正[4?5]。所以,本文利用Hadoop平台设计并实现了基于MapReduce的分布式清洗算法,能够提取出高质量的数据集,方便进行数据挖掘。
结合Hadoop和编程思想进行自底向上分架构的设计[6]:数据存储层、业务逻辑层、应用层。最后用实验测试平台的性能,并且用某网站的日志数据做实验挖掘出有价值的信息,供企业进行决策和改善用户体验。
1Hadoop生态系统主要成员
自从GFS[7]和MapReduce问世之后,开源项目Hadoop就逐渐形成了自己的生态系统,特别是在Hadoop2.0出现之后,为解决企业数据快速分析和挖掘提供了强大的分布式数据平台。具体介绍如下:
HDFS:一个主从结构的分布式文件系统类似于GFS用于存储大量数据[8]。
MapReduce:Hadoop的分布式批处理框架[9]。
YARN:一种新的资源协调管理系统,可以部署上层应用,大大提高了集群的利用率[9]。
Flume:一个高可靠的分布式海量日志收集系统。
ZooKeeper:一个能够提供协调服务的分布式协调服务框架。
Sqoop:Hadoop与外界的一个数据迁移工具。
Hive:可以进行多维分析的数据仓库系统。
2基于Hadoop的网络日志挖掘方案的设计
当前,很多网站每天都会产生指数级别的日志数据,由于这些数据是一种暗数据,很多企业并不重视,这就造成了许多具有价值的信息被埋没。而且目前的数据挖掘很多都是基于传统的关系型数据库,挖掘时间很长、效率底下,影响了业务决策。本文利用廉价的计算机集群设计搭建一种基于网络日志数据的挖掘方案来解决这些问题。
2.1设计架构
网络日志数据具有异构性、多样性、复杂性等特点,结合网络日志数据的这些特点和编程思想把平台的设计分为三层架构,如图1所示。
数据存储层:包括日志收集系统和底层数据的存储计算,日志收集系统主要负责网站日志的收集,然后调用过滤算法进行过滤,以文件形式传入到DataNode底层数据节点上进行存储,所有的计算结果也是在数据存储层,包括清洗过的中间数据、数据挖掘的结果、日志的元数据等。
业务逻辑层:是平台的核心,工具HBase,Hive,Zookeeper不仅实现了业务逻辑的封装还简化了用户的使用,所以使用这些工具进行数据处理和数据挖掘。根据用户上网行为模型、网站流量模型、网站VIP用户模型挖掘出浏览量PV,IP数等有价值的信息。分析结果以文件形式存储在HDFS上,Hive的元数据通过用户接口CLI(commandlineinterface)以MySQL作为存储引擎。最后使用Sqoop工具把分析结果导出到集群外的关系型数据库MySQL中。
应用层:利用业务逻辑层中的分析结果,例如VIP用户、板块热度、浏览量PV等用户特征和流量统计结果可以定位目标用户群,进行精准的营销方案设计,还可以针对冷清网页板块进行改善,提高网站的用户体验等决策服务支持。
2.2节点的规划
平_在异构环境下搭建,整个集群由6台华硕的廉价机器组成,配置均为:四核3.2GHz的i5CPU,4GB内存,2TB硬盘,机器搭载的是CentOS2.0系统。搭建的软件是Hadoop2.0,集群中准备配置两个主节点,分别处于Active状态和Standby状态。Active状态的主节点可以对外提供服务,Standby状态的主节点并不提供服务,只是通过JournalNode进程同步Active状态节点的元数据。当其中的Active状态节点宕机,会快速自动的进行ZKFC(DFSZKFailoverController)故障转移。这样配置就保证了集群的高可靠性。平台的主机名,IP,安装的软件和进程规划如图2所示。
2.3搭建主要步骤
(1)首先安装配置Zookeeper,然后将配置好的zookeeper拷贝到itcast05和itcast06节点下。
(2)配置HDFS时先将Hadoop添加到环境变量中,再分别修改HDFS的配置文件。
(3)修改slaves并配置免密码登录,slaves是指定子节点的位置,所以首先要配置itcast01到itcast02,itcast03,itcast04,itcast05,itcast06的免密码登录,而后配置itcast03到itcast04,itcast05,itcast06的免密码登录。
(4)安装配置HBase,Sqoop和Hive,这三个工具按照功能作用分别组成平台的数据库,数据转移模块和多维分析模块。首先需要把Sqoop安装在itcast01节点上,添加到环境变量,将数据库连接驱动拷贝到$SQOOP_HOME/lib里,配置MySQL的远程连接。然后解压下载好的hbase?0.94.2?security.tar.gz,修改相关文件保存并退出。最后解压hive?0.9.0.tar.gz,修改保存相关文件并退出。
3网络日志数据的分析与挖掘
首先利用Flume模拟日志的生成和抓取,这样和真实的生产环境一样,保证了数据搜集的真实性。然后应用设计好的基于MapReduce的清洗算法对数据进行清洗过滤[10],设计KPI(KeyPerformanceIndicator),使用Hive进行多维分析。最后使用Sqoop工具把结果导入MySQL中进行可视化显示。系统管理员进行集群的管理和监控,用户通过WebUI挖掘需要的信息。
3.1数据清洗算法和KPI的设计
3.1.1清洗算法设计
实验所用的日志数据是某网站的公开数据集合,原始数据的格式如表1所示。一共54万行数据,日志数据每行由6部分组成:用户IP、请求日期、请求方式、访问资源、访问状态、访问流量。首先把数据上传到HDFS,然后根据数据格式设计过滤算法。
从表1中可以看出,网站的日志数据格式比较杂乱,需要对数据进行清洗过滤,首先HTTP页面请求方式有很多,其中只有GET这种方式才能代表用户的行为意图,所以需要剔除其他方式。其次,返回的状态码只有2开头的才表示用户访问成功,其他噪声状态码也需要剔除。具体算法用Java实现,算法流程如图3所示。
在写MapReduce清洗算法之前,首先写一个名为LogFilter的类,它的作用是用来解析网络日志的行记录,这个类中包含一个方法parse,接收网络日志的一行数据,按照数据的格式拆分为用户IP、请求日期,请求方式和访问资源放一起,访问状态,访问流量。把这五部分装入一个数组返回。
Mapper函数{开始循环Map方法
Map(LongWritablekey,Textvalue){
value转化为字符串赋值给line;//读入一行记录
LogFilter实例化调用parse返回一个数组logs;
//logs[0]装用户IP,logs[1]请求日期等5部分数据
if(logs[3]以"GET/static"或"GET/uc_server"开头){
返回;}
if(logs[3]以"POST"开头){
跳出函数进行下一次循环;}
if(logs[4]不是在200~299){
跳出函数进行下一次循环;}
序列化(logs数组)放入vl对象;//经过过滤后的数据
输出(key,vl);//作为Reduce函数的输入
}
}
因为不需要排序和组合,所以Reduce函数按输入输出。
3.1.2KPI的设计
数据挖掘和数据分析的最大不同就是,数据挖掘的目标信息并不明确,应用到的技术和算法也不确定,又因为网络日志数据中往往含有大量衡量一个网站关键的指标,所以本文根据这些关键指标来指定KPI的设计。
(1)页面浏览量PV(PageView)
定义:页面被访客浏览的次数,每个独立用户只要浏览一个页面次数就加一次[11]。
分析:网站是由一个个页面组成,所有页面浏览量的总和就是网站浏览量,反映了客户对网站的兴趣程度[11]。
公式:记录次数。
(2)IP个数
定义:一段时间内访问网站的不同IP数量和[11]。
分析:一般来讲,IP的数量与网站的访问用户成正比。
公式:对不同IP进行计数。
(3)跳出率
定义:访问网站的某个页面后便离开的访客数占总的访客数的百分比[11]。
分析:跳出率可以衡量网站对于用户的吸引程度并且呈反比。
公式:统计一天内只出现一条记录的IP,称为跳出数
跳出率=100%
(4)版块热度排行榜
定义:版块的访问情况排行。
分析:热度反映了用户是否喜欢网页中的某板块,可以帮助企业巩固热点版块,加强冷清版块建设。
公式:按访问次数、停留时间统计排序。
3.2使用Hive进行数据挖掘
(1)初始化
在Hive下创建一个外部表,用来连接HDFS上的数据,并把这张外表源数据存储在MySQL中。
(2)写shell脚本
每天把HDFS的日志数据处理一次,用MapRuduce过滤数据,写入到shell中的daily.sh。
(3)分析流量排名前三的用户
在Hive中输入查询命令,并且导入一张名为PV的表中,如图4所示。
图4便是某一天流量排前三的用户,说明这几个用户不仅仅是经常浏览网站的老客户,而且也是流量贡献较多的客户,可以针对这些老客户进行个性化营销推荐。
(4)查询点击量前十的用户
在Hive中输入查询点击量命令,结果如表2所示。
可以把表2中这些用户当作VIP用户群,对这些用户群进行重点关注。
(5)查询页面浏览量排行
用Sqoop导入到MySQL中,如图5所示。
从排名可以看出哪些页面是非常受用户欢迎的,哪些是比较冷清的板块,提供给企业进行参考。
4平台优化与实验测试
4.1平台优化
Hadoop平台的优化主要有以下几个方面:
(1)合适的硬件选择
Namenode应选择大内存、多路多核、高主频的CPU,Datanode内存根据CPU的虚拟核数(vcore)进行公式配比。
vcore数=CPU个数×CPU核数×HT(超线程数)
内存大小=vcore×2GB
(2)操作系统和JVM优化
首先不使用可能导致操作超时的swap分区,其次根据vm.overcommit_memory的值决定分配策略,设为2。vm.overcommit_ratio的值设定为超过物理内存的比例10%,最后关闭THP(TransparentPages)并开启JVM重用。
(3)Hadoop参数优化
Hadoop有80多个参数和性能有关,主要是HDFS,YARN和Mapreduce优化。块大小(dfs.block.size)就是默认的64M,中间结果设置分布在多机器(mapred.local.dir),分片大小和块大小一致。优化后的操作性能耗时减少了3.26%,如图6所示。
4.2试验测试
为了减少偶然性的干扰且相对准确地测出结果,测试的数据都是四次以上取平均值。
测试一:验证平台的高可靠性
首先向hdfs上传一个文件,然后再kill掉Active的NameNode。用浏览器访问:http://192.168.1.202:50070,Standby状态的主节点就变成了Active状态,再执行命令Hadoopfs?ls/,刚才上传的文件依然存在,手动启动那个宕机的NameNode,显示NameNode′itcast02:9000′(standby),这就保证了平台的高可靠性。
测试二:日志文件个数对平台I/O速度的影响
首先进行总大小都为100MB,日志文件个数分别为10,30,50的读操作,然后再进行总大小都为100MB,日志文件个数分别为10,30,50的写操作,结果如图7所示。
S着文件个数的增多,读写时间明显变长,所以本平台比较适合大规模的日志文件,对于小文件处理将会花费较多时间。在文件总大小一样的情况下,随着文件个数的增加,读操作耗时平均增加52.58%,写操作耗时平均增加79.69%。
测试三:平台和单机在查询性能上的对比
测试采用一台和方案中配置完全相同的单机,分别在4万、8万、12万、16万条日志数据中查询排名前十的页面浏览量,结果如图8所示。
从图8可以看出,当数据量很少时,用单机进行数据挖掘效率很高,但是随着数据量的增大,单机效率明显下降,而且很可能会存在内存溢出的问题,数据需要预先拆分才能完成挖掘任务,与单机相比,本文搭建的数据平台具有极高的性能查询能力,能够很好的胜任海量的网络日志挖掘。
测试四:平台的扩展性
本文搭建的平台部署了6个节点,测试时每次增加一个计算节点,组成节点个数分别为6,7,8,9的集群,查询16万条日志数据排名前十的页面浏览量所耗时间如表3所示。
由表3可以看出随着节点的增加,计算耗时以平均8.87%的速度减少,平台的高扩展性随之展现,当遇到海量数据处理时,只需要增加计算节点个数,这样就可以不用把数据切分,也避免了内存溢出等问题。同理,当数据量庞大时,也可以通过增加存储节点来解决存储问题。所以本文搭建的平台不仅拥有良好的计算扩展性,也有良好的存储扩展性,不需要进行很多复杂的配置就能解决海量日志数据处理的问题。
5结语
本文以Hadoop生态系统作为数据挖掘工具,搭建了一套高可靠、高扩展的数据挖掘集群,结合MySQL数据库,在现有的公开网络日志数据集上设计了一种网络日志挖掘方案。利用MapReduce框架对原始数据集进行过滤算法的设计,清洗出高质量的目标数据,使用工具Sqoop和Hive分析暗数据,挖掘出浏览量PV排名、IP数(访客数)、流量排名前十的IP等很多有隐含价值的信息,提供给企业进行决策。实验表明,本文提出的方案有效可行。在接下来的研究中,将重点挖掘分析每日新增的访客数,浏览板块热度等信息,并且需要设计如何周期性地把明细日志导入HBase中存储,如何周期性地使用Hive进行日志的多维分析等问题。
注:本文通讯作者为吴云。
参考文献
[1]YUHY,WANGDSH.MasslogdataprocessingandminingbasedonHadoopandcloudcomputing[C]//Proceedingsof2012the7thInternationalConferenceonComputerScienceandEducation.Melbourne:IEEE,2012:197?202.
[2]MASSONETP,NAQVIS,PONSARDC,etal.Amonitoringandauditloggingarchitecturefordatalocationcomplianceinfederatedcloudinfrastructures[C]//Proceedingsof2011IEEEInternationalSymposiumonParallelandDistributedProcessingWorkshops.[S.l.]:IEEE,2011:1510?1517.
[3]GartnerITGlossary.Darkdata[EB/OL].[2015?03?16].http:///it?glossary/dark?data.
[4]郭逸重.Hadoop分布式数据清洗方案[D].广州:华南理工大学,2012.
[5]杨富华.网络日志预处理中优化的会话识别算法[J].计算机仿真,2011(4):123?125.
[6]任凯,邓武,俞琰.基于大数据技术的网络日志分析系统研究[J].现代电子技术,2016,39(2):39?41.
[7]GHEMAWATS,GOBIOFFH,LEUNGST.TheGooglefilesystem[C]//Proceedingsof2003the19thACMSymposiumonOperatingSystemsPrinciples.NewYork:ACM,2003:29?43.
[8]陈吉荣,乐嘉锦.基于Hadoop生态系统的大数据解决方案综述[J].计算机工程与科学,2013,35(10):25?35.
[9]顾荣,王芳芳,袁春风,等.YARM:基于MapReduce的高效可扩展的语义推理引擎[J].计算机学报,2015(1):74?85.
关键词网络综合布线实验室建设方案网络工程实践教学
中图分类号:G482文献标识码:A
《网络综合布线技术》是江汉大学计算机学院网络工程专业学生必修的一门工程性、实践性很强的专业课程。课程的任务是解决网络综合布线系统的建设规划、工程设计和安装施工、测试、验收与鉴定过程等方面的问题。使学生掌握网络综合布线技术的国际、国内标准;常用网络传输介质;网络综合布线系统的设计、施工、测试和验收方法和基本技能,为学习后续课程和从事有关网络综合布线技术方面的实际工作打好基础。课程的实践教学环节,对提高学生的动手能力和分析解决实际网络布线问题的能力有着至关重要的作用。由于缺乏实验环境,教师在讲授这些课程时只能由教师在课堂讲授,在实训课中却无法让学生亲自动手,只能让学生参观校内建筑的布线工程。如何才能将建筑物的布线能完整、自然地浓缩到一个实验室中,让每个学生都能亲自参与其中,通过现场演练,使学生更好地理解和掌握网络专业知识,提高学生网络系统工程设计能力。本文根据江汉大学计算机学院的实际情况提出一个完整网络综合布线实验室建设方案。
1网络综合布线实验室的建设目标和基本原则
网络工程实验室的建设应满足以下设计目标和基本原则:
(1)功能完整性。网络工程实验室内可开设的实验应满足网络工程类课程的所有应用。对于布线中的建筑群、管理、垂直、设备间、水平、工作区、双绞线布线、光纤布线、防火及消防各子系统都应能开设相应的实验项目。
(2)技术先进性。计算机网络和通信技术发展日新月异,知识更新周期短。在网络工程实验室的建设中应运用当前主流技术和产品,而且也要具有一定前瞻性。
(3)应用性。实验室实训教学环节根据实际的应用型人才培养需要置.提供的实训环境符合应用现状。鉴于计算机网络技术发展极为迅猛。实训环节必须跟上当前技术发展和应用的最新水平,有能力对相关模块在总体框架不作大幅调整的情况下,根据需要随时作出扩充和更新。
(4)综合性。为了尽量减少投资。设备配置不搞“单打一”,做到一机多用、一室多用。充分提高资源的利用率。实训基地中实训模块的设置在满足网络专业学生实训外.应充分考虑相关专业的具体要求,不搞重复建设。建设成多功能、复合型实训基地。
2综合布线实验室主要功能
2.1网络系统工程原理展示和理论教学功能
全透明微缩建筑模型由一栋园区网络中心,1栋三层综合楼和园区室外管网系统组成,配套有灯光指示系统和智能语音解说系统。全面展示和介绍园区网络系统工程全貌,包括网络中心和综合楼网络系统。网络拓扑图实物展示系统以工业应用产品和1:1实物模型相结合,全面直观展示网络结构和拓扑图,把神秘飘渺的网络拓扑图实物化展示,把复杂的网络结构用简单的方式集中展示,把分散在园区或者多栋建筑物的复杂网络系统集中展示,直观展示网络系统全貌,使网络结构简单,层次清晰,好学易记,快速理解和掌握网络拓扑图。
2.2网络系统工程设计功能
以西元网络系统工程教学模型作为工程实例,进行综合布线系统工作区子系统、水平子系统、管理间子系统、垂直子系统、设备间子系统、建筑群子系统、出入口子系统设计。完成点数统计表、系统图、施工图、端口对应表、材料表、预算表、施工进度表等工作任务。
2.3实验室的组成结构
整个实验室主要分为展示区、实验区两大部分。
(1)展示区为已制作安装完毕的一个基于标准的综合布线系统,展示区的作用是示范,让学生能够清楚地观察到这五个子系统。
(2)实验区由2个小实验分区和一个独立的设备间组成,可以完成分组实验;所有实验分区的线缆,最终接入该子系统。每个试验区的数据光纤主干已经安装完成,只需接上光纤跳线链路即可,语音大对数电缆已敷设完毕,学生只需对大对数电缆进行端接即可。管理间子系统、设备间子系统、水平区子系统需学生参照展示区亲自动手安装。
3江汉大学网络工程实训室平面布局图
4结语
本方案可以完成2个组,4个工位,大约30个同学可以同时进行网络综合布线的实验,每个组能单独使用各自的设备,也能进行联合测试完成整个综合布线方案的设计和施工。其实验效果能达到网络综合布线系统教学大纲的要求,对学生掌握网络综合布线具有积极意义。
参考文献
[1]赵晓玲,赵景晖.高职计算机网络技术专业实训室的建设实践[J].职业技术,2006(14):105-106.
[2]何晓青.高职院校网上实训室建设实践探索[J].中国职业技术教育,2006(21):45-49.