大数据分析四大挑战
“大数据对包含计算、存储等系统在内的基础平台提出的重要挑战是如何加速工作流。”ErwanMenard表示,“大数据解决方案应涵盖数据生命周期的四个过程——抽取、存储、处理和分发。”这其中的每一个步骤都对存储系统的设计都提出了相应的要求。ErwanMenard的解释是:在数据的抽取上,系统更关注的是I/O性能;在数据的存储方面,能效和密度是关键词;提供存储内的计算能力,将处理功能和能力放置于离数据更近的地方已经成为存储系统设计的重要原则;在数据的分发上,DDN提供面向大型网站和云的对象存储,可快速分发结果,让更多用户更快地接受信息。
在谈到DNN存储解决方案和产品的优势时,ErwanMenard认为DDN的特点主要集中在三个方面:以SFA系列产品为例,在海量数据的存储上,DDN解决方案的高扩展性可以满足用户的需求;面向云的存储解决方案WOS,可以在一个系统中存储多达2500亿个对象/块/文件;DDN解决方案和产品拥有存储内计算的能力,可通过控制器和软件为数据提供更好的内部处理性能。“DDN拥有管理数据的专利技术,控制器的设计和软件方面的相关技术是DDN存储实现高性能的关键。”ErwanMenard表示。
面向工作流的混合应用
DDN解决方案和产品的一个重要特性是能在一个系统中混合使用SSD、SATA、SAS等不同种类的硬盘。ErwanMenard表示,目前SSD在HPC和大数据相关的解决方案中得到了应用,但大多数厂商是将SSD单独地作为一层存储来应用的。特别是带PCIe插口的SSD,在分层存储里应用得比较多,经常访问的数据放在最快的SSD里面,大大提高了读写的速度。DDN能够混合使用不同的硬盘并实现分层管理,这样系统就能更好地兼顾高I/O、高带宽以及低成本。“DDN解决方案分层存储和管理的特性,能使不同种类的硬盘发挥其最大的功效,真正做到混合应用,这是DDN与其他厂商不同的地方。”ErwanMenard说。
存储系统的设计和选择必须结合特定的工作流和应用场景来考量,无论是分布式存储还是集中式共享存储。ErwanMenard解释说,有些应用只写一次,却要读多次,比如备份、归档等,但在一些大型网络服务中,用户往往需要快速实现文件共享和数据同步,这就要求系统兼具高性能和高带宽。应对这种情况,面向对象的存储更适合。
大众化的HPC
ErwanMenard介绍,DDN的大型存储系统和高端存储系统主要面向四类应用环境:第一,云、托管及Web应用,提供存储和网络的结合;第二,高性能计算,面向政府、商用和科研应用等领域;第三,面向非结构化数据的视频监控;第四,广电媒体的流媒体数据存储和应用。
BPEL系统开发中异构数据处理的解决方案一种海量数据处理平台的解决方案基于SOA的异构数据集成解决方案异构系统中的三维CAD的解决方案CAN总线系统开发关键问题及解决方案电子商务系统中的大数据处理电力自动化系统中的数据处理富士通与莱卡合作开发图像处理系统解决方案多元企业标准数据处理分析编写系统的开发设计企业数据处理在软件系统的研究和开发应用就业通平台异构数据集成与解决方案音频系统中的噪声和解决方案大型警务数据处理系统中的数据分流平台设计水处理系统在冬季运行过程中遇到的问题及解决方案遥感图像处理系统ENVI及其在MODIS数据处理中的应用IT系统数据信息安全解决方案解析数据库双机热备份系统解决方案基于ExcelVBA的数据处理软件开发基带SoC的系统解决方案基于智能移动终端的数据监控系统的解决方案常见问题解答当前所在位置:.
[3]GeminiucK.面向服务的方法在业务规则开发中的运用[EB/OL]..
[4]BusinessProcessExecutionLanguageforWebServicesVersion1.1[EB/OL].(2003-05)./developerworks/library/specification/ws-bpel/.
[5]RosenbergF,DustdarS.BusinessRulesIntegrationinBPEL-AService-OrientedApproach[C].ProceedingsoftheSeventhIEEEInternationalConferenceonE-CommerceTechnology(CEC’05),2005:476-479.
[6]AliS,SohB,TorabiT.ANovelApproachTowardIntegrationofRulesIntoBusinessProcessesUsingAnAgent-OrientedFramework[C].IEEETransactionsonIndustrialInforMatics,2006,2:145-154.