我们已经在大数据里生活了好多年,而最近观看了《大数据时代》带给了我的是更多的思考。随着互联网的快速发展,特别是近年来,随着社交网络,物联网,云计算和各种传感器的广泛应用,具有大量,多样性和强时效性的非结构化数据不断涌现。数据存储和分析技术的重要性难以实时处理大量非结构化信息。大数据的概念应运而生。如何获取,汇总和分析大数据已成为广泛关注的热门问题。
对于普通企业而言,大数据的作用主要体现在两个方面,即数据的分析和使用以及二次开发项目。通过分析信息的大数据,不仅可以挖掘隐藏数据,还可以通过这些隐藏的消息,通过销售实体,增强其客户来源。至于数据的二次开发,它用于网络服务项目。通过总结和分析这些信息,我们可以开发出满足客户需求的个性化解决方案,并创造一种新的广告和营销方式。
同时作为一名人力资源工作者,我也在想人力资源管理因为大数据而获得价值提升的可能,但也有可能在大数据的海洋中迷失方向。伴随着业务发展要求及劳动力的变迁,人力资源管理从最初行政事务性的人事管理,到聚焦资源使用效率的人力资源管理,再到目前追求有竞争力投资回报的人力资本管理,管理内容不断丰富,管理模式不断创新,其价值也不断得到提升。
过去,人力资源管理没有太多数据的支撑,决策常常依靠直觉、经验和个人偏好。大数据时代的来临,让人力资本用数量的方式来进行投资分析和管理成为可能。但未来的挑战不是数据缺乏,而是如何有效地选取和利用数据,而不会在数据的海洋中迷失了方向。
2012年,麦肯锡提出了“大数据时代”的说法,用最通俗的说法来说,就是这个世界的各行各业,将会出现海量信息,即“信息爆炸时代”。而这些信息,都是由各种数据组成,通过收集、整理、分析、研究这些数据,就能找到对自己有利的方法。夸张一点说,掌握了大数据,就掌握了未来。时代的步伐进入了2019年,许多企业都在谈“大数据时代”,都在研究如何与时俱进,将“大数据”与数据分析融入到企业管理中去,为自己带来创新性的优势。归根到底,大数据时代下企业人力资源管理的创新,还是通过数据化信息的动态收集和梳理,对企业人力资源的不同模块进行分析,从而达到全面提升人力资源管理水平的目的。
3月11日下午两节课后,我校全体教师和受邀而来的金南学区各友好学校的领导及教师汇聚于多媒体教室,共同分享、交流《大数据》读后感。
老师们从:何谓大数据;立足国情对大数据进行探讨;大数据在教育教学中的主要应用等几个方面畅谈了自己的感悟。
张萌老师说:大数据体量庞大、结构复杂、是产生巨大价值的数据集合。大数据这种方法在中国的国情下需要以更加科学、合适的方式进行实践,不可生搬硬套。
董译雯老师说:在你我感叹《大数据》里深植于美国民众血液中的自由、民主、严谨的价值观的同时,可否想过中国教育体制下的孩子们身上还残留多少独立与自我意识?作为典型的八零后,我们这一代人身上最缺失的便是独立思考能力。但愿,我的学生哪怕是因为我所做的一点点努力而开始思考“我”这个字的含义,足矣!
张红杰老师说:很感谢校长给我们推荐了《大数据》这本书。在教学工作中,应该有大数据意识,创新意识。学习一些专业的教学统计法、数据分析法,从中发现一些教育现象,并采取相应的策略。让我们的教育教学工作少一些随意和盲目,多一份严谨与科学。
白媛媛老师通过文中的三个事例,结合教学实际,谈了自己教学中对数据使用的价值;结合自己的工作,谈了如何实现工作的最高境界。
交流活动尾声,身为阅读《大数据》的倡议者、发起者、以及忠实的读者韩校长幽默风趣的同大家分享了他读后的感悟:我们心中要装着学校,因为我们个人的命运依赖群体的命运;工作要追求精细化,不能做胡适书中的“差不多”先生;尊重数据,拥有数据意识,建立数据团队!
此次活动从寒假期间倡导读《大数据》一书,到开学伊始的分组沙龙,再到今日的阅读共享,现已圆满告一段落。相信此次活动定会增强我校全体教师的数据意识,掌握大数据,运用大智慧助推我校的教育教学上一个新的台阶!
世界的本质就是数据,当你掌握了数据,你便掌控了世界—你可以轻而易举地通过数据中的相关关系预测事物的发展,将一切不利因素扼杀于摇篮之中—这远胜于"防患于未然"。
《大数据时代》一书,让我们在观念上有了三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果。全书介绍了"大数据"时代三种大的变革:思维变革,商业变革和管理变革。在这些巨大变革如洪水一般的"冲击"之下,现代社会的运作方式必将有重大的改变,若不顺应这种变革的潮流,就像古中国固步自封,最终被坚船利炮打开国门而自己还用着长钩铁戟抗争一样,不可避免被掠夺,被落于世界进程之后,所以我们必须转变我们的思想。
"我们不再热衷于寻找因果关系,而应该寻找事物间的相关关系",我想这句话是本书的核心思想。大数据时代,信息与数据已成为了一切的本源,我们生活在各种数据构成的海洋之中,如果从另一种视角看,就好像无数条"看不见的线"将我们与这些数据联系到一起,这是我们以前从未有过、从未想过的。大数据改变了我们以前的通过因果关系了解世界的方法,而提供了几种新的途径,因为,在大数据时代,我们可以分析更多数据,有时甚至可以处理和某个特别现象相关的所有数据,也就是:样本=总体;而且,当研究数据如此之多时,我们已不热衷于"精确",而是"混乱",若不接受"混乱",那么有95%的非结构化数据无法利用,这将无法使我们构建完整的数据世界,在分析更多、更全面的数据之后,我们就可以从这些数据之中发掘它们的相关关系,即以"是什么"而不是"为什么"的角度看待数据,不用管其从何而来,只要分析其如何影响其他事物既可,即"让数据自己发声",这些,彻底推翻了人类以前探索数据的方法,展现了一个全新的世界。
这种观念以惊人的力量给现知识状况带来了巨大的冲击,通过对海量数据的分析,获得巨大价值的产品和服务,或深刻的洞见。比如谷歌公司,2009年流感流行之时,通过检测检索词条,处理34.5亿个不同的数据模型,通过预测并与2007、2008年的美国疾控中心记录的实际流感病例进行对比后,确定了45条检索词条组合,并将其用于一个特定的数学模型后,预测结果与官方数据相关系数高达97%,这种大数据技术,以前所未有的方式,通过海量数据分析得出流感所传播的范围,为预测流感提供了一种更快速、高效的工具。
同时,虽然大数据可为人类造福、对抗病症,但这仅限于掌握这门技术而言,若不重视这种技术,当我们的对手早于我们一步构建这种数据网络之时,便是我们的灾难,想想,大数据虽核心的在于预测,当敌人通过这种手段预测我方下一步的行动,将是可怕的—比如你的导弹将从何处发射,将飞往哪,你的军队动向、目标,总之所有一切"未来"将掌控于敌手,敌方甚至可以借此发现那些将来有"大作为"的人,从而进行渗透或扼杀,这对我们的发展无疑是致命的,所以,尽快加速大数据系统的构建进程是必须的。
对于我们国防生,也必须顺应这种发展趋势,未来的时代必将是数据极易获取,数据网络共享化的时代,通过这些数据,建立数据模型,可以准确分析并给出适合每一个人的计划,如运动量、训练强度,可以"先知、先觉",及时发现一个人的负面情绪前及时疏导,这些必将成为现实,我们必须跟进时代,做好准备,去应对大数据时代的一切!
读完《大数据》,我才意识到这并不是一本枯燥无味的书籍。作者运用案例和讲故事的方式,把美国数据开放、收集、使用背后的立法故事、公民故事、技术故事、商业故事娓娓道来,引人入胜,令我大开眼界。
我在想,大数据概念对于教育来说会产生什么样的实用价值呢?一直以来,中国教育在研究教育的数字化,比如数字化校园,这个思路就是把我们教育的内容进行数字化,其结果指向的就是电子教材的研发或者是教学过程的数字化。美其名曰,这是教育技术的重要内涵。在教学过程中,学生的行为表现都可以被数据化,而这项研究不是任何一个专业可以深入下去的,它的专业性太强,所以我才会想到,所谓教育技术与其研究教育的数字化,不如研究教育的数据化来得实在,来的有意义。长期以来,我们并不了解教育对一个人的影响具体会如何表现,我们有的只是一个轮廓,我们也并不确定一个教师的行为对学生具体产生了哪些影响。所以,人们对教育一直有一个深深的质疑,它是不是科学的?大数据概念至少提出了关注“是什么”比“为什么”要有实际意义得多。而我们的教育恰好需要把注意力从“为什么”转移到“是什么”上面来,只有如此,才能把教育从为什么发展成“可能成为什么”上来,这会是一次思想上的革命。而对于现在地位岌岌可危的教育技术来说,把研究的重点从数字化转移到数据化上面,这才是它的出路。
如何将数据融入教学,教育者首先通过标准化全科教学处方,实现了教师授课模板和教学内容的标准化,保证每个教学过程和内容是可控的,然后结合每天的教学内容,处理好面对的数据,处理好数据,自然也就处理好了课堂的反馈,最终形成了既注重教学体验又以教学结果为导向的教学体系。
与此同时,不仅要注重课上的学生资源,在课后还要对这些资源进行跟踪处理。这与过去的教育教学显然是不同的,面对大数据时代的到来,教学有所改变是必然的。所以,无论环境怎么变换,数据如何复杂,我们都不能不去改变自己的教学去迎合将来的这个大数据时代。
这么多年来,看了很多东西,如今回过头来发现,好像什么都忘了,真是悲剧,所谓读书破万卷,下笔如有神或许是不对的,还是需要下笔勤快,所以决定从这里开始。
这些年对于技术的发展,我是没有跟上,如今发现即便是对于投资,技术对于我们生活的改变太大,而自己身在这个技术浪潮的前沿,还是需要跟上步伐。——前言
大数据这个概念已经提了很久,我也一直疏忽了对于它的理解。看完《大数据时代》,再结合如果工作上对于大数据的理解,顿时发现数据的重要性,以前在这方面的确没有足够的思想意识。
整本书来说,我觉得最关键的三个点是前面几个章节:
1、要总体,不要随机样本:从小对于统计学相关的学习,基本都是从样本出发,理论的基础在于如何随机的足够分散的选取样本,这可是技术活加直觉。而对于大数据来说,要的就是总体,本质上来说,总体样本的确更能准确找到结果。但是对于统计来说,总体的分析增加了数据分析的难度,不仅数据核对不好进行,一旦出现数据污染,准确度就会大打折扣,而且进行数据回溯的时候,也无法准确确认问题,而这一点也是后面相关性上问题;
2、要混乱,而不是精确:这里主要想说明的是希望数据的多样性,尽量将相关数据都收集起来,不管是结构化的还是非结构化的。这样就不可避免的最终结果的不准确性。大数据更多的是从一个总体数据中说明以后概率事件,既然是概率,也就可以理解无法精确。这里有个点的说明,我觉得需要提一下,大数据算法更倾向于“简单”,而不是复杂,这个倒是出乎我的意外。
3、要相关性,而不是因果:从我对于知识获取的过程来说,我是不同意这个观点,从人体对于知识的理解,还是要从因果论出发,没有因果论,就会变成瞎子。而作者的观点上来说,原因可能还是从大数据本身的非准确性,一旦找到合适的算法,找到相关性,向上追述原因本身就很难。但是从举的示例上看,相关性的确认是一个非常大的`工程,基本就是使用排举法,一个一个试。
所以,对于大数据来说,最重要的三点是:1、数据——得到更多数据;2、算法——建立更快的算法体系;3、思维——寻找数据间更多的相关性。
对于数据最终的走向,我同意书中所提到的政府管理的观点,既然都是以“石油”的标准来看待数据,政府统一管理也就是必然的了。而且对于政府来说,掌握更多数据也有利于其管理及维护社会的稳定性。而对于社会道德方面的论述,我不想多说什么,时代发展是不会被道德绑架的。
所以最后,想要建立对于大数据的思维,《大数据时代》还是值得一读,里面的很多示例也非常不错。如人际关系这一块,也是出乎我的意料。
《大数据时代》,作者是被誉为“大数据时代的预言家”维克托.迈尔-舍恩伯教授和肯尼思.库克耶。此书是在大数据方兴未艾、众说纷纭的时刻,进一步阐述和厘清大数据的基本概念和特点。
人类历史长河中,即使是在现代社会日新月异的发展中,人们还主要依赖抽样数据、局部数据和片面数据,甚至在无法获得实证数据的时候纯粹依赖经验、理论、假设和价值观去发现未知领域的规律。因此,人们对世界的认识往往是表面的、肤浅的、简单的、扭曲的或者是无知的。维克托指出,大数据时代的来临使人类第一次有机会和条件,在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据,深入探索现实世界的规律,获取过去不可能获取的知识,得到过去无法企及的商机。
本书从思维变革、商业变革及管理变革三部分阐述大数据时代已经来临;列举了众多在公共卫生、商业服务领域大数据变革的例子。比如:在思维变革部分,以UPS与汽车修理预测为例,证明知道“是什么”就够了,没必要知道“为什么”;在大数据时代,我们不必非得知道现象背后的原因,而是要让大数据自己“发声”:UPS国际快递公司从2000年就开始使用预测性分析来检测自己全美60000辆车规模的车队,这样就能及时的进行防御性的修理。之前UPS每两三年就会对车辆的零件进行定时更换,但这种方法不太有效,因为有的零件并没有什么毛病就被换掉了。通过检测车辆的各个部位,UPS如今只需要更换需要更换的零件,从而节省了好几百万美元,这就是通过找出新种类数据之间的相互联系来解决日常需要。这种方式完成可以应用于我们石油石化行业,我们的大量生产装置及设备,在建立日常的关键部位检测机制基础上,形成大量的数据信息,通过对这些数据的科学分析,判断出需要检修或更换的零件,从而有效降低运营成本。
当我们一旦“不再追求精确度,不再追求因果关系,而是承认混杂性,探索相关关系”,“思维转变过来,数据就能巧妙的用来激发新产品和新型服务”。数据正成为巨大的经济资产,成为新世纪的矿产与石油,将带来全新的创业方向、商业模式和投资机会。
近年来,伴随着经济社会快速发展、深度调整,石油石化产业变革加剧,面临的四大革命中其中一项就是“数字革命”。因此我们必须牢牢把握数字革命发展大势,加强数据治理和大数据分析应用,提高企业生产运行与管理水平,拥抱大数据时代的来临。
《大数据时代》确实是一本当下应该看的书,书中用大量的例子阐明了几个关键的观点:
1.我们应该且可以关注数据的全部而不是局部的抽样
2.由于数据量极大,我们可以容忍更大程度的不精确
3.我们由关注事物的因果变为关注事物的相关性
同时作者对大数据时代中价值链三个环节即数据,技术和思维(可以理解为商业模式)之间的关系进行了剖析,得出了大公司小公司都可能如鱼得水,而中等体量的公司,可能会遭遇灭顶之灾。对这个预言,我拭目以待,至少目前,我从事和了解的信息服务行业(包括企业级市场研究,消费类市场研究,咨询)体现出了大公司获取数据的力量,中等规模公司在被不断甩开距离,而新兴的小公司还没有特别的崭露头角。
作者对大数据时代对商业和管理带来的变革也进行了解读,但是没有给我留下太多的印象。
最后作者也强调了大数据可能带来的风险,包括数据的滥用,数据的独裁,侵犯个人隐私等。在这个部分我发现了作者的一个瑕疵。作者所举的例子包括越战的伤亡数字,采集灾后地图和农业信息等,说明数字被人为的放大或修改,造成依据数据所作出的决策出现偏差。这里不知作者有有意还是无意,忽视了信息的来源。绝大多数商业/政治的决策者,如果面对真实,准确和及时的信息都可以做出正确的决策,而获得真实,准确和及时的信息不仅成本高昂,甚至无法做到。获得高质量的信息源也是长期困扰信息服务行业的瓶颈问题。而在大数据时代,个人认为只有不是为了收集而收集到的数据才具备了“高质量”数据的特点,例如,个人的信用卡刷卡行为,上网搜索的行为等,这些是人自然行为产生的数据与那些填写调查问卷,向上级汇报所产生的数据是截然不同的。前者是自然形成的数据,而后者是为了收集而收集的数据。作者在风险部分举得例子都是后者。如果是依据自然形成的数据,那么数据独裁和滥用(应该换为褒义词了)几乎不会造成非常错误的结果,我们恰恰期待一些和我们常识有冲突的结果,来纠正我们的经验主义错误。但侵犯个人隐私则是不可避免的风险。
知道"是什么"就够了,没必要知道"为什么"。在大数据时代,我们不必非得知道现象背后的原因,而是让数据自己"发声"。这个命题是我读这本书最大的感触。
对于大多数人来说,这的确是一场思维变革。对于理科学生来说,会认为这是一个错误的观点,因为这无异于否定了他们对世界客观物理化学规律探索的重要性;对于一名工科学生,其实这并不是一个多么新颖的观点,因为工科是讲求时用性的,如何能更好地利用基本自然科学规律创造社会财富比探索自然科学知识显得更重要。
这些天来,在读大数据这本书的同时,也稍微重温了一下自动控制原理,认识到控制系统中存在明显的大数据时代思维方式,借读书交流会之际,与大家分享。
对系统的有效控制需要对系统理解与建模。以一个日常生活中的例子说明。开车的时候一脚油门下去车就飞出去了,但并不知道这一脚油门下去能给多大车速,这就需要驾驶人员的熟练的驾驶技能了,不然超速被开罚单是很正常的。那么,问题就来了:如何能实现速度的自动控制而不用驾驶人员踩油门?这就是控制系统最关键的环节——建立系统数学模型。大白话就是知道车速与燃油量的数学关系式。若是以探索为什么的思维模式,不可避免的要列一大堆能量方程、动量方程等物理化学式子,经过繁杂的计算,还是能得到车速和燃油量的数学关系式的。很明显这是一个繁琐的过程,因为得知道现象背后的原因。这仅是对于这种简单的系统,若是对于航空发动机这种复杂的系统,结构工艺过于复杂,分析各部分的物理化学过程是十分困难的,这时候可以通过实验法得到数学模型。
实验法主要有时域测定法、频域测定法和统计相关法。与大数据时代思维最接近的是统计相关法,主要过程是对被研究对象施加某种随机信号,根据被测对象各参数的变化,采用统计相关法确定被测系统或对象的动态特性。这种方法可以在被测系统或生产过程正常运行状态下进行在线辨识,测试结果精度较高,但要求采集大量测试数据,并需要相关仪和计算机进行数据计算和处理。
若用开车实例来解释,此时的系统为汽车动力系统,施加的随机信号为燃油量,被测对象指车转速,得到的动态特性就是指车速与燃油量函数关系式,从而不用探求背后的物理化学规律就得到了数学模型。
在沈阳黎明航空公司实习时去过试车间,除了发动机点火后震撼的场景动人心魄,控制室屏幕上海量的数据也同样引人注目,我想这么多数据无非就是验证数学模型或直接实验法得到数学模型,结合航空发动机这种复杂的系统,对于搞控制的人来说,得到数学模型就够了,现象背后的原因交给研发的人来探索更好。
我主要读了第一部分和第三部分。
第一部分是大数据的思维变革,作者舍恩伯格提出了三个观点,一是"不是随机样本,而是全体数据",二是"不是精确性,而是混杂性",三是"不是因果关系,而是相关关系",作者被誉为"大数据时代的预言家",抛出的观点是掷地有声的,下面我将谈谈我对这三点的理解。
对于一,我们必须承认我们以往做的处理抽样数据得到结果的方法,是省时省力省钱的,而且判断结果是相对高精准的,如人口普查这一案例,如果采用全体数据进行统计分析的话,工作难度是相当大的,最后的结果也不会很满意,这是得不偿失的。但是随着数据处理技术的飞速发展,我们已经具备了处理大量数据的能力,如果在数据分析过程中采用全体数据,就能避免抽样数据可能由于选取偏见带来的非随机性,处理全体数据也必将成为一种趋势。用在国防生管理工作中,就是管理层要对每个个体都给予充分的关心与互动,对于优秀的固然要偏爱,但是对于较差的也要保持"不抛弃不放弃"的态度,让每一个个体都找到自己的定位与价值。
对于二,作者强调通过掌握更多的数据,暂时牺牲精确性,关注更多容易被忽略的细节,来做更多的事,得到更多的结果,也就是说我们要有一定的包容错误的能力。我们在收集数据时,要主动获取更多的数据,少加一些限制性条件,然后应用我们处理大数据的能力,或许会获得意想不到的结果。作者举了一个谷歌翻译系统的例子,通过英语作为中转,进行各语言之间的转换。此处的启发就是用我们最擅长的途径,不拘泥于特定规则,来达到我们的目的,也就是说我们要先认清自己,不去刻意的模仿,找出最适合自己的一套方法。
对于三,作者指出知道"是什么"就够了,没必要知道"为什么",乍一看这个观点觉得有点无脑,但是结合第二点就合理了,降低对精确性及原因结果的要求,通过对相关数据的广泛分析,进而得到更丰富更多元的结果。如购物时,系统的购物推荐,并不是肯定你会购买,仅仅是你感兴趣进而可能会买就足够了。其实作者对"相关关系"的强调,主要是大数据强大的预测能力,而且这种预测性能还是相当精确的。以上只是我用作者的观点佐证他自己的观点,证明其一定的合理性,但是我是不完全认同的,在航天领域,我们对成功率的要求是极高的,尤其是载人航天领域,我们必须做到万无一失,我们对每一个结果都会深究其根,找出原因。对于国防生体能成绩的分析也是如此,结果只是我们的一个评价机制,而最重要的还是产生这一结果的原因及过程。
第三部分是大数据的管理变革,本来以为作者会讲点如何通过大数据来改革管理机制和提高管理效率,没想到作者只是讲了大数据其实就是我们的隐私的暴露,提出了要让数据采集管理公司对数据的使用负起责任的解决途径。个人感觉,一是我们在平时要意识到个人隐私的保护,而是相关法律政策的完善,真正的让大数据服务我们的工作生活,而不是一种变相的威胁。
在这个即将到来的大数据时代里,我们应该摒弃传统还是推陈出新,因为大数据时代里的一些思想相矛盾,在这个信息化的时代里,大数据才是人们获取新知识和创造新价值的源泉。
读书先读引言,引言是这本书的眼睛,反复阅读会受益良多。
第一个能力,洞察力,我先来解释一下洞察力吧,洞察力是指观察事物的能力,能从见到的事物中先知先觉,觉察到问题的所在,洞察力指心灵对事物的穿透力,感觉力,洞察事物的能力,简单说,洞察力就是人们对个人认知情感,行动的动机与相关关系的透彻分析,再言简意赅,洞察力就是一个人对外界信息的获取能力,比如《神探夏洛克》中,夏洛克能从外界事物中提取一些他想要的信息,当然电视上的难免有点夸张,不过这种能力以后无论是在生活中还是部队建设中都是很有价值的
大数据时代不再要求每个数据都必须准确无误,因为大数据时代,当很多数据在一起寻求某种规律或是个数学关系时,错误的数据很快就会被发现,因为偏移太大,因此大数据时代是用概率说话的,而不需要每个数据都是确凿无疑的。
相关关系在大数据时代显得尤其重要,甚至比我们传统的因果关系更重要,因为大数据的核心是预测,而预测是建立在相关关系分析法基础上的,有一个美国公司曾经扬言,可以预测一个人第二天会做什么事,虽然说这个说法很荒谬,但是如果我们现在以大数据的思维去想,我们不管他真的是否能预测,或是他预测的方法是什么,我们要考虑的是如果这中说法是真的,那么我们该怎么去应对,这就是大数据时代的相关关系,我更觉得,相关关系更像是一个哲学问题。
我们应该把我们所掌握的知识和理解的用于部队,我们应该大力搜索数据而不是抽取,因为我们现在具备处理数据的能力,并用来预测敌军的动向。
一旦世界被数据化了,只有你想不到的,没有信息做不到的,我们要做的就是利用信息去做有利于我们的事,我们必须拥有分析的工具(统计学和算法)以及必需的设备(信息处理器和存储器),那么我们就要培养统计学家和算法师。
数据创新当然是接下来时间内我们要做的和研究的主要对象。
大数据也有不利影响,这不是大数据本身的缺陷,而是我们滥用的结果,就像我们无法去逮捕一个将要犯罪的人,因为我们无法对将要发生的事情负责。
大数据时代,一个名副其实的信息社会,我们要提高自己的能力,做新,做多,做好,做快,让它真真正正的为我们服务。
我们生活在一个“概念”纷飞的年代,先前只有IBM熟谙的招数,如今已经“飞入平常百姓家”。“移动互联网”、“云计算”的概念刚刚消停,业界的专家又送来了“大数据”的概念,一时间似乎人人都变成了“大数据”专家,见面要是不提“大数据”都不好意思跟人打招呼!
玩笑归玩笑,当我们的存储能力、计算能力和网络带宽变得充裕之后,我们先前对待数据,尤其是原始数据的态度和思维方式,将面临着很大的改变!
其实,作者的主要观点,已经在翻译者的译者序中进行了总结:“大数据时代处理数据理念上的三大转变:要全体不要抽样,要效率不要绝对精确,要相关不要因果”。
如作者所言,“采样分析是信息缺乏时代和信息流通受限制的模拟数据时代的产物”。如果可以,我们当然会使用“全体数据”而不是“抽样数据”。读到这里,我估计大学里正在绞尽脑汁设计样本抽样方法的学生、教授们,连哭的心都有!
数据分析的及时性,在很多情况下比精确性更加重要,尤其是在商业领域。想想看,如果需要两周时间才能计算出明天某个航班的满座率,那还有什么意义?大数据计算技术,适用的不是像卫星发射、开具银行账户这样的工作,而是不要求极端精确的情况,其核心是“预测趋势”,况且原始数据也可能出现差错。
过往千年,探究因果关系几乎是所有科学研究的原动力。甚至,这已经通过语言,融入我们的思维方式和哲学思想:“因为……所以……”,凡事都要问“为什么”。但是,在大数据的范畴里,关注的却是相关性,而不是因果关系,或者其次才是因果关系。超市只用关心把啤酒和尿不湿放在一起,会帮助提高销售额,而不用关心其中的奥秘。如果说原因,可能很多都是人们的习惯、方便,甚至是人性,例如奶爸们习惯买尿不湿的时候给自己捎上几罐啤酒。
在此,也有一些自己的思考:如果说搜索引擎所解决的问题表面上是帮助用户找到需要的信息,而实质是帮助企业找到拥有某项需求的客户,深层次讲是解决了《第三次浪潮》中提出的消费者和生产者分离的根本矛盾,如果再加上3D打印技术,就可以完成由消费者主导的“个性化”生产过程;而大数据所解决的是,通过对所有用户的数据进行分析,可以预测用户群整体的需求变化趋势,从而完成批量产品生产、销售的调整问题,其奇妙之处就在于无需用户“开口”说出她想要什么?一个解决的“个体需求”,一个解决的是“群体需求”。
本书除了提出上述三项基本观点,其它的内容大多是举例说明,多少有些空泛。但是,其实大数据时代才刚刚开始,对大数据的应用也只是停留在比较浅的层面上,作者能提出这三项基本观点已属难能可贵!
随着科技的发展,数据化时代已经来临,大数据化社会也渐渐形成。那么大数据是什么呢?它是一种规模达到在获取、存储、管理、分析方面大大超出了传统库存软件工具能力范围的集合,具有海量的数据规模、快速的数据流传、多样的数据类型和价值密度低四大特征。
大数据时代将会使人们更加准确地认识未来世界。大数据时代之前,人们容易以偏概全,如同只依赖触觉感知的盲人摸象,对现象做出偏差判断。相对于定量的小数据,大数据是在时空维度上的全新数据,而且是多个源头,不同方向,对一个对象进行数据记录,数据之间可以相互应着的多元数据。大数据将小数据拼接起来,同时把决定事物性状的、反应规律的、决定走向的点找出来,呈现出一个更加接近本质的全景图。这幅全景图不仅意味着对知识的梳理和对过去的传承变得更加容易,而且极大地减少了未来的不确定性,使人类将对未知世界的挑战进行充分准备,帮助我们更加准确地定位未来。未来,数据会随着使用和传播不断丰富与成长,可以想象,数据将成为未来世界的DNA。
大数据技术的成功运用将改变人们的日常生活、企业决策等,并带来惊人的经济和社会效益。大数据技术有着超强的数据分析能力,不断发现数据中的价值、智慧,将数据转变为知识,服务于人类。比如说在农业方面,大数据能让农民及时地知道哪些农产品在哪好买、需求量是多大……及时地了解信息,调节产品,减少浪费。在种植方面也可以更加准确地管理,使农产品的产量和品质大大提高;在医药方面,我们到医院时不需要带很多病历以及检查,说有的数据都储存在医院数据大脑中,只要报出身份证,电脑就可一键调出;不知道大家有没有察觉,大数据还影响广告推送,它会根据你的购买和浏览情况,推送一些你喜欢的商品,使广告推送更加精准等。
大数据还影响政府行为。在新的挑战面前,政府逐渐形成这样一种意识:数据是一种战略资源。政府现在得到的数据是滞后的,作出的决定相对缓慢。等政府作出决定时,时间已不可能倒流。如果政府能利用大数据向企业一样根据数据分析更新自己的营销策略一样快,那也许这个世界会变得更加美好。如政府可利用大数据观察每日价格指数,发现零售价格波动的影响,能比官方数据更早地发现通货膨胀苗头。
大数据在公共服务方面有很好的发展前景。交通方面,交警可以根据实时信息,及时缓解交通堵塞,及时处理交通事故。在春运期间,可以根据大数据制成的数据测试图,进行合理的交通工具调配,提高资源利用率;大大提高了破案率,逃犯的相貌身高等信息都会录入大数据的信息库,如果哪里侦察到他们的图像,会及时反馈到公安机关,能够迅速地将犯罪嫌疑人捉拿归案,保护人民群众的安全。大数据还将在更多领域发挥作用,它不仅提高办事效率,还维护社会安定。
未来社会会因大数据的存在而变得更加美好、便捷。期待大数据时代快速到来!