这个观点得到了邬贺铨的认同。他认为,越想规避大数据带来的安全风险,越需要搜集储存海量的数据,并进行深入的挖掘分析。“有统计显示,国内数据搜集量不及日本的60%和北美的7%,大量数据就这样白白流逝。”
“企业掌握的数据毕竟有限,而且是局部的。”百度公司董事长李彦宏委员提出了数据开放的概念,国家应该把那些不涉及安全的数据公开,让有能力的机构进行更好的分析利用。
国家基础地理信息中心原总工程师李莉委员指出,有的公共部门掌握了大量公共信息,这些数据是国家基础信息的重要组成部分。邬贺铨强调,这些数据“不愿与其他部门共享,导致了信息不完整或重复投资”。
共享数据在技术上是否存在很大的难度?在徐晓兰看来,现在需要大力发展的数据挖掘、分析方面的技术,对于数据共享本身而言,技术不是最大的障碍,关键还是利益协调。她说几年前,国土部和银监会准备摸底国家土地信息,“一开始很多人提出各种各样的困难,几乎认为是不可能完成的任务。但后来引入问责等行政手段,得到地方配合,进行得就很顺利”。
张文浩认为,建立一个公开、透明、规范的数据市场,将会大大增强数据的利用率。但在这个过程中,需要仔细考量什么样的数据可以进入市场。
这就涉及立法的问题。“界定‘隐私’和为数据进行安全分级,是制定法律法规时要优先考虑的方面。”他指出,“个性化服务和隐私之间是一个博弈。名字、电话、住址……不能什么都说是隐私,因此需要为数据安全分级。简单地说,通过数据分析的经验,我们会知道哪类信息具有更强的指向性和排他性。这类信息的安全级别就应该更高”。
大数据改变工作与生活
如今,有很多人都在谈论大数据。他们说大数据其实就是指数据规模大,指我们收集数据的速度快,指我们分析数据会更容易。他们是对的。但是他们的说法却仅仅是描述这一现象,其实这场大数据革命的真相很是复杂。
让大数据时代与众不同可以概括为三个方面。第一,我们现在收集了多于以往任何时候的数据;第二,我们现在需要的数据量大但对精确度的需求较低;第三,因为有了数量充足而精确度相对较低的数据,我们可以通过相关关系而非因果关系来进行数据分析。
如今我们掌握着多于以往任何时候的数据量,可以就某一现象收集到更多数据。想想看,在过去,医院的护士会一天三次来收集病人的生命体征数据,包括体温、血压、心跳。而在数字化的大数据时代,我们每天能收集的关于病人每分钟生命体征、官能的数据点达1200个,可以得到更多的数据和细节来判断病人的康复进程,从而更好地确定他们之后的治疗重点。
再来看看科学方面,十年以前,用最新型的望远镜观察星空,投入使用的头一年能观察到的信息数量比之前天文学家所观察到的信息总量还要大,那是极大量的数据。然而四年之后,又有新的望远镜问世了,这个望远镜五天观察到的数据量要比之前2000年出产的望远镜一年内观察到的都要多。
或者再来看看这个事实,谷歌每天都要收集处理巨大量的数据,这些量甚至要比整个国会图书馆——世界最大的图书馆所有存书的信息量还要大。这就是我们现在拥有的数据量,也是我们对某一现象能收集到的复杂的数据。正因为拥有大量细节,我们现在能接受的这些信息中有一部分不那么准确,即有一定的不精确性。
设想你有一个葡萄园,为酿酒种植葡萄。在过去,你会用一个传感器来测量温度,但如今,你可以为每棵葡萄树都安装一个传感器,这意味着什么呢?这意味着我们总共有成百上千个数据收集点,为我们提供关于湿度、温度、水量的精确数据,由此我们可以完美地、有针对性地对待每一棵葡萄树,从而最大化地提高酿酒质量。但同时,并不是所有的传感器都能收集到绝对准确的数据,比如有时候阳光会正巧照射在某一传感器上,使得指针稍有变化,而其他的传感器可能在暗处,所以有些数据可能不是完美的,但是因为我们掌握超大量的数据,所以这一点是可以被接受的。
在大数据时代,一定程度的不精确性是可以被接受的,这跟以往的小数据时代是非常不同的。在小数据时代,我们拥有的数据量非常少,很少的数据点让我们陷于数据饥荒中,我们生活在信息匮乏中,因此我们要求每个数据点都是精确的,也必须极精确地、高质量地来处理以及呈现它们。而如果我们拥有足够的数据,我们就不需要那么做了,我们可以更宽容地对待它们,用不那么精确的态度来对待它们。
这就提供了我们重新分析数据的能力。人们分析数据已有几个世纪的历史,人们尝试通过数据来探索事物的缘由,所有科学家都是这么做的。在商场,人们试图探索现象背后的原因:为什么有的产品就比其他的卖得好呢?但是也许我们无须这么做。在大数据时代,我们认为可以放弃追寻原因;相反,去利用丰富大量的数据,用相关关系进行分析。相关关系分析法非常简单,就是说跟另一件事物相比,这一件事物有无价值,如果其中一者的价值上升或下降,而另一者也会随之变化,那我们就知道这两件事物之间存在关联,因此我们就可以利用一个去预测另一个的发展。
像De这样的公司是如何运作的呢?它们所做的就是自动浏览各种网页,抓取几十万不同商品的价格信息,从相机到电脑到洗衣机……以目前的价格信息为基准,再继续抓取此类价格信息。如今,他们拥有500亿个价格信息。当他们进行相关关系分析时,可以看到某一商品在未来一到两周内价格变动的可能性,这一服务对顾客的用处是极大的,他们可以登录de搜索某一产品。比如相机,就可以看到相机目前价格怎样,变化趋势是什么,在接下来一周将要增长还是下降,以此决定是现在就购买还是再等三天或一周。100次中能有77次,帮助每位顾客平均节省了100美元。他们不需要知道价格为什么变化,他们在这一方面也没有研究,但是只知道“什么”,知道价格会不会改变就足够了。
这就是大数据的未来,通过相关关系收集更多数据点,接受不精确性,我们可以更好地预测未来,更好地理解和洞察社会、世界和生活。这使我们不仅比现在做得更好,还让我们可以去做那些我们认为永远不可能做到的事,这就是大数据的发展前景。
在大数据时代,拥有数据的公司无疑将取得巨大的成功。因为他们具有洞察力,大数据会提供他们全新的洞察力。但是为了使大数据的价值彰显出来,这些公司需要清楚这其中最根本的改变。过去,在前大数据时代,数据不被认为是商品,而是追求结果的工具。更有效的生产需要数据,在商场中找到合适的买家需要数据,提高生产工艺需要数据,但数据本身并不被认为是可以贩卖的商品,并不被认为是创造收入的资源。而这一观点将会改变。未来,数据将成为重要的资源,就像资金、劳动力一样的资源。
但是第二点,也是更重要的一点,在小数据时代,也就是在过去,我们只为了单一、直接的目的来使用数据,比如账单数据是为了付款,市场数据是为了推销新产品,生产数据是为了提高生产力。一旦直接目的达成了,这些数据就会被弃掉。但在大数据时代,这将会非常非常的不同,因为在大数据时代,数据的价值并不体现在达成直接目的,而是体现在间接目的上,体现在那些我们甚至在收集数据时都没想到、而在后来才想出的无与伦比的用途上。
谷歌每天都要接受很多搜索请求,事实上,谷歌每天要接受30亿个搜索请求。对待这些数据的原始方法是处理搜索请求、找到搜索结果、呈现搜索结果,然后把之前的搜索请求抛到脑后。但是谷歌不是这样做的。谷歌将每个搜索请求另做他用。比如,他们会用搜索请求数据来提高他们的拼写检查功能,这样他们可以在你输入单词时快速查错。他们还用搜索请求数据来提高关联搜索功能,在你输入搜索关键词时自动联想出相关搜索。如此一来,他们从已有的数据中得到了更大价值,并应用于不同目的。
以卫生保健为例,目前我们都是以以往病人的平均情况来为每个人用药,有了大数据,我们可以为每位病人定制针对其个人的治疗计划,从而保证治疗是最高效及最有效的。
以教育为例,在教育方面,我们可以利用大数据收集学生们读书、理解程度的信息,将结果反馈给老师,而教学效果也将因此而得到提升,学习效果会得到提升,知识将得到更好的传播。
在商业方面我们能做的也是令人惊异的,大数据可以为顾客提供更高的透明度。在顾客得到实惠的同时,商家也将从中获得丰厚的利益。在这个系统中,低效率被改变了,我们对于事物的作用机制有了更深的了解。而从社会这个大方面上看,我们可以提升我们的生活方式、生活质量、和谐程度,从而降低个人在群体中所面临的风险。
大数据的使用有太多种方式,因此没有任何一个方面不会被囊括,没有任何一个方面不会被改变。
大数据和你有什么关系
一听“大数据”这个词你会想到什么?“高大上”、“时髦”、“高冷”、“上档次”……
那听到“巨蟹座”、“胖子”、“妈妈”你又会想到什么?国美会员部门说,他们共同的特征,是都爱买秋裤。他们用的分析方法,就是大数据。
大数据的营销部门是一把筛子。国美的会员数接近1。6亿人,海量的数据给了国美的会员营销部门足够大的舞台,而他们的工作就是从中筛选有用的信息。就说“双十一”前夕吧,国美的会员营销部门庭若市,各个事业部的营销团队都希望能够获得最新的用户消费习惯,为大促销提供策略支持。
就比如购买油烟机、灶具的用户大都用于新房装修,那他们近期很可能再购买空调;一年前买过高端手机的用户,一年后更换手机的几率很高;30天左右,女性用户的卫生巾差不多又该买了……这些规律性的东西不是主观想出来的,而是通过大数据“筛”出的结论。找到规律之后,国美的会员部门会建立数据模型,而每一个数据模型建成之后还将经历持续的更新、迭代,不断适应用户的变化。可以说,谁的数据模型越完善越细致,提供的情报就越准确、越有价值。
目标用户的购物习惯了若指掌,事业部制定促销政策就能有的放矢。之后,会员部门再通过信息推送,精准营销因此水到渠成。马上就是“双十一”了,用户的消费欲望被空前释放,但机会永远只会留给有准备的人。国美的大数据中心早已开始行动了。
大数据系统还是“算命先生”。前面提到,国美的会员部门整天就在研究商品特性、用户行为。对于易耗品,比如卫生巾、奶粉、净水滤芯等产品的消耗周期,国美的大数据系统已经了然于心。用户购买后,系统会自动计算出这些易耗品是不是快用完了,进而贴心地推送信息,及时提醒用户进行更换。这种算命式的产品推荐让很多用户惊喜。
看到这里,可能你会觉得大数据是一门技术,只要掌握了技术,并不断地更新系统就万事大吉了。然而,细节决定成败,大数据营销还需更多的人文关怀。
生活在垃圾信息横飞的年代,每天都被各种信息骚扰,信息推送得再准,人家把你的信息删了等于啥也没做。而国美的会员部门除了研究顾客想要买什么,还得研究用户喜欢用什么方式接收信息。“如果用户用PC、PAD购物多,我们就给他发邮件;如果用户爱用移动端,我们就考虑短信、微信推送。我们每次只通过一个渠道推送信息,不去重复骚扰用户。”国美会员部门负责人说道。除了推送渠道的选择,每一条文案也是根据不同用户的特点量身定制的,有时候卖萌也是必要的。信息准、时机准、渠道准是国美大数据营销的绝活儿。
大数据营销把我们都变懒了,买东西不再漫无目地想了。电影《购物狂》里刘青云扮演的精神病医生要是天天来卖场,选择恐惧症估计早就治好了。