六九小说网

第四章 大数据面临的难题（第3页）

3。智能终端危险化

智能终端目前在全球占有很大的市场，可以预想到在未来会具有良好的发展前景，走智能终端化的道路也是时代的要求。智能终端就是将大量的个人信息储存在移动终端中，便于个人携带，比如许多企业将大量的企业信息包括员工信息都存储在智能终端中，便于领导随时集中管理。然而，将大数据储存在智能终端中有很大的安全问题，因为智能终端很容易成为黑客攻击的重点目标。

二、保障大数据网络信息安全的建议

大数据时代，每个人的生活中都不存在所谓的绝对“秘密”，通过网络上的数据信息可以分析出一个人生活的各种痕迹。因此，保障大数据信息安全至关重要。针对网络安全存在的问题，控制访问网络权限、强化数据加密和智能终端加固不失为保障信息安全的有效手段。

1。控制访问权限

访问控制是保障网络安全的主要策略。进行访问控制的目的，是对用户访问网络资源的权限进行严格的认证和控制。

访问权限的限制是预防病毒、阻止黑客进入的有效手段之一。具体而言就是对网络资源设置密码、口令或者其他不可识别的标识和符号来增强访问权限的认证和控制。从根本上规范用户使用网络资源的行为，使之合理地浏览和摄取有效资源。同时也对规范网络管理、提升互联网安全度和可信度有一定的积极意义。

2。强化数据加密

在做好网络访问控制的基础上，对数据进行加密是保障网络安全运行的有效手段。数据加密，是指通过加密算法和加密钥匙将明文转变为密文。它是目前计算机系统对信息保护的一种相对可靠的办法。

数据加密相当于是对网络资源、网络数据进行的第二层保护，是第二道防护门。具体说来，第一道防护门是控制网络访问权限，阻止信息访问权限混乱，访问者要想“入门”就必须获得准入资格，通过身份的验证，否则将被“拒之门外”；这第二道门就是在访问者已经“入门”的情况下，对数据的又一层保护，即使不速之客通过身份的伪装顺利通过第一道门，第二道防护门也会把他隔绝出去，这样即使他有机会访问网络资源，也无法识别已经加密的数据。

3。智能终端加固

由于智能终端存储了海量的数据信息，因此对智能终端进行加固是提高网络安全、保障互联网管理有序的内在要求和合理措施。

智能终端加固对大数据的处理技术要求比较高，不再是简单被动的补漏洞，而是采取积极的态度去预防病毒的肆意入侵，防止黑客的蓄意攻击。通过大数据安全技术研发、云计算方式的更新、软件工具的整合等措施，针对攻击力非常强的病毒、恶意代码进行彻底的清除，并及时挖掘潜在的大数据安全隐患，确保智能终端在安全的网络环境下运行。通过一系列技术手段，构建一个高级的智慧平台，引领我们朝着大数据时代迈进。

大数据专业人才的缺乏

近日，国外著名职业人士社交网站LinkedIn（领英）对全球超过3。3亿用户的工作经历和技能进行分析，并公布了2014年最受雇主喜欢、最炙手可热的25项技能，其中统计分析和数据挖掘技能位列榜首。大数据时代对数据人才的需求已经排在了首位。

近几年，大数据从“可有可无”的边缘迅速演变成“必须获取”的核心。深度挖掘分析把数据变成可操作利用的情报，提供个性化推荐、精细化运营，帮助企业降低成本、增加利润，大数据的作用在逐渐显现。

大数据高速发展的2014年，利用大数据应用，精准广告投放系统、用户个性化推荐、消费热点预测、客户生命周期管理、企业经营策略分析等，互联网企业尤其是阿里巴巴、京东等电商企业成为2014年大数据发展的最大赢家。2014年天猫“双十一”571亿元的交易额就是一个很好的佐证。

利用大数据优势，获取更高的利益，大数据发展势头十分迅猛。近年来，中国互联网三巨头BAT（百度、阿里、腾讯）均耗费巨资投入大数据发展，纷纷建立大数据研究院、大数据实验室等，提供大数据专业服务，一批大数据专业分析公司也应运而生。据（中国软件开发联盟）2014年中国大数据调查报告显示，32。5%的公司正在搭建大数据平台，29。5%的公司已经在生产环境实践大数据，并有成功的应用案例和产品，24。5%的公司已经做了足够的了解，开发准备就绪。

各大公司纷纷上马大数据业务，对大数据人才的需要，市场上正处于十分旺盛的阶段。据Gartner预测，2015年，全球将新增440万个与大数据相关的工作岗位。大数据的发展也会催生出一些新职业如大数据分析师、首席数据官等，据Gartner消息，2015年将会有25%的组织设立首席数据官职位。

然而人才供给的缺乏正是大数据发展面临的一个瓶颈。目前企业发展大数据已步入初级阶段，在记者近期的采访中，不论是拓展大数据业务的百度、阿里、奇虎360等互联网公司，还是专业提供数据服务的大数据服务商，对专业的大数据人才均有较高的需求量。

市场上对大数据人才有着旺盛的需求量，大数据人才培养问题就显得愈发重要。大数据专业服务商中润普达（集团）信息技术有限公司总裁联合创始人杜小军在接受中国经济时报采访时表示：“我们需要的大数据人才是跨专业的复合型人才，既要熟悉计算机技术，又要掌握解构中文的能力，还要拥有建立综合性模型框架的能力。”

大数据的相关职位需要的是复合型人才，要能综合掌握数学、统计学、数据分析、机器学习和自然语言处理等多方面知识，但目前国内还没有哪所高校能培养出这样的大数据人才。2015年大数据将会出现更高速的增长，人才需要量将更大，而人才供给则有断档的可能。

大数据思维尚未形成

五年前，谷歌的一个研究团队在著名科学期刊《自然》上发布了一项令人瞩目的研究成果：不需要任何医疗检验结果，该小组能够追踪到当时扩散在全美的流感趋势，而且追踪速度比美国疾病控制中心（CDC）要快得多。谷歌的追踪只比流感爆发晚了一天，而CDC却花了一周甚至更多的时间来汇总一张流感传播趋势图。显然谷歌的速度更快，因为它通过寻找“在线搜索”和搜索“人是否患有流感”二者之间的相关性和规律，成功追踪到流感传播的趋势。

“谷歌流感趋势”不仅快速、准确、成本低，而且不需要任何理论支持。谷歌的工程师没心思开发一套假设理论研究什么样的词条可能和疾病有关，而是挑出5000万条最靠前的词条，让搜索法则自行运算，得出结果。由此，“谷歌流感趋势”成为商业界、技术界、科学界具有代表意义的“大数据”成功案例。

正如许多流行语一样，“大数据”是一个含糊不明确的词语，经常被人们信手拈来又随手抛去。有人会特别提到数据组的规模，例如LargeHadronCollider的电脑，一年能够储存15千兆字节，相当于音乐播放1500年留下的数据。实际上，吸引了众多公司注意力的“大数据”可以被称作“寻获的数据”，其发生在网络搜索、信用卡支付、手机感应到最近的电话信号平台。比如“谷歌流感趋势”就是建立在已经被寻获的数据上的，这样的数据组可以更庞大。值得注意的是，相对于庞大的规模，数据的收集实际上很便宜。现代社会随着人们的沟通、休闲和商务活动都转移到网络（包括移动网络），生活在以一种十年前难以想象的方式，被记录和被量化。数据点可以随意拼贴、收集起来用于不同的目的，同时可以实时更新。

一、如何捕捉大数据

大数据的拥护者们总结出了四个结论，而每一条都存在于“谷歌流感趋势”的成功案例中：1。数据分析产生了惊人的准确结果；2。每一个数据点都可以被捕捉，这使得过去的统计抽样技术显得十分过时；3。数据背后的原因纠结显得过时，因为数据的相关性已经告诉了我们需要知道的信息；4。科学或数据模型是不需要的。

虽然大数据向科学家、企业家以及政府展现出了光明前景，然而这四条理论完全是出于最乐观、最单纯的角度，如果忽略了一些过去的经验教训，它也注定会让人们失望。在关于“谷歌流感趋势”预测的文章发表四年以后，《自然》杂志报道了一则坏消息：在最近的一次流感爆发中谷歌流感趋势不起作用了。虽然过去几年的冬天，“谷歌流感趋势”信心满满地提供了一系列迅速准确的流感爆**况统计信息。但不知从何时开始，这个模型渐渐失去了对流感的灵敏嗅觉。在谷歌的模型数据中显示将有一场严重的流感爆发，但当疾病防治中心最终将漫无边际但依旧准确可靠的数据送达时，这些数据表明谷歌对流感疾病传播情况的预测夸大了近两倍。

问题是谷歌不知道甚至根本无法知道是什么原因将搜索词条和流感的传播联系在一起。谷歌的工程师也并没有试图搞清楚背后的原因，他们只是简单地寻找数据中的规律。比起前因后果，他们更在乎数据之间的相关性。这种情况在大数据分析中相当常见，但要想搞清楚前因后果很困难，不过搞清楚哪些数据是相互关联的则成本更低，也更容易。因而，维克托迈尔·舍思伯格和肯尼思·库克耶在他们的著作《大数据时代》中写道：“在大数据分析中针对因果关系的探究不会被丢弃，但是它正渐渐撤出数据研究的主要基石地位。”

那些没有理论支持而只着重于数据相关性的分析必然是脆弱且站不住脚的。如果人们不明白表象相关性背后的事情，那么就不会知道什么原因会导致那种相互关联性的破裂。关于“谷歌流感趋势”失败的一种解释，2012年12月的新闻里总是充满了耸人听闻的故事，而这些故事激发了那些健康人群在线搜索的兴趣。另一个可能性解释是，谷歌自身的搜索法朝令夕改，当人们输入信息时，系统会自动提示诊断信息。

在过去的200年里，统计学家们一直致力于弄清楚是什么阻挡了人们单纯地通过数据来理解这个世界。虽然当前世界数据的量更大，传播速度更快，但是并非意味着过去那些陷阱都已经安全处理了，因为事实上它们并没有消失。