六九小说网

第四章 大数据面临的难题（第2页）

第二，拥有大数据的IT公司和非IT公司应该打破数据格局。我们看BAT（百度、阿里、腾讯），近期围绕微信和淘宝发生新一轮互相屏蔽，在早前百度和淘宝进行了屏蔽，这三家掌握搜索、社交和消费的数据，本来是三方的数据汇总才能拼凑出比较完整的网上信息图谱，但是三家公司为了彼此的商业利益，并没有体现出数据合作的意愿，而是互相封杀，这给社会数据的流动带来伤害。因此，在保证一定商业利益的基础上，巨头的眼光应该放远一点，打破数据割据。这看起来是一个很难实现的乌托邦，不过任何美好的事情都需要乌托邦的愿景作为起步的。我们看到许多美好的事情，比如说全世界的互联网，全世界的人通过互联网联结在一起，开始大家觉得乌托邦，现在已经成为现实。

第三，应该呼吁政府相关部门进一步开放市场，因为围绕大数据不管是应用还是创业，最核心的是要有数据的源头，然后才能进行采集、编辑，重新编制。现在大量的关于国民经济或者说民生的数据其实还在封闭状态，在工商部门、银行、保险、公安、医院、社保，包括电信运营机构的手里。如何让这些数据流动起来，能让大家更方便，其实应该由政府带头实现等级制数据的开放共享。在不违反保密或者是国防的情况下，如果不开放大数据，那么大数据研究和创业都是无米之炊。

所以还是应该抓住这个机遇，进一步开放市场，不断试点，一步一步把数据开放转起来，带来更多的应用价值。

三、隐私保护与数据精准之间的平衡

数据应该共融共通，还要开放市场。这个开放市场不仅仅是企业之间开放，企业对个人也要开放。

为什么现在开放变得这么谨慎？因为开放有风险，一是安全问题，二是伦理问题。安全问题是对于国防、军事以及整个经济信息的保密顾虑而言；伦理问题是从个体角度而言，即网民的隐私。大数据的作者曾经说过，在一个有组织的社会里，几乎每一则信息都在不同的时候，以不同的形式公开过。就公民而言，他的信息一次性在网上公开，和第一种情况有本质区别。

大数据平台在提供服务的同时，也在时刻收集用户的各种消费习惯、浏览习惯甚至生活习惯。如何保护用户的隐私成了大数据时代发展过程中不可回避的问题。因此，大数据的应用价值在于个人隐私保护与数据精准之间的平衡。

要真正做到大数据的开放，还需要走很长的路。我们相信，大数据会成为互联网之后，人类的又一个技术乌托邦。大数据的启动跟互联网有着相同的逻辑，一开始大家谈，不知道怎么做，会有一轮甚至几轮比较明显的产业泡沫，但是随着那些看似乌托邦的愿景，一个技术、一个尝试的创业公司的进入，会一步一步变成现实。

未来大数据会怎样，创业者跟投资者都需要很谨慎。目前来说，就大数据作预测是非常危险的事情，比较谨慎地说，可能在三年左右会看到一些具体的、得到社会应用的大数据，但往长期看则还是未知数。

大数据面临的重要技术问题

当今，大数据的到来，已经成为现实生活中无法逃避的挑战。每当我们要做出决策的时候，大数据就无处不在。大数据术语广泛的出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇。与此同时，大数据也向参与的各方提出了巨大的挑战，首先是三个重要的技术问题：

一、如何利用信息技术等手段处理非结构化和半结构化数据

大数据中，结构化数据只占15%左右，其余的85%都是非结构化的数据，它们大量存在于社交网络、互联网和电子商务等领域。另一方面，也许有90%的数据来自开源数据，其余的被存储在数据库中。大数据的不确定性表现在高维、多变和强随机性等方面。股票交易数据流是不确定性大数据的一个典型例子。

大数据刺激了大量研究问题。非结构化和半结构化数据的个体表现、一般性特征和基本原理尚不清晰，这些都需要通过包括数学、经济学、社会学、计算机科学和管理科学在内的多学科交叉来研究和讨论。给定一种半结构化或非结构化数据，比如图像，如何把它转化成多维数据表、面向对象的数据模型或者直接基于图像的数据模型？值得注意的是，大数据每一种表示形式都仅呈现数据本身的侧面表现，并非全貌。

如果把通过数据挖掘提取“粗糙知识”的过程称为“一次挖掘”过程，那么将粗糙知识与被量化后的主观知识，包括具体的经验、常识、本能、情境知识和用户偏好，相结合而产生“智能知识”过程就叫做“二次挖掘”。从“一次挖掘”到“二次挖掘”类似事物从“量”到“质”的飞跃。

由于大数据所具有的半结构化和非结构化特点，基于大数据的数据挖掘所产生的结构化的“粗糙知识”（潜在模式）也伴有一些新的特征。这些结构化的粗糙知识可以被主观知识加工处理并转化，生成半结构化和非结构化的智能知识。寻求“智能知识”反映了大数据研究的核心价值。

二、如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看，依照大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成，从而导致大数据统一理论的完备。从短期而言，学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转化原则，以支持大数据的交叉工业应用。管理科学，尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。

大数据的复杂形式导致许多对“粗糙知识”的度量和评估相关的研究问题。已知的最优化、数据包络分析、期望理论、管理科学中的效用理论可以被应用到研究如何将主观知识融合到数据挖掘产生的粗糙知识的“二次挖掘”过程中。这里人机交互将起到至关重要的作用。

三、数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

由于大数据本身的复杂性，这一问题无疑是一个重要的科研课题，对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下，管理决策面临着两个“异构性”问题：“数据异构性”和“决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验，而管理决策又是以数据分析为基础的。

大数据已经改变了传统的管理决策结构的模式。研究大数据对管理决策结构的影响会成为一个公开的科研问题。除此之外，决策结构的变化要求人们去探讨如何为支持更高层次的决策而去做“二次挖掘”。无论大数据带来了哪种数据异构性，大数据中的“粗糙知识”都可被看作“一次挖掘”的范畴。通过寻找“二次挖掘”产生的“智能知识”来作为数据异构性和决策异构性之间的桥梁是十分必要的。探索大数据环境下决策结构是如何被改变的，相当于研究如何将决策者的主观知识参与到决策的过程中。

大数据是一种具有隐藏法则的人造自然，寻找大数据的科学模式将带来对研究大数据之美的一般性方法的探究，尽管这样的探索十分困难，但是如果我们找到了将非结构化、半结构化数据转化成结构化数据的方法，已知的数据挖掘方法将成为大数据挖掘的工具。

以上是中国科学院虚拟经济与数据科学研究中心常务副主任石勇对大数据的三个重要技术问题进行研究的一些心得，也仅仅是一个研究大数据挑战的起点。除此之外，还有一些数据科学的问题，包括在获得数据和从数据中产生规则方面可能存在的公理体系，基于数据库的知识发现规则与基于开放数据源的知识发现规则以及大数据挖掘的整体和（或）局部解的存在性问题，等等。

大数据时代的网络安全

一、大数据时代的网络安全存在的问题

1。信息访问权限混乱

访问权限，是指根据在各种预定义的组中用户的身份标识及其成员身份来限制某些信息项或某些控制的机制。

一般来说，主要是由系统管理员来控制外来人员访问本区域的网络资源，在此情况下，通常只有被授予了访问权限才能访问此网站。然而，随着互联网技术的迅速发展，信息访问权限出现了混乱不堪的局面。各种信息铺天盖地，随之访问权限也出现了“大锅粥”，各种权限逐渐弱化，许多信息源没有了权限界定甚至出现混乱。大量数据的泄露给一些别有用心的黑客提供了机会，也致使网络出现了一些不安全的因素。

2。数据集群泄露严重

随着数据值的增大和数据的集中，对海量数据进行安全防护变得愈加困难，网络空间中信息的泄露风险来源涵盖范围非常广，数据的大量汇集和集中存储不可避免地增加了用户数据的泄露风险，这些数据成为维护公共安全的重要工作。

当今，个别私人的数据泄露已经不是黑客攻击的对象，相反，他们的目标是银行、证券、大型公司等数据集群机构，一旦攻击成功，黑客将会攫取巨额的财富，这也是数据集群机构更容易遭到病毒入侵的原因之一。另一方面，这些机构在数据的储存能力和数据处理能力方面远远跟不上数据量的增长速度，信息处理能力亟待提高。