摘要: 进入2012年以来,大数据(Big Data)一词越来越多地被提及与使用,人们用它来描述和定义信息爆炸时代产生的海量数,它已经出现过在《纽约时报》、《华尔街时报》的专栏封面,进入美国白宫网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国君证劵、国泰君安、银河证劵等写进了投资推荐报告,大数据时代来临。
关键字:大数据 云计算 海量 发展 影响 隐私 保护
Abstrac:As the network information age has become more common, mobile Internet, social network, thelectronic commerce of the Internet greatly expand the borders and application fields, we are in a data the explosive growth of \"big data\" era, large data in the social economy, politics, culture, people life and other aspects have far-reaching influence, the big data age to the human data to control ability puts forward new challenges and opportunities.
Key word: Big Data Cloud computing Mass Development Influence
一、什么是大数据?
大数据(Big Data)是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高,或者其结构不适合原本的数据库系统。为了获取大数据中的价值,我们必须选择另一种方式来处理它。
数据中隐藏着有价值的模式和信息,在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源,如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。对于企业组织来讲,大数据的价值体现在两个方面:分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息,定制出高度个性化的用户体验,并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合,谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。 (一)、大数据四个特性
海量性:企业面临着数据量的大规模增长。例如,IDC最近的报告预测称,到2020年,全球数据量将扩大50倍。目前,大数据的规模尚是一个不断变化的指标,单一数据集的规模范围从几十TB到数PB不等。简而言之,存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外,各种意想不到的来源都能产生数据。
多样性:一个普遍观点认为,人们使用互联网搜索是形成数据多样性的主要原因,这一看法部分正确。然而,数据多样性的增加主要是由于新型多结构数据,以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中,部分传感器安装
在火车、汽车和飞机上,每个传感器都增加了数据的多样性。 高速性:高速描述的是数据被创建和移动的速度。在高速网络时代,通过基于实现软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求。根据IMS Research关于数据创建速度的调查,据预测,到2020年全球将拥有220亿部互联网连接设备。
易变性:大数据具有多层结构,这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据,大数据存在不规则和模糊不清的特性,造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式,能够被标准的商务智能软件识别。目前,企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。 (二)、大数据三个特征
除了有四个特性之外,大数据时代的数据还呈现出其他三个特征。 第一个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。
第二个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。
第三个特征是处理速度快,时效性要求高。这是大数据区分于传统
数据掘最显著的特征。
二、大数据时代对生活、工作的影响
大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,得数据者得天下。
“大数据”的影响,增加了对信息管理专家的需求。事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。 大数据在个人隐私的方面,大量数据经常含有一些详细的潜在的能够展示有关我们的信息,逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出,我们不应该简单地服从法律方面的隐私保护问题,这些远远不够的,公司都应该遵从谷歌不作恶的原则,甚至更应该做出更积极的努力。 三、大数据价值与隐私保护
大数据在各行业的价值愈发重要,并出现了数据市场。一种是公众
数据市场,比如美国政府倡导的政府开放数据计划data.gov 的数据门户,用户在该门户上可以免费获得某方面社会的数据;一种是有价交易市场,data.com 上Salesforce 有价提供用户的分析结果的数据,还有Microsoft Azure 的Marketplace。电信运营商目前探索的向其他行业有价提供数据分析结果也属于此类。
另一方面,大数据的收集和使用中有关用户个人隐私数据也是各广泛争论的焦点。2013 年1 月,瑞士达沃斯世界经济论坛题为“解锁个人信息的价值:从收集到使用”的报告建议,要将大数据监管重心从收集环节转移到限制数据的使用。但是,刚刚披露的美国“棱镜门”事件,更是让大数据的收集和使用蒙上了一层阴影,也使得数据安全在国家间的竞争中显得尤为重要。可见,要平衡大数据的使用和保护是一项艰巨的议题。
四、企业应如何应对大数据时代
近些年,大数据已经和云计算一样,成为时代的话题。大数据是怎么产生的,商业机会在哪?研究机会在哪?这个概念孕育着一个怎样的未来?企业如何应对?一个好的企业应该未雨绸缪,从现在开始就应该着手准备,为企业的后期的数据收集和分析做好准备,企业可以从下面五个方面着手,这样当面临铺天盖地的大数据的时候,以确保企业能够快速发展,具体为下面五点。 (一)、以企业的数据为目标
几乎每个组织都可能有源源不断的数据需要收集,无论是社交网络还是车间传感器设备,而且每个组织都有大量的数据需要处理,IT
人员需要了解自己企业运营过程中都产生了什么数据,以自己的数据为基准,确定数据的范围。 (二)、以业务需求为准则
虽然每个企业都会产生大量数据,而且互不相同、多种多样的,这就需要企业IT人员在现在开始收集确认什么数据是企业业务需要的,找到最能反映企业业务情况的数据。 (三)、重新评估企业基础设施
大数据需要在服务器和存储设施中进行收集,并且大多数的企业信息管理体系结构将会发生重要大变化,IT经理则需要准备扩大他们的系统,以解决数据的不断扩大,
IT经理要了解公司现有IT设施的情况,以组建处理大数据的设施为导向,避免一些不必要的设备的购买。 (四)、重视大数据技术
大数据是最近几年才兴起的词语,而并不是所有的IT人员对大数据都非常了解,例如如今的Hadoop,MapReduce,NoSQL等技术都是近年刚兴起的技术,企业IT人员要多关注这方面的技术和工具,以确保将来能够面对大数据的时候做出正确的决定。 (五)、培训企业的员工
大多数企业最缺乏的是人才,而当大数据到临的时候,企业将会缺少这方面的采集收集分析方面的人才,对于一些公司,特别是那种人比较少的公司,工作人员面临大数据将是一种挑战,企业要在平时的时候多对员工进行这方面的培训,以确保在大数据到来时,员工也能
适应相关的工作。
“大数据”时代的到来,充满了机遇与挑战,谁能够最快地习惯这种新形式下的数据模式,熟悉和掌握处理这种数据处理方法,谁就会在之后的信息战中占得先机,取得主动权 参考资料
[1] 李建义.数据库原理及开发.北京:中国水利水电出版社,2005 [2] 维克托·迈尔·舍恩伯格大数据时代浙江:浙江人民出版社2012 [3] 艾伯特-拉斯洛·巴拉巴西爆发北京:中国人民大学出版社2012 [4] 朱志军,闫蕾.转型时代丛书:大数据·大价值、大机遇、大变革[M].北京: 电子工业出版社 2012.
[5] IT部门如何应对大数据时代?CIO时代网2012-02-27 [6]“大数据”时代来临决策不能只凭经验东方早报网2012-04-11 [7]“大数据时代”来临.北京晚报网2012-06-15
[8] 大数据时代来临:国内IT企业布局已然落后.新浪网2012-06-0
因篇幅问题不能全部显示,请点此查看更多更全内容
Copyright © 2019- sceh.cn 版权所有 湘ICP备2023017654号-4
违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务