当大家还没搞清楚PC时代的时候,互联网来了;还没搞清楚互联网的时候,移动互联网来了;还没搞清移动互联网的时候,大数据时代来了。在大数据时代,三分技术,七分数据,得数据者得天下的新经济模式逐渐凸显。
数据服务产业崛起
大数据是传统统计行业与互联网精神相结合的新领域,通过电子信息化大大降低了传统统计成本。经过多年的发展,由少量经典案例到广泛数据应用,新确定的第三数据服务产业地位渐渐清晰。
权威机构预测,2014年全球大数据技术服务支出将超过140亿美元,2018年市场年均复合增长率将达26%,支出增至460亿美元。在第十二届全国人民代表大会第二次会议上,国务院总理李克强作政府工作报告时指出:加快产业结构调整。鼓励发展服务业,支持战略性新兴产业发展。设立新兴产业创业创新平台,在新一代移动通信、大数据等方面赶超先进,引领未来产业发展。可以预见,数据服务将加快走向普及。
我们可以将数据服务的普及分为以下几个阶段。
第一个阶段是由国家行政电子信息化需求推动的人口普查、社会保障、政策执行的雏形阶段;第二个阶段是以科技为导向的航天、冷战、反恐、医疗的成型阶段;第三个阶段是由互联网爆炸式的网络消费类型的社交数据、电商数据为主导的成熟阶段;最后是我们可预见的互联网金融、物联网等跨多行业的新型领域产业化的全面普及阶段。
数据服务的普及需要一条成熟的大数据产业链给予支撑。大数据产业链就是在一次次从生产、科研、政策、公共、工业等各个领域产生的经典案例中不断成长起来的。
这里有三个非常典型的例子。例如,麻省理工学院利用手机定位数据和交通数据建立城市规划;又如,Tesco PLC(特易购)利用大数据提高运营效率,这家连锁超市在其数据仓库中收集了700万台冰箱的数据,通过对这些数据的分析,进行更全面的监控并进行主动的维修以降低整体能耗;还有统计学家内特·西尔弗(Nate Silver)利用大数据预测2012美国选举结果的例子。
大数据产业链逐渐走向成熟,如果要用一句话来描述整个大数据产业链的话,那就是“从各种各样类型的数据中,快速获得有价值的信息”。这句话很清晰地为我们展现了大数据产业链的重要作用。产业链的主要成员包括:数据提供商、汇集/存储提供商、计算能力提供商、统计分析服务提供商。
在当前新的经济模式下,通过一些先行企业和机构的探索、实践,我们可以看到 “数据”作为一种资源在产业化过程中从生成、采集、传输、质量化、挖掘,最后形成“数据服务”对其他行业进行价值输出。
大数据关键技术门槛降低
近年来,大数据领域的生产分工逐渐明确,进入了较为成熟的阶段,大数据关键技术也随着产业链的不断发展而逐渐成熟。
大数据的关键技术主要包括以下三个方面。
大数据汇集技术。大数据具有规模性、高效性、多样性等本质特征,这就决定了数据汇集过程会非常复杂,如何汇集大数据成为重点也是难点摆在了人们面前。
大数据云计算平台技术。由规模数据处理驱动的分布式模型,位于其中的抽象的、虚拟的、动态可扩展的、可管理的计算平台是大数据服务由量变引起质变,到形成第三产业的关键技术,它是推出全民可用的“大数据服务”的基础。
大数据挖掘技术。创新的大数据挖掘技术能满足各种海量复杂数据分析的需要。
在“大数据汇集”和“大数据云计算平台”领域,随着hadoop等优秀的开源框架的兴起,技术门槛正在逐渐降低,由产业发展前期的技术市场转向资源、服务市场。在“大数据挖掘”关键技术领域,需要用到传统统计中多年积累下来的行业特征分类资源、汇集传输带宽资源和IDC数据中心来共同支撑大数据服务。