大数据来了

发布时间:2015-11-15信息来源:热度:

“大家还没有搞清楚pc时代的时候,移动互联网来了,还没搞清楚移动互联网的时候,大数据时代又来了。”(阿里巴巴董事局主席马云)那么 ,到底什么是大数据? 其实,当我们还对大数据概念产生疑惑的同时,已经处在了大数据的环境中。

大数据(big data),是新一代信息技术的集中反映,是一个应用驱动性很强的服务领域,是具有无穷潜力的新兴产业领域;它基于纳米技术、生物技术、信息技术和认知科学等多学科联动,当下正在引发新一轮井喷式的产业创新。

抢占大数据产业制高点

大数据自身不仅能够迅速衍生为新兴信息产业,还可以同云计算、物联网和智慧工程技术联动,支撑一个信息技术的新时代。在这个全新的时代,大数据成为关键生产要素,大数据将如能源、材料一样,成为战略性资源。

为抢占大数据产业发展的制高点,欧美等发达国家都将大数据纳入到国家发展战略,纷纷在资金和政策上支持大数据研究和发展。美国政府发布了《大数据研究和发展倡议》,将其视为“未来的新石油”,提出通过大数据加速在科学、工程领域的创新步伐,强化美国国土安全,转变教育和学习模式;日本提出以电子政府、电子医疗、防灾等为中心制定新ICT(信息通讯技术)战略,发布“新ICT计划”,重点关注大数据研究和应用;英国政府宣布将在对地观测、医疗卫生等大数据和节能计算技术方面投资1.89亿英镑;法国政府发布了《数字化路线图》,宣布投入1150万欧元研发7个大数据市场项目;韩国政府将统一建设大数据中心,为大数据企业提供服务;澳大利亚政府发布了《公共服务大数据战略》,制定了六条“大数据原则”,旨在运用大数据分析支撑公共服务改革……

目前,各行各业都在运用大数据,特别是在理解客户和满足客户服务需求、业务流程优化、提高医疗和研发等领域。比如在宏观经济方面,IBM日本公司建立经济指标预测系统,从互联网新闻中搜索影响制造业的480项经济数据,计算采购经理人指数的预测值;制造业方面,华尔街对冲基金依据购物网站的顾客评论,分析企业产品销售状况;一些企业利用大数据分析实现对采购和合理库存量的管理,通过分析网上数据了解客户需求、掌握市场动向;等等。

在医疗保健领域,“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况,与美国疾病控制和预防中心提供的报告对比,追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台,医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析,可以实现对症下药的个性化治疗。

特别是在理解客户和满足客户服务需求上,大数据的应用目前在该领域是最为广泛、也最广为人知的。该应用的重点是如何应用大数据更好地了解客户以及他们的爱好和行为。在一般情况下,建立出数据模型进行预测。比如美国有一家零售商就是通过大数据的分析,得到有价值的信息,精准得预测到客户在什么时候想要小孩;沃尔玛精准地预测哪个产品会大卖;汽车保险行业会了解客户的需求和驾驶水平;政府也能了解到选民的偏好。

在金融行业大数据主要是应用金融交易。高频交易(HFT)是大数据应用比较多的领域。其中大数据算法应用于交易决定。现在很多股权的交易都是利用大数据算法进行,这些算法现在越来越多地考虑了社交媒体和网站新闻来决定在未来几秒内是买出还是卖出。

支持大数据,政府在行动

近年来,我国政府对大数据重视程度日益凸显,市场规模增长迅猛,新技术、新应用层出不穷,大数据产业加快发展的基础和条件基本具备。2015年9月,经李克强总理签批,国务院印发《促进大数据发展行动纲要》(以下简称《纲要》),系统部署大数据发展工作。

《纲要》明确,推动大数据发展和应用,在未来5至10年打造精准治理、多方协作的社会治理新模式,建立运行平稳、安全高效的经济运行新机制,构建以人为本、惠及全民的民生服务新体系,开启大众创业、万众创新的创新驱动新格局,培育高端智能、新兴繁荣的产业发展新生态。

《纲要》部署了3方面主要任务。一要加快政府数据开放共享,推动资源整合,提升治理能力。大力推动政府部门数据共享,稳步推动公共数据资源开放,统筹规划大数据基础设施建设,支持宏观调控科学化,推动政府治理精准化,推进商事服务便捷化,促进安全保障高效化,加快民生服务普惠化。二要推动产业创新发展,培育新兴业态,助力经济转型。发展大数据在工业、新兴产业、农业农村等行业领域应用,推动大数据发展与科研创新有机结合,推进基础研究和核心技术攻关,形成大数据产品体系,完善大数据产业链。三要强化安全保障,提高管理水平,促进健康发展。健全大数据安全保障体系,强化安全支撑。

与之相对,国内很多地方政府开始建立全新的政府职能机关——大数据管理局。2015年9月1日,成都市经济与信息化委员会的网站上挂出一则《关于成立“成都市大数据管理局”筹备组的通知》。这份公告显示,成都市委编委2015年第2次会议决定,批准在该市经信委下设立大数据管理局。此前,广东、辽宁等省均有地方政府率先试水大数据管理局。

2015年9月18日,贵州省启动我国首个大数据综合试验区的建设工作,力争通过3至5年的努力,将贵州大数据综合试验区建设成为全国数据汇聚应用新高地、综合治理示范区、产业发展聚集区、创业创新首选地、政策创新先行区。围绕这一目标,贵州省将重点构建“三大体系”,重点打造“七大平台”,实施“十大工程”。

华东地区首个大数据资源交易平台——江苏省大数据交易中心今年落户在盐城。作为国家信息消费和智慧城市试点城市,盐城已成为江苏省数据资源的快速聚集地。该市规划建设的30平方公里大数据产业园已被纳入江苏省互联网经济、云计算和大数据产业发展总体规划,是中韩自贸协定确定的中韩盐城产业园的重要组成部分。目前,中科院绿色数据中心、中关村(盐城)大数据产业联盟、中关村大数据资产评估中心等研发机构落户盐城大数据产业园,软通动力、华夏脉络等78个项目入驻,“载体—平台—应用”的产业功能体系初步形成。在华为发布的全球云战略布局中,盐城成为其14个重要节点城市之一。

早在2013年,上海就发布了《上海推进大数据研究与发展三年行动计划(2013-2015年)》,并于2014年率先实行政府大数据资源开放,运行上海市政府数据服务网,出自28个市级政府部门的190项数据内容成为重点开放对象——从医院床位信息到候诊人数信息,从挖路、占路、封路信息到停车场库及路侧车位信息,政府大数据“富矿”可供全民开采。

上海目前正在加强对大数据领域的深化研究和开发利用,其目标是发挥数据资源在上海市加快建设“四个中心”和具有全球影响力科技创新中心、产业结构调整和经济结构转型中的重要作用,满足公众和企业对政府数据的“知情权”和“使用权”,向社会提供政府数据资源的浏览、查询、下载等基本服务,同时汇聚发布基于政府数据资源开发的应用程序等增值服务。

多重挑战待破解

如何利用数据资源发掘知识、提升效益、促进创新,使其服务于国家治理、企业决策乃至个人生活服务,是大数据时代的步伐。当前,仍存在一些制约发展的几个因素。

一是数据共享不足。数据开放共享是促进大数据产业发展的重要举措。截至 2014 年,全球已有70个国家和地区推进政府数据开放。我国政府也在做着开放数据的努力,但开放程度仍远不及世界领先国家。数据资源的利用不充分,大量信息系统中的历史数据长期闲置,即使不涉及秘密,许多数据资源拥有单位公开和共享动力不足,这给跨行业数据汇聚整合造成困难,影响了大数据资源的形成。

二是关键技术储备不足。大数据技术储备不够,鲜有在国内外有影响的产品,缺少系统级、架构级的大数据产品。已有技术和产品的原创性、通用性不足,仍有待理论和关键技术突破。

三是产业链尚未形成。数据产业的盈利模式和服务方式等尚不明晰,缺少具有较大规模、能够带动数据产业发展的行业龙头企业,产业链各环节尚未形成明显的上下游协作发展模式。虽然大数据在我国已有不少应用案例,但从产业形成发展的角度讲,大数据在我国仍处于起步阶段。

四是数据安全和隐私保护风险日益突出。一方面,伴随着数据的愈加集中,海量数据安全防护的难度相应也会增加,尤其是数据的远程分布式处理,直接增加了数据泄露的风险。另一方面,大数据由于其体量大,降低了黑客的进攻成本,使黑客的攻击更加精准,所以更容易成为黑客攻击的目标,隐私泄漏的风险日益加大。

五是技术人才方面的制约和挑战。面对大数据产生的各种问题,关键在于技术。这对技术提出了更高的要求,其根本是对人才的需求。麦肯锡公司预测仅仅美国到2018年需要深度数据分析人才44万—49万,缺口14万—19万人;需要既熟悉本单位需求又了解大数据技术与应用的管理者150万,这方面的人才缺口更大。

加快数据共享步伐

大数据时代赋予了数据新的意义,为了开发大数据这一金矿,必须突破制约因素,实现从数据大国向数据强国的转变。首先是人才,大数据时代呼唤创新型人才。政府应采取多种措施,扩大大数据相关人才供给。可以实施教育培养计划,在大学相应阶段有针对性地增加相关课程,增加学生在感知技术、数据仓库、数据搜索、数据挖掘与可视化等领域的知识积累,扩大人才储备规模;可以加大从其他国家、地区引进人才的力度,实施各项优惠政策、营造良好发展环境以吸引国外优秀的技术人员,增强我国相应研发实力;可以采取相应激励措施,鼓励企业对管理者普及数据分析技术培训,推动企业使用相关技术明确消费需求、创新产品及服务。

其次是出台更大力度的扶持政策,进一步加快数据开放共享步伐。一是制定出台扶持政策,构建基于互联网区域性集中统一的公共信息资源开放共享网站,明确公共信息资源开放共享的内容范围、主体职责,制定统一的开放共享标准,建立多级数据质量审核控制机制,形成信息资源社会化共享服务体系。二是鼓励掌控公共信息资源的政府部门,尤其是地理信息、医疗、交通、教育等公共服务部门,在不泄露国家秘密和个人隐私的前提下开放数据,实现数据资源共享。

同时要加快标准建设。完善知识产权保护体系,促进数据共享和整合,推动数据价值创造;加快制定相关标准和指南,鼓励存在缺口的重要领域推进关键技术研发,推动行业标准制定机构出台各类型的标准,并给予资金支持、税收减免、费用补贴、金融支持等激励措施。

要积极推进科技应用创新,积极支持企业研发。大数据发展依赖企业实力,尤其是企业的研发能力。在明确关键技术的基础上,确定重点支持领域,加大研发支持力度,整合云计算专项、物联网专项等项目,支持大数据技术的开发、研究和应用示范,引导企业加大研发力度,实现关键技术突破。在政府部门和公用事业的信息化应用中采购大数据技术,以政府采购引导国内大数据发展。优先支持大数据技术在诸如疾病防治、灾害预测与控制、食品安全与群体事件等民生领域的应用。

纵观全球大数据产业发展现状和趋势,不难发现发达国家纷纷加快大数据布局,大数据产业链日趋完善,市场前景十分广阔。我国人口居世界首位,拥有强大的数据资源,为我们环境、金融、医疗、交通等各方面带来价值的机率就更大。