中国移动研究院孙少陵:大数据实时处理技术发展趋势及中国移动实践和展望(3)

2013-12-08 15:50:49    中华网科技  参与评论()条

    中国移动的大云产品,融合了云计算和大数据两方面的工作,大数据方面我们同时关注分析型的产品和交易型的产品。我们分析型产品目前主要基于Hadoop,在Hadoop这块我们目前结合自己需求做中国移动的分支BCHadoop,我们现在把BCHadoop也做了一个开源,在今年CCF的创业大赛上,我们中国移动出的这两道题基本上在中国移动BCHadoop上进行实现。另外我们在Hadoop基础之上做了做了一个数据仓库和一个数据挖掘系统,主要基于中国移动自己的经营需求做了分类规则等等的方法,在社区文本挖掘方面做了相关算法和工具,在搜索引擎方面也做了一些工作。

    在交易类的产品目前我们在内存的数据库上,内存的KIH还有流式计算,还有分布式的交易数据库等方面我们都在开发,也在线网做了试点,这方面我们借鉴像淘宝等互联网公司的经验。我们昨天在中国移动互联网国际研讨会说我们正式发布了大云2.5版本,当时江西分公司做了一个应用案例的分享:如何用大云RDM并行分布式交易数据库解决我们线网综合查询和终端的精准消息存储的支持。

    运营上在大数据的使用上面我们都会做一些什么样的工作?第一个在网络优化方面,前面也说了一些,在移动互联网,或者说宽带移动通信的时代,线网的需求很重要,你随时要把握线网流量和流向的变化。比如说现在2G网络承载了我们目前最主要的数据流量,但是2G网络数据承载的能力比较差,是窄带宽的通信系统,同时造价很昂贵,现在主要承载我们的语音业务。所以整个系统规划、系统维护,怎么把网络引到成本最低,价值最高的网络上,实现综合价值的最大化。这个要求我们实时对全网百万个以上的基站和几百万的AP进行快速的监控,我要监控每天的变化,有些基站变成热点基站,流量压力非常大,采取扩容或者采取网络参数调整的方式,把流量做一些引导。其实目前我们通常把整个一个城域去划成方格,然后定期采集和分析。这里需要我首先数据采集要快,要用到流计算的技术,刚才专家们提到一些内存,还有高性能分布式计算的技术要把网络的拥塞情况和各种状况尽快形成报告,报给我们的运维部门。这个主要是我们网络方面的应用。

    第二精准营销方面,实际上随着现在在移动通信和移动互联网方面的市场竞争是很激烈的。现在移动运营商,像中国移动提出来一个微营销,微营销就是要关注你每一个用户的特点。营销动作要根据每一个不同用户进行差异化。我们基础必须有一个大数据,对用户进行精确的画像,对线网发生动作及时采集快速反映。这里举几个案例,像位置类的业务,我们运营商经常有时候会在某一些营业厅有特定终端的优惠套餐,这样回馈用户的营销活动。比如说有一个用户移动到离营业厅比较近的小区,从我们市场部门希望给用户推送一个消息,告诉你说我营业厅正在做某一个业务的推荐。当然做这个事情的前提你不能没事去给用户推送这些消息,因为现在大家对垃圾短信很反感,所以你怎么知道这个用户对你终端和套餐感兴趣,这需要有后台处理和挖掘的工作。比如说这个用户目前使用终端类型是什么?过往几年使用的终端是什么?某种意义上可以透露这个用户是不是特定某一个品牌的忠实粉丝。还有最近这个用户是不是在网上游览跟这个特定手机相关的网站,所有这些东西其实有可能让我们了解这个用户会不会对三星和苹果的手机感兴趣。同时它要发现这个用户经过我的小区在很好时机把这个消息推送下去,他要走到别的地方这个消息最佳时机就失去了,这是实时分析实时采取动作一个典型的案例。

    还有一个案例比如说像有一些用户他经常出差去某一个地方,我们有两城一家的套餐,你定这个套餐整个漫游费长途费没有了,对这些用户你要有识别。这个用户经常到某一个城市,他在机场开机你可以推送一个消息告诉他说这个套餐可以为你省钱。我们还有很多新的业务,比如说中国移动去年推出的灵犀,实际上是用户人机对话的系统,某种意义上有点像自动化的客服系统,这个系统用了云识别,实际上后台有一个比较大的数据库,这个需要我们把很多知识结构化,然后在后台能够快速为用户提出的问题找到相关的答案。

    还有物联网,物联网刚才我们说了它实际上每天都在送大量的信息。比如说我们在无锡那边做过太湖蓝藻的监测物联网应用,它需要对数据实时的采集、实时的处理。中国移动在国内国外开源和标准化方面做了很多工作,就是跟Hadoop相关主要我们现在建立了一个开源社区。最主要原因是什么?运营商在使用Hadoop的时候往往有它自己的一些特点。我们首先把一些线网急需的需求在我们自己的分支里面实现,同时推动主线逐渐把它移植进去。

    最后我们对大数据的展望,其实大数据的未来是机器智能,也就是说目前机器更多是解放了我们手和脚,未来怎么样让它更多帮我们思想,是真正大数据未来发展的终极目标。现在像谷歌等在deep learning方面做了很多的公司,像人机交互、语音识别也是大数据广义的范畴,通过机器来学习知识,把数据形成知识,知识变成智能,真正给我们社会信息化做出推动的作用。以上是我们这边分享的一些观点,不成熟还是希望跟大家探讨批评指教。

(责任编辑:CT009)
 
网友发言 已有人参与 条评论
所有评论仅代表网友意见。提交评论

社会文史娱乐汽车科技旅游城市文化

新闻 军事 论坛 娱乐

新闻频道
国内国际社会评论文史专题经济新闻图库老照片
军事频道
军事要闻中国军情国际军情军事历史网友原创军事专题军事图库武器装备军事文化
汽车频道
车闻Update漫话车型漫记车映像实拍解析行业动态新车资讯独家评测汽车生活人文之旅
教育频道
留学移民高考中小学拒讲堂师说商道商论
游戏频道
游点意思网络游戏网页游戏单机游戏手机游戏军事游戏游戏产业发号中心游戏美女图说游戏囧游囧事
科技频道
业界互联网行业通信数码手机平板IT硬件相机笔记本家电产品库
旅游频道
X旅行视界目的地 美图发现社区
文化频道
专题非遗沙龙历史艺文博览读书图库书画禅文化
书画频道
资讯收藏展览在线展厅艺术家视觉专题
体育频道
国际足球中国足球NBACBA 综合体育图片汇总专题策划
视频频道
新闻军事中华出品原创娱乐纪录片微电影决胜海陆空
娱乐频道
明星电影电视音乐专题图库论坛
公益频道
老兵出镜老兵动态老兵资料库关爱老兵在行动公益组织公益人物
城市频道
城市聚焦城市设计城市生活城市策划城 市图赏城市加盟城市论坛
社区频道
中华论坛网上谈兵中华拍客社会时政国际风云生活消费休闲旅游美丽女人娱乐八卦经济风云情感世界文学天地
好医生频道
保健养生疾病防治行业资讯名医谈健康 医生专栏食疗跑步
经济频道
国内宏观海外经济产经商贸时尚消费电商眼球儿企业故事专栏评说识局经济