当前位置:科技 > 硬件广场 > 应用列表 > 正文

浪潮云谷CloudCanyon V1.0解析(1)

2014-01-09 19:55:13    中华网科技  参与评论()条

    随着各行业对数据价值认知的不断提高,大数据成为继计算之后最火热的词汇。为应对各行业海量数据处理需求,大数据一体机应运而生。作为业界领先的计算解决方案及服务提供商,浪潮在近日发布了自主研发的海大数据一体机系统软件,创新优化算法的大数据处理平台--浪潮谷CloudCanyon V1.0。小编在同浪潮数据一体机产品经理的交流中,对这款产品有了更深入的了解。下面,就为大家带来最新鲜的浪潮谷Cloud Canyon V1.0版本的解析资料。

    浪潮谷CloudCanyon V1.0是面向行业海量数据整合、分析、挖掘的大数据平台,是浪潮数据一体机的灵魂,是浪潮行业大数据业务的核心发动机。最新发布的浪潮谷CloudCanyon V1.0版本采用创新算法,涵盖数据存储、数据处理等全环节。Canyon本义大峡谷,CloudCanyon是中大峡谷的意思,浪潮谷CloudCanyon寓意浪潮提供的这款系统软件是处理计算和大数据的大峡谷,任海量数据排山倒海,汹涌而至,尽收谷,如清风拂泰然处之。

    浪潮谷CloudCanyon V1.0是能够提供企业级的、兼具高可靠性和稳定性的Hadoop平台,其组件包括HDFS分布式文件存储系统、MapReduce编程框架、ZooKeeper分布式协同工作系统以及Hive数据仓库,Pig数据流分析平台和HBase分布式数据库、Sqoop数据转移工具和分布式监控工具。

    创新算法实现性能提升10倍以上

    浪潮谷CloudCanyon V1.0的核心框架在原有Hadoop架构上开发,使用了浪潮自主研发的算法,包括自适应调度算法、低消耗锁算法、热点数据感知的负载均衡算法。经过实际测试,这些算法从整体上大大提升了大规模集群的性能,在执行诸如1TB数据排序、100亿条记录查询、大小表联合查询、1TB单词统计等任务时,比原有方案的性能提升至少十倍。

    创新算法同时也解决了原有架构的扩展瓶颈,兼顾了数据驱动型的纵向和横向扩展:既支持单节点计算能力的扩展(即更高性能的CPU、更大容量的内存),也能将整个集群扩展至数千节点。此外,还支持动态改变数据结构,在不影响业务的情况下进行表结构变化。

    与现有系统的无缝集成

    随着大数据技术的不断发展,新的应用组件不断出现,封闭的平台已经不能满足日益增长的用户需求。用户需要根据特定的需求编写满足应用的大数据平台程序,但不同的用户对编程使用的语言是不同的,有的编程人员对Java比较热衷,有的编程人员对脚本语言等有强烈的需求。为了更好的在平台开发特定需求的应用程序,浪潮谷CloudCanyon V1.0提供了开发总线,集成了Java、Python、Shell、C/C++等通用的编程接口,能够提供强大的、多功能开发接口,满足不同用户的编程需求,为应用程序的开发带来了极大的便捷性。

    浪潮谷CloudCanyon V1.0中的HDFS 支持Posix接口,可以像本地文件系统一样挂载使用,用户的应用程序不需要进行任何修改就可以无缝的迁移到CloudCanyon V1.0上,大大降低了使用的难度和门槛。

 
网友发言 已有人参与 条评论
所有评论仅代表网友意见。提交评论

社会文史娱乐汽车科技旅游城市文化

新闻 军事 论坛 娱乐

新闻频道
国内国际社会评论文史专题经济新闻图库老照片
军事频道
军事要闻中国军情国际军情军事历史网友原创军事专题军事图库武器装备军事文化
汽车频道
车闻Update漫话车型漫记车映像实拍解析行业动态新车资讯独家评测汽车生活人文之旅
教育频道
留学移民高考中小学拒讲堂师说商道商论
游戏频道
游点意思网络游戏网页游戏单机游戏手机游戏军事游戏游戏产业发号中心游戏美女图说游戏囧游囧事
科技频道
业界互联网行业通信数码手机平板IT硬件相机笔记本家电产品库
旅游频道
X旅行视界目的地 美图发现社区
文化频道
专题非遗沙龙历史艺文博览读书图库书画禅文化
书画频道
资讯收藏展览在线展厅艺术家视觉专题
体育频道
国际足球中国足球NBACBA 综合体育图片汇总专题策划
视频频道
新闻军事中华出品原创娱乐纪录片微电影决胜海陆空
娱乐频道
明星电影电视音乐专题图库论坛
公益频道
老兵出镜老兵动态老兵资料库关爱老兵在行动公益组织公益人物
城市频道
城市聚焦城市设计城市生活城市策划城 市图赏城市加盟城市论坛
社区频道
中华论坛网上谈兵中华拍客社会时政国际风云生活消费休闲旅游美丽女人娱乐八卦经济风云情感世界文学天地
好医生频道
保健养生疾病防治行业资讯名医谈健康 医生专栏食疗跑步
经济频道
国内宏观海外经济产经商贸时尚消费电商眼球儿企业故事专栏评说识局经济