当前位置:科技 > 业界 > 业界动态 > 业界动态国内新闻 > 正文

Delaware教授高光荣:大数据核心技术(2)

2014-12-13 20:59:19  CSDN    参与评论()人

    有了这个作为基础我们可以开始谈引擎核心结构的演变。我觉得大数据引擎的分析技术有三项。一项是执行模型和结构的技术。第二个系统软件的技术。第三是引擎的编程模型和优化技术,这三项相辅相成缺一不可的,做HPC的这群人都有过痛苦的经验和深刻的教训,这三方向的发展,在大数据引擎上面这三项也是非常重要的。我今天主要的是Execution Model,执行模型定义的一个API,叫做Execution Model API,然后你发展使得这个模型的定义双方有一个无缝连接,使得它能够达到你所需要的目的。最新的观点在这个上面,是这个Execution Model不仅仅影响这一层API,它同时也影响其他层之间的关系。所以这个事情非常重要,什么是Execution Model?比如说1948年总结的,那个Execution Model活这么多年,所有我们的接口,所有我们串型运算的接口在软件方面硬件方面这么长,我们一直试图整个的领域把成功经验用到并行操作和并行系统的执行模型,很可惜到今天仍没有成功。它的data不仅是程序自身产生的和程序自身确定的静态确定的这些数据,而是需要有动态的数据,什么叫做动态数据?比如所有传感器来的数据。你把问题表现成数学模型化然后编程而是要考虑这些大量随机的事务,Execution Model接入的数据,使这两种数据都可以使你系统里面无缝的结合起来。数据流的Execution Model没有这个旧年,数据里面甭管是可抗性的还是不可抗性,没有想象有一个温度的不可抗性,这个依赖关系没有办法表述。原来1970,1971年,1972年,1980年,这里面证明了Execution Model一致性完整性所有这些都需要重新的考验。我的意思就是说这个事情不能忘记,我们做大规模的处理历史经验非常重要。

    什么叫做创新?创新意味着人类积累起来的知识不要忘记,在新环境下怎么让它适应Execution Model这是很重要一部分的创新。我们计算机系统领域有很大矛盾,我们常常非常容易的忘记过去,不是故意的,是事太多了,每年都在追,看看明年有什么,我赶快追,没有这个时间。

    下面我用一个动画说明下Execution Model,在执行实现的时候误区在哪?这个误区就是把OS的作用给误解了,我的老师就是OS发起人之一很有名,他去年得最大的奖,他两个贡献,数据流是第二项,第一项是他在操作系统上做的贡献。这个动画就是Mechine Runtime Syelem。这个不是那个Runtime Syelem,这个有很多机器模型实现它,硬件跟Execution Model之间总会有一些坑坑洼洼不齐的地方。比如说你要求某一项操作在你Execution Model上,但是它硬件上,它的指令系统上,或者它系统结构没有直接反馈它,这时候你要做一层软件,它的任务就是补漏洞。这一层软件跟OS没有关系,最大的错误就是让OS执行这套软件。如果你注意最近这三年,美国主要的研究,都是强调Runtime Syelem和OS的关系,Runtime Syelem就是Execution Model跟OS的关系。并不是说OS没有用,但是它的任务是跟Runtime的分工。

    系统软件上面并行多核,打破了传统OS控制打破了OS控制一体现象,支持高性能高扩展低能耗,弹性,面临空间的根本性的挑战。第三项有了这个系统,有了结构,当然你有编程模型和优化技术,我只想强调当前优化技术集中在静态优化方法,我们编程模型和优化技术都是假定,所有的都要用芯片来做,优化也是在这上面做。包括我自己的Execution Model做的一些工作都是假定硬件上有芯片,但是都是很小的规模,现在就是最重要的就是有动态调度,有并发多元管理在RUNTIME这里。李永辉教授今天上午的讲话,他第一条我听清楚了就是说即使在英特网上细颗粒度的监控,使得整体的计划变成动态的虚拟化,这个实际上跟那个是一回事,自调整都是建立在这个基础上,程序自己监控自己。

 

社会文史娱乐汽车科技旅游城市文化

新闻 军事 论坛 娱乐

新闻频道
国内国际社会评论文史专题经济新闻图库老照片
军事频道
军事要闻中国军情国际军情军事历史网友原创军事专题军事图库武器装备军事文化
汽车频道
车闻Update漫话车型漫记车映像实拍解析行业动态新车资讯独家评测汽车生活人文之旅
教育频道
留学移民高考中小学拒讲堂师说商道商论
游戏频道
游点意思网络游戏网页游戏单机游戏手机游戏军事游戏游戏产业发号中心游戏美女图说游戏囧游囧事
科技频道
业界互联网行业通信数码手机平板IT硬件相机笔记本家电产品库
旅游频道
X旅行视界目的地 美图发现社区
文化频道
专题非遗沙龙历史艺文博览读书图库书画禅文化
书画频道
资讯收藏展览在线展厅艺术家视觉专题
体育频道
国际足球中国足球NBACBA 综合体育图片汇总专题策划
视频频道
新闻军事中华出品原创娱乐纪录片微电影决胜海陆空
娱乐频道
明星电影电视音乐专题图库论坛
公益频道
老兵出镜老兵动态老兵资料库关爱老兵在行动公益组织公益人物
城市频道
城市聚焦城市设计城市生活城市策划城 市图赏城市加盟城市论坛
社区频道
中华论坛网上谈兵中华拍客社会时政国际风云生活消费休闲旅游美丽女人娱乐八卦经济风云情感世界文学天地
好医生频道
保健养生疾病防治行业资讯名医谈健康 医生专栏食疗跑步
经济频道
国内宏观海外经济产经商贸时尚消费电商眼球儿企业故事专栏评说识局经济