完整的事件处理是基于刚才提到的流处理技术,我们要有一个主流的语言,这个语言可以进行表达,比如说SQL。而在这个基础之上我们可以进行一些KPI的计算,比如说计算出一个员工他在过去十分钟当中的绩效,从而进行KPI的定义,我可以进行一部分的修正,比如进入的人不到十个人,我可以来进行计算,这就是我们说的CEP。
再就是模型匹配引擎,模型匹配引擎需要把不同具体的事件进行连接,从而去找到事件与事件之间的模式,比如说五分钟之后,从A到了B,然后你又从B到了D,我们在四者之间有些是有联系,有些没有联系,所以这就要求我们找到他们之间的联系和匹配。而我们的第一个事件,而在时间当中所发生的事件需要我们进行一个匹配,所以这就是让我们真正去定义并且决定事件与事件之间的关系,我们在这一个领域有各种研究项目,比如说有来自于美国一个大学的项目,还有其它的项目,比如说达拉斯大学进行网络管理和预期的项目,华为有PME的项目。正是因为这些技术是我们需要的,才能够定义事件与事件的关系。
这里给大家展示华为所取得的成果,在这里已经建立了起,来了一个基于学术的研究成果所开发起来的语言,这个语言基于百度基础来使用的 ,我们在这个过程当中,我们发现这一个语言它其实既可以实现CEP,也就是我们所说的它可以去表现事件与事件之间的关系,而且它还可以进一步拓展所能够采用的语言。我们可以实现代数的转换,而且我们也发现在这两者之间我们可以把两种语言直接在同一个平台上面进行整合。而在这一个整合当中我们还可以进行运行优化,帮我们更好提高执行率。
我们把这两个代数的模型进行融合之后,我们就可以更好的去减少数据处理的限制。而且我们还可以产生一些静态的,我们可以在静态机器上面进行处理,这就是我们所建立起来的架构。首先它的灵活性更快,更好,因为它有不同的语言进行融合,而且我们可以实现的是每核每秒80ev的速度,这就是PME的优势。
我们什么时候来使用流处理,你会问到这个问题,我们要使用流处理,比如说我们要了解在工作领域了解缺陷区域,比如说无论对于过滤和运用都需要找到盲点和缺陷点,无论对于市场营销还是动态管理要求我们找到需要进行改变的一些情景,你就需要可以PME来进行文本的表达。
现在已经有了工具和框架,接下来的核心就是要生成内容,需要文本它是可以非常精准体现这个场景。我们要完成这一点就需要进行批次数据挖掘,这是非常重要的。我们要看一下,在这方面有哪些按纽可以使用,我们要建立起一个相应的结构,我们也有一些非常简单的用户实例,到底怎么来进行使用,给大家举一些例子。另外我想补充一句,如果我们进行架构的建立,可以看到红色部分,红色部分就是我们要采取一些决策而且要进行批次的处理。看看我们到底怎样来进行扩展,让我们的功能可以拓展到更上一层。
今天下午也提到了架构,那我们来看看Lambda的是怎样的呢?在这里你可以看到2010年的时候,Nathan Marz发布了Lambda架构的描述,他的想法 希望可以去处理或者获得一些数据信息,比如说想要计算KPI,你可以在推特或者微博上面把这个信息进行测算,计算你的KPI,而且你可以实现实时处理。随着实现了ID之后实时数据之后,我们也需要去想怎么样更好计算出来KPI,我们获得数据,然后再进行数据的预先计算和处理,然后我们就会创造出来一套的数据组集,这个数据组集就是KPI的组合,随后就会发现在前端,我们的前期的事件,那这个事件它是有属于它的数据子集,客户希望有最新的值,那你可以把这些值进行融合挑选出来最新的值,这就是我们所说的架构。