随着摩尔定律的放缓,传统的指令集架构面临着内存墙问题,芯片有效算力的发挥受到制衡,人工智能算法的快速发展又对算力支撑提出了更高的需求,市场亟需高性能、低延时、高算力性价比的商用AI芯片,需要创新的架构解除算力的使用限制。

为加快AI芯片的发展,聚焦于未来更加广泛的AI推断算力需求,开展AI推断芯片及相应开发工具链的研发,一直专注于人工智能底层芯片的研发的英国皇家工程院院士、帝国理工学院教授——陆永青Wayne Luk院士提出定制计算这一新的AI计算方式。定制计算的提出,激发了业内AI计算架构设计工程师的新思路,面对人工智能芯片的峰值算力将逐步趋近饱和,而架构效率将成为芯片性能的决定因素,借鉴定制计算的原理,推出了实现突破指令集架构算力运用边界的全新AI计算架构——“数据流架构”。

传统的指令集架构采用冯诺依曼计算方式,通过指令执行次序控制计算顺序,并通过分离数据搬运与数据计算提供计算通用性。数据流架构采用了数据流引擎的计算架构,它的显著特点就是能够大幅提高芯片利用率。

数据流架构是为深度学习神经网络定制的高性能AI计算架构。是通过数据流流动次序来控制计算顺序,消除指令操作导致的额外时间开销,让CNN网络、transformer类CV网络和GPT等大语言模型的算子级数据流图可以实现高效流水线运算。同时数据流架构可并行执行数据访问和数据计算,进一步减少计算单元的空闲时间,充分利用芯片的计算资源,从而提供更高的实测算力和算力性价比。

定制数据流架构与指令集架构的区别

现在大部分的 GPU、CPU 都是基于指令集的架构,应用层可以通过软件和编译器去将语言最终转化为机器的语言,即二进制的码,从而执行指令和操作,并保证对不同应用的兼容性。

相较于指令集,数据流的核心就是使每个时钟周期都能进行有效计算。数据不停流入计算单元并完成计算,得到输出后,最终数据将会被存储到内存中或流入下一个流水线操作。

数据流架构可以为特定应用场景提供更高的芯片利用率;而指令集架构虽然能提供更高的通用性,但其芯片利用率相对较低。两种架构产生差异的原因在于:

数据流架构完全依靠数据流转的方式来控制计算,从而消除了由于指令控制和数据搬运而产生的数据开销;

指令集架构通过指令控制来处理不同场景下的运算,提高了对不同计算需求的通用性支持。

数据流架构优势

提升算力利用率

在保持计算正确前提下,通过不断压缩每个空闲时钟推高芯片实测性能以接近芯片物理极限,让芯片内的每个时钟、每个计算单元都在执行有效计算;

高架构通用性

在保证每个算法在数据流架构上运行能够实现高芯片利用率的同时,数据流架构通用支持所有主流CNN算法、transformer类CV网络和GPT等大语言模型。

高软件易用性

通过专为数据流架构定制的编译工具链实现算法端到端自动部署,用户无需底层数据流架构背景知识,简单两步即可实现算法迁移和部署,降低使用门槛。

芯片的结构定义了如何处理数据,以及执行所需的计算。指令集架构运算方式都是从RF(内部高速数据存储的专用寄存器文件)读写数据并交给ALU(统一通用的计算单元)计算,如果数据不是已在 RF 中,则用额外的指令从内存加载数据,从而需要复杂的指令解码和发布逻辑,形成了寄存器溢出、流水线依赖、计算粒度太小的弊端,导致架构瓶颈限制了算力使用空间,给芯片计算资源利用上了一道枷锁。

随着人工智能迅速发展,AI算力需求与日俱增,与指令集架构不同的数据流架构,使用专用数据通道连接不同类型的高度优化的计算模块,基于配置硬件控制和状态寄存器,一边读写,一边计算,节省了数据传输时间与计算时间。利用分布式专用本地内存,提供不同的访问模式以适应不同的 AI 算子,打破指令级数据依赖,提供张量粒度的优化计算单元,消除取指令和指令解码的开销,给AI芯片计算开辟了另一条路。