在算力需求爆炸的大背景下，如何发挥出已有硬件的最大算力变得非常重要，直观一点是：我们需要对现有算法针对特定的处理器进行极致的性能优化，尽量满足目前AI算法对算力的高要求。
为了能够做到极致的性能优化，我们可能的方向有：
优化算法，使得算法能够在满足准确度前提下，访存和计算量尽量小
优化程序，使得实现这些算法的程序最大限度发挥处理器性能
在优化程序的过程中，首先要解决的问题是：如何评估程序发挥了处理器几成的算力，以及进一步优化空间和优化方向。
为了更懂我们的处理器，旷视MegEngine 团队开发了一个工具 MegPeak，可以帮助开发人员进行性能评估，开发指导等，目前已经开源。
GitHub项目地址：
https://github.com/MegEngine/MegPeak
点击文末的阅读原文，可了解更多MegPeak的使用方法、原理等
MegPeak功能
通过 MegPeak ，用户可以测试目标处理器：
指令的峰值带宽
指令延迟
内存峰值带宽
任意指令组合峰值带宽
虽然上面的部分信息可以通过芯片的数据手册查询相关数据，然后结合理论计算得到，但是很多情况下无法获取目标处理器详尽的性能文档，另外通过 MegPeak 进行测量更直接和准确，并且可以测试特定指令组合的峰值带宽。MegEngine团队使用MegPeak在几种常用ARM架构CPU上进行测试，根据对指令fmla的测试结果整理出下表。
其中，GFLOPS指标可以衡量设备的算力，而 FLOPS/Cycle指标可以帮助推测CPU的硬件特征。下面以A55/A77/Apple M1分别举例说明。
A55：由于每条指令fmla可执行两次浮点运算（包括一次乘法和一次加法），且测试得到的FLOPS/Cycle指标接近8，故可以推测A55的后端执行单元有一个128位浮点向量乘加单元或有两个64位浮点向量乘加单元。
A77：其FLOPS/Cycle指标约为16，所以每个周期A77可以执行2条SIMD的fmla指令，所以其后端有两个SIMD fmla执行单元，且后端至少是双发射的。
Apple M1：Apple M1的FLOPS/Cycle指标达到了32，说明其拥有4个SIMD执行单元。
用 MegPeak 测到的数据，可以用来干什么
MegPeak可以测试出处理器的内存带宽，指令的理论计算峰值，指令的延迟等信息，因此可以帮助我们：
绘制 Roofline Model 指导我们优化模型性能
评估程序的优化空间
探索指令组合的理论计算峰值
另外MegPeak还可以提供对理论的验证，如我们通过处理器频率单核单周期指令发射数量每条指令执行的计算量可以计算出理论计算峰值，然后我们可以通过MegPeak进行实际测量进行验证。
绘制指令相关的 Roofline Model
Roofline 模型被大量的使用在高性能计算中，是评估算法的可优化程度和优化方向的重要工具。使用 MegPeak 可以绘制出更加具体的关于指令对应的Roofline模型，如：在CPU中，不同的数据类型，虽然访存带宽不会改变，但是计算峰值差距比较大，比如在arm上 float 的计算峰值和 int8 的计算峰值差距很大。
评估代码优化空间
在优化具体算法的时候，可以通过MegPeak测试出kernel里面的主要指令的最大峰值，如在Arm上优化 fp32 Matmul 的时候，主要用到的指令是 fmla 指令，这时候可以测试程序实际运行的峰值，指令的峰值和程序的峰值差距越小，说明代码优化的越好。
另外，可以根据算法实现计算出计算量和访存量，并使用MegPeak绘制出上面的Roofline，通过计算实际的计算密度，然后再对应到Roofline中，如果计算密度落在上图中的绿色区域，说明程序需要更多考虑优化访存，提供更优的访存模型，如分块，提前pack数据等。如果计算强度的点落在灰色区域说明，代码已经最优了，如果还想进一步提速，只能考虑从算法角度进行优化了，如：在卷积中使用FFT，Winograd等算法进行优化。
探索最优指令组合
很多Kernel的优化不是单纯的某一条指令就可以衡量，可能需要多条指令的组合才能代表整个Kernel的计算，因此我们需要探索如何组织这些指令使其达到处理器最优的性能。下面列举在A53小核优化fp32 Matmul的过程中，由于Matmul是计算密集型算子, 考虑通过多发射隐藏访存指令的开销，使用 MegPeak 配合进行分析，探索如何组合指令实现尽可能多的多发射。
因为小核上面资源有限，指令多发射有很多限制，
首先使用MegPeak测试出 A53 上 fp32 的 fmla 指令的计算峰值，将其定义为100%峰值计算性能
测试哪些指令组合可以支持双发射
在MegPeak中添加 vector load 和 fmla 1:1组合的代码，然后测试其峰值仅仅为float峰值的36%，表明Vector load和 fmla不能双发射
同样可以测得通用寄存器load指令ldr+fmla的组合可以达到float峰值的93%，说明 ldr 可以和 fmla 双发射
同上可以测得 ins + fmla 能双发射，ins + vector load 64位 可以双发射
根据Matmul最内层Kernel的计算原理，如最内层Kernel的分块大小是8x12，那最内层需要读取：20个float数据，计算24次fmla计算
结合上面的 MegPeak 测试的信息，我们需要找到用最少时钟完成这20个float数据load，和24次fmla数据计算的指令组合，因此需要将尽可能多的数据load和fmla进行双发射，隐藏数据load的耗时
最后的指令组合是：
使用vector load 64指令 + ldr + ins组合成为一个neon寄存器数据，因为ldr和ins都可以和fmla双发射，把他们和fmla放在一起可以隐藏他们的耗时
在这3条指令中穿插fmla指令，并尽可能解决数据依赖
根据上面的指令组合可以使得Matmul在小核上达到计算峰值的70%左右。
总结
MegPeak 作为一个进行高性能计算的辅助工具，能够使得开发人员轻松获得目标处理器的内在的详细信息，辅助进行对代码的性能评估，以及优化方法设计。但是MegPeak也有一些需要丰富的方向:
支持获取更多的处理器性能数据，如：L1，L2 cache的大小，自动探索各种指令组合的双发射情况，并大概绘制出一个处理器后端的缩略图。如：https://en.wikichip.org/w/images/5/57/cortex-a76_block_diagram.svg
支持测量移动端OpenCL的更多细节信息，如：warp size，local memory 大小等。
如果有同学对上面的功能感兴趣，欢迎大家提交代码。最后欢迎大家使用 MegPeak。
