4 Vitis AI的应用案例
一个典型的传统软件开发人员和AI结合的例子。例如对视频的数据进行预处理,然后通过AI进行输出,再进行后处理,预处理和后处理都是软件,中间通过AI。
例如假设开发人员要通过这一条流线以6 FPS(每秒帧)的速度进行显示。如果在CPU上运行,是6 FPS。如果在Vitis数据流流水线中,可以达到80 FPS(如下图)。
具体地,在FPGA或1个GPU上,要对AI进行加速,可以看到从6激增到30这么大的提升。如果是用GPU也就到这么多了,不可能再有更多的改善了。在FPGA上你可以决定对预处理部分加速,还是对后处理部分进行加速。这样就达到了40 FPS。 最下面一行,可以进行流水线的优化处理,不用等着这一帧处理完毕就可以进行下一帧的处理,这样就可以达到80 FPS的速度,而软件层面的开发人员完全没有必要了解这些硬件的技能,就可以达到这样的效果。
早期Vitis和Vitis AI试用的客户,有从事自动驾驶的北京小马智行、汽车一级供应商日立公司的摄像头识别,韩国三星的5G部署等。
5 如何降低FPGA的开发门槛
赛灵思和多个FPGA平台合作,包括AWS,中国有BAT。基本上有两个方法解决这个问题。①通过Vivado,这个比较难,因为涉及到硬件的设计和模拟。②几年前赛灵思推出了SDAccel,它算是Vitis的鼻祖。赛灵思的FaaS(FPGA即服务)合作伙伴现在没有更新它们的系统,预计2020年上半年会全部更新。因为赛灵思的Vitis和Vitis AI库容量非常丰富,所以会帮助他们大幅加速FPGA应用。
实际上,Vitis和Vitis AI是抛砖引玉——采用免费的模式,主要从硬件那边赚取利润。
一个问题是:在深度学习做加速这方面,虽然现在FPGA成长快,但是在AI培训方面,比较主流的还是GPU居多,一方面是因为GPU硬件性能高,另一方面,英伟达在软件工具方面针对各个垂直领域做了很多工作。那么,Xilinx推出Vitis平台之后,是不是有助于加速到各个垂直应用的进程?
Ramine Roane解释道,GPU在AI培训上的市场份额很大,但在AI的推断上面效率并不是很高。AI推断最大的市场份额还是由CPU占据的,不过现在CPU加速的效率还不是很高,例如在边缘的一个案例是北京小马智行公司的自动驾驶,时延是一个很大的问题,GPU最大的问题是时延太高了。不过,过去人们认为FPGA有点难用,需要用硬件开发,所以Vitis、Vitis AI的推出,就是为了降低这个难度。