1、硬件平台
1.1 MCU
Micro controller Unit, 微处理器
在单片机上也能跑的AI算法,好神奇啊,比如MCUNet
1.2 CPU
Central Processing Unit,中央处理器
一般的框架都有CPU版本,当然速度会慢一些,在x86电脑上勉强能用,在嵌入式ARM板上几乎无法使用
1.3 GPU
Graphics Processing Unit,图形处理器
例如英伟达的各种显卡等,具有强大的通用并行运算。
使用图形处理器进行模型训练可以大幅度减少训练时间,从而更快地迭代和优化模型的性能。
NVIDIA边缘计算系列也常用来部署推理
参见NVIDIA边缘计算系列的算力和单位
本次部署演示,就是在NVIDIA Jetson TX2上进行
1.4 NPU
Neural Processing Unit 神经处理器
Neural Network Processing Unit,神经网络处理器
用于AI边缘计算推理,比如苹果iPhone12搭载的A14仿生芯片中的神经网络引擎;Intel的神经计算棒;
RK3588具有6TOPs 算力的 NPU
RK3568具有1TOPs 算力的 NPU
RV1126具有1.5TOPS算