一种低功耗视觉目标检测和识别装置及方法

本发明涉及计算机和微电子，具体涉及一种低功耗视觉目标检测和识别装置及方法。

背景技术：

1、视觉目标检测和识别技术旨在定位和识别图像中存在的物体，属于计算机视觉领域的经典任务之一，也是许多计算机视觉任务的前提与基础，在自动驾驶、视频监控等领域具有重要的应用价值。

2、视觉目标检测和识别主要基于传统机器视觉算法以及深度学习算法。传统机器视觉算法依赖人工设计视觉特征检测器，每个检测器都是针对具体应用，所述检测器一般拥有较快的运行速度和较低的检测功耗，对硬件要求低，但是往往精度差，泛化能力弱。基于深度学习算法的视觉目标检测和识别以神经网络为基础，特征提取的过程是自学习的，检测和识别精度高，泛化能力比较强。所述神经网络在运算过程中会调用大量权重参数进行多次处理，占用海量缓存。在保证识别性能前提下，对硬件要求高且功耗很高。

3、当前市场上视觉目标检测和识别设备中，所使用的检测和识别方法受限于现有硬件而较为单一。如果只使用传统低精度视觉检测和识别方案，检测和识别精度较低(该方法已基本淘汰)；或是使用单纯针对深度学习算法应用的神经网络开发的专用硬件(例如卷积神经网络处理器(npu))，进行不间断的高功耗的检测和识别运算。

4、现有方法在应用场景无待检测目标的情况下，依旧使用高性能高精度的神经网络处理器(npu)进行视觉检测和识别，造成功耗浪费。不能依据场景情况主动降低自身计算量以降低功耗，灵活性差。

技术实现思路

1、本发明的目的是为了解决现有单一识别方案中灵活性差的缺陷，提供一种低功耗视觉目标检测和识别装置及方法。基于场景自适应方式的检测和识别单元自动切换以及电源控制，在保证检测和识别精度不变的前提下，降低检测场景无目标时的能量消耗，解决单一识别方案的灵活性差问题。

2、本发明的第一个目公开了一种低功耗视觉目标检测和识别装置，所述低功耗视觉目标检测和识别装置11包括内部封装的视频流格式转换单元111、第一总线互联单元112、电源管理单元113、神经网络处理器单元npu114、协处理器单元115、低功耗运动目标检测单元116、显示输出单元117、第二总线互联单元118以及外部内存控制单元119，所述低功耗视觉目标检测和识别装置11还包括与外部设备连接的视频流输入接口15、外部内存接口16、显示输出接口13和目标信息输出接口12；

3、其中，所述视频流格式转换单元111将视频流输入接口15输入的视频流数据转换成标准总线数据流，并传输至第一总线互联单元112，标准总线数据流作为神经网络处理器单元npu114和低功耗运动目标检测单元116的标准数据来源；

4、所述第一总线互联单元112与协处理器单元115相连，并通过协处理器单元115控制标准总线数据流流向，在不同识别模式下，分别将标准总线数据传输到连接的神经网络处理器单元npu114和低功耗运动目标检测单元116，同时传输一路标准总线数据通过外部内存控制单元119写入外部内存；

5、所述电源管理单元113由协处理器单元115发送命令控制神经网络处理器单元npu114，低功耗运动目标检测单元116和显示输出单元117的电源供应；

6、神经网络处理器单元npu114对应用场景进行快速且高精度的目标检测与识别，是为深度学习算法在视觉目标检测和识别应用中开发的专用计算单元，使用较多硬件资源，满功率运行时功耗较高，所述神经网络处理器单元npu114电源由电源管理单元113控制；

7、协处理器单元115用于对神经网络处理器单元npu114、低功耗运动目标检测单元116和显示输出单元117的电源控制和数据流方向调度，输出检测目标信息到目标信息输出接口12；协处理器单元115辅助神经网络处理器单元npu114完成全连接层运算和激活函数运算；协处理器单元115辅助低功耗运动目标检测单元116的帧间差分图像二值化阈值计算；所述低功耗运动目标检测单元116基于视频流帧间差分运算实现对画面中出现的运动物体进行检测，低功耗运动目标检测单元116占用较少硬件资源并拥有较低运行功耗，可实现快速对画面中出现的运动物体进行检测，并且低功耗运动目标检测单元116电源由电源管理单元113控制；

8、所述显示输出单元117通过第二总线互联单元118以及外部内存控制单元119访问外部内存读取写入的标准视频数据，并接收来自协处理器单元115的检测目标信息，在视频图像数据中绘制检测目标信息后输出至连接的显示输出接口13；

9、所述第二总线互联单元118用于控制神经网络处理器单元npu114、协处理器单元115、低功耗运动目标检测单元116、显示输出单元117到外部内存访问数据流；

10、所述外部内存控制单元119用于实现外部内存和内部标准数据流间转换的数据交换，并与外部内存接口16相连。

11、进一步地，所述识别模式包括低功耗模式和高性能模式，低功耗模式和高性能模式的区别在于使用不同功耗和不同数量的功能单元。由于低功耗运动目标检测单元116使用的硬件资源少，运行时的功耗很低，在检测场景长时间无目标的情况下使用低功耗运动目标检测单元116能够减少功耗，所以在低功耗模式下，通过协处理器单元115将标准总线数据传输到连接的低功耗运动目标检测单元116；由于神经网络处理器单元npu114是使用大量硬件资源实现并行化深度学习推理任务，运行时功耗很高，能提供高精度的目标检测和识别信息结果，在识别场景有待识别目标时需要使用神经网络处理器单元npu114保证识别精度和场景应用。所以在高性能模式下，通过协处理器单元115将标准总线数据传输到连接的神经网络处理器单元npu114。

12、进一步地，所述视觉目标检测和识别装置的功耗控制的主要方式，是通过管理功能单元的电源开关，所述电源管理单元113由协处理器单元115发送命令进行控制，在不同模式下可配置关闭不使用的功能单元的电源以降低功耗。

13、进一步地，所述显示输出单元117使用直接内存访问dma技术。

14、本发明的第二个目公开了一种低功耗视觉目标检测和识别方法，所述低功耗视觉目标检测和识别方法拥有低功耗模式和高性能模式两种模式，过程如下：

15、视频流数据输入视频流输入接口15，经视频流格式转换单元111转换成标准数据流格式；

16、进入高性能模式，标准数据流经由第一总线互联单元112进入神经网络处理器单元npu114进行高精度的目标检测和识别，协处理器单元115通过控制电源管理单元113关闭低功耗运动目标检测单元116电源，并通过目标信息输出接口12输出目标检测和识别信息；

17、当神经网络处理器单元npu114在检测和识别场景中超过设定时间没有待检测目标时，协处理器单元115自动切换至低功耗模式，控制标准数据流由第一总线互联单元112进入低功耗运动目标检测单元116，协处理器单元115通过控制电源管理单元113关闭经网络处理器单元npu114电源，此时将以较低功耗保持在对检测和识别场景中的运动目标检测状态。

18、降低检测和识别功耗；

19、转入低功耗模式，当检测到场景中出现运动目标后，协处理器单元115切换至高性能模式，使用神经网络处理器单元npu114进行高精度的目标检测和识别，保证检测和识别精度。

20、进一步地，在低功耗模式下，因为场景中没有待检测目标，使用显示输出单元117对空白检测场景进行显示会造成额外的功耗浪费，所以协处理器单元115通过控制电源管理单元113关闭所述显示输出单元117的电源以降低功耗。

21、进一步地，在高性能模式下，需要对识别到的目标信息叠加至检测场景图像上加以显示输出，进行正常的场景应用。协处理器单元115控制第一总线互联单元112到外部内存控制单元119的数据流通道开启，缓存经转换后的标准视频流数据进入外部内存，并由协处理器单元115控制电源管理单元113开启显示输出单元117的电源，显示输出单元117通过第二总线互联单元118以及外部内存控制单元119，从外部内存中提取出视频流帧图像，并接收来自协处理器单元115输出的目标信息数据，在视频流帧图像中绘制识别框和添加数据信息文字后得到输出帧图像。将输出帧图像编码成标准的sdi视频流，从显示输出接口13进行输出；

22、本发明相对于现有技术具有如下的优点及效果：

23、(1)本发明使用硬件架构融合方式，基于检测和识别场景状态的自适应模式切换，在无需高性能识别的无目标场景下主动降低硬件功耗，从而带来整体平均功耗的降低；

24、(2)本发明基于硬件方式的检测和识别模式切换，响应速度较纯软件实现方式快很多，不会因此造成误检测或漏检测；

25、(3)本发明可实现于多种平台且成本低，包括专用集成电路(asic)或现场可编程门阵列(fpga)中，也可直接在现有基于卷积神经网络硬件的目标检测和识别框架中添加少量分立单元组件实现。