便携式图像目标检测装置的制作方法

本申请涉及图像识别技术领域，特别涉及一种便携式图像目标检测装置。

背景技术：

图像目标检测是计算机视觉技术的重要组成部分，主要通过提取图像特征，实现对目标的识别或定位。例如在产品的制造过程中，经常需要对生产或加工后的产品表面进行检测，以判断是否存在缺陷，由于采用人工检测的手段错误率高且效率低，近年来逐渐发展基于机器视觉的图像目标检测技术以代替人工检测。现有技术中，一般是利用FPGA作为采集芯片采集图像，然后将采集的图像传输至基于PC的CPU芯片，利用CPU芯片中运行的检测应用程序和检测算法(例如神经网络模型)对图像进行检测已对目标进行识别。基于PC CPU的计算机，以CPU为核心，外围加上协处理器、接口电路等组成，研制厂家多，技术也比较成熟，但体积大，不易实现小型化，功耗也比较高。而多媒体应用处理器(Multimedia Application Processor)具有体积小、功耗低等优点，扮演者便携式装置的大脑和心脏角色，给人们的工作带来方便。

技术实现要素：

鉴于以上问题，本申请的实施例提供一种便携式图像目标检测装置，其能解决上述背景技术部分的问题。

按照本申请的实施例的便携式图像目标检测装置，包括多媒体应用处理器单元、摄像输入单元、显示单元、内存单元和可编程逻辑单元；其中，所述多媒体应用处理器单元用于运行操作系统和图像目标检测应用程序；所述摄像输入单元与所述多媒体应用处理器单元连接，用于获取图像；所述显示单元用于显示操作系统和图像目标检测应用程序界面；所述内存单元分别与所述多媒体应用处理器单元和所述可编程逻辑单元连接，供所述多媒体应用处理器单元或所述可编程逻辑单元写入或读出数据；所述可编程逻辑单元与所述多媒体应用处理器单元连接，用于运行图像目标检测神经网络模型。

在上述图像目标检测装置的一实施方式中，所述多媒体应用处理器单元采用MIPS架构或ARM架构或INTEL架构。

在上述图像目标检测装置的一实施方式中，所述摄像输入单元包括CMOS摄像头或CCD摄像头或CIS摄像头或外接摄像头插接口。

在上述图像目标检测装置的一实施方式中，所述显示单元包括LCD显示屏幕或OLED显示屏幕。

在上述图像目标检测装置的一实施方式中，所述内存单元包括SDRAM或DDR。

在上述图像目标检测装置的一实施方式中，所述可编程逻辑单元包括至少一存储模块、至少一计算模块以及控制模块；所述至少一存储模块用于存储操作指令、运算数据和图像目标检测神经网络模型的权重数据；所述至少一计算模块用于根据所述操作指令、运算数据和权重数据执行图像目标检测神经网络模型计算中向量乘加操作以得到计算结果；所述控制模块与所述至少一存储模块、至少一计算模块相连，用于经由所述至少一存储模块获得操作指令，并且解析操作指令以控制所述至少一计算模块。

在上述图像目标检测装置的一实施方式中，还包括与所述多媒体应用处理器单元连接的人机接口单元、以太网单元、外存储器接口单元的至少一种。

在上述图像目标检测装置的一实施方式中，所述人机接口单元包括控制键或触摸屏。

在上述图像目标检测装置的一实施方式中，所述可编程逻辑单元通过DMA总线或AXI总线分别与所述内存单元和所述多媒体处理器单元连接。

在上述图像目标检测装置的一实施方式中，所述多媒体应用处理器单元、可编程逻辑单元，以及，所述DMA总线或AXI总线被实现在一个SOC上。

从以上的描述可以看出，本申请的实施例的方案中采用多媒体应用处理器单元与可编程逻辑单元结合，其中，多媒体应用处理器单元主要负责人机交互部分的工作，可编程逻辑单元主要负责神经网络模型运行部分的工作，通过两者间的数据交互实现图像目标检测，本申请实施例的方案具有体积小、功耗低的优点。

附图说明

图1为按照本申请的一个实施例的便携式图像目标检测装置的结构示意图；

图2为按照本申请的一个实施例的多媒体应用处理器单元与摄像输入单元的连接原理图；

图3为按照本申请的一个实施例的多媒体应用处理器单元与显示单元的连接原理图；

图4为按照本申请的一个实施例的可编程逻辑单元的示意图；

图5为按照本申请的一个实施例的使用多媒体应用处理器与可编程逻辑单元协同处理的架构示意图；

图6为按照本申请的一个实施例的多媒体应用处理器与以太网单元的连接原理图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

在本实用新型的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本实用新型的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本实用新型中的具体含义。

下文的公开提供了许多不同的实施方式或例子用来实现本实用新型的不同结构。为了简化本实用新型的公开，下文中对特定例子的部件和设定进行描述。当然，它们仅仅为示例，并且目的不在于限制本实用新型。此外，本实用新型提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

图1示出了按照本申请的一个实施例的便携式图像目标检测装置的结构示意图。如图1所示，便携式图像目标检测装置优选包括：多媒体应用处理器单元102、摄像输入单元104、显示单元106、内存单元108和可编程逻辑单元110。其中，多媒体应用处理器单元102分别与摄像输入单元104、显示单元106、内存单元108和可编程逻辑单元110连接，可编程逻辑单元110还与内存单元108连接。

多媒体应用处理器单元102可以采用包括MIPS架构或ARM架构或INTEL架构，主要用于运行操作系统和图像目标检测应用程序。操作系统例如但不限于windows Phone、Android、iOS、Linux操作系统。图像目标检测应用程序提供人机交互界面。多媒体应用处理器单元102是硬核，硬件结构固定，用软件进行调度。

摄像输入单元104包括CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)摄像头或CCD(Charge Coupled Device，感光耦合组件)摄像头或CIS(Contact Image Sensor，接触式传感器件)摄像头或外接摄像头插接口。摄像输入单元104用于获取图像。外接摄像头插接口例如但不限于USB接口、BNC接口等。图2以ARM处理器和USB接口为例示出了一实施例的多媒体应用处理器单元与摄像输入单元的连接原理图。

显示单元106包括LCD显示屏幕或OLED显示屏幕，用于显示系统界面和程序界面。图3以ARM处理器和LCD显示屏幕为例示出了一实施例的多媒体应用处理器单元与显示单元的连接原理图。

内存单元108包括SDRAM(同步动态随机存储器)或DDR(双倍速率同步动态随机存储器)，内存单元108供多媒体应用处理器单元102和可编程逻辑单元110写入或读出数据。例如，多媒体应用处理器单元102将摄像输入单元104获取的图像数据、神经网络模型参数和指令等写入内存单元108中，可编程逻辑单元110从内存单元108读取图像数据、模型参数和指令执行图像目标检测神经网络模型的运算处理，并将运算处理的结果写入内存单元108，多媒体应用处理器单元102从内存单元108读取运算处理结果，根据运算处理结果输出图像目标检测结果。

可编程逻辑单元110是可编程的硬件逻辑，硬件结构可变。例如，可编程逻辑单元110可以是FPGA。可编程逻辑单元110用于运行图像目标检测神经网络模型。图4示出了一实施例的可编程逻辑单元的示意图。如图4所示，可编程逻辑单元110包括至少一存储模块、至少一计算模块以及控制模块；至少一存储模块用于存储操作指令、运算数据和图像目标检测神经网络模型的权重数据；至少一计算模块用于根据操作指令、运算数据和权重数据执行图像目标检测神经网络模型计算中向量乘加操作以得到计算结果；控制模块与至少一存储模块、至少一计算模块相连，用于经由至少一存储模块获得操作指令，并且解析操作指令以控制至少一计算模块。其中存储模块包括输入数据存储模块、输出数据存储模块、权重存储模块和指令存储模块。

可编程逻辑单元110可通过DMA总线或AXI总线分别与多媒体应用处理器单元102和内存单元108连接；多媒体应用处理器单元102还与DMA总线或AXI总线连接，通过控制DMA总线或AXI总线以在内存单元108和可编程逻辑单元110之间传输指令和数据。图5以DMA总线为例示出了一实施例的使用多媒体应用处理器与可编程逻辑单元协同处理的架构示意图。如图5所示，可编程逻辑单元110设置有：复杂计算核、输入buffer、输出buffer、控制模块和直接存储器访问(DMA)。其中，复杂计算核包括至少一计算模块。芯片缓冲区包括输入buffer和输出buffer，准备计算模块使用的数据并存储结果。控制模块获取指令、对指令解码(如需要)，以及对可编程逻辑单元110中的模块进行调配(除了DMA)。DMA用于传输内存单元108和可编程逻辑单元110之间的数据和指令。图5所示的硬件架构仅是功能划分，多媒体应用处理器单元102与可编程逻辑单元110的界限并不绝对。例如，具体实施时，多媒体应用处理器单元102、可编程逻辑单元110，以及，DMA总线或AXI总线可以实现在一个SOC上，例如xilinx的Zynq芯片。内存单元108可以由另一个存储器芯片实现，与SOC芯片相连接。

继续参照图1，在本实施例的一实施方式中，便携式图像目标检测装置还可包括与多媒体应用处理器单元102连接的人机接口单元112、以太网单元114、外存储器接口单元116的至少一种。人机接口单元112可包括控制键或触摸屏。以太网单元114可以由以太网芯片例如DM9000、网络变压器和RJ45接口组成，以太网单元114用于与网络设备连接。外存储器接口单元116例如可以是USB接口。图6以ARM处理器和以太网芯片为例示出了一实施例的多媒体应用处理器与以太网单元的连接原理图。外存储器接口单元116与多媒体应用处理器的连接原理图可参考图2。

本实施例便携式图像目标检测装置在运作时，多媒体应用处理器单元102运行图像目标检测应用程序，将图像目标检测神经网络的权重数据、控制指令以及摄像输入单元104获取的待检测图像数据传输至内存单元108，可编程逻辑单元110从内存单元108获取相关数据后执行图像目标检测神经网络的计算操作，从而得到待检测图像的处理结果，该处理结果可以是经图像目标检测神经网络处理后的待检测图像的特征值，可编程逻辑单元110将处理结果传输至内存单元108，多媒体应用处理器单元102可以通过图像目标检测应用程序调取系统中的机器视觉库，将待检测图像的特征值与机器视觉库中的样本特征值进行比对，从而得到识别结果并输出。

从以上描述可以看出，本申请实施例的的方案中采用多媒体应用处理器单元与可编程逻辑单元结合，其中，多媒体应用处理器单元主要负责人机交互部分的工作，可编程逻辑单元主要负责神经网络模型运行部分的工作，通过两者间的数据交互实现图像目标检测，本申请实施例的方案具有体积小、功耗低的优点。同时，本申请实施例的方案通过可编程逻辑单元对神经网络模型进行处理和并行加速，相较于软件运行算法，提高了检测识别速度以及稳定性，并且硬件电路可以灵活改变，便于后期算法优化和系统升级。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。