一种基于嵌入式深度学习人脸识别装置的制作方法

本实用新型涉及一种基于嵌入式深度学习人脸识别装置。

背景技术：

随着终端设备大规模接入互联网，在终端设备上产生的海量数据在提供商业价值的同时，也对数据处理提出挑战。由于网络带宽有限，又要满足实时响应的需求，边缘计算成为发展的新趋势之一。

在嵌入设备等终端设备上做深度学习有几个天然的优势，第一就是在没有网络的情况下嵌入设备上也能直接做计算，第二就是直接在嵌入设备上计算避免了延迟的问题，不需要担心由于网络传输带来的延迟问题，第三就是数据存储在终端解决了一大部分的隐私问题。

当然目前一般只是把推理(Inference)部分放在终端设备，训练(training)部分还是可以在云端完成。

为了保证嵌入式深度学习能够实时、高效运行起来，目前传统的的纯ARM主控方案无法满足要求，主要原因是ARM芯片本身不适合深度学习这种复杂的运算。

技术实现要素：

本实用新型的目的在于提供一种基于嵌入式深度学习人脸识别装置，将ARM芯片与NPU处理单元相结合的方式，提出一套高效率、低成本的嵌入式深度学习的硬件解决方案去解决深度学习人脸识别的问题。

本实用新型采用的技术方案是：

一种基于嵌入式深度学习人脸识别装置，其包括USB摄像头采集单元、图像存储单元、ARM芯片控制单元、PCIE数据传输单元，NPU处理单元和图像结果显示单元；USB摄像头采集单元分别连接图像存储单元和ARM芯片控制单元，图像存储单元连接ARM芯片控制单元，ARM芯片控制单元通过PCIE数据传输单元高速连接NPU处理单元，NPU处理单元的输出的连接图像结果显示单元；

USB摄像头采集单元用于对当前场景的图像进行采集并通过USB接口传输到图像存储单元；图像存储单元用于保存前端USB摄像头采集传输过来的图像数据和训练模型文件；ARM芯片控制单元用于读取图像存储单元中保存的图像数据并进行图像预处理同时保存处理结果到图像存储单元的存储空间里；PCIE数据传输单元用于ARM芯片主控单元与NPU处理单元数据高速传输；NPU处理单元预载训练模型文件数据并对当前图像预处理的图像数据进行人脸检测和识别；图像结果显示单元用于将NPU处理单元识别的结果与图像预处理的图像合成后输出显示到显示器。

进一步的，USB摄像头采集单元由一个或多个USB摄像头组成。

进一步的，图像存储单元由DDR内存组成。

进一步的，ARM芯片控制单元的预处理包括图像滤波和图像特征提取。

进一步的，PCIE数据传输单元用于ARM芯片主控单元与NPU处理单元之间大容量训练模型数据、图像采集实时数据及识别数据的实时传输交互。

进一步的，图像结果显示单元，用于将NPU处理单元识别的结果与图像预处理的图像合成通过HDMI方式显示输出到显示器。

本实用新型采用以上技术方案，与现有技术相比具有以下有益效果：将ARM芯片通过PCIE数据传输单元与NPU处理单元相结合的方式，提出一套高效率、低成本的嵌入式深度学习的硬件解决方案去解决深度学习图像识别及分类的问题。本实用新型可广泛应用于如目标检测、人脸识别、缺陷识别等。

附图说明

以下结合附图和具体实施方式对本实用新型做进一步详细说明；

图1为本实用新型一种基于嵌入式深度学习人脸识别装置的结构示意图。

具体实施方式

如图1所示，本实用新型公开了一种基于嵌入式深度学习人脸识别装置，其包括USB摄像头采集单元，譬如:微软HD3000USB摄像头、图像存储单元，譬如：三星K4B4G1646D-BCK0、ARM芯片控制单元，譬如：瑞芯微RK3399 Pro、PCIE数据传输单元，譬如：Mini PCIe总线接口，NPU处理单元，譬如：Ceva XM6和图像结果显示单元，譬如：Mali T860 GPU；USB摄像头采集单元分别连接图像存储单元和ARM芯片控制单元，图像存储单元连接ARM芯片控制单元，ARM芯片控制单元通过PCIE数据传输单元高速连接NPU处理单元，NPU处理单元的输出的连接图像结果显示单元；

USB摄像头采集单元用于对当前场景的图像进行采集并通过USB接口传输到图像存储单元；图像存储单元用于保存前端USB摄像头采集传输过来的图像数据和训练模型文件；ARM芯片控制单元用于读取图像存储单元中保存的图像数据并进行图像预处理同时保存处理结果到图像存储单元的存储空间里；PCIE数据传输单元用于ARM芯片主控单元与NPU处理单元数据高速传输；NPU处理单元预载训练模型文件数据并对当前图像预处理的图像数据进行人脸检测和识别；图像结果显示单元用于将NPU处理单元识别的结果与图像预处理的图像合成后输出显示到显示器。

进一步的，USB摄像头采集单元由一个或多个USB摄像头组成。

进一步的，图像存储单元由DDR内存组成。

进一步的，ARM芯片控制单元的预处理包括图像滤波和图像特征提取。

进一步的，PCIE数据传输单元用于ARM芯片主控单元与NPU处理单元之间大容量训练模型数据、图像采集实时数据及识别数据的实时传输交互。

进一步的，图像结果显示单元，用于将NPU处理单元识别的结果与图像预处理的图像合成通过HDMI方式显示输出到显示器。

具体地，将USB摄像头采集单元由1个或多个免驱USB摄像头组成，如：微软USB2.0 HD3000摄像头；然后，图像存储单元由DDR3内存组成，如：三星K4B4G1646D-BCK0，如三星或现代的DDR3内存颗粒，主要用于保存前端USB摄像头采集传输过来的图像数据和训练模型文件。然后，ARM芯片，如RK3399 Pro的的ARM Cortex A72和CortexA53处理器，用于读取图像存储单元中保存的图像数据并进行图像预处理，如图像滤波，图像特征提取，同时保存处理结果到图像存储单元的存储空间里。通过PCIE数据传输单元，如Mini PCIE总线接口，高速传输训练模型数据，图像实时采集并预处理的图像数据到RK3399 Pro的NPU处理单元，如Ceva XM6，对当前图像预处理的图像数据进行人脸检测、识别得到人脸的位置，性别，年龄。最后用RK3399 Pro的Mali T860单元通过HDMI显示接口将人脸位置，性别和年龄与采集的图像合成输出到显示器。

本实用新型采用以上技术方案，与现有技术相比具有以下有益效果：将ARM芯片通过PCIE数据传输单元与NPU处理单元相结合的方式，提出一套高效率、低成本的嵌入式深度学习的硬件解决方案去解决深度学习图像识别及分类的问题。本实用新型可广泛应用于如目标检测、人脸识别、缺陷识别等。

上所述仅为本实用新型的较佳实施例，凡依本实用新型申请专利范围所做的均等变化与修饰，皆应属本实用新型的涵盖范围。