DSP实现的特征提取图像传感器的制作方法

本发明涉及数字图像处理、卷积神经网络领域，特别是涉及dsp实现的特征提取图像传感器。

背景技术：

图像特征提取，一方面可以减少所要传输图像的数据量，另一方面能解决直接监控图像，导致的隐私暴露和泄密的问题。特别是在居家养老，对老人活动的监控，对病人的呼吸监控、情绪监控等，直接监控图像特征，而不是直接监控清晰图像，其应用更加简便。

dsp（digitalsignalprocessor）作为专用可编程电路，在许多领域都得到了广泛应用，特别是在数字信号处理和图像处理方面更具有优势和巨大的前景。

现有基于cpu或gpu的卷积神经网络方案提取特征图像,在用户端部署时，无法兼顾实时性、功耗以及便携性的要求，而dsp具有强大的并行处理能力和超低功耗优点，可以将部分或整个卷积神经网络部署在dsp上。

技术实现要素：

本发明公开一种dsp（数字信号处理）特征提取图像传感器，由通用ccd/cmos数字图像传感器、dsp卷积神经网络、图像缓存单元、无线数据传输模组和网络传输模组组成。在所述的dsp卷积神经网络上实现一层卷积层、一层relu激励层和一层池化层构建部分卷积神经网络，卷积层用于提取图像特征，池化层用于特征图像的降维处理。一个完整的卷积神经网络被分为两部分，其另一部分部署在云前端，与所述dsp部署的卷积神经网络一起构成完整的卷积神经网络。该完整的卷积神经网络可以被训练，用于图像监控、检测物体及目标追踪。这种dsp实现的特征提取图像传感器，具有功耗低，处理速度快的优点，在用于特定场景监控时，可以降低对传输带宽的需求，还可以避免直接传输图像所带来的隐私或泄密问题。

作为优选方案之一，所述的特征提取图像传感器由通用ccd/cmos数字图像传感器、dsp卷积神经网络、图像缓存单元、无线数据传输模块和网络传输模块组成。

优选地，所述的通用数字图像传感器是目前市面上普遍使用的ccd和cmos图像传感器经过数字化，其图像清晰度决定图像的大小，由具体应用需求所确定。

优选地，所述的dsp卷积神经网络单元是一个图像特征提取卷积神经网络，该卷积神经网络只是完整卷积神经网络的一部分。我们把一个完整的cnn分为两部分，一部分部署在所述的dsp卷积神经网络处理单元上，另外一部分部署在云前端，该两部分组成的cnn可以通过大数据训练，完成图像特定特征提取，满足特定图像监控需求。

优选地，所述的完整cnn可以训练完后，再将该cnn分成两部分，将前端输入、部分卷积处理层，直接部署到dsp卷积神经网络单元上，不需要再训练。

优选地，所述的图像缓存单元用来缓存中间图像和特征图像数据。

优选地，所述的无线数据传输模块，用来将dsp卷积神经网络处理好的特征图像数据通过无线网络传输给前端卷积神经网络再作进一步处理。所述的无线数据传输模组，可以是4g/5g移动数据传输模组，特征图像数据将通过移动数据网络传输；也可以是wifi数据传输模组，特征图像数据将通过wifi网络传输。

优选地，所述的网络传输模块，可以是以太网传输模块，用来将dsp卷积神经网络处理好的特征图像数据通过网络传输给前端卷积神经网络再作进一步处理。

作为优选方案之二，所述的dsp卷积神经网络至少有一个卷积层、一个relu激励层，和至少有一个最大池化层。

进一步，可以再部署一个drop层，用来减少输出数据，或通过随机丢掉某些特征数据，防止他人通过获取所述特征图像传感器的输出还原原始图像信号。

优选地，所述的卷积层用来处理由所述的通用数字图像传感器采集的数字图像信号，通过卷积处理提取其特征图像。

进一步，所述的激励层将对所述卷积层处理后的特征图像做非线性处理，并增加被激活的神经元数。

进一步，所述的最大池化层，通常采用2×2的卷积核处理，取其最大值表示卷积结果，达到将出来后的特征图像维度降低一半的目的。

作为优选方案之三，所述的完整卷积神经网络在具体应用时可以选择已有的经典卷积神经网络，如，alex-net、googl-net、resnet、densenet及其这些典型卷积神经网络架构的延申和互补构建的卷积神经网络。

优选地，在物体识别与目标追踪任务处理时，可以采用诸如，r-cnn（卷积特征）、spp-net/fastr-cnn（卷积特征）、fasterr-cnn（卷积特征）、yolo(v1&v2)（卷积特征）、ssd（卷积特征）等复杂的卷积神经网络。

优选地，所述的完整卷积神经网络被分为两部分，前端处理部分，即简单部分，部署在所述dsp特征提取图像传感器的dsp卷积神经网络单元，另一部分部署在前端，由于前端采用的是具备超级计算能力的卷积神经网络处理系统，可以处理复杂的图像分类和物体检测与追踪任务。

进一步，由于所述完整地卷积神经网络之复杂部分部署在前端，可以将其视为云服务系统，可供所有在dsp卷积神经网络单元部署了同样的部分卷积神经网络的特征提取图像传感器，共同使用云部分卷积神经网络，完成对大范围图像分类监控、物体的检测和追踪任务。数据的传输通过网络实现。

本发明的有益效果是：

在dsp实现部分卷积神经网络，如，一层卷积网络作特征提取，一层激励层，和一层池化层做降维处理。将另外一部分卷积神经网络则部署在云端，两部分卷积神经网络构成完整的卷积神经网络。大大降低了用户端实时处理难度，既满足了特征提取图像传感器简单化，易实现的要求，还具备功耗低，处理速度快，实时性好的优点。同时，通过在云端部署复杂的卷积神经网络的那一部分与特征提取图像传感器端部署的那一部分构成完整卷积神经网络，可以应用典型的卷积神经网络处理监控图像分类，物体识别和目标追踪精度任务，还可以创新更为复杂的综合处理架构，提供处理效率和精度。

从通用图像传感器的原始图像采集信号中提取特定的图像特征，从而减少了传输、存储整幅图像的带宽和存储空间。对于不愿意暴露隐私，或不愿意被看到清晰图像的特殊监控需求，提供了一种特殊的图像特征监控方式。

附图说明

图1是本发明优选实施例的dsp特征提取图像传感器结构；

图2是本发明优选实施例在dsp卷积神经网络单元部署的卷积神经网络；

图3是本发明优选实施例的alex-net卷积神经网络分为两部分部署例；

图4是本发明优选实施例的特征提取图像传感器的处理流程。

具体实施方式

现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

图1是本发明优选实施例的dsp特征提取图像传感器结构，包括：101通用ccd/cmos数字图像采集单元，在此，优选cmos数字图像采集单元；102是dsp卷积神经网络特征提取单元，完成一个完整卷积神经网络的一部分卷积神经网络功能，例如，用一层卷积层做图像特征提取，用一层relu激励层作图像非线性处理，用一层最大池化层作图像降维处理；103、104是图像缓存单元，输入图像或中间特征图像数据在该单元缓存；104是以太网接口单元，处理后的特征图像数据通过该网口连接的网络送给前端；105是无线传输模块，处理后的特征图像数据通过该无线传输模块送给前端，该无线传输模块可以是4g/5g移动数据模块，也可以是wifi无线传输模块，前者通过移动数据网络将数据送往前端，后者通过wifi网络将数据送往前端。106是以太网接口，提供将数据送往前端的网络通道。

图2是本发明优选实施例在dsp卷积神经网络单元部署的卷积神经网络，201是第一层卷积层，在该实施列中，取输入图像大小为227ⅹ227，用卷积核11ⅹ11，步长s=4，的卷积核进行卷积处理，输出特征图大小为55ⅹ55；202是激励层，将输入的特征图大小为55ⅹ55的信号进行非线性处理，实现稀疏后的模型能够更好地挖掘相关特征，拟合训练数据；203是最大池化层，在该实施列中，池化层采用3ⅹ3卷积核，步长s=2的滤波器，处理后的输出特征图大小为27ⅹ27，有效地降低了输出特征图的维度。

图3是本发明优选实施例的将alex-net卷积神经网络分两部分部署实例，我们从310点将一个典型的alex-net卷积神经网络分为两部分，左边部分，301、302部署在所述的特征提取图像传感器上，右边部分，303、304、305、306、307、308、309部署在云前端。301是输入尺寸大小为227ⅹ227ⅹ3输入图像；用11ⅹ11，步长为4，96个滤波器做卷积处理后，输出为55ⅹ55ⅹ96个特征图像；再用核大小为3ⅹ3，步长为2，的滤波器做池化处理，将输出特征图降为27ⅹ27ⅹ96个特征图，如302所示，将所述的301、302部分卷积神经网络部署在所述的特征提取图像传感器上。

所述图3的alex-net卷积神经网络的另外一部分包含了，303是第2卷积层，包括作5ⅹ5，步长为1的卷积处理，接relu2，再用3ⅹ3，步长为2的池化处理，最后输出13ⅹ13ⅹ256个特征图；304是第3卷积层，3ⅹ3，步长为1的卷积处理，输出13ⅹ13ⅹ384个特征图；305为第4卷积层，3ⅹ3，步长为1的卷积处理，输出13ⅹ13ⅹ384个新的特征图；306是第5卷积层，3ⅹ3，步长为1的卷积处理，输出13ⅹ13ⅹ384个特征图，再经过池化层处理，降维至6ⅹ6ⅹ256个特征图输出；307是全连接层fc6，先用4096个神经元连接6ⅹ6ⅹ256个特征图输出，再dropout随机丢掉一些节点信息，得到新的4096个神经元；308是fc7，是与fc6类似的全连接层，有4096个神经元；309也是全连接层，用1000个神经元完成分类任务，所述的1000个神经元与fc7的4096个神经元连接，然后经过高斯滤波器，得到1000个float型的值，即预测的可能性。

图4是本发明优选实施例的特征提取图像传感器的处理流程；首先进入流程s401，采集图像经数字化处理后输出；再进入流程s402，将所采集的图像缓存；然后再进入流程s403，将缓存的图像送给dsp单元做卷积处理，该处理是对原始图像作特征提取；然后再进入流程s404，对做完特征提取后的特征图进行非线性处理，relu激励层处理；再进入流程s405，对激励层处理后的特征图进行最大池化处理；再进入流程s406，将处理好的数据缓存到缓存单元；最后再进入数据传输流程s407，可选择无线网络传输数据或有线网络传输数据，将经过特征提取的特征图传送给前端部署的另外一部分卷积神经网络进行进一步图像分类、物体识别或目标追踪处理。

以上述依据本发明的实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。