一种基于深度神经网络的端到端图像识别方法与流程

本发明涉及图像识别技术领域，尤其是一种从基于深度神经网络的端到端图像识别方法。

背景技术：

深度神经网络在图像识别领域具有独特优势，它能模仿人的眼睛的结构，视野域的高效识别，比传统的bp神经网络具有参数更少，识别效率更高等优点。图像识别是机器视觉的一个分支，在应用中需要准确的图像识别结果，且对时延也有一定要求。后续的执行机构，如机器人、小车等，需要根据图像识别的结果进行决策控制。

目前，深度神经网络技术已经在工程学、模式识别、工业机器人、机器视觉等方面得到了广泛的应用。鉴于图像识别的巨大市场，国内外相关的仪器公司都在该方面进行了布局，包括爱信艾达、精工爱普生、松下、杭州美盛红外光电技术有限公司、丰田等公司。一些国内研究机构也在图像识别方面有较多的专利储备，如一种基于卷积深度网络的图像识别算法及系统（申请号：201710144957.7）、一种基于改进的卷积神经网络的图像识别方法（申请号：201710895881.1）、一种基于vgg深度卷积网络的自然场景图像识别方法（申请号：201810130178.6）、卷积神经网络的训练方法、图像识别方法及装置（申请号：201610942156.0）等。

在图像识别方面，天津科技大学在2018年申报发明专利：一种用于图像识别的神经网络模型（申请号：201810526107.8），其涉及技术领域偏向图像识别算法方面；天津帕比特科技有限公司在2017年授权的发明专利：一种基于神经网络识别设备类型的图像识别方法（申请号：201710919179.4），该专利的技术方案其图像识别方案不具有通用性，没有完全集成在一起。在实际应用过程中，针对具体的任务，研究人员或工程人员通常想同时图像采集，训练，识别一体完成，并且算法，模型内置在模组装置中，且识别目标多样，算法通用性强。目前，尚未有集合图像采集、训练和识别的一体化图像识别模组的报道。

技术实现要素：

本发明的目的是针对现有技术的不足而设计的一种基于深度神经网络的端到端图像识别方法，采用卷积层提取图像信息和云端类似人类迁移学习新知识的方法,将获取的目标图像经打标分类后上传至云端服务器，基于深度神经网络对图像训练进行加速，完成训练后返回模型文件，并将其下载到图像识别模组中进行目标图像的识别，实现端到端模式的图像采集、训练和识别一体化，大大加快模型的收敛速度，并可为与图像识别有关的工业机器人、智能小车、智能分拣等领域内的应用研究和基础研究提供益处。

本发明的目的是这样实现的：一种基于深度神经网络的端到端图像识别方法，其特点是采用云服务器对上传的图像及打标分类数据进行基于深度神经网络模型的云端训练，且通过预训练模型对新的图像训练进行加速，完成训练后返回模型文件，并将其下载到图像识别模组，实现端到端的基于深度神经网络的图像识别，所述图像识别模组包括运算控制模块、摄像头模块和显示模块；所述摄像头模块将获取的目标图像经运算控制模块打标分类后与目标图像一起上传至云服务器；所述运算控制模块与摄像头模块和云端训练协同，依次实现目标图像的获取、训练和识别。

所述深度神经网络模型由卷积层、激活层或全连接层组成，卷积层提取图像信息，并根据图像识别的复杂程度，增加或减少深度神经网络的层数，进行人为的裁剪。

所述运算控制模块采用cpu、mcu或mmu运算器，以及与外界进行联络的通信器、模型下载和调试的入口。

所述图像识别模组搭载激光测距传感器和视觉模块，以方便嵌入到物体识别的场景中，其图像识别和测距结果通过显示模块进行屏幕显示，并由串口通信协议发送。

所述云端训练采用知识迁移加速模型收敛，以及对模型进行定点量化的方法，使模型更流畅地运行在嵌入式端中。

本发明与现有技术相比具有高效率和低延时的端到端图像识别，从图像采集到图像训练以及图像识别，整个过程完全是基于端到端的模组完成，用户不用关心其中的图像识别算法及其实现，结构简单，操作方便，不仅克服了单bp神经网络的缺点，同时减少了模型的参数量，提高了模型的泛化能力，提升了识别的速度，可以为高效的图像识别提供支持，并可根据实际要求进行相关调整，从而能够满足不同场景的应用需求。

附图说明

图1为本发明的系统架构示意图；

图2为图像识别模组结构示意图；

图3为云端图像训练流程示意图。

具体实施方式

参阅附图1，采用本发明采用图像识别模组与云服务器架构的端到端图像识别系统，图像识别模组将获取的目标图像经打标分类后上传至云服务器，且由云端训练对上传的图像及打标分类的数据采用基于深度神经网络的模型，并通过预训练模型对新的图像训练进行加速，完成训练后返回模型文件，并将其下载到图像识别模组中进行目标图像的实时识别，即每秒大于20帧；所述深度神经网络的模型采用卷积层提取图像信息，并根据图像识别的复杂程度，增加或减少深度神经网络的层数，进行人为的裁剪。

参阅附图2，所述图像识别模组由运算控制模块1、摄像头模块2和显示模块3组成，所述摄像头模块2将获取的目标图像经运算控制器1的图像标注和归类后上传到云服务器4，通过云端基于深度神经网络模型训练，且通过预训练模型对新的图像训练进行加速，大幅减少图像训练时间，将训练完成后的模型参数文件通过本地服务器5（蓝牙、wifi等无线）下载到运算控制模块1，实现端到端的目标图像的获取、训练和识别，其结果由显示模块3进行屏幕显示，并通过有线或无线方式将结果输出反馈给用户；所述运算控制模块1采用cpu、mcu或mmu运算器，以及与外界进行联络的通信器、模型下载和调试的入口；所述深度神经网络模型采用卷积层提取图像信息，并根据图像识别的复杂程度，增加或减少深度神经网络的层数，进行人为的裁剪；所述图像识别模组为基于人工智能的机器视觉模块，方便嵌入到物体识别的场景中，无需联网即可提供图像识别和目标检测，同时模块搭载激光测距传感器，以获取物体的空间距离，将感知空间由二维图像扩展到三维空间，其图像识别和测距结果通过显示模块3进行屏幕显示，并由串口通信协议发送。

参阅附图3，所述云服务器将上传的图片及分类数据采用知识迁移加速模型收敛，以及对模型进行定点量化的方法，使模型更流畅地运行在嵌入式端中，完成训练后返回模型文件反馈给用户。对于云端，用户只需上传图片数据以及分类标签，即可自动训练图像，用户拿到训练好的模型，下载到图像识别模组即可进行识别。在云端，如果用户选择目标检测模型，可以提供人工，标定图像的位置的服务。

通过以下具体实施例对本发明作进一步的详细说明。

实施例1

本发明用于智能小车，其设计目标是当检测到行人时自动降速，避障行驶，其使用是这样操作的：开发者访问采用本发明建立的网站，“模型商店”页面，挑选检测行人的模型，由于需要对行人进行识别和定位，选择图像识别模型与目标检测模型中的目标检测模型，对于检测行人的不同模型，有不同的识别准确率、召回率，以及模型的大小和识别一帧的时间。

在智能小车的应用实例中，开发者选择了识别准确度最高的模型并下载，通过电脑或者其他媒介将模型下载到图像识别模组中。图像识别模组中包含有摄像头的显示屏模块，用户烧入模型后即可运行识别。检测识别行人的结果由显示模块进行实时显示。所述图像识别模组设有调节识别灵敏度的旋钮、led辅助照明设备，以及设置广角、全景或无畸变等的摄像头供用户选择，用户可以通过串口命令，或者led开关键进行调节。图像识别模组将识别结果通过串口的方式，将画面中行人在照片中的位置、数量和准确度发回小车的主控，同时可以结合激光测距模块发回的信息，供小车主控调用，主控根据此信息做出判断，进而可以控制电机加速、减速或转向等。至此，开发者将图像识别模组接入到其智能小车中，使智能小车拥有视觉能力，完成一次交付。

实施例2

本发明用于智能水果结账系统是这样操作使用的：开发者访问采用本发明建立的网站，“模型商店”页面，挑选包含自己识别物体，以及适合自己的识别帧数、准确率的模型，如果没有，可以点击一键训练，训练属于自己的模型。由于只需对画面内的水果进行识别，无需对水果进行计数和定位功能，选择图像识别模型与目标检测模型中的图像识别模型。在训练自己的模型时，用户需要上传其各种水果照片，上传完成后点击训练即可开始。训练完成后发给用户模型，训练水果照片的准确率并交付模型。开发者得到模型后，可以电脑或者其他媒介，一键烧入到本地的图像识别模组中，图像识别模组中包含有摄像头的显示屏模块，用户烧入模型后即可运行识别，检测识别的结果由显示模块进行实时显示和反馈。图像识别模组设有调节识别灵敏度的旋钮，用户可以通过旋钮，调节识别的灵敏度。将图像识别模组接入智能水果结账模块中，可以调用图像识别模组的串口外设，在串口外设中实时输出识别结果和准确率。同时图像识别模组中拥有led辅助照明设备，通过串口命令，或者模组上的led开关键进行调节。至此，开发者将图像识别模组接入到其智能水果结账系统中，完成一次交付。

实施例3

本发明用于水中微生物检测系统是这样操作使用的：开发者访问采用本发明建立的网站，“模型商店”页面，挑选包含自己识别物体，以及适合自己的识别帧数和准确率的模型。如果没有，可以点击一键训练，训练属于自己的模型，在训练自己的模型时，用户需要上传其待识别的水中微生物。由于需要对微生物进行识别、计数并定位，选择图像识别模型与目标检测模型中的目标检测模型，上传完成后等待人工对照片进行标注，标注完成后准备训练，训练完成后发给用户，模型训练微生物照片的准确率并交付模型。开发者得到模型后可以电脑或者其他媒介，一键烧入到本地的图像识别模组中，图像识别模组中包含有摄像头的显示屏模块。用户烧入模型后即可运行识别，结合显微镜检测识别微生物的效果。识别结果由显示模块进行实时显示和反馈。图像识别模组设有调节识别灵敏度的旋钮，用户可以通过旋钮，调节识别的灵敏度。可以调用图像识别模组的串口外设，在串口外设中实时输出识别结果和准确率，同时图像识别模组中拥有led辅助照明设备，通过串口命令，或者模组上的led开关键进行调节。至此，开发者将图像识别模组接入到水中微生物检测系统中，完成一次交付。

本发明采用类似与人类大脑的迁移快速学习方法，大大降低了训练图片的需求量，加快了模型的训练速度，而传统的神经网络训练图像分类和识别时，往往时从零开始训练，并需要大量的图片进行训练。对于一个深度神经网络模型，其部署与电脑、服务器端往往占据储存空间较大，所需的内存也较大，这也让模型在移动，嵌入式端遇到巨大挑战。本发明优化了网络结构，使网络变深变窄，结合相对与传统卷积层大幅降低内存需求的可分离卷积操作，加强了网络的表现力和泛化能力，同时减少了参数量和内存需求，在差不多的准确率下，参数量和内存需求仅为传统神经网络的1/10到1/100。同时使用定点量化策略加快模型在移动，嵌入式端的运行帧数，在不改变模型大小的情况下，提高模型的准确率。

以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。