基于深度学习的图像处理系统及方法与流程
本发明属于图像处理技术领域，具体涉及基于基于深度学习的图像处理系统及方法。
背景技术：
深度学习(dl,deeplearning)是机器学习(ml,machinelearning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(ai,artificialintelligence)。
深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。
图像处理(imageprocessing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。
图像处理的各个内容是互相有联系的。一个实用的图像处理系统往往结合应用几种图像处理技术才能得到所需要的结果。图像数字化是将一个图像变换为适合计算机处理的形式的第一步。图像编码技术可用以传输和存储图像。图像增强和复原可以是图像处理的最后目的，也可以是为进一步的处理作准备。通过图像分割得出的图像特征可以作为最后结果，也可以作为下一步图像分析的基础。
技术实现要素：
本发明的主要目的在于提供基于深度学习的图像处理系统及方法，基于深度学习，通过对图像进行多个尺度、多个深度和多个类型的特征分析，采用图像截断和直方图化的方式，对图像进行处理，使得图像识别的准确率更高和图像处理效率更高。
为达到上述目的，本发明的技术方案是这样实现的：
基于深度学习的图像处理系统，所述系统包括：图像灰度直方图处理单元，配置用于基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布；神经网络处理单元，配置用于基于预先训练建立的图像处理模型，获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达，每个尺度对应3个深度和3种类型，针对每个尺度、每个深度和每个类型下的图像特征表达，进行多层采样和图像截断，然后进行全连接，输出全连接后的图像；图像截断单元，配置用于提供给神经网络处理单元，基于得到的灰度直方特性分布，对待处理的图像进行图像截断，筛除不相关信息的干扰；图像识别单元，配置用于基于输出的全连接后的图像，使用预设的图像识别模型，对图像进行识别。
进一步的，所述图像灰度直方图处理单元，基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布得方法执行以下步骤：在提取特征之前，对每一张图像进行阈值分割，得到二值化图像bw，将图像bw进行一次开闭运算，得到分割后的图像x；具体方法如下：获取多维灰度特征：
进一步的，所述神经网络处理单元，包括：卷积层、下采样层、多层采样层和全连接层；所述卷积层，由若干卷积单元组成，每个卷积单元的参数通过反向传播算法最佳化得到，配置用于获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达；所述下采样层，配置用于对图像特征表达，进行下采样，得到的下采样结果提供给多层采样层；所述多层采样层，配置用于对下采样结果进行多层采样，同时调用图像截断单元，进行图像截断；全连接层，配置用于对多层采样层处理后的结果进行全连接，输出全连接后的图像。
进一步的，所述卷积层获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达的方法执行以下步骤：构建一个10层的高斯金字塔，将待处理图像的中心作为高斯金字塔的第0层，以该中心为原点，按照同心圆的方式，以设定的半径，分别向外扩散，高斯金字塔的第1层图像通过0层图像与窗口函数w(m,n)卷积获得，等价于靠近圆心的第一层同心圆图像，将获得第一层的结果隔3行和隔3列降采样，即：
进一步的，所述全连接层，对多层采样层处理后的结果进行全连接，输出全连接后的图像的方法执行以下步骤：多个依次堆栈的反向全连接分支全连接不同尺度、不同深度、不同类型的输入图像阴影区域分割特征；首先第一个反向全连接分支全连接主干网络的多尺度特征，最深层开始全连接操作，逐渐全连接相邻两个层次的特征，生成的全连接后特征作为新的较浅层特征；在全连接两个层次的特征时，先将较深层特征上采样2倍，再通过特征拼接的方式进行特征全连接，最后通过一个卷积层获得最终的全连接后特征。
进一步的，所述第n个反向全连接分支由最深层开始，逐渐全连接主干网络多尺度特征，且特征尺度逐渐增大；在第n个反向全连接分支全连接过程中，将产生了多个中间层特征，而这些中间层特征也是不同尺度的，编码不同抽象层级的多类型特征；将第n个反向全连接分支产生的多个不同尺度、不同类型的特征看成待全连接的多尺度特征，并采用第n+1个反向全连接分支进行全连接，所采用的全连接单元进行的操作和第n个反向全连接分支是相同的，这样第n+1个反向全连接分支获得第n个反向全连接分支的多尺度特征的有效全连接。
一种基于深度学习的图像处理方法，所述方法执行以下步骤：步骤1：基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布；步骤2：基于预先训练建立的图像处理模型，获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达，每个尺度对应3个深度和3种类型，针对每个尺度、每个深度和每个类型下的图像特征表达，进行多层采样和图像截断，然后进行全连接，输出全连接后的图像；步骤3：基于得到的灰度直方特性分布，为步骤2对待处理的图像进行图像截断，筛除不相关信息的干扰；步骤4：基于输出的全连接后的图像，使用预设的图像识别模型，对图像进行识别。
进一步的，基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布得方法执行以下步骤：在提取特征之前，对每一张图像进行阈值分割，得到二值化图像bw，将图像bw进行一次开闭运算，得到分割后的图像x；具体方法如下：获取多维灰度特征：
进一步的，所述神经网络处理单元，步骤2包括：获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达；对图像特征表达，进行下采样，得到的下采样结果；对下采样结果进行多层采样，同时进行图像截断；对处理后的结果进行全连接，输出全连接后的图像。
进一步的，所述卷积层获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达的方法执行以下步骤：构建一个10层的高斯金字塔，将待处理图像的中心作为高斯金字塔的第0层，以该中心为原点，按照同心圆的方式，以设定的半径，分别向外扩散，高斯金字塔的第1层图像通过0层图像与窗口函数w(m,n)卷积获得，等价于靠近圆心的第一层同心圆图像，将获得第一层的结果隔3行和隔3列降采样，即：
本发明的基于深度学习的图像处理系统及方法，具有如下有益效果：本发明基于深度学习，通过对图像进行多个尺度、多个深度和多个类型的特征分析，采用图像截断和直方图化的方式，对图像进行处理，使得图像识别的准确率更高和图像处理效率更高；主要通过以下过程实现：1.灰度直方特性分布的获取，本发明基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布；这样做可以使得获取的图像的直方特性分布更加准确，相较于单纯的直接进行灰度直方处理，使用不同的灰度值范围的方式，可以更加细致地获取图像的直方特性分布，避免因为过于粗放的方式导致的误差；2.图像的卷积处理过程，本发明使用高斯金字塔进行图像的卷积处理，传统的高斯金字塔藉以产生不同尺度下的多组信号或图片以进行后续的处理，例如在影像辨识上，可以借由比对不同尺度下的图片，以防止要寻找的内容可能在图片上有不同的大小。高斯金字塔的理论基础为尺度空间理论，而后续也衍生出了多分辨率分析；本发明将高斯金字塔引入到图像卷积处理的过程中，可以获得多层次的卷积处理过后的图像，方便后续的图像全连接过程；3.图像的全连接过程，本发明的图像全连接将前述步骤每一个结点都与上一层的所有结点相连，把前边提取到的特征综合起来，获得的结果能够从多个尺度、多个深度和多个层次反映原始的图像，不管后续对该图像进行识别或者其他处理，都能获得更加准确的结果。
附图说明
图1为本发明的实施例提供的基于深度学习的图像处理系统的系统结构示意图；
图2为本发明的实施例提供的基于深度学习的图像处理方法的方法流程示意图；
图3为本发明的实施例提供的基于深度学习的图像处理方法的步骤2的方法流程示意图；
图4为本发明的实施例提供的基于深度学习的图像处理系统及方法的图像截断的过程示意图；
图5为本发明的实施例提供的基于深度学习的图像处理系统及方法的全连接层的结构示意图；
图6为本发明的实施例提供的基于深度学习的图像处理系统的神经网络处理单元的结构示意图；
图7为本发明的实施例提供的基于深度学习的图像处理系统及方法获取图像的灰度直方特性分布的直方图示意图；
图8为本发明的实施例提供的基于深度学习的图像处理系统及方法的问题图像比率和识别准确率的实验效果示意图与现有技术的对比实验效果示意图。
具体实施方式
以下结合具体实施方式和附图对本发明的技术方案作进一步详细描述：
实施例1
如图1所示，基于深度学习的图像处理系统，所述系统包括：图像灰度直方图处理单元，配置用于基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布；神经网络处理单元，配置用于基于预先训练建立的图像处理模型，获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达，每个尺度对应3个深度和3种类型，针对每个尺度、每个深度和每个类型下的图像特征表达，进行多层采样和图像截断，然后进行全连接，输出全连接后的图像；图像截断单元，配置用于提供给神经网络处理单元，基于得到的灰度直方特性分布，对待处理的图像进行图像截断，筛除不相关信息的干扰；图像识别单元，配置用于基于输出的全连接后的图像，使用预设的图像识别模型，对图像进行识别。
采用上述技术方案，本发明基于深度学习，通过对图像进行多个尺度、多个深度和多个类型的特征分析，采用图像截断和直方图化的方式，对图像进行处理，使得图像识别的准确率更高和图像处理效率更高。
实施例2
在上一实施例的基础上，所述图像灰度直方图处理单元，基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布得方法执行以下步骤：在提取特征之前，对每一张图像进行阈值分割，得到二值化图像bw，将图像bw进行一次开闭运算，得到分割后的图像x；具体方法如下：获取多维灰度特征：
具体的，直方图(histogram)，又称质量分布图，是一种统计报告图，由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据类型，纵轴表示分布情况。
直方图是数值数据分布的精确图形表示。这是一个连续变量(定量变量)的概率分布的估计，并且被卡尔·皮尔逊(karlpearson)首先引入。它是一种条形图。为了构建直方图，第一步是将值的范围分段，即将整个值的范围分成一系列间隔，然后计算每个间隔中有多少值。这些值通常被指定为连续的，不重叠的变量间隔。间隔必须相邻，并且通常是(但不是必须的)相等的大小。
直方图也可以被归一化以显示“相对”频率。然后，它显示了属于几个类别中的每个案例的比例，其高度等于1。参考图7，在基于3
种预设的灰度值的情况下，可以得到三个直方图，可以反映每个灰度值范围下，该图像对应的像素数量。从而获得该图像对应的灰度直方特性分布。
实施例3
在上一实施例的基础上，所述神经网络处理单元，包括：卷积层、下采样层、多层采样层和全连接层；所述卷积层，由若干卷积单元组成，每个卷积单元的参数通过反向传播算法最佳化得到，配置用于获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达；所述下采样层，配置用于对图像特征表达，进行下采样，得到的下采样结果提供给多层采样层；所述多层采样层，配置用于对下采样结果进行多层采样，同时调用图像截断单元，进行图像截断；全连接层，配置用于对多层采样层处理后的结果进行全连接，输出全连接后的图像。
参考图6，每层卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网路能从低级特征中迭代提取更复杂的特征。
卷积层是取样层的输入层，卷积层的一个特征面与取样层中的一个特征面对应，且取样层的神经元也与其输入层的局部接受域相连，不同神经元局部接受域不重叠。取样层旨在通过降低特征面的分辨率来获得具有空间不变性的特征。取样层起到二次提取特征的作用，它的每个神经元对局部接受域进行池化操作。常用的池化方法有最大池化(max-pooling)即取局部接受域中值最大的点、均值池化(meanpooling)即对局部接受域中的所有值求均值、随机池化(stachasticpooling)。
具体的，本发明使用高斯金字塔进行图像的卷积处理，传统的高斯金字塔藉以产生不同尺度下的多组信号或图片以进行后续的处理，例如在影像辨识上，可以借由比对不同尺度下的图片，以防止要寻找的内容可能在图片上有不同的大小。高斯金字塔的理论基础为尺度空间理论，而后续也衍生出了多分辨率分析；本发明将高斯金字塔引入到图像卷积处理的过程中，可以获得多层次的卷积处理过后的图像，方便后续的图像全连接过程。
实施例4
在上一实施例的基础上，所述卷积层获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达的方法执行以下步骤：构建一个10层的高斯金字塔，将待处理图像的中心作为高斯金字塔的第0层，以该中心为原点，按照同心圆的方式，以设定的半径，分别向外扩散，高斯金字塔的第1层图像通过0层图像与窗口函数w(m,n)卷积获得，等价于靠近圆心的第一层同心圆图像，将获得第一层的结果隔3行和隔3列降采样，即：
具体的，高斯金字塔是在图像处理、计算机视觉、信号处理上所使用的一项技术。高斯金字塔本质上为信号的多尺度表示法，亦即将同一信号或图片多次的进行高斯模糊，并且向下取样，藉以产生不同尺度下的多组信号或图片以进行后续的处理，例如在影像辨识上，可以借由比对不同尺度下的图片，以防止要寻找的内容可能在图片上有不同的大小。高斯金字塔的理论基础为尺度空间理论，而后续也衍生出了多分辨率分析。
实施例5
在上一实施例的基础上，所述全连接层，对多层采样层处理后的结果进行全连接，输出全连接后的图像的方法执行以下步骤：多个依次堆栈的反向全连接分支全连接不同尺度、不同深度、不同类型的输入图像阴影区域分割特征；首先第一个反向全连接分支全连接主干网络的多尺度特征，最深层开始全连接操作，逐渐全连接相邻两个层次的特征，生成的全连接后特征作为新的较浅层特征；在全连接两个层次的特征时，先将较深层特征上采样2倍，再通过特征拼接的方式进行特征全连接，最后通过一个卷积层获得最终的全连接后特征。
实施例6
在上一实施例的基础上，所述第n个反向全连接分支由最深层开始，逐渐全连接主干网络多尺度特征，且特征尺度逐渐增大；在第n个反向全连接分支全连接过程中，将产生了多个中间层特征，而这些中间层特征也是不同尺度的，编码不同抽象层级的多类型特征；将第n个反向全连接分支产生的多个不同尺度、不同类型的特征看成待全连接的多尺度特征，并采用第n+1个反向全连接分支进行全连接，所采用的全连接单元进行的操作和第n个反向全连接分支是相同的，这样第n+1个反向全连接分支获得第n个反向全连接分支的多尺度特征的有效全连接。
采用上述技术方案，本发明的图像全连接将前述步骤每一个结点都与上一层的所有结点相连，把前边提取到的特征综合起来，获得的结果能够从多个尺度、多个深度和多个层次反映原始的图像，不管后续对该图像进行识别或者其他处理，都能获得更加准确的结果。
实施例7
一种基于深度学习的图像处理方法，所述方法执行以下步骤：步骤1：基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布；步骤2：基于预先训练建立的图像处理模型，获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达，每个尺度对应3个深度和3种类型，针对每个尺度、每个深度和每个类型下的图像特征表达，进行多层采样和图像截断，然后进行全连接，输出全连接后的图像；步骤3：基于得到的灰度直方特性分布，为步骤2对待处理的图像进行图像截断，筛除不相关信息的干扰；步骤4：基于输出的全连接后的图像，使用预设的图像识别模型，对图像进行识别。
实施例8
在上一实施例的基础上，基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布得方法执行以下步骤：在提取特征之前，对每一张图像进行阈值分割，得到二值化图像bw，将图像bw进行一次开闭运算，得到分割后的图像x；具体方法如下：获取多维灰度特征：
参考图7，直方图是数值数据分布的精确图形表示。这是一个连续变量(定量变量)的概率分布的估计，并且被卡尔·皮尔逊(karlpearson)首先引入。它是一种条形图。为了构建直方图，第一步是将值的范围分段，即将整个值的范围分成一系列间隔，然后计算每个间隔中有多少值。这些值通常被指定为连续的，不重叠的变量间隔。间隔必须相邻，并且通常是(但不是必须的)相等的大小。
本发明基于预设的3种不同的灰度值范围，对待处理图像进行图像灰度直方处理，分别获得在不同灰度值范围下的对应的灰度直方特性分布；这样做可以使得获取的图像的直方特性分布更加准确，相较于单纯的直接进行灰度直方处理，使用不同的灰度值范围的方式，可以更加细致地获取图像的直方特性分布，避免因为过于粗放的方式导致的误差。
实施例9
在上一实施例的基础上，所述神经网络处理单元，步骤2包括：获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达；对图像特征表达，进行下采样，得到的下采样结果；对下采样结果进行多层采样，同时进行图像截断；对处理后的结果进行全连接，输出全连接后的图像。
实施例10
在上一实施例的基础上，所述卷积层获得待处理图像在10个尺度、3个深度、3种类型的输入图像特征表达的方法执行以下步骤：构建一个10层的高斯金字塔，将待处理图像的中心作为高斯金字塔的第0层，以该中心为原点，按照同心圆的方式，以设定的半径，分别向外扩散，高斯金字塔的第1层图像通过0层图像与窗口函数w(m,n)卷积获得，等价于靠近圆心的第一层同心圆图像，将获得第一层的结果隔3行和隔3列降采样，即：
以上所述仅为本发明的一个实施例子，但不能以此限制本发明的范围，凡依据本发明所做的结构上的变化，只要不失本发明的要义所在，都应视为落入本发明保护范围之内受到制约。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！