彩色图像分类方法及装置与流程

本发明涉及图像处理技术领域，具体而言，涉及一种彩色图像分类方法及装置。

背景技术：

随着无人机遥感技术的快速发展，获取细节丰富的高分辨率彩色图像变得较为简洁快速。图像处理作为卫星遥感图像的重要处理手段，在各行业应用中均发挥了独特优势。传统的遥感彩色图像分类方法一般是基于光谱信息，以像元为单位进行分类，传统分类方法很难充分利用高分辨率图像的位置、纹理、形状等信息，因而浪费了一部分影像信息，图像分类效率以及准确率较低，得不到令人满意的分类结果。因此，如何提供一种可解决上述问题的彩色图像分类方法及装置，已成为本领域技术人员亟需解决的技术问题。

技术实现要素：

为了克服现有技术中的上述不足，本发明实施例提供一种彩色图像分类方法及装置，可提高图像分类效率以及准确率，进而解决上述问题。

为了实现上述目的，本发明较佳实施例所提供的技术方案如下所示：

就方法而言，本发明较佳实施例提供一种彩色图像分类方法，应用于图像处理设备，所述图像处理设备包括分类模型，所述分类模型用于根据光谱-纹理特征对图像进行分类，所述方法包括：

获得待处理图像，所述待处理图像包括遥感图像；

将所述待处理图像输入所述分类模型，根据所述待处理图像的光谱-纹理特征对所述待处理图像的各类地物对象进行分类，所述光谱-纹理特征包括RGB值、LBP特征；

根据分类结果生成对应的地物对象标识图。

在本发明的较佳实施例中，上述获得待处理图像的步骤之前，所述方法还包括：

获取训练图像集，包括多个训练图像，所述训练图像包括对应的预设标签；

使用所述训练图像集对所述分类模型进行训练。

在本发明的较佳实施例中，上述使用所述训练图像集对所述分类模型进行训练的步骤，包括：

构建反卷积层以及多层卷积层，并输入所述训练图像集；

所述训练图像经所述多层卷积层以及反卷积层运算处理，得到相应的特征图。

在本发明的较佳实施例中，上述使用所述训练图像集对所述分类模型进行训练的步骤，还包括：

获取测试图像集，所述测试图像集包括多个测试图像，所述测试图像包括实际标签；

所述测试图像输入所述分类模型进行分类，得到测试标签；

根据所述测试标签与实际标签调整所述分类模型。

在本发明的较佳实施例中，上述获取训练图像集的步骤，包括：

获取至少一个地表的正射图像；

拼接所述正射图像，得到原始彩色图像；

根据所述原始彩色图像中的地物对象构建对应的标签图像；

根据预设数目分割所述原始彩色图像和标签图像，得到预设数目的子图像，所有所述子图像形成训练数据集，所述训练数据集包括所述训练图像集和所述测试图像集。

在本发明的较佳实施例中，上述训练数据集根据预设比例进行划分，得到所述训练图像集和所述测试图像集，所述训练图像集和测试图像集均包含有所述原始彩色图像和标签图像的子图像。

在本发明的较佳实施例中，上述根据分类结果生成对应的地物对象标识图的步骤，包括：

根据分类结果，对不同的地物对象的相应区域标识不同颜色。

在本发明的较佳实施例中，上述构建反卷积层以及多层卷积层的步骤，包括：

在所述图像处理设备的图形处理器上构建神经网络模型的卷积神经网络框架；

在构建的所述卷积神经网络框架上，构建深层神经网络；采用FCN-Alexnet构建反卷积层以及多层卷积层。

在本发明的较佳实施例中，上述根据所述待处理图像的光谱-纹理特征对所述待处理图像的各类地物对象进行分类的步骤，包括：

根据RGB值与得到的所述特征图，计算每个像素属于各个的类别标签的正确率；

选取正确率最大的标签作为地物对象的类别标签。

就装置而言，本发明的较佳实施例提供一种彩色图像分类装置，应用于图像处理设备，所述图像处理设备包括分类模型，所述分类模型用于根据光谱-纹理特征对图像进行分类，所述彩色图像分类装置包括：

获取单元，用于获得待处理图像，所述待处理图像包括遥感图像；

分类单元，用于将所述待处理图像输入所述分类模型，根据所述待处理图像的光谱-纹理特征对所述待处理图像的各类地物对象进行分类，所述光谱-纹理特征包括RGB值、LBP特征；

生成单元，用于根据分类结果生成对应的地物对象标识图。

相对于现有技术而言，本发明提供的彩色图像分类方法及装置至少具有以下有益效果：该方法通过获得待处理图像，所述待处理图像包括遥感图像；将所述待处理图像输入所述分类模型，根据所述待处理图像的光谱-纹理特征对所述待处理图像的各类地物对象进行分类，所述光谱-纹理特征包括RGB值、LBP特征；根据分类结果生成对应的地物对象标识图，提高了对图像分类的效率及正确率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明较佳实施例提供的图像处理设备的方框示意图。

图2为本发明较佳实施例提供的彩色图像分类方法的流程示意图之一。

图3为本发明较佳实施例提供的彩色图像分类方法的流程示意图之二。

图4为本发明较佳实施例提供的彩色图像分类装置的方框示意图。

图标：10-图像处理设备；11-处理器；12-存储器；13-显示单元；100-彩色图像分类装置；110-获取单元；120-分类单元；130-生成单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参照图1，是本发明较佳实施例提供的图像处理设备10的方框示意图。本发明提供的图像处理设备10可以对待处理图像中的各类地物对象进行分类。该图像处理设备10包括分类模型，所述分类模型用于根据光谱-纹理特征对图像进行分类。具体的，该图像处理设备10可以包括处理器11、存储器12、显示单元13以及彩色图像分类装置100。所述处理器11、存储器12、显示单元13以及彩色图像分类装置100各个元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。

需要说明的是，所述待处理图像可以是由图像采集装置采集得到的遥感图像。该图像采集装置可以为摄像机、照相机等具有摄像头并可获取彩色图像的装置。其中，该遥感图像以是通过无人机上的摄像头拍摄地面而得到的彩色图像。图像处理设备10获取的待处理图像的方式可以是：图像处理设备10和图像采集装置均设置有外设结构，并通过对应的数据线连接，以获取到图像采集装置所采集的待处理图像。或者，图像处理设备10和图像采集装置均设置有通信单元，两者通过网络实现数据交互，也就是图像处理设备10通过网络可从图像采集装置获取到所采集的待处理图像。

在本实施例中，所述图像处理设备10可以是一种便携式的电子设备。例如，该图像处理设备10可以是，但不限于，智能手机、个人电脑(Personal Computer，PC)、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。

所述彩色图像分类装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器12中或固化在所述彩色图像处理设备10的操作系统(operating system，OS)中的软件功能模块。所述存储器12可以存储待处理图像数据以及分类后的地物对象标识图数据等。所述处理器11用于执行所述存储器12中存储的可执行模块，例如，所述彩色图像分类装置100所包括的软件功能模块及计算机程序等。

其中，所述存储器12可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除只读存储器，电可擦除只读存储器等。其中，存储器12用于存储程序，所述处理器11在接收到执行指令后，执行所述程序。所述处理器11以及其他可能的组件对存储器12的访问可在所述存储控制器的控制下进行。

所述处理器11可以是一种集成电路芯片，具有信号的处理能力。上述处理器11可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者是任何常规的处理器11等。

所述显示单元13用于将所述彩色图像分类装置100分类后的地物对象标识图进行显示。该显示单元13可以是，但不限于液晶显示屏、LED显示屏等，这里不作具体限定。

可以理解的是，图1所示的结构仅为图像处理设备10的一种结构示意图，所述图像处理设备10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

请参照图2，是本发明较佳实施例提供的彩色图像分类方法的流程示意图之一。本实施例提供的彩色图像分类方法可以应用于如图1所示的图像处理设备10中，该方法通过充分利用彩色图像中的图像特征，以对该彩色图像进行分类，进而得到该彩色图像对应的地物对象标识图。一般地，若要调查某一地区地物分布情况，通常需要拍摄大量的遥感图，然后对遥感图中的地物进行一一标识分类，才能得到当地的地物分布状况。在标识分类过程中，需要耗费大量的人力以及物力，识别分类效率低，并且工作人员在长期分类识别的过程中，容易出现视觉疲劳而导致分类出错。而本发明提供的彩色图像分类方法便可解决该问题，也就是说，该方法可提高对图像识别的效率以及准确率。

下面将对图2中所示的彩色图像分类方法的具体流程和步骤进行详细阐述。在本实施例中，彩色图像分类方法可以包括以下步骤：

步骤S230，获得待处理图像，所述待处理图像包括遥感图像。

在本实施例中，所述待处理图像可以为高分辨率的彩色图像，比如，该待处理图像为通过无人机获得的彩色遥感图像。图像处理设备10获得到待处理图像的方式可以如上述的获取方式，这里不再赘述。

请参照图3，是本发明较佳实施例提供的彩色图像分类方法的流程示意图之二。在本实施例中，在步骤S230之前，该方法还可以包括步骤S210以及步骤S220。

步骤S210，获取训练图像集，包括多个训练图像，所述训练图像包括对应的预设标签。

可理解地，在对首次识别待处理图像之前，需要构建并训练分类模型，以得到训练后的分类模型。而根据训练后的分类模型才能准确有效地对地物对象进行识别分类。训练图像为预先拍摄的彩色图像，该彩色图像经过分类识别，并对相应的地物设置地物标签，也就是预设标签。比如，该训练图像中为树林，则对树林所对应的区域标识上用于识别该区域为树林区域的标签，该标签可以为不同的颜色、数字或对应的地物名称等。其中，树林所对应的区域可以是人工标记识别得到的，也可以是通过机器基于纹理特征进行识别提取得到的。

在本实施例中，步骤S210可以包括更为详细的其他步骤。例如，步骤S210可以包括获取至少一个地表的正射图像；拼接所述正射图像，得到原始彩色图像；根据所述原始彩色图像中的地物对象构建对应的标签图像；根据预设数目分割所述原始彩色图像和标签图像，得到预设数目的子图像，所有所述子图像形成训练数据集，所述训练数据集包括所述训练图像集和所述测试图像集。

可以理解的是，训练图像集包括大量的训练图像，该训练图像包括对应的预设标签。获取正射图像的数目以及所述预设数目可根据实际情况进行设置，这里不作具体限定。

进一步地，所述训练数据集根据预设比例进行划分，得到所述训练图像集和所述测试图像集，所述训练图像集和测试图像集均包含有所述原始彩色图像和标签图像的子图像。其中，所述预设比例可根据实际情况进行设置，这里不作具体限定。

步骤S220，使用所述训练图像集对所述分类模型进行训练。

在本实施例中，步骤S220可以包括其他更为详细的步骤。例如，步骤S220可以包括构建反卷积层以及多层卷积层，并输入所述训练图像集；所述训练图像经所述多层卷积层以及反卷积层运算处理，得到相应的特征图。

可选地，比如，在所述图像处理设备10的图形处理器上构建神经网络模型的卷积神经网络框架；在构建的所述卷积神经网络框架上，构建深层神经网络；采用FCN-Alexnet构建反卷积层以及多层卷积层。

进一步地，步骤S220还可以包括获取测试图像集，所述测试图像集包括多个测试图像，所述测试图像包括实际标签；所述测试图像输入所述分类模型进行分类，得到测试标签；根据所述测试标签与实际标签调整所述分类模型。

请再次参照图2，步骤S240，将所述待处理图像输入所述分类模型，根据所述待处理图像的光谱-纹理特征对所述待处理图像的各类地物对象进行分类，所述光谱-纹理特征包括RGB值、LBP特征。

可选地，步骤S240可以包括根据RGB值与得到的所述特征图，计算每个像素属于各个的类别标签的正确率；选取正确率最大的标签作为地物对象的类别标签。

在本实施例中，不同的地物对象通常对应有不同的RGB值，相同的地物对象的RGB值差距在一个预设范围之内，该预设范围可以根据实际情况进行确定，这里不作具体限定。LBP指局部二值模式(Local binary patterns)，可以用于提取纹理特征。一般地，不同的地物对象的交界处通常存在交接的纹理，同一地物对象也可能存在相应的纹理特征，进而可通过LBP特征对不同地物对象进行划分。

其中，地物对象可以包括农作地、树林、道路、河流、湖泊、水池、建筑等，农作地包括已经耕作有农作物的农作物区(比如，稻田、麦田等)、没有耕作的空的农作物区，建筑可以包括工厂区、居民区等。当然，所述地物对象还可以包括更多不同于上述的地物对象，这里不再赘述。

步骤S250，根据分类结果生成对应的地物对象标识图。

可选地，可根据分类结果对不同的地物对象的相应区域标识不同的颜色，每种颜色与对应的地物的种类相对应。比如，地物对象标识图中的绿色区域指树林、红色区域标识空置的农作区等，这里不再赘述。

在其他实施方式中，可以通过不同于上述的方式对待处理图像进行标识。比如，可以对不同地物对象的相应区域进行数字标号，不同的数字代表不同的地物对象，相同的数字代表相同的地物对象，这里不再赘述。

为了使本发明提供的方案更清晰，下面对如何得到训练模型以及地物对象标识图进行举例说明。

例如，首先，采集高分辨率彩色遥感图像。比如，可以在无人机遥感平台上搭载彩色相机传感器，进行飞行实验后，获取地表的正射图像图，利用编辑图像的软件工具(比如PS)拼接图像，图像拼接后大小可以为5120*5120；借助ArcGIS或PS软件等工具制作对应的标签图像，标签图像中将原始图像内地物对象按照类别可分为14类，然后将原始图像和标签图像均等切割为1600张128*128大小的图像，形成训练数据集，按照一定比例(比如，4:1)将数据集划分为训练图像集和测试图像集。

进一步地，在图形处理器上搭建Caffe深度学习框架平台，可采用C++/CUDA架构实现。Caffe深度学习框架具有速度快、模型定义方便等特点，非常适合作为本实施例中的训练模型。其中，Caffe为卷积神经网络框架(Convolutional Architecture for Fast Feature Embedding)的简称。

进一步地，构建深度卷积神经网络模型(Deep Convolutional Neural Network，DCNN)。可采用FCN-Alexnet网络结构，将Alexnet模型中的全连接层也变化为卷积层，因此FCN-Alexnet由全卷积层构成。

进一步地，构建第一层卷积层。该层用于对128*128*1*n的输入数据进行卷积，n为大于0的整数，表示输入样本个数。该卷积层的卷积核窗口大小可为11*11，相邻局部接收域的中心距离为4，输出96个特征图，通过激励函数后，每个特征图通过下采样处理进行降维，下采样的核窗口大小为3*3，相邻局部接受域的中心距离为2，再通过Norm区域归一化处理后将特征图输入至第二层卷积层，其中：

激励函数为Relu函数：f(x)＝max(0，x)；

下采样公式为：

式中K(u,v)表示长为u，宽为v的核窗口与第k个输入特征图xk的重合区域；(i,j)为K(u,v)区域内的任意一点，为第k个特征图x的K(u,v)区域内下采样得到的结果。

进一步地，构建第二层卷积层。该层用于对第一层得到的特征图进行卷积，该卷积层的卷积核窗口大小可为5*5，相邻局部接收域的中心距离为1，输出256个特征图，通过Relu激励函数后，每个特征图通过下采样处理进行降维，下采样的核窗口大小可为3*3，相邻局部接受域的中心距离为2，再通过Norm区域归一化处理后将特征图输入至第三层卷积层。

进一步地，构建第三层卷积层。该层用于对第二层得到的特征图进行卷积，该卷积层的卷积核窗口大小可为3*3，相邻局部接收域的中心距离为1，输出384个特征图，通过Relu激励函数后将特征图输入至第四层卷积层。

进一步地，构建第四层卷积层。该层用于对第三层得到的特征图进行卷积，该卷积层的卷积核窗口大小可为3*3，相邻局部接收域的中心距离为1，输出384个特征图，通过Relu激励函数后将特征图输入至第五层卷积层。

进一步地，构建第五层卷积层。该层用于对第四层得到的特征图进行卷积，该卷积层的卷积核窗口大小可为3*3，相邻局部接收域的中心距离为1，输出256个特征图；通过Relu激励函数后，每个特征图通过下采样处理进行降维，下采样的核窗口大小为3*3，相邻局部接受域的中心距离为2，将下采样处理得到的特征图输入至第六层卷积层。

进一步地，构建第六层卷积层。该层用于对第五层得到的特征图进行卷积，该卷积层的卷积核窗口大小可为6*6，相邻局部接收域的中心距离为1，输出4096个特征图，通过Relu激励函数和Dropout层处理后，将得到的特征图输入至第七层卷积层。其中，Dropout层的作用是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，该概率可根据实际情况进行设置，这里不作具体限定。

进一步地，构建第七层卷积层。该层用于对第六层得到的特征图进行卷积，该卷积层的卷积核窗口大小可为1*1，相邻局部接收域的中心距离为1，输出4096个特征图，通过Relu激励函数和Dropout层处理后，将得到的特征图输入至第八层卷积层。

进一步地，构建第八层卷积层。该层用于对第七层得到的特征图进行卷积，该卷积层的卷积核窗口大小可为1*1，输出m个特征图并输入至第九层中，其中：m为训练数据集中所包含的对象类别，为大于等于0的整数。

进一步地，构建第九层为反卷积层。该层用于对第八层得到的特征图进行反卷积操作，即上采样处理，反卷积层的卷积核窗口大小可为63*63，相邻局部接收域的中心距离为32，设定权重类型为双线性变换(bilinear)，得到m个特征图，并形成DCNN网络模型。

进一步地，训练深度卷积神经网络模型FCN-Alexnet。在图形处理器Caffe架构下输入上述训练图像集，开始训练FCN-Alexnet卷积模型，以得到训练好的DCNN网络模型；将测试图像集输入到训练好的DCNN网络模型中得到特征向量，将特征向量输入回归分类器进行分类，根据测试图像集的类别标签与分类器的输出结果得到模型识别的正确率。然后循环该步骤，开始调整输入参数(batch_size、learning rate、epoch)，进行参数敏感性分析后，确定模型识别准确率最高的输入参数值为最优参数，进而提高识别的正确率。

最后，将需要识别分类的待处理图像输入上述已经训练好的DCNN网络模型(也就是分类模型)中，通过上述的卷积层与反卷积层的运算处理，可得到对应的特征图，然后将该特征图与训练得到的特征图进行比对特征向量，选取最大正确率的所对应的类别标签作为该特征图的标签，进而得到地物对象标识图。其中，待处理图像的大小可以训练图像的大小不同，待处理图像的大小可根据实际情况进行设置，这里不作具体限定。

值得说明的是，上述举例中的数字仅作为其中一种实施方式的数值。在其他实施方式中，还可是不同于上述的数字，这里不作具体限定。

基于上述设计，本发明提供的彩色图像分类方法可快速准确地对待处理图像进行分类，提高了对地物对象的分类效率，有助于提高工作人员的工作效率。

请参照图4，是本发明较佳实施例提供的彩色图像分类装置100的方框示意图。本实施例提供的彩色图像分类装置100可以通过上述的彩色图像分类方法应用于上述的图像处理设备10中，并利用光谱-纹理特征对图像进行分类。该彩色图像分类装置100可以包括获取单元110、分类单元120以及生成单元130。

其中，获取单元110，用于获得待处理图像，所述待处理图像包括遥感图像。具体地，获取单元110可以用于执行如图2所述的步骤S230，具体的操作内容可参照对步骤S230的详细描述，这里不再赘述。

分类单元120，用于将所述待处理图像输入所述分类模型，根据所述待处理图像的光谱-纹理特征对所述待处理图像的各类地物对象进行分类，所述光谱-纹理特征包括RGB值、LBP特征。具体地，分类单元120可以用于执行如图2所述的步骤S240，具体的操作内容可参照对步骤S240的详细描述，这里不再赘述。

生成单元130，用于根据分类结果生成对应的地物对象标识图。具体地，生成单元130可以用于执行如图2所述的步骤S250，具体的操作内容可参照对步骤S250的详细描述，这里不再赘述。

综上所述，本发明提供一种彩色图像处理方法及装置。该方法及装置通过获得待处理图像，所述待处理图像包括遥感图像；将所述待处理图像输入所述分类模型，根据所述待处理图像的光谱-纹理特征对所述待处理图像的各类地物对象进行分类，所述光谱-纹理特征包括RGB值、LBP特征；根据分类结果生成对应的地物对象标识图，提高了对图像分类的效率及正确率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。