基于多核学习的多特征融合胃镜图像处理方法与流程

本发明涉及图像处理以及医用领域，具体涉及一种基于多核学习的多特征融合胃镜图像处理方法。

背景技术：

内窥技术在医学中得到了广泛的应用，例如利用胃镜检查胃部疾病。当前的内窥技术大部分只能采集相应部位的图像，无法实现对图像的有效处理。例如，现有技术中提供了一种基于关键点监测的nbi胃镜图像处理方法，该方法对经过预处理后的胃镜图像提取关键点，然后提取部分nbi胃镜图像作为训练集，将训练集中所有关键点组成特征袋，并使用聚类算法生成视觉词典。之后根据得到的视觉词典对整幅nbi胃镜图像进行关键点归类统计，得到整幅nbi图像的全局特征。最后采用分类器对整幅nbi胃镜图像的全局特征进行识别，从而完成nbi胃镜图像的识别过程。上述图像的处理方法基于关键点对图像分类，存在分类特征单一的缺陷，造成图像全局特征的丢失。另外，上述图像处理方法由于泛化能力和鲁棒性不够，无法对复杂图像进行准确的分类。

技术实现要素：

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于多核学习的多特征融合胃镜图像处理方法，克服了现有技术中无法对复杂图像进行精确分类的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

提供了一种基于多核学习的多特征融合胃镜图像处理方法，所述方法包括如下步骤：

获取胃镜图像；

将所述胃镜图像中每个像素点的色调h、饱和度s和明度v进行量化，根据每个像素点量化后的h值、s值和v值确定每个像素点的颜色矢量，并根据每个像素点的颜色矢量建立颜色直方图，所述颜色直方图的横坐标为颜色矢量，纵坐标为每个颜色矢量对应的像素点的个数；

获取所述胃镜图像的每个像素点，得到多个中心像素点，以每个所述中心像素点为圆心，在预定半径的圆周上对称获取n个像素点，得到n个纹理算子像素点；计算每个所述纹理算子像素点的灰度值与对应的所述中心像素点的灰度值的差值，得到每个纹理算子像素点的中心灰度差值；根据所有纹理算子像素点的中心灰度差值确定对应的所述中心像素点的纹理描述算子，并根据所有中心像素点的纹理描述算子建立纹理特征直方图；所述纹理特征直方图的横坐标为纹理描述算子，纵坐标为每个纹理描述算子对应的像素点的个数；

将所述胃镜图像分割为多个预定大小的子图像，确定每个所述子图像的尺度不变特征算子，利用所述尺度不变特征算子进行聚类运算，得到预定数量的特征词汇，并将每个所述尺度不变特征算子分别映射到一个所述特征词汇上，根据所述特征词汇对应的尺度不变特征算子，建立尺度不变特征直方图，所述尺度不变特征直方图的横坐标为特征词汇，纵坐标为每个所述特征词汇对应的尺度不变特征算子的数量；

利用多项式核函数、高斯径向基核函数和直方图相交核核函数建立图像分类核函数；其中，所述图像分类核函数的参数包括多项式核函数的阶数、高斯径向基核宽度、多项式核函数的权重系数、高斯径向基核函数的权重系数、直方图相交核核函数的权重系数以及惩罚系数；

根据预定步长、所述多项式核函数的阶数的取值范围、高斯径向基核宽度的取值范围、多项式核函数的权重系数的取值范围、高斯径向基核函数的权重系数的取值范围、直方图相交核核函数的权重系数的取值范围以及惩罚系数的取值范围，确定多个参数取值组，每个所述参数取值组包括多项式核函数的阶数的取值、高斯径向基核宽度的取值、多项式核函数的权重系数的取值、高斯径向基核函数的权重系数的取值、直方图相交核核函数的权重系数的取值以及惩罚系数的取值；

将所述图像分类核函数的参数取任意一个所述参数取值组，将归一化处理后的颜色直方图、纹理特征直方图和尺度不变特征直方图作为所述图像分类核函数的训练数据，将分类标签作为所述图像分类核函数的分类标准，对测试样本进行分类；其中，所述分类标签包括特征参数以及特征参数对应的类别；

选取对所述测试样本分类结果最好的所述参数取值组作为所述图像分类核函数的参数的取值，得到图像分类核函数模型。

进一步地，所述方法还包括如下步骤：

获取待检测胃镜图像，并将所述待检测胃镜图像作为输入，利用所述图像分类核函数模型对所述待检测胃镜图像进行分类。

进一步地，所述将所述胃镜图像中每个像素点的色调h、饱和度s和明度v进行量化，具体包括如下步骤：

根据每个像素点的色调的值确定该像素点所属的预制色调范围，并根据所述预制色调范围确定该像素点的色调量化值，其中，所述预制色调范围是预先设定的，并且每个所述预制色调范围对应一个色调量化值；

根据每个像素点的饱和度的值确定该像素点所属的预制饱和度范围，并根据所述预制饱和度范围确定该像素点的饱和度量化值，其中，所述预制饱和度范围是预先设置的，并且每个所述预制饱和度范围对应一个饱和度量化值；

根据像素点的明度的值确定该像素点的所属的预制明度范围，并根据所述预制明度范围确定该像素点的明度量化值，其中，所述预制明度范围是预先设置的，并且每个所述预制明度范围对应一个明度量化值。

进一步地，所述根据每个像素点量化后的h值、s值和v值确定每个像素点的颜色矢量，具体包括如下步骤：

利用如下公式计算每个像素点的颜色矢量：

q＝16h+4s+v

式中，q表示像素点的颜色矢量，h表示像素点的色调量化值，s表示像素点的饱和度量化值，v表示像素点的明度量化值。

进一步地，所述根据所有纹理算子像素点的中心灰度差值确定对应的所述中心像素点理描述算子，具体包括如下步骤：

利用如下公式确定所述纹理描述算子：

式中，lbp(c)表示中心像素点c的纹理描述算子，n表示纹理算子像素点的数量，gn表示第n个纹理算子像素点的中心灰度差值的量化值。

进一步地，所述根据所有纹理算子像素点的中心灰度差值确定对应的所述中心像素点的纹理描述算子，还包括如下步骤：

利用如下公式确定最终的所述纹理描述算子：

lbp(c)^ri＝min{ror(lbp(c)，i)1≤i≤n}.

式中，lbp(c)^ri表示最终的所述纹理描述算子，ror(lbp(c),i)表示将lbp(c)的二进制码向右圆周平移i位。

进一步地，所述利用所述尺度不变特征算子进行聚类运算，包括：

采用k-means聚类算法，将所述尺度不变特征算子进行聚类运算。

进一步地，所述图像分类核函数为：

k(xi，x)＝p1kpoly(xi，x)+p2krbf(xi，x)+p3kinter(xi，x)

式中，k表示所述图像分类核函数，xi表示支持向量，x表示输入，p1表示多项式核函数的权重系数，p2表示高斯径向基核函数的权重系数，p3表示直方图相交核核函数的权重系数，kpoly表示多项式核函数，krbf表示高斯径向基核函数，kinter表示直方图相交核核函数。

进一步地，所述方法还包括如下步骤：

对所述颜色直方图、纹理特征直方图和尺度不变特征直方图进行归一化处理；

确定所述多项式核函数的阶数的取值范围、高斯径向基核宽度的取值范围、多项式核函数的权重系数的取值范围、高斯径向基核函数的权重系数的取值范围、直方图相交核核函数的权重系数的取值范围以及惩罚系数的取值范围。

进一步地，所述将每个所述尺度不变特征算子分别映射到一个所述特征词汇上，包括：

利用关键点描述子匹配算法，将每个所述尺度不变特征算子分别映射到一个所述特征词汇上。

(三)有益效果

本发明实施例提供了一种基于多核学习的多特征融合胃镜图像处理方法，具备以下有益效果：

本发明实施例综合胃镜图像的颜色特征、纹理特征和关键点特征建立图像分类核函数，能够更加准确、全面地描述胃镜图像特征。

本发明实施例将混合核支持向量机算法运用于胃镜图像处理，将三种异构特征合理融合，提高胃镜图像处理的泛化能力和鲁棒性能。

本发明实施例提取胃镜图像颜色特征时根据胃镜图像颜色分布特征将h、s、v分量进行非等间隔的量化，使提取特征能更准确地描述胃镜图像。

综上，本发明实施例的方法能够精确的对复杂图像进行分类，有利于提高了医务工作人员的诊疗效率，降低漏诊误诊的可能，有利于提高基层医务工作人员的行医质量，有利于提高基层诊疗水平。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例的基于多核学习的多特征融合胃镜图像处理方法的流程图；

图2是本发明再一实施例的基于多核学习的多特征融合胃镜图像处理方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当说明的是本发明实施例的配置人工智能芯片的医用内窥镜系统中的部件可以但不限于用于内窥镜，可以用于其他任何图像处置装置。本发明的以下实施例以采用内窥镜作为例进行说明。

如图1所示，在一个实施例中，基于多核学习的多特征融合胃镜图像处理方法包括如下步骤：

100、获取胃镜图像；

110、将所述胃镜图像中每个素点的色调h、饱和度s和明度v进行量化，根据每个像素点量化后的h值、s值和v值确定每个像素点的颜色矢量，并根据每个像素点的颜色矢量建立颜色直方图，所述颜色直方图的横坐标为颜色矢量，纵坐标为每个颜色矢量对应的像素点的个数；

此步骤中，将所述胃镜图像中每个像素点的色调h、饱和度s和明度v进行量化包括如下子步骤：

1101、根据像素点的色调的值确定该像素点所属的预制色调范围，并根据所述预制色调范围确定该像素点的色调量化值，其中，所述预制色调范围是预先设定的，并且每个所述预制色调范围对应一个色调量化值；

1102、根据像素点的饱和度的值确定该像素点所属的预制饱和度范围，并根据所述预制饱和度范围确定该像素点的饱和度量化值，其中，所述预制饱和度范围是预先设置的，并且每个所述预制饱和度范围对应一个饱和度量化值；

1103、根据像素点的明度的值确定该像素点所属的预制明度范围，并根据所述预制明度范围确定该像素点的明度量化值，其中，所述预制明度范围是预先设置的，并且每个所述预制明度范围对应一个明度量化值。

此步骤中，所述根据每个像素点量化后的h值、s值和v值确定每个像素点的颜色矢量，具体包括如下子步骤：

1104、利用如下公式计算每个像素点的颜色矢量：

q＝16h+4s+v

式中，q表示像素点的颜色矢量，h表示像素点的色调量化值，s表示像素点的饱和度量化值，v表示像素点的明度量化值。

此步骤中，对于图像a，它的hsv颜色直方图特征可以表示为：h^a＝{y0，y1，y2，…y191}，其中y0表示q为0时对应的像素点的个数。

120、获取所述胃镜图像的每个像素点，得到多个中心像素点，以每个所述中心像素点为圆心，在预定半径的圆周上对称获取n个像素点，得到n个纹理算子像素点；计算每个所述纹理算子像素点的灰度值与对应的所述中心像素点的灰度值的差值，得到每个纹理算子像素点的中心灰度差值；根据所有纹理算子像素点的中心灰度差值确定对应的所述中心像素点的纹理描述算子，并根据所有中心像素点的纹理描述算子建立纹理特征直方图；所述纹理特征直方图的横坐标为纹理描述算子，纵坐标为每个纹理描述算子对应的像素点的个数；

此步骤中，n取值为自然数，并且是偶数。

此步骤中，利用如下公式计算每个纹理算子像素点的中心灰度差值：

gn＝pn-p0(1≤n≤n)

式中，gn表示第n个纹理算子像素点的中心灰度差值，pn表示第n个纹理算子像素点的灰度值量化值，p0表示中心像素点的灰度值。在得到个纹理算子像素点的中心灰度差值之后，需要进行量化处理，具体地，若gn大于或等于零，则更新gn值为1，否则更新gn值为0；

此步骤中，所述根据所有纹理算子像素点的中心灰度差值确定对应的所述中心像素点的纹理描述算子，具体包括如下子步骤：

1201、利用如下公式确定所述纹理描述算子：

式中，lbp(c)表示中心像素点c的纹理描述算子，n表示纹理算子像素点的数量，gn表示第n个纹理算子像素点的中心灰度差值的量化值。

1202、利用如下公式确定最终的所述纹理描述算子：

lbp(c)^ri＝min{ror(lbp(c)，i)1≤i≤n}.

式中，lbp(c)^ri表示最终的所述纹理描述算子，ror(lbp(c),i)表示将lbp(c)的二进制码向右圆周平移i位。

130、将所述胃镜图像分割为多个预定大小的子图像，确定每个所述子图像的尺度不变特征算子，利用所述尺度不变特征算子进行聚类运算，得到预定数量的特征词汇，并将每个所述尺度不变特征算子分别映射到一个所述特征词汇上，根据所述特征词汇对应的尺度不变特征算子，建立尺度不变特征直方图，所述尺度不变特征直方图的横坐标为特征词汇，纵坐标为每个所述特征词汇对应的尺度不变特征算子的数量；

此步骤中，利用所述尺度不变特征算子进行聚类运算，具体包括采用k-means聚类算法，将所述尺度不变特征算子进行聚类运算。

140、利用多项式核函数、高斯径向基核函数和直方图相交核核函数建立图像分类核函数；其中，所述图像分类核函数的参数包括多项式核函数的阶数、高斯径向基核宽度、多项式核函数的权重系数、高斯径向基核函数的权重系数、直方图相交核核函数的权重系数以及惩罚系数；

此步骤中，所述图像分类核函数为：

k(xi，x)＝p1kpoly(xi，x)+p2krbf(xi，x)+p3kinter(xi，x)

式中，k表示所述图像分类核函数，xi表示支持向量，x表示输入，p1表示多项式核函数的权重系数，p2表示高斯径向基核函数的权重系数，p3表示直方图相交核核函数的权重系数，kpoly表示多项式核函数，krbf表示高斯径向基核函数，kinter表示直方图相交核核函数。

150、根据预定步长、所述多项式核函数的阶数的取值范围、高斯径向基核宽度的取值范围、多项式核函数的权重系数的取值范围、高斯径向基核函数的权重系数的取值范围、直方图相交核核函数的权重系数的取值范围以及惩罚系数的取值范围，确定多个参数取值组，每个所述参数取值组包括多项式核函数的阶数的取值、高斯径向基核宽度的取值、多项式核函数的权重系数的取值、高斯径向基核函数的权重系数的取值、直方图相交核核函数的权重系数的取值以及惩罚系数的取值；

此步骤中，预定步长可以为-1、1、0.1、0.05等。

此步骤中，高斯径向基核宽度的取值范围可以为：2^-10～2^-15，惩罚系数的取值范围可以为：2^-10～2^-15，多项式核函数的权重系数的取值范围、高斯径向基核函数的权重系数的取值范围或直方图相交核核函数的权重系数的取值范围可以为0～1，多项式核函数的阶数的取值范围可以为：2～5。

160、将所述图像分类核函数的参数取任意一个所述参数取值组，将归一化处理后的颜色直方图、纹理特征直方图和尺度不变特征直方图作为所述图像分类核函数的训练数据，将分类标签作为所述图像分类核函数的分类标准，对测试样本进行分类；其中，所述分类标签包括特征参数以及特征参数对应的类别；

170、选取对所述测试样本分类结果最好的所述参数取值组作为所述图像分类核函数的参数的取值，得到图像分类核函数模型。

本实施例综合胃镜图像的颜色特征、纹理特征和关键点特征建立图像分类核函数，能够更加准确、全面地描述胃镜图像特征。本实施例将混合核支持向量机算法运用于胃镜图像处理，将三种异构特征合理融合，提高胃镜图像处理的泛化能力和鲁棒性能。本实施例提取胃镜图像颜色特征时根据胃镜图像颜色分布特征将h、s、v分量进行非等间隔的量化，使提取特征能更准确地描述胃镜图像。

综上，本实施例的方法能够精确的对复杂图像进行分类，有利于提高了医务工作人员的诊疗效率，降低漏诊误诊的可能，有利于提高基层医务工作人员的行医质量，有利于提高基层诊疗水平。

在一个实施例中，基于多核学习的多特征融合胃镜图像处理方法还包括如下步骤：

180、获取待检测胃镜图像，并将所述待检测胃镜图像作为输入，利用所述图像分类核函数模型对所述待检测胃镜图像进行分类。

在一个实施例中，基于多核学习的多特征融合胃镜图像处理方法还包括如下步骤，所述方法还包括如下步骤：

对所述颜色直方图、纹理特征直方图和尺度不变特征直方图进行归一化处理；

确定所述多项式核函数的阶数的取值范围、高斯径向基核宽度的取值范围、多项式核函数的权重系数的取值范围、高斯径向基核函数的权重系数的取值范围、直方图相交核核函数的权重系数的取值范围以及惩罚系数的取值范围。

在一个实施例中，如图2所示，基于多核学习的多特征融合胃镜图像处理方法还包括如下步骤：

步骤一、获取并载入胃镜图像；

步骤二、提取胃镜图像的颜色直方图特征、lbp特征(即纹理特征直方图特征)以及sift特征(即尺度不变特征直方图)，具体包括如下步骤：

(1)、颜色直方图特征提取。将胃镜图像转化到hsv颜色空间，由于胃镜图像主要以红色为主，经过空间转化后，色调空间h主要分布在[0,60]和[320,360]之间，而饱和度空间s和亮度空间v分布相对均匀。根据上述胃镜图像颜色分布特征，采用如下公式将h、s、v3个分量进行非等间隔的量化：

按照上述公式实现了对像素点的颜色的量化，之后利用如下公式计算每个像素点的颜色特征矢量：

q＝16h+4s+v

对于图像a，它的hsv颜色直方图特征可以表示为：

h^a＝{y0，y1，y2，…y191}

其中，yn表示表示hsv每一级别的值。

(2)lbp特征提取。以像素点pc为中心，在半径为3的圆周上对称位置取8个像素点pn(1≤n≤8)来计算中心像素点的lbp值，具体地，计算圆形区域其他八个像素点和中心像素点的灰度值之差：

gn＝pn-p0(1≤n≤n)

若gn≥0，则令gn＝1，否则为0。像素点的lbp值如下计算：

为获得旋转不变的lbp特征，进一步计算：

lbp(c)^ri＝min{ror(lbp(c)，i)1≤i≤n}.

其中，ror(lbp(c),i)表示将lbp(c)的二进制码向右圆周平移i位，取最小值为最终的lbp值。通过上述方法，以半径为3的圆为模板，遍历整个胃镜图像，计算胃镜图像的纹理特征直方图，即不同的lbp值出现的频率，得到胃镜图像的lbp纹理特征向量。

(3)sift特征包提取。将胃镜图像分成若干个像素点为16*16的小块，每一小块得到sift特征描述子，然后采用k-means聚类算法将sift特征描述子聚类得到特征词典，该特征词典包括预定数量的特征词汇，例如聚类数目k＝40，得到40个特征词汇。之后将图像中的每个小块通过关键点描述子匹配算法，映射到特征词典的每个视觉词汇中，统计直方图。每幅图像提取一个40维的sift特征向量。

步骤三、选取核函数。选取多项式核函数、高斯径向基核函数以及直方图相交核函数建立新的混合核函数(即图像分类核函数)。其中多项式核函数具有良好的泛化能力,但是其局部性较差,且多项式核函数的映射结果与阶数q有很大关系,q越大映射的维数越高,计算量越大,q过小会降低学习精度。高斯径向基核函数中学习能力较强,但是其全局性较差,不具有很好的泛化能力,其泛化能力随着核宽度σ的增大而减弱。直方图相交核函数的优点是能对直方图描述的图像正确分类且不用选定参数。

图像分类核函数构造如下：

k(xi,x)＝p1kpoly(xi,x)+p2krbf(xi,x)+p3kinter(xi,x)

其中，k是融合后的核函数，即图像分类核函数，p1、p2、p3是融合权值，kpoly为多项式核函数，krbf是高斯径向基核函数，kinter是直方图相交核，该图像分类核函数需要考虑的参数有4种:多项式核函数的阶数q，高斯径向基核宽度σ，权重系数p，以及惩罚系数c。

步骤四、模型训练。

支持向量机的分类原理是寻找最大间隔的超平面来划分样本，这个问题可通过以下优化问题实现：

ξi≥0,i＝1,2,…,n

其中，w定义了最优分类超平面，φ(xi)为将原始特征向量映射到更高维空间的特征向量，b为位移向，表示超平面和原点之间的距离，ξi为正松弛变量。c为正则化常数，xi(1,2,…，n)是特征向量。将此优化问题对偶化，再利用kkt条件求解，得出分类决策函数为：

其中，xi(1,2,…，n)是原始特征向量,ai*(1,2,…，n)是最佳拉格朗日乘子，b*是最优位移向，k(xi,x)为核函数，yi(1,2,…，n)为类别标签。

用混合核函数(即图像分类核函数)来取代单核核函数构造支持向量机分类模型，此时分类决策函数为：

本发明中，若f(x)大于等于0，则表示胃镜图像为+1类，若f(x)小于0，则表示胃镜图像为-1类。

将训练集中归一化处理后的颜色直方图、纹理特征直方图和尺度不变特征直方图作为训练数据和对应的胃镜图像标签(即分类标签)一同输入svm分类器(即图像分类核函数模)进行训练，用训练模型对测试集进行分类，

以此确定混合核函数的具体形式，本阶段采用了交叉验证和网格搜索方法。具体地：

(1)设定参数σ，c，q和p值的范围和搜索步长，这里设置σ＝2^-10～2^-15，步长为-1，c＝2^-10～2^-15，步长为1，q＝2～5，步长为0.1，p＝0～1，步长为0.05。外部使用五层嵌套循环，依次使p1、p2、q、σ、c在各自的网格步进。其中，根据p1、p2，利用公式p1+p2+p3＝1能够确定p3的值.

(2)将用于训练的胃镜图像数据划分成10个大小相同的子集，轮流选任意九个子集作为训练集，以当前的σ、c、q、p值进行模型训练，利用训练模型对剩下的一个子集进行预测，以十次结果的预测准确率的平均值作为当前参数组合下模型的评估值，最后得出不同参数任意取值组合下模型评估值最高的最终参数寻优结果及检测结果。

步骤五、胃镜图像分类

输入要分类的胃镜图像，通过训练得到的多核支持向量机模型(即图像分类核函数模型)，进行胃镜图像分类。

应当说明的是，本发明以上实施例的图像处理方法不仅适用于处理胃镜图像，还可以用于其他任何图像的处理。在处理其它图像的过程中，可以利用其他图像建立图像分类核函数模型，之后利用建立的图像分类核函数模型对其他图像进行分类。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。