一种基于阴道镜图像的宫颈癌早期筛查识别方法与流程

本发明涉及一种基于阴道镜图像的宫颈癌早期筛查识别方法，属于医药技术领域。

背景技术

宫颈癌是最常见的妇科恶性肿瘤。原位癌高发年龄为30～35岁，浸润癌为45～55岁，近年来其发病有年轻化的趋势。近几十年宫颈筛查的普遍应用，特别是我国积极开展的两癌筛查与双丝带行动，对宫颈癌和乳腺癌两癌筛查，即指通过先进的检查手段，排查出受检者是癌症还是一般的妇科疾病。使宫颈癌和癌前病变得以早期发现和治疗，宫颈癌的发病率和死亡率已有明显下降。

现有的筛查检查方法主要为：1.宫颈刮片细胞学检查；2.宫颈碘试验；3.阴道镜检查，宫颈刮片细胞学检查巴氏ⅲ级及ⅲ级以上、tbs分类为鳞状上皮内瘤变，均应在阴道镜观察下选择可疑癌变区行宫颈活组织检查；4.宫颈和宫颈管活组织检查；5.宫颈锥切术。

光学方法检测早期宫颈癌是近几年发展起来的一门医学诊断方法，其物理基础为癌症导致组织结构和细胞形态的变化，并引起功能代谢活动的改变，进而导致组织光学性质(吸收、散射、荧光)的变化等空间分辨率成像。目前光学宫颈癌早期诊断主要采用激光扫描共聚焦显微成像(lscm)、光学相干层析成像技术(oct)、近红外漫射光检测技术(dot)、光谱成像技术。相关现有技术如下：

cn200410061403.3《宫颈癌细胞辅助检测方法》，用伺服电机自动采集显微图片；对图片进行数字图像滤波预处理；根据宫颈癌细胞核的色度学和形态学特征，建立组合提取规则提取细胞核；再进行细胞核相似区域的填充；然后计算每幅图片中提取出的细胞核的综合信息参数；根据每幅图的综合信息参数按照严重程度进行排序，以缩略图的形式显示，并在原图中圈出可疑的细胞核；最后建立图文报告，病历资料入库。

cn201310058516.7《一种荧光介观成像和oct联合的早期宫颈癌检测系统》，将介观功能层析成像和介观形态层析成像相结合，提高了宫颈癌诊断特异性，克服了目前宫颈癌检测方法特异性低的缺点。系统对患者同时进行oct和荧光介观成像的测量。另一方面其提供的上层组织厚度信息输入到荧光介观成像的图像重建算法中，从而进一步减少荧光介观成像的图像重建逆问题的病态性，提高重建图像的空间分辨率和量化度。

cn201711315293.2《人工智能宫颈癌筛查系统》，包括至少一个用户端、至少一个智能硬件检测台车，至少一个医院终端，智能管理端以及数据云中心，所述至少一个用户端、至少一个智能硬件检测台车，至少一个医院终端以及智能管理端均联网并且通过网络连接至数据云中心。本系统的就诊效率高，患者可以通过用户端进行各种检查和就诊的预约，缩短患者的就诊效率，节省患者的等待时间。而且本系统实现所有数据的共享和查询，方便了患者的就诊体验，而且还提供了患者数据便于上级卫生管理部门进行统计管理。

为进一步探索基于阴道镜图像的宫颈癌早期筛查识别技术，本发明人刘君于2018年4月在《中国生物医学工程学报》37卷2期发表了一篇《基于改进k均值与高斯混合模型的宫颈图像分割》论文，针对宫颈癌智能化筛查系统需要从阴道镜图像中分割出宫颈区域的问题,提出一种改进的k均值与高斯混合模型相结合的图像分割方法。首先根据宫颈区域的代表性颜色和其距离图像中心点的距离,构造出待分类的数据集；其次通过对宫颈区域代表性颜色的重新计算,一种使待分类数据集可随着迭代的进行而动态调整的规则被加入到k均值算法中,使得k均值算法适用于多种光照环境下的目标图像分割；最后利用k均值的聚类结果,初始化高斯混合模型的参数,并得到最终的分割结果。75套来源于不同成像条件下的宫颈图像(本发明申请人提供)上的实验结果显示,该方法的平均分割精度达到65.1％,比采用基本k均值算法进行初始化的高斯混合模型算法高出5.5％,比模糊c均值聚类算法高出5.8％,比基本高斯混合模型算法高出8.5％；其均方差达到11.5％,与水平集算法相比降低5.6％。实验结果证明,该方法在阴道镜视野下的宫颈区域分割中是行之有效的。

鉴于此，基于阴道镜图像的宫颈癌早期筛查识别技术还在不断地创造过程中。

技术实现要素：

本发明的目的在于针对现有技术中的发展，提供一种基于阴道镜图像的宫颈癌早期筛查识别方法，目的在于通过提供宫颈癌前病变图像识别方法和宫颈癌早期筛查识别算法，快速准确地做出筛查识别结果。

为解决上述技术问题，本发明采用如下技术方案实现：

一种基于阴道镜图像的宫颈癌早期筛查识别方法，筛查识别步骤如下：

(1)将窥阴器打开，将宫颈暴露出来；

(2)用带有光源系统的摄像机对宫颈区域进行醋酸前图像采集；

(3)用棉球蘸好醋酸试剂涂抹宫颈表面，按压在宫颈表面粘膜细胞核脱水30-60s，自动计时，当接近设定的计时时间，自动提醒医生将醋酸棉球拿出；

(4)等待时间过后取出棉球，设备按一定时间间隔自动抓取醋酸后的宫颈变化图像；

(5)后台对醋酸前的图像和醋酸后设定时间段进行图像识别分析；

(6)然后对产生的对比数据进行转化，形成可疑病变区域进行展示。

进一步，步骤设备按一定时间间隔1-10s自动抓取醋酸后的宫颈变化图像，包括时间间隔3s。

进一步，图像识别分析方法：

(一)图像的灰度化：

选择公式(1)完成醋酸前后图像的灰度化；

其中x，y为当前像素点的坐标，gray(x,y)为转换后的灰度值，r(x,y)，g(x,y)和b(x,y)分别为该像素点在rgb空间中的分量；之后的所有涉及到的灰度化过程都是在公式(1)的基础上得到的；

(二)宫颈区域的提取：

将宫颈区域从复杂的背景当中区分开来，以便于进行后续的配准以及醋白区域的分割，之后的一系列处理都是在宫颈区域上进行；选择在rgb空间内采用k均值聚类算法提取宫颈区域；考虑到色彩和距离因素，构造了如公式(2)所示的宫颈区域相似性测度函数:

其中x,y为任一像素点的坐标，s(x,y)为该像素点与宫颈区域的相似度，ir(x,y)为该像素点红色分量的大小，n为每个颜色通道色彩的灰度等级，cx和cy分别为图像中心点的横坐标和纵坐标；对于初始聚类结果进行孔洞填充、腐蚀、膨胀操作，保留面积最大区域；

(三)宫颈口的划分：

宫颈口以下简称os区域的划分是在醋白后的宫颈区域上采用k均值聚类算法完成的，其中心思想与宫颈区域的提取类似，离中心点越近，像素值越低的点越符合宫颈口的特征，因此，构造了如公式(3)宫颈口的相似性测度函数；

其中α＝0.4，i(x,y)为宫颈区域像素点灰度值，x,y为任一像素点的横坐标，纵坐标，n为宫颈区域像素点个数；宫颈口的划分是为了找出宫颈区域的近似中心点；

(四)配准：

选择在醋白前后图像的梯度图像上进行；为了准确地知道同一像素点在醋酸实验前后灰度等级发生的变化，将醋酸实验前后的图像进行配准；配准所采用的空间变换模型为公式(4)所示的二维仿射变换模型，相似性测度函数采用皮尔逊互相关函数，若互相关系数小于0，则默认为0.0000001；寻优算法采用遗传算法；

其中(x,y)和(x*,y*)分别为模板图像和浮动图像中对应像素点的坐标，(r1,r2,r3,r4,r5,r6)为二维仿射变换中的六个待优化参数；

(五)计算比值

在配准结果基础上构造了醋酸实验前后宫颈区域的灰度比例图像，如公式(5)所示:

其中ratio(x,y)表示坐标为x,y的像素点的比例值，a(x,y)表示该像素点在醋酸实验前图像灰度值，avg_a表示醋酸实验前图像在宫颈区域内的灰度均值，t(x,y)表示与醋酸实验前图像配准后的醋酸实验后图像灰度值，avg_t为该图像在宫颈区域内的均值；

在计算灰度均值的过程中需要剔除所有rgb空间内g分量和b分量大于200的像素点以下简称sr区域；计算ratio(x,y)时，只考虑配准前后图像的宫颈区域重叠部分以下简称重叠区域，并同时满足以下两个条件:

①白前图像灰度值大于50的像素点

②os区域内且醋白前图像灰度值大于0的条件的像素点；

计算结果中所有ratio(x,y)大于2的值都默认为2；在此过程中，再定义一个变量avg_n，如公式(6)所示:

avg_n＝t(x，y)/avg_t(6)

(六)改进的水平集分割

改进的水平集算法如公式(7)所示：

其中c1和c2分别为比例图像中内部和外部区域的均值；μ，λ1，λ2和γ，t的取值分别设置为1,1,0.2,100,10；▽φ(x,y)为水平集函数在(x,y)位置的梯度，ω为整个图像域；

在得到了公式(7)所示的能量函数之后通过拉格朗日中值定理和梯度下降流不难得到如公式(8)所示的水平集函数演化方程；

其中div表示散度运算，δ(*)为规范化的dirac函数；所述的水平集函数如公式(9)所示：

φ0(x,y)＝sign(ratio(x,y)-1)(9)

对于分割的醋白区域进行以下操作：

(1)取相应坐标的点，同时满足以下两个条件：

①位于宫颈区域内；

②该像素点的灰度值小于220；

(2)剔除以下区域：该区域距os区域质心的最短距离大于整个宫颈区域半径的二分之一；

(3)对剩余区域依次进行闭操作，开操作；

(4)剔除以下像素点：

①该像素点对应位置的灰度比值小于0.95；

②对醋白后的梯度图像进行[55]均值滤波后梯度小于2且对应位置灰度比值小于1.3；

③对应位置avg_n小于0.95且不再os区域内；

(5)再进行闭操作，开操作，孔洞填充；

(6)将重叠区域腐蚀一圈后，若某片独立醋白区域剩下的面积小于原面积的1/3，则去除。

进一步，步骤(二)中的n为每个颜色通道色彩的灰度等级，n为256。

进一步，步骤(三)中，

对于聚类结果的后续处理：

①剔除满足以下条件的像素点：该点灰度值小于30且距宫颈区域中心距离大于宫颈区域半径的二分之一；

②进行孔洞填充，并保留面积最大区域；

进一步，步骤(四)，遗传算法的具体实现我们采用调用函数库的方式，涉及到的函数有crtrp，ranking，selectrecombin，mutbga，fitness，reins；每个函数中的参数设置如下：

crtrp中的种群规模控制在100，每个变量的边界定义为：

[0.9,-0.1,-0.1,0.9,-size_image(1,1)/5,-size_image(1,2)/5；

1.1,0.1,0.1,1.1,size_image(1,1)/5,size_image(1,2)/5]；其中size_image为图片的大小；

fitness自定义的计算适应度值的函数，采用相关性的计算准则；

ranking中rfun的值为[2,1],subpop缺省，默认为1；

select中选择的功能函数rws,ggap值为0.8，subpop缺省，默认为1；

recombin中选择的功能函数recdis，recopt值为0.8,subpop缺省，默认为1；

mutbga中mutopt的范围为[0.31]；

reins中subpop的值为1,insopt的值为1；

迭代次数初步选择50，若适应度的值达到最小并在10代之内不再变化，遗传算法提前终止，配准完成，若不能满足上述条件，则在50次迭代之后终止。

综上所述，本发明具有以下优点:

1是提高宫颈识别效果，临床更容易接受，且准确性更高。临床医生采取图片完全靠主观意识去采集，就会导致醋白还没完全出现就取图对比，或者醋白现象已经过去后再进行取图，影响诊断效果。而该方法能自动采集固定时间内的图片进行分析，诊断标准相同，方便分析。

2是对水平集分割方法做出了改进，传统cv模型的水平集分割方法会将大量背景区域分割到目标区域中，而发明的水平集算法则避免了这一问题。图像的灰度化并不是采用传统的灰度转化，而是通过自定义的转化公式，解决了目标区域与背景区域存在的灰度相似问题，为水平集分割提供了良好的基础。传统水平集分割中要求目标区域与背景区域具有明显的灰度差异，否则能量函数难以收敛，难以得到正确的分割结果。

3是对于对醋酸实验前后的宫颈图像进行配准。配准环节可以让我们清楚地了解实验前后宫颈图像中每一个像素点的灰度等级变化，我们将灰度等级变大的区域看作可疑病变区域，这无疑大大地减小了分割的范围，在一定程度上降低了分割的难度，提高了分割的准确性。

本发明是对宫颈区域的阴道镜图像进行分割处理，不同于cn200410061403.3中所涉及的细胞核检查，cn201310058516.7的图像重建处理以及cn201711315293.2的筛查系统的建立。

与相近的现有技术的比较：《基于改进k均值与高斯混合模型的宫颈图像分割》在k均值聚类的基础上再使用高斯混合模型聚类，而本发明对k均值聚类的相似性测度函数做出了改进，不再需要参数设置，也不再使用高斯混合模型，缩短了分割所需要的时间，具有很强的适应性，同时，分割精度并没有降低。

附图说明

图1是宫颈癌前病变图像识别系统简图；

图2是本发明整体算法流程图；

图3是本发明宫颈区域以及os区域的分割示意图；

图4是本发明配准过程示意图；

图5是本发明醋白区域的分割示意图。

具体实施方式

下面结合具体实施例对本发明的技术方案做详细说明。

实施例1：如图3—图5

①宫颈区域以及os区域的分割：图3中，虚线部分为宫颈区域，实线部分为os区域；

②配准：图4中‘+’为醋酸前后像素点的对应位置，大图和小图看需要自行选择；

③醋白区域的分割：图5中点划线圈定的部分为分割所得的醋白区域。

一、基于阴道镜图像的宫颈癌早期检查过程

(1)医生用窥阴器打开女性阴道，将宫颈暴露出来；

(2)用带有光源系统的摄像机对宫颈区域进行醋酸前图像采集；

(3)医生用棉球蘸好醋酸试剂涂抹宫颈表面，按压在宫颈表面粘膜细胞核脱水30-60s，自动计时，当接近设定的计时时间，系统会自动提醒医生将醋酸棉球拿出；

(4)等待时间过后取出棉球，设备按一定时间间隔(1-10s)3s自动抓取醋酸后的宫颈变化图像，后期可以回放，但是又不是视频流，节约储存空间；

(5)系统后台对醋酸前的图像和醋酸后设定时间段(60s)进行图像识别分析；

(6)然后对产生的对比数据进行转化，形成可疑病变区域进行展示。例如热力图、边缘勾勒。1920*1080p1s张30层叠，识别。

检查过程相比于传统操作模式按压在宫颈表面粘膜细胞核脱水人工拍照、计时及医生观察醋酸后的宫颈表面变化情况，凭医生经验给出判断的优点：1.自动拍照和自动计时：优化传统宫颈癌前病变筛查流程。2.醋白区域自动识别：摆脱人为经验判断，弥补基层医生诊断经验不足。

二、基于阴道镜图像的宫颈癌早期筛查识别方法：

(一)图像的灰度化

受光照条件和宫颈表面粘液等干扰因素的影响，往往会出现醋白区域灰度等级与周边组织相似的情况，传统cv模型的水平集算法难以得到正确的分割结果，因此我们选择公式(1)完成醋酸前后图像的灰度化。

其中x，y为当前像素点的坐标，gray(x,y)为转换后的灰度值，r(x,y)，g(x,y)和b(x,y)分别为该像素点在rgb空间中的分量。之后的所有涉及到的灰度化过程都是在公式(1)的基础上得到的。

(二)宫颈区域的提取

将宫颈区域从复杂的背景当中区分开来，以便于进行后续的配准以及醋白区域的分割，之后的一系列处理都是在宫颈区域上进行。我们选择在rgb空间内采用k均值聚类算法提取宫颈区域。考虑到色彩和距离因素，我们构造了如公式(2)所示的宫颈区域相似性测度函数:

其中x,y为任一像素点的坐标，s(x,y)为该像素点与宫颈区域的相似度，ir(x,y)为该像素点红色分量的大小，n为每个颜色通道色彩的灰度等级(一般为256)，cx和cy分别为图像中心点的横坐标和纵坐标。对于初始聚类结果我们进行孔洞填充、腐蚀、膨胀操作，保留面积最大区域。

(三)宫颈口的划分

宫颈口(以下简称os区域)的划分是在醋白后的宫颈区域上采用k均值聚类算法完成的，其中心思想与宫颈区域的提取类似，离中心点越近，像素值越低的点越符合宫颈口的特征，因此我们构造了如公式(3)宫颈口的相似性测度函数。

其中α＝0.4，i(x,y)为宫颈区域像素点灰度值，x,y为任一像素点的横坐标，纵坐标，n为宫颈区域像素点个数。宫颈口的划分是为了找出宫颈区域的近似中心点。

对于聚类结果的后续处理：

①剔除满足以下条件的像素点：该点灰度值小于30且距宫颈区域中心距离大于宫颈区域半径的二分之一。

②进行孔洞填充，并保留面积最大区域。

(四)配准

为了准确地知道同一像素点在醋酸实验前后灰度等级发生的变化，我们将醋酸实验前后的图像进行配准。配准所采用的的空间变换模型为公式(4)所示的二维仿射变换模型，相似性测度函数采用皮尔逊互相关函数，若互相关系数小于0，则默认为0.0000001。寻优算法采用遗传算法。

其中(x,y)和(x*,y*)分别为模板图像和浮动图像中对应像素点的坐标，(r1,r2,r3,r4,r5,r6)为二维仿射变换中的六个待优化参数。

值得注意的是配准并不是在原图像中进行，为了加快配准速率和准确度，我们选择在醋白前后图像的梯度图像上进行。

遗传算法的具体实现我们采用调用函数库的方式，涉及到的函数有crtrp，ranking，selectrecombin，mutbga，fitness，reins。每个函数中的参数设置如下：

crtrp中的种群规模控制在100，每个变量的边界定义为：

[0.9,-0.1,-0.1,0.9,-size_image(1,1)/5,-size_image(1,2)/5；

1.1,0.1,0.1,1.1,size_image(1,1)/5,size_image(1,2)/5]；其中size_image为图片的大小。

fitness自定义的计算适应度值的函数，采用相关性的计算准则。

ranking中rfun的值为[2,1],subpop缺省，默认为1；

select中选择的功能函数rws,ggap值为0.8，subpop缺省，默认为1；

recombin中选择的功能函数recdis，recopt值为0.8,subpop缺省，默认为1；

mutbga中mutopt的范围为[0.31]；

reins中subpop的值为1,insopt的值为1；

迭代次数初步选择50，若适应度的值达到最小并在10代之内不再变化，遗传算法提前终止，配准完成，若不能满足上述条件，则在50次迭代之后终止。

(五)计算比值

在配准结果基础上构造了醋酸实验前后宫颈区域的灰度比例图像，如公式(5)所示:

其中ratio(x,y)表示坐标为x,y的像素点的比例值，a(x,y)表示该像素点在醋酸实验前图像灰度值，avg_a表示醋酸实验前图像在宫颈区域内的灰度均值，t(x,y)表示与醋酸实验前图像配准后的醋酸实验后图像灰度值，avg_t为该图像在宫颈区域内的均值。

在计算灰度均值的过程中需要剔除所有rgb空间内g分量和b分量大于200的像素点(以下简称sr区域)。计算ratio(x,y)时我们只考虑配准前后图像的宫颈区域重叠部分(以下简称重叠区域)，并同时满足以下两个条件:

③白前图像灰度值大于50的像素点。

④os区域内且醋白前图像灰度值大于0的条件的像素点。

计算结果中所有ratio(x,y)大于2的值都默认为2。在此过程中，我们定义一个变量avg_n，如公式(6)所示:

avg_n＝t(x，y)/avg_t(6)

(六)改进的水平集分割

改进的水平集算法如公式(7)所示：

其中c1和c2分别为比例图像中内部和外部区域的均值。μ，λ1，λ2和γ，t的取值分别设置为1,1,0.2,100,10。▽φ(x,y)为水平集函数在(x,y)位置的梯度，ω为整个图像域。

在得到了公式(7)所示的能量函数之后通过拉格朗日中值定理和梯度下降流不难得到如公式(8)所示的水平集函数演化方程。

其中div表示散度运算，δ(*)为规范化的dirac函数，本文的水平集函数如公式(9)所示：

φ0(x,y)＝sign(ratio(x,y)-1)(9)

对于分割的醋白区域我们进行以下操作：

(1)取相应坐标的点，同时满足以下两个条件：

①位于宫颈区域内；

②该像素点的灰度值小于220；

(2)剔除以下区域：该区域距os区域质心的最短距离大于整个宫颈区域半径的二分之一；

(3)对剩余区域依次进行闭操作，开操作；

(4)剔除以下像素点：

①该像素点对应位置的灰度比值小于0.95；

②对醋白后的梯度图像进行[55]均值滤波后梯度小于2且对应位置灰度比值小于1.3；

③对应位置avg_n小于0.95且不再os区域内；

(5)再进行闭操作，开操作，孔洞填充；

(6)将重叠区域腐蚀一圈后，若某片独立醋白区域剩下的面积小于原面积的1/3，则去除。

上述实施例仅用以说明本发明的技术方案，而非对本发明的构思和保护范围进行限定，本发明的普通技术人员对本发明的技术方案进行修改或者等同替换，而不脱离技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围中。