专利名称：宫颈瘤变检测和诊断的图像分析的制作方法
技术领域：
一般来说，本发明涉及医学成像，以及更具体来说，涉及用于宫颈癌病变的检测和诊断的自动化图像分析框架。
背景技术：
虽然本发明结合宫颈癌来公开，但是它可适用于许多其它医学领域。宫颈癌通过早期检测是可预防的，但是在全球仍然包括所有女性癌症病人的大约12%(世界卫生组织，“Global Health Risks”，2009年12月，通过引用结合到本文中)。这种相当数量的宫颈癌病人主要归因于在发展中国家缺乏宫颈癌预防计划。即使诸如帕帕尼科拉乌(Pap)涂片检查之类的宫颈癌预防计划在降低宫颈癌的发生和死亡率方面是有效的，但是发展中国家常常缺乏实现这些计划所需的复杂实验室设备、训练有素人员和财政资源(R.Sankaranarayananλ A.M.Budukh 和 R.Rajkumar，“Effective screening programmesfor cervical cancer in low-and middle-1ncome developing countries”，Bulletin ofthe World Health Organization 79，第 954-962 页，2001 ;H.S.Cronje，“Screening forcervical cancer in developing countries，，，International Journal of Gynecologyand Obstetrics 84 (2)，第 101-108 页，2004 ;以及 A.Batson、F.Meheus 和 S.Brooke,“Chapter 26:Innovative financing mechanisms to accelerate the introducti`on ofHPV vaccines in developing countries”，Vaccine 24，第 219-225 页，2006 ;通过引用结合到本文中)。在没有节省成本的宫颈癌筛选解决方案的情况下，宫颈癌仍然是发展中国家的女性癌症相关死亡的主要原因。为了解决这个问题，研究了备选的节省成本的宫颈癌筛选方法(L.Denny.L.Kuhn、A.Pollack、H.Wainwright 和 T.Wright，“Evaluation of alternative methods ofcervical cencer screening for resource-poor settings，，，Cancer 89 (4)，第 826-833页，2000 ;Τ.C.Wright Jr、M.Menton、J.F.Myrtle、C.Chow 和 A.Singer, “Visualizationtechniques (colposcopy, direct visual inspection, and spectroscopic and othervisual methods), Summary of task force 7”，Acta Cytologica 46 (5)，第 793-800 页，2002 ；J.Benavides、S.Chang、S.Park、R.Richards-Kortum、N.MacKinnon、C.MacAulayΛ
A.Milbourne、A.Malpica 和 M.Follen，“Multispectral digital colposcopy for invivo detection of cervical cancer”，Optics Express 11 [10]，第 1223-1236 页，2003 ;S.J.Goldie、L.Gaffikin、J.D.Goldhaber_Fiebert、A.GordiI1-TobarΛC.Levin、C.Mahe 和T.C.WrightZiCost-effectiveness of cervical-cancer screening in five developingcountries”， The New England Journal of Medicine 353(20)，第 2158 页，2005;J.Jeronimo、0.Morales、J.HornaΛ J.ParionaΛ J.Manrique、J.Rubi s 和 R.Takahashi，“Visual inspection with acetic acid for cervical cancer screening outside oflow-resource settings，，，Revista panamericana de salud publica 17，第 1-5 页，2005 ；D.Roblyerλ S.Y.Park、R.Richards-KorturnΛ 1.Adewole 和 Μ.Follen，“Objectivescreening for cervical cancer in developing nations: Lessons from Nigeria，，，Gynecologic Oncology 107 (IS)，第 94-97 页，2007 ；S.Y.Park、M.Follen、A.Milbourne、H.Rhodes、A.Malpica、N.MacKinnon、C.MacAulay、M.K.Markey 和 R.Richards-Kortum,“Automated image analysis of digital colposcopy for the detection of cervicalneoplasia”，Journal of Biomedical Optics 13，第 014029 页，2008 ;以及 N.Thekkek 和R.Richards-Kortum,uOptical imaging for cervical cancer detection: solutionsfor a continuing global problem，，，Nature Reviews, Cancer 8 (9)，第 725 页，2008，通过引用结合到本文中)，并且相当大的努力已经投入到釆用自动化图像分析技术的数字阴道镜(W.E.Crisp、B.L Craine 和 E.A.Craine, “The computerized digital imagingcolposcope: future directions，，，American Journal of Bbstetrics and Gynecology162(6)，第 1491 页，1990 ;Β.L Craine 和 Ε.R.Craine，“Digital imaging colposcopy:basic concepts and applications，，，Obstetrics & Gynecology 82(5)， 第 869 页，1993 ;Μ.1.Shafiλ J.A.Dunn、R.ChenoyΛ Ε.J.Buxton、C.Williams 和 D.M.Luesley,“Digital imaging colposcopy, image analysis and quantification of thecolposcopic image，，，British Journal of Obstetrics and Gynaecology 101(3)，第 234 页，1994 ;Ρ.Μ.Cristoforon1、D.Gerbaldo、A.Perino、R.Piccol1、F.J.Montz 和
G.L.Capitanioj “Computerized colposcopy: Results of a pilot study and analysisof its clinical relevance，，，Obstetrics and Gynecology 85，第 1011 页，1995 ;Q.J1、J.Engel 和 E.Craine，“Texture analysis for classification of cervix lesions，，，IEEE Transactions on Medical Imaging 19 (11)，第 1144-1149 页，2000 ;E.D.Dickman、T.J.DolK C.K.Chiu 和 D.G.Ferris，“Identification of cervical neoplasia usinga simulation of human vision，，，Journal of Lower Genital Tract Disease 5(3)，第 144 页，2001 ;S.Gordon、G.Zimmerman 和 H.Greenspan，“ Image segmentation ofuterine cervix images for indexing in PACS”， Proc.0f 17th IEEE symposium onComputer-Based Medical Systems, 第 298-303 页，2004 ;Α.Milbourne、S.Υ.Park、J.L Benedet、D.Miller、T.Ehlen、H.Rhodes、A.Malpica、J.Matisic、D.Van Niekirk 和Ε.N.Atkinson，“Resu lts of a pilot study of multispectral digital colposcopyfor the in vivo detection of cervical intraepithelial neoplasia，，，GynecologicOncology 99 (3S)， 第 67-75 页，2005 ;S.Gordon、G.Zimmerman、R.Long、S.Antan1、J.Jeronimo 和 H.Greenspan，“Content analysis of uterine cervix images:1nitialsteps towards content based indexing and retrieval of cervigrams，，，Proc.0fSPIE Medical Imaging 6144，第 1549-1556 页，2006 ;W.Li 和 A.Poirson，“Detection andcharacterization of abnormal vascular patterns in automated cervical imageanalysis，，，Lecture Notes in Computer Science 4292，第 627 页，2006 ；W.L1、J.Gu、D.Ferris 和 A.Poirson，“Automated image analysis of uterine cervical images，，，Proc.0f SPIE Medical Imaging 6514，第 65142P-1 页(2007) ;S.Y.Park，“A study ondiagnostic image analysis for the detection of precancerous lesions usingmultispectral digital images”， PhD Thesis University of Texas at Austin，2007;S.Y.Park、M.Follen、A.Milbourne、H.Rhodes、A.Malpica、N.MacKinnon、C.MacAulay、Μ.K.Markey 和 R.Rchards-Kortum，“Automated image analysis of digital colposcopyfor the detection of cervical neoplasia，，，Journal of Biomedical Optics 13，第 014029 页，2008 ；W.L1、S.Venkataraman、U.Gustafsson、J.C.0yama、D.G.Ferris和 R.W.Lieberman，“Using acetowhite opacity index for detecting cervicalintraepithelial neoplasia，，，Journal of Biomedical Optics，第 14 卷，第 014020 页，2009 ；以及 H.G.Acosta-Mesa、N.Cruz-Ramirez 和 R.Hermandez-Jimenez，“Acetowhitetemporal pattern classification using k_NN to identify precancerous cervicallesion in colposcopic images”， Computers in Biology and Medicine，39(9)， 第778-784页，2009，通过引用结合到本文中)。许多研究已经表明，釆用癌症和前期癌的基于图像的诊断的数字阴道镜具有改进或者甚至取代常规阴道镜的可能性。数字图像分析所提供的一致并且准确的诊断具有允许不太有经验的医师提供等同于阴道镜专业人员的护理标准的可能性。在二十世纪九十年代初期，若干研究表明使用数字图像处理技术来自动解释阴道镜图像的可行性(W.E.Crisp.B.L Craine 和 Ε.A.Craine，“The computerized digital imaging colposcope: futuredirections，，，American Journal of Obstetrics and Gynecology 162 (6)，第 1491 页，
1990；B.L Craine 和 E.R.Craine, “Digital imaging colposcopy: basic concepts andapplications”，Obstetrics & Gynecology 82 (5)，第 869 页，1993 ;Μ.1.Shaf1、J.A.Dunn、R.Chenoy、E.J.Buxton、C.Williams 和 D.M.Luesley，“Digital imaging colposcopy,image analysis and quantification of the colposcopic image，，，British Journalof Obstetrics and Gynaecology 101(3)，第 234 页，1994;以及 Ρ.Μ.Cristoforon1、
D.Gerbaldo、A.Perino、R.Piccol1、F.J.Montz 和 G.L.Capitanio，“Computerizedcolposcopy: Results of a pilot study and analysis of its clinical relevance，，，Obstetrics and Gynecology 85，第1011页，1995，通过引用结合到本文中)。在这些早期研究中，诊断图像解释主要依靠来自阴道镜专业人员的定性图像评估并且提供有限定量分析。
由于这些早期原理证明报导，设计了自动化算法，目的是使提供者(医师)干预的需要为最小(E.D.Dickmanλ Τ.J.Doll、C.K.Chiu 和 D.G.Ferris, “Identificationof cervical neoplasia using a simulation of human vision，，，Journal ofLower Genital Tract Disease 5(3)， 第 144 页，2001 ;S.Gordon、G.Zimmerman 和H.Greenspan，“Image segmentation of uterine cervix images for indexing inPACS”， Proc.0f 17th IEEE Symposium on Computer-Based Medical Systems, 第298-303 页，2004 ;Α.Milbourne、S.Y.Park、J.L Benedet、D.Miller、T.Ehlen、H.Rhodes、A.Malpica、J.Matisic、D.Van Niekirk 和 E.N.Atkinson，“Results of a pilot studyof multispectral digital colposcopy for the in vivo detection of cervicalintraepithelial neoplasia，，，Gynecologic Oncology 99 (3S)， 第 67-75 页，2005;S.Gordon、G.Zimmerman、R.Long、S.Antan1、J.Jeronimo 和 H.Greenspan，“Contentanalysis of uterine cervix images:1nitial steps towards content based indexingand retrieval of cervigrams，，，Proc.0f SPIE Medical Imaging 6144，第 1549-1556页，2006 ；W.L1、J.Guλ D.Ferris 和 A.Poirson, “Automated image analysis of uterinecervical images”，Proc.0f SPIE 6514，第 65142P-页，2007 ;S.Y.Park，“A study ondiagnostic image analysis for the detection of precancerous lesions usingmultispectral digital images”， PhD Thesis University of Texas at Austin，2007 ；S.Y.Park、M.Follen、A.Milbourne、H.Rhodes、A.Malpica、N.MacKinnon、C.MacAulay、M.K.Markey 和R.Richards_Kortum，“Automated image analysis of digital colposcopyfor the detection of cervical neoplasia，，，Journal of Biomedical Optics 13，第 014029 页，2008 ;W.L1、S.Venkataraman、U.Gustafsson、J.C.0yma、D.G.Ferris和 R.W.Lieberman，“Using acetowhite opacity index for detecting cervicalintraepithelial neoplasia，，，Journal of Biomedical Optics 14，第 014020 页，2009 ;H.G.Acosta-Mesa、N.Cruz-Ramirez 和 R.Hermandez-Jimenez，“Aceto-white temporalpattern classification using k_NN to identify precancerous cervical lesionin colposcopic images，，，Computers in Biology and Medicine，39 (9)， 第 778-784页，2009 ；W.L1、R.W.Lieberman、S.Nie、Y.Xie、M.Eldred 和 J.0yama, “Histopathologyreconstruction on digital imagery”，Proc.0f SPIE Medical Imaging 7263，第726303页，2009，通过引用结合到本文中)。Dickman 等人(E.D.DickmanΛ T.J.Doll、C.K.Chiu 和 D.G.Ferris，“Identification of cervical neoplasia using a simulation of human vision，，，Journal of Lower Genital Tract Disease 5 (3)，第 144 页，2001，通过引用结合到本文中)研究了使用人类视觉的计算机模拟从宫颈图像对宫颈癌和先兆的检测。他们训练视觉系统以识别正常和异常宫颈图像，并且证明在仅对8个图像的极小数据集检测CIN3方面的100%灵敏度和98%特异性。Gordon 矛口 Li (S.Gordon、G.Zimmerman 矛口 H.Greenspan，“Image segmentation ofuterine cervix images for indexing in PACS”，Proc.0f 17th IEEE Symposium onComputer-Based Medical Systems，第 298-303 页，2004 ；S.Gordon、G.Zimmerman、R.Long、S.Antan1、J.Jeronimo 和 H.Greenspan，“Content analysis of uterine cervix images:1nitial steps t owards content based indexing and retrieval of cervigrams，，，Proc.0f SPIE Medical Imaging 6144，第 1549-1556 页，2006 ;以及 W.L1、J.Gu、D.Ferris 和A.Poirson，“Automated image analysis of uterine cervical images”，Proc.0f SPIEMedical Imaging 6514，第65142P-1页，2007，通过引用结合到本文中)开发了图像分析算法，以便基于颜色强度值来对宫颈的解剖区域进行分段，例如柱状上皮、鳞状上皮、内颈管和转化区。他们的研究表明，存在宫颈解剖的准确分段的可能性。但是，他们的工作没有结合组织类型与其它诊断特征之间的空间关系，并且他们没有报导其算法的诊断精度。Li 等人(I L1、S.VenkataramanΛ U.Gustafsson、J.C.0yamaΛ D.G.Ferris和 R.W.Lieberman，“Using acetowhite opacity index for detecting cervicalintraepithelial neoplasia，，，Journal of Biomedical Optics 14，第 014020 页，2009，通过引用结合到本文中)设计了使用醋酸变白不透明性指数的计算机辅助诊断系统，其中所报告的基于患者的诊断结果为88%灵敏度和84%特异性。类似地，Park等人(S.Y.Park，“A study on diagnostic image analysis forthe detection of precancerous lesions using multispectral digital images，，，PhDThesis University of Texas at Austin，2007 ;以及 S.Y.Park、M.Follen、A.Milbourne、
H.Rhodes、A.Malpica、N.MacKinnon、C.MacAulay、M.K.Markey 和 R.Richards-Kortum,“Automated image analysis of digital colposcopy for the detection of cervicalneoplasia”，Journal of Biomedical Optics 13，第 014029 页，2008，通过引用结合到本文中)设计了使用基于醋酸变白的统计特征的诊断图像分析框架，从而报告基于患者和基于图像的诊断性能。结果表明对于基于患者的方式的79%灵敏度和88%特异性以及对于基于图像的方式的82%灵敏度和73%特异性。但是，这些当前报导的诊断算法尚未完全利用宫颈生物学。取而代之的是这些技术是通用的而不是域特定的，并且尚未适合利用特定组织、在这种情况下为宫颈组织的独特光学特性。可通过将宫颈癌特定(域特定)的特征结合在算法设计中，来显著增强图像分析的诊断性能。例如，已知宫颈癌主要通过宫颈转化区中的化生上皮受一种或更多致癌类型的人乳头瘤病毒(HPV)感·染引起(D.A.Elson、R.R.Riley、A.Lacey、G.Thordarson、
F.J.Talamantes和 J.M.Arbeit，“Sensitivity of the cervical transformationzone to estrogen-1nduced squamous carcinogenesis，，，Cancer Research 60(5)，第1267页，2000，通过引用结合到本文中)。另外，一些报导(参见例如LMOrfanoudak1.G.C.Themelis、S.K.Sifakis、D.H.Fragoul Λ J.G.Panayiotides、E.M.Vazgiouraki 和
E.E.KoumantakisZiA clinical study of optical biopsy of the uterine cervix usinga multispectral imaging system，，，Gynecologic Oncology 96(1)，第 119-131 页，2005 ；以及 J.Mirkovic、C.LauΛ S.McGee、C.C.Yu、J.Nazem1、L Galindo、V.Feng、T.Darraph、A.deLas Morenas和C.Crum，“Effect of anatomy on spectroscopic detection of cervicaldysplasia”，Journal of Biomedical Optics 14，第 044021 页，2009，通过引用结合到本文中)已表明，组织类型之间的组织结构的差异对于各组织类型产生不同的光学性质。而且已经报导，宫颈的转化区中的柱状组织在光谱上与相邻鳞状组织不同，并且这些解剖差异直接影响光谱诊断参数(J.Mirkovic、C.Lau、S.McGee、C.C.Yu、J.Nazem1、L Galindo、V.Feng、T.Darragh、A.de Las Morenas和C.Crum，“Effect of anatomy on spectroscopicdetection of cervical dysplasia，，，Journal of Biomedical Optics 14，第 044021页，2009，通过引用结合到本文中)。此外，一项研究已表明，醋酸白响应曲线在鳞状组织、柱状组织和转化区中具有不同衰变(1.M.0rfanoudak1、G.C.Themelis、S.K.Sifakis、D.H.Fragouliλ J.G.Panayiotides、E.M.Vazgiouraki 和 E.E.Koumantakis, “A clinicalstudy of optical biopsy of the uterine cervix using a multispectral imagingsystem”，Gynecologic Oncology 96 ⑴，第 119-131 页，2005，通过引用结合到本文中)。这些研究和报导提出，宫颈癌检测算法的性能能够通过结合组织类型信息来提高。先前报导的方法也没有考虑诊断特征之间的空间关系。例如，如阴道镜教材(参JAL B.S.ApgarλBrotzmanλG.L.和 Spitzer.M.,“Colposcopy: Principles and Practice”，W.B.Saunders Company，Philadelphia，2002，通过引用结合到本文中)所述，醋酸变白和镶嵌现象的存在指示宫颈瘤变(宫颈癌或宫颈中的细胞的异常增殖)的高概率。除了由特征本身所提供的信息之外，宫颈图像中的特征之间的这些关系也提供诊断上有价值的信息。先前研究的大多数也缺乏基于图像的诊断性能评估方法。一些研究使用基于患者的灵敏度和特异性。基于患者的性能分析测量算法为各患者准确进行阳性和阴性癌预测的能力。但是，基于患者的性能分析没有评估算法正确定位包含癌组织(异常部位)的图像区域的能力。如果能够准确定位异常部位，则外科切除的尺寸能够减小，这又降低患者的不适。同样，异常部位的准确检测能够帮助精确指明活组织检查的位置。因此，用于自动化图像分析的合理诊断性能方法应当评估算法不仅诊断患者而且还定位异常部位的能力。以下专利和专利申请可被认为与本发明的领域相关:
Zahler等人的美国专利N0.6236881公开一种采用用于对例如宫颈和膀胱组织中的疾病进行非药物激活成像的实时检测算法的计算机化设备，通过引用结合到本文中。Utzinger等人的美国专利N0.6766184公开了用于生成组织的多谱图像的方法和设备，通过引用结合到本文中。多谱图像可用作诸如宫颈癌等疾病检测和诊断的诊断工具。利用本发明的设备包括内窥镜和阴道镜。Schomacker等人的美国专利N0.6933154提供用于使用在将化学试剂施加到组织样本之后的最佳时间段之内所得到的谱数据和/或图像来确定组织样本的特性、如健康状态的方法，通过引用结合到本文中。Clune等人的美国专利N0.7187810提供确定至少部分因样本移动引起的图像序列中的至少两个图像之间的失配的校正的方法，通过引用结合到本文中。例如在诊断过程的生物组织的图像序列的处理和分析中应用方法。该发明还提供验证样本的图像序列中的至少两个图像之间的失配的校正的方法。可在判定失配的校正是否准确说明样本运动中应用方法。
Lange等人的美国专利N0.7664300公开了一种由核心处理系统组成的子宫颈癌计算机辅助诊断(CAD)系统，该核心处理系统自动分析从子宫颈所获得的数据，并且提供组织和患者诊断以及检查的适合性，通过引用结合到本文中。Sammak等人的美国专利申请N0.2006/0039593公开了用于确定细胞结构的特性的方法和系统，通过引用结合到本文中。方法包括非侵入式、非扰动可自动化定量方法，并且可适用于诸如干细胞、晶胚和卵细胞之类的细胞的检查。Balas等人的美国专利申请公开N0.2008/0039720公开一种用于确定组织特性的定量方法，包括下列步骤:基于组织的光学性质来生成某个时间段的动态光学曲线的数据，以及确定动态光学参数的值，通过引用结合到本文中。比较动态光学参数的值和已知为与组织的结构或功能特性和/或病理状态相联系的动态光学参数的参考值。基于该比较，确定组织的结构或功能特性和/或病理状态。该方法用于对瘤变和/或HPV传染进行诊断和/或分级，和/或计算组织样本中的细胞的核质比。Suliga等人的美国专利申请公开N0.2008/0101678描述一种用于执行通过不良或有限数据所表征的图像的聚类的基于马尔可夫随机场(MRF)的技术，通过引用结合到本文中。所提出的方法是基于图像像素的统计和前后关系信息的描述来标记图像像素的统计分类模型。除了评估源自K均值聚类方案的定义的像素统计之外，该模型通过像素与其标记(前后关系)之间的空间相关性的描述来扩大分析，从而引起相对纯K均值聚类的结果的分段输出的异质性的降低。Li等人的美国专利申请公开N0.2009/0034824公开一种用于区分癌病变与周围组织的方法，其中包括从宫颈的醋酸前和醋酸后图像的醋酸白区域来提取不透明性参数，通过引用结合到本文中。
Balas等人的美国专利申请公开N0.2009/0253991公开用于在组织的生长期间引起上皮组织的生化和/或功能特征中非典型、发育异常、瘤变和癌症的变化的体内非侵入式早期检测以及这些变化的等级的映射的方法和设备，通过引用结合到本文中。Venkataraman等人的美国专利申请公开N0.2010/0027863公开一种用于数字宫颈影像中的非典型血管的检测的方法，通过引用结合到本文中。Li等人的美国专利申请公开N0.2010/0092064公开一种用于通过连续施加从由确定纹理区域的大小、不透明性参数、醋酸白区域的大小、粗糙和细致点状的数量、粗糙和细致镶嵌的大小、非典型血管的大小和人口统计数据所组成的组中选取的分类器来分类宫颈组织以使得宫颈组织能够分类为没有疾病迹象、低等级发育异常、高等级发育异常或癌症的基于规则的无人监督过程，通过引用结合到本文中。
发明内容
本发明公开一种用于宫颈瘤变检测的新的自动化域特定图像分析方法，该方法解决先前研究、报导和发展的缺点。首先，在从预处理和图像分段到最终分类阶段的所提出方法的每一阶段利用宫颈组织特定的特征(域特定特征)。该设计基于两个重要的临床观察:(I)大多数宫颈前期癌或癌症在子宫颈的转化区发生(A.Stafl 和 R.F.Mattingly, “Colposcopic diagnosis ofcervical neoplasia”，Obstetrics & Gynecology 41 (2),第 168页，1973,通过引用结合到本文中)；以及(2)组织的光学性质作为组织类型的函数而改变。本发明使用解剖特征图来结合关于宫颈前期癌主要在宫颈转化区中发生的知识。其次，基于条件随机场(CRF)的理论使用宫颈图像分析框架来利用与组织类型及其空间关系有关联的诊断特征(参见例如J.Lafferty、A.McCallum和F.Pereira,“Conditional random fields: Probabilistic models for segmenting and labelingsequence data，，，in Machine Learning-1nternational Workshop, 282-289,2001 ;以及
H.Greenspan、S.PelecU S.，G.0z 和 N.Kiryati, “MRI Inter-slice Reconstruction usingSuper-resolution，，,Lecture Notes in Computer Science: Medical Image Computationand Computer-Assisted Intervention-MICCAI 2001 2208,第 1204-1206 页，2008,通过引用结合到本文中)。CRF是用于通过在给定特定观察序列的情况下定义标记序列的条件概率分布而不是标记和观察序列两者的联合分布来标记和分段结构化数据的概率框架。在本发明中，CRF的所谓马氏性概率性地对相邻组织以及不同组织类型之间的诊断关系进行建模。CRF模型还表征癌细胞向相邻组织的扩展行为。此外，本发明中使用的CRF模型能够未经修改地同时适应多个宫颈癌成像形态，例如荧光和窄带图像。同样，在未经修改的情况下，本发明能够分析来自时间过程醋酸变白衰变序列中的任何数量的图像的信息。第三，本发明结合与醋酸变白和血管结构两者相关的统计特征。先前方式仅使用了醋酸变白特征。醋酸变白和血管特征的使用利用先前报告的关系，例如醋酸变白和镶嵌两者的存在指不宫颈癌变的闻概率的事实。最后，为了定位宫颈图像中的异常部位，本发明公开以灵敏度和特异性量度为基础的基于窗口的性能评估。使用组织病理学作为基础事实将定位异常图像区域的方法的稳定性与专家阴道镜注释进行比较。尽本发明人所知，这是第一个明显测量算法定位异常图像区域的能力的报导的方法。相应地，本发明包括用于组织中的癌症的检测和诊断的过程，其中包括:获取组织的极化或非极化图像；归一化图像以考虑颜色和空间变化；配准图像以校正组织变形；使用颜色和纹理信息从图像来生成解剖特征图；基于解剖特征图来识别图像中的不同组织类型的区域(使得各区域仅具有一种组织类型)；分段各区域中在颜色和强度上是同质的子区域；从子区域的每个来提取诊断相关特征(其中诊断相关特征从由醋酸变白和异常血管特征所组成的组中选取)；以及基于子区域中的所述所提取的诊断相关特征和以相邻区域的分类为基础的概率相关性来将子区域分类为正常或异常。本发明还包括通过计算均值、标准差、熵和醋酸前图像与醋酸后图像的不同颜色通道之间的比率来提取醋酸变白的诊断相关特征步骤。本发明还包括通过应用线性旋转结构元和形态变换以通过提取血管之间的毛细管间的距离、各血管大小和血管密度自动检测镶嵌、点状和非典型血管图案来提取异常血管特征。 本发明还包括使用结合关于相邻子区域的分类的概率相关性的条件随机场分类器来自动将每个子区域中的组织分类为正常或异常。优选地实施本发明，其中组织是宫颈组织，以及识别步骤将所述组织类型识别为鳞状上皮、柱状上皮、宫颈口和转化区。优选地实施本发明，其中图像为红、绿和蓝可见光图像。图像能够是醋酸前图像、醋酸后图像、时间过程醋酸白图像以及反射和荧光图像。所公开的诊断方式具有支持或取代常规阴道镜的可能性。该设计还能够接受任何数量和类型的图像作为输入。具体来说对于宫颈癌应用，输入可包括任何数量和组合的醋酸前和醋酸后图像、时间过程醋酸白衰变图像以及荧光图像。这些附加图像和形态自然地结合到本发明的所提出实施例中而无需任何修改。此外，一般化框架能够适用于其它癌症，包括但不限于皮肤、口腔和结肠癌。
图1示出采用组织和图像输入数据、阴道镜和组织病理学注释以及图像预处理、图像分段、诊断特征提取、诊断图像分类和性能分析的分析步骤的用于宫颈癌检测和诊断的自动化图像分析框架。图2示出宫颈的鳞状(101)和柱状(102)上皮、转化区(103)和宫颈口(104)的解剖特征。图3(a)示出具有图像信息的聚类结果，并且图3(b)示出没有图像信息的聚类结果O图4(a)示出具有组织信息的聚类结果的Davies-Bouldin(DB)指数的盒形图，并且图4(b)示出没有组织信息的聚类结果的DB指数的盒形图。图5示出醋酸变白(201)、点状(202)、镶嵌(203)和非典型血管(204)的诊断相关特征。图6示出利用η个不同特征f\、f2、f3、…匕的特征函数(Y^ Y2> Y3和Y4)的具有鳞状上皮(101)、柱状上皮(102)、转化区(103)和宫颈口(104)的四种不同组织类型的四种聚类情况(11、12、13和14)的CRF (条件随机场)分类器设计。图7 (a)示出极化白光宫颈图像，其中点A到B表示来自从宫颈的电环切除手术(LEEP)的组织病理学载片的位置。图7(b)示出图7(a)中的点A到B之间的组织病理学载片。插图显示呈现显著不同的组织结构的组织表面的放大部分。图8(a)示出来自鳞状组织的醋酸白信号衰变曲线，并且图8(b)示出来自柱状上皮组织的醋酸白信号衰变曲线。图9(a)将第一受检者的所公开算法的结果与由阴道镜专业人员在提取醋酸变白部位中执行的图9(c)所示的对应阴道镜注释进行比较，并且图9(b)将第二受检者的本发明的结果与由阴道镜专业人员在提取醋酸变白部位中执行的图9(d)所示的对应阴道镜注释进行比较。图10(a)和图11(a)示出覆盖于宫颈图像上的两个不同受检者的组织病理学基础事实注释。具有高等级瘤变的部位或原位癌部位作为白色线示出。图10(b)和图11(b)示出由阴道镜专业人员所执行的阴道镜注释。图11(b)中的受检者被阴道镜人员认为是正常的，从而没有产生阴道镜注释。图10(c)和图11(c)示出本发明的结果。图12示出来自(a)阴道镜专业人员和(b)所公开诊断图像分析框架的诊断结果的受试者工作特征(ROC)曲线。
具体实施例方式本文所提供的本发明的 当前优选实施例公开图1示意所示的用于宫颈癌检测和诊断的自动化图像分析框架。该框架使用高分辨率仪表来获取高质量临床宫颈图像数据以及采取阴道镜和组织病理学注释形式的组织数据。诊断图像分析框架由一系列图像分析步骤组成，其中按照依次顺序来应用图像预处理、图像分段、诊断特征提取和诊断图像评估。在最终步骤，应用诊断图像分析输出的性能分析。仪表和数据 仪表
采用专门为获取宫颈图像以及阴道镜专家进行的后续光学分析所设计的数字成像装置来获取开发宫颈癌检测和诊断框架中使用的图像数据。在本发明的一个优选实施例中，数字成像装置由修改光学阴道镜(例如，Seiler，Series 935)组成，包括两个高分辨率14兆像素RGB彩色数码相机(例如，Kodak，DCS ProSLR/n)和光纤引导光源部件(例如，Perkin Elmer,DiX1765 Xenon灯)。修改阴道镜实现立体成像能力(三维图像重构)以及非极化和极化反射影像(但是能够使用其它类型的图像，包括但并不局限于荧光图像)的获取。非极化影像易受镜面反射(反光)影响，这使所有信号饱和，并且能够引起从受影响部位提取诊断信息的问题。极化影像以分辨率的细微降低为代价来使反光为最小。使用高分辨率数字阴道镜允许计算机程序检测阴道镜重要特征(参见例如 D.G.Ferris、J.T.Cox、D.Μ.0，Connor> V.C.Wright 和 J.Foerster, ModernColposcopy, Textbook and Atlas,第 1-699 页，American Society for Colposcopy andCervical Pathology, 2004,通过引用结合到本文中)，包括但不限于醋酸白、病变边界、细致和粗糙镶嵌、点状和非典型血管。它还允许计算机程序评估和确定病变的大小、特征和毛细管间距离。此外，在本发明的另一个优选实施例中，能够使用具有内置偏振发光照明的高分辨率数字视频阴道镜(如2008年8月I日提交的共同待决共同转让的美国专利申请N0.12/291890“High resolution digital video colposcope with built in polarizedLED illumination and computerized clinical data management system，，所述，通过弓I用结合到本文中)。数据
从全部安排在秘鲁的利马和库斯科以及乔治亚州的奥古斯塔的医院进行LEEP的具有宫颈细胞学异常和一致阴道镜诊断的女性获取用于本发明的临床反射图像数据。研究草案由机构审查委员会(IRB)在临床现场审查和批准。合格患者为22与50岁之间的女性，不是孕妇，没有宫颈出血，并且由于异常的帕帕尼科拉乌(Pap)涂片而转介到阴道镜门诊以便进行LEEP。所有参与者阅读和签署了 IRB批准的知情同意书。在阴道镜检查之后但在应用5%醋酸(这增强正常与醋酸响应组织部位之间的对比度)之前，从各患者获取极化白光反射图像以及非极化反射图像(这些图像以下称作“醋酸前图像”)。在醋酸应用之后的一分钟，在五分钟之内每隔10秒获取连续极化和非极化图像(这些图像以下称作“醋酸后图像”)。女性受检者则在应用Lugol碘溶液以及皮下注射麻醉剂和血管收缩剂之后进行LEEP手术。在临床检查之后，由阴道镜专业研究人员在醋酸后图像上注释包括外宫颈、外口、柱状上皮、鳞状上皮、醋酸白上皮、镶嵌、点状、非典型血管和病变边缘的阴道镜特征。处理LEEP标本，并且由组织病理学专业人员在组织病理学载片图像上注释宫颈上皮内瘤变(CIN)的部位。这些组织病理学注释用作性能评估中的基础事实。为了在组织病理学处理期间保持LEEP标本相对于切除部位的空间取向并且将CIN部位又与所获取宫颈反射图像相互关联，优选地按照2008年10月9日提交的共同待决共同转让的美国专利申请 N0.12/587614 “Process for preserving 3D orientationto allow registering histopathological diagnoses of tissue to images of thattissue”中所述的方法来处理和分析LEEP标本，通过引用结合到本文中。诊断图像分析 图像预处理
本发明的优选实施例包含用于图像预处理的三个连续步骤。第一预处理步骤(图像校准)归一化宫颈反射图像，以便考虑图像之间的照明条件和相机设定的差所引起的颜色和空间变化。这个第一步骤优选地使用2007年3月17日提交的共同待决共同转让的美国专利申请 N0.12/077659 “Method of Automated Image Color Calibration”中所述的方法,通过引用结合到本文中。第二预处理步骤是图像配准，它校正在应用醋酸之前和之后所得到的两个图像之间的组织变形。为了校正应用醋酸所引起的组织变形，优选地使用利用非线性优化的弹性图像配准方法(如 J.D.Arteaga、J.Kybic 和 W.Li 的 “Elastic image registration formovement compensation in digital colposcopy”， BIOSIGNAL: Analysis of BiomedicalSignals and Images, Brno, Czech Republic, 2006 中所述，通过引用结合到本文中)。
最终预处理步骤(解剖特征提取)识别醋酸前和醋酸后宫颈反射图像中的不同组织类型的区域。使用颜色和纹理信息，该算法生成解剖特征图(指示鳞状和柱状上皮、转化区和宫颈 P 的二维图)，如图 2 所不以及如 S.Y.Park、M.Follen、A.Milbourne、H.Rhodes、A.Malpica、N.MacKinnon、C.MacAulay、M.K.Markey 和 R.Richards-Korturn 的 “Automatedimage analysis of digital colposcopy for the detection of cervical neoplasia”，Journal of Biomedical Optics 13,第 014029 页，2008 以及 S.Y.Park 的 “A study ondiagnostic image analysis for the detection of precancerous lesions usingmultispectral digital images，，， PhD Thesis University of Texas at Austin,2007中所述，通过引用结合到本文中。鳞状和柱状上皮基于颜色信息来提取。对于宫颈组织(参见图2)，鳞状上皮(101)呈现略带粉红色，而柱状上皮(102)呈现略带红色。最大期望(EM)算法用于两个颜色分布的非参数估计。宫颈口(104)是位于宫颈中心并且由柱状上皮(102)和转化区(103)包围的低强度小部位。宫颈口(104)的大小和形状随年龄、荷尔蒙和阴道分娩状态而改变。在本发明中，宫颈口(104)采用本征值分解方法使用自适应阈值自动检测(如K.Etemad和 R.Chellapa 的“Face recognition using discriminant eigenvectors”， IEEEInternational Conference on Acoustics, Speech, and Signal Processing ICASSP—96,2148-2151,1996中所述，通过引用结合到本文中)。转化区(103)是最经常发现细胞的异常生长和变化的部位。它位于鳞状(101)与柱状上皮(102)之间，并且是鳞状化生位置(采用一个成熟分化细胞类型可逆地取代另一个分化细胞类型)。强度梯度图 用于表征组织纹理的变化，并且将转化区(103)识别为高变化的区域。解剖特征图用于分析不同组织类型的光学性质以及设计其它诊断图像分析算法，包括图像分段和基于CRF的诊断图像分类(以下小节进一步详细描述)。图像分段
在预处理步骤期间生成的解剖特征图优选地用于对每个宫颈组织类型单独执行图像分段。这表示由解剖特征图所限定的组织区域进一步聚类为子区域。由解剖特征图所限定的边界确保这些子区域各仅包含一种类型的组织。使用基于区域而不是基于像素的分类，因为它对于甚至在解剖特征图的提取之后保持的固有配准误差更为鲁棒。由于宫颈图像中的颜色和强度的变化与组织类型的变化、宫颈瘤变的严重性和血管图案相互密切关联的观察，也使用基于区域的方式。这些变化对于诊断分类极为重要。因此，本发明的图像分段的目标是识别颜色和强度上是同质的各组织类型中的子区域。为了实现这个目标，本发明的优选实施例优选地利用新的基于k均值聚类的图像分段算法(N.0tsu 的“A threshold selection method from gray level histograms，，，IEEETransactions on Systems, Man, and Cybernetics 9 (I), 62-66,1979,通过引用结合到本文中)。在设计这种新分段算法中，首先确定单独使用像素强度特征的图像分段是否充分描述宫颈图像中的解剖结构。这种分段表示总体上的图像的分段，而没有首先使用解剖特征图将图像细分为不同组织类型区域。对于这个测试，提取相机系统的不同颜色通道的强度和强度的比率。将RGB彩色相机用于宫颈图像数据收集，提取10个特征:红、绿和蓝通道的强度，以及极化醋酸前和醋酸后宫颈反射图像的绿与红和蓝与红强度比率。对于获取除了 RGB之外的其它颜色模式、例如CMYK(青、品红、黄和定位(黑色))的数据的其它相机系统，能够生成其它比率。此外，为了对这些特征的相对贡献求积分以便分段，各特征根据如下定义的其香农熵函数来加权(C.E.Shannon, “A mathematical theory of communication，，，ACMSIGMOBILE Mobile Computing and Communications Review 5 (I), 3-55,2001,通过引用结合到本文中):
//⑶-.1J
其中，A是表示强度特征的随机变量，α是A的实现，以及ρ(.)是A的概率质量函数。这种加权方式优先考虑在各个图像上显著改变的特征，并且因而提供图像分段的大多数信息。优选方式与信息增益直接相关(T.Mitchell, Machine learningMcGraw Hill，1997，通过引用结合到本文中)，并且是分类中(P.S.Kostka、E.J.Tkacz和D.Komorowski,“Hybrid feature vector extraction in unsupervised learning neuralclassifier，，，IEEE Annual International Conference of the Engineering in Medicineand Biology Society IEEE-EMBS 2005，第 5664-5667 页，2006，通过引用结合到本文中)和特征选择中(A.Abbas1、H.Chen 和 J.P.Salenius, “Sentiment analysis in multiplelanguages: Feature selection for opinion classification in Web forums，，，ACMTransactions on Information Systems (TOIS) 26 (3), 2008,通过引用结合到本文中)的共同特征加权方法。图3示出两个宫颈图像的分段结果。图3 (a)示出使用组织信息的分段结果，而图3(b)示出没有使用图像信息的同一图像的分段。图3(a)与(b)之间的比较定量地表明，结合组织信息为诊断上有意义的分段提供附加信息。因此，没有组织信息(图3(a)和(C))的所产生图像区域不是完全对应于宫颈的解剖结构。为了解决这个问题，本发明的新分段方式使用预处理步骤期间生成的解剖特征图，以便将解剖特征明确结合到分段算法中。这意味着，各组织类型的图像区域基于解剖特征图来识别，并且该算法对各组织类型单独执行分段。这样，所产生的分段图像区域没有包含多个组织类型，并且它们完全对应于宫颈的解剖结构(如图3(b)和(d)所示)。为了定量地确定图像分段中使用组织类型信息的影响，应用聚类性能量度(如D.Davies 和 D.Bouldin 的“A cluster separation measure，，，IEEE Transactions onPattern Analysis and Machine Intelligence 10, 224-227,1973 中所述,通过引用结合到本文中)。这种方法开始于按照下式来计算聚类k的聚类内惯性Wk:
M,,=丄 E (I (x*, )(2)
其中，Xkc是聚类k的中心，nk是聚类k中的点的数量，(Kxki, xkc)表示两个点Xki和(之间的距离，以及Ck是属于聚类k的点的集合。聚类j和k的聚类间惯性函数Βλ也按照下式计算:
B μ = d(x^xD(3)然后，Davies-Bouldin(DB)指数λ DB按照下式定义:
权利要求
1.种用于检测和诊断组织中的癌症的过程，包括: 获取所述组织的极化和非极化图像； 归一化所述图像以考虑颜色和空间变化； 配准所述图像以校正组织变形； 使用颜色和纹理信息从所述图像来生成解剖特征图； 基于所述解剖特征图来识别不同组织类型的所述图像中的区域，由此各区域仅具有一种组织类型； 分段各区域中在颜色和强度上是同质的子区域； 从所述子区域的每个提取诊断相关特征，其中从由醋酸变白和异常血管特征所组成的组中选取所述诊断相关特征；以及 基于所述子区域中的所述所提取诊断相关特征以及以相邻区域的分类为基础的概率相关性来将所述子区域分类为正常或异常。
2.权利要求1所述的过程，其中，所述图像包括醋酸前图像和醋酸后图像，并且通过计算均值、标准差、熵以及所述醋酸前图像的至少一个与所述醋酸后图像的至少一个的不同颜色通道之间的比率来执行醋酸变白的所述提取诊断相关特征步骤。
3.权利要求2所述的过程，其中，通过应用线性旋转结构元和形态变换以通过提取血管之间的毛细管间的距离、各血管尺 寸和血管密度自动检测镶嵌、点状和非典型血管图案来执行所述提取诊断相关特征步骤从而获得异常血管特征。
4.权利要求3所述的过程，还包括: 使用结合关于相邻子区域的分类的概率相关性的条件随机场分类器来自动将每个子区域中的组织分类为正常或异常。
5.权利要求1所述的过程，其中，所述组织是宫颈组织，并且所述识别步骤将所述组织类型识别为鳞状上皮、柱状上皮、宫颈口和转化区。
6.权利要求1所述的过程，其中，所述图像是红、绿和蓝可见光图像。
7.权利要求1所述的过程，其中，从由醋酸前图像、醋酸后图像、时间过程醋酸白图像以及反射和荧光图像所组成的组中选取所述图像。
全文摘要
本发明是用于宫颈癌病变检测的自动化图像分析框架。本发明使用条件随机场以概率方式来使用域特定诊断特征。另外，本发明公开二维图像分析的新的基于窗口的性能评估方案，它解决了图像失配的固有问题。作为域特定解剖特征，从临床检查期间应用醋酸之前和之后所获得的宫颈图像来提取与不同组织类型对应的图像区域。将各组织类型的独特光学性质以及相邻区域之间的诊断关系结合在条件随机场模型中。输出提供与图像中的癌组织的位置和组织严重性有关的信息。
文档编号A61B5/00GK103096786SQ201180033221
公开日2013年5月8日 申请日期2011年5月3日 优先权日2010年5月3日
发明者S.Y.帕克, D.萨根特, U.P.古斯塔夫森 申请人:国际科学技术医疗系统有限责任公司