一种组织病理图像分类方法与流程

本发明涉及图像处理领域，特别是一种组织病理图像分类方法。

背景技术：

组织病理图像在疾病诊断中已经成为国际卫生组织公认的“金标准”^[1],对于辅助疾病诊断发挥着极其重要的作用。然而，病理学家对组织病理图像的分析一直停留在基于经验的定性水平。因此，如何通过计算机辅助诊断(computeraideddiagnosis,cad)技术自动地实现组织病理图像定量分析，已成为医学图像分析领域研究热点之一^[2-4]。

传统的计算机辅助疾病诊断系统一般利用组织病理图像的灰度或者纹理特征进行疾病诊断^[5-6]，取得了一定的效果，并具有较好的实时性。但是，往往忽视了组织病理图像的颜色信息。srinivas等^[7]基于稀疏表示分类方法^[8](sparserepresentationbasedclassification，src)提出一种同步稀疏模型，该模型利用组织病理图像rgb三通道的像素值作为字典，通过稀疏表示的重构误差实现组织病理图像分类。vu等^[9]利用颜色信息，将图像块的rgb三通道值串联成列向量作为样本，提出了一种新的字典学习模型，该模型能够自动提取判别性特征，实现了有病和无病样本的分类。上述组织病理图像分类方法虽然取得了一定的效果，却没有考虑组织病理图像rgb三通道间的共性与差异性。

近年来，duarte等^[10]提出了联合稀疏模型(jointsparsitymodels,jsm)，并且被迅速应用于图像融合^[11]、去噪^[12]、恢复^[13]和模式识别^[14-15]等领域。联合稀疏模型分为三类：jsm-1、jsm-2与jsm-3。jsm-1^[10]将信号分为两部分：共有分量和独有分量，联合同一个字典可以得到两个分量的稀疏编码。同时，yang等^[16]利用图像的空间位置信息，将金字塔匹配模型^[17](spatialpyramidmatching,spm)引入到图像特征的稀疏编码来提高分类性能。因此，shi等^[18]结合jsm-1和spm模型，提出了基于联合稀疏编码的空间金字塔匹配模型(jointsparsecodingbasedspatialpyramidmatching，jscspm)模型。首先，利用k-means将rgb三通道的所有dsift特征^[19]一起聚类，以聚类的特征作为共有分量与独有分量的字典，建立联合稀疏编码模型，结合spm模型得到稀疏编码系数，并应用于组织病理图像分类，取得了较好的分类性能。但是存在以下问题：1)jscspm模型虽然利用联合稀疏模型将每个通道分为共有分量与独有分量，但两部分采用相同的字典进行编码，不仅导致两个分量的编码系数间相似度较高，而且无法有效区分通道间的独有分量之间的差异性，编码系数判别性弱；2)jscspm模型忽视了图像的灰度信息，而且对所有彩色通道的dsift特征一起聚类得到字典，忽略了rgb三个通道之间的关联，其模型无法真正表示出三通道特征的共有分量与独有分量。

duarte等[10]提出的jsm大致可分为三种类型：jsm-1、jsm-2和jsm-3。其中，jsm-1将信号分为两部分：共有分量和独有分量，并且两部分采用相同的字典进行稀疏编码，目标函数定义如下：

其中，y^c是信号yj的共有分量，是信号yj的独有分量，x^c和分别为y^c和在字典d下的稀疏编码系数，k和kj为共有分量和独有分量的稀疏度。

shi等[17]提出了jscspm模型，将图像rgb三通道的dsift特征表示两个部分之和：共有分量和独有分量，模型定义如下：

其中，yr,yg,yb分别对应rgb三通道的dsift特征，y^c是三通道的共有分量，是rgb三通道分别对应的独有分量。

其次，利用k-means算法，将rgb三通道的所有dsift特征一起聚类得到字典d，采用相同的字典d对共有分量与独有分量进行稀疏编码，建立联合稀疏编码模型，其定义如下：

其中，x^c为三通道共有分量的编码系数，为rgb三个通道独有分量的编码系数。

将式(3)转化成如下矩阵形式：

其中，yr,yg,yb分别为组织病理图像rgb三通道的dsift特征，将yr,yg,yb三个列向量串联作为信号y＝[yr,yg,yb]^t，为联合字典，为联合稀疏编码系数。

最后，考虑组织病理图像空间结构信息，对图像特征分三层，结合spm模型，jscspm模型的定义如下：

其中，y＝[y1,y2,…,yn]∈r^m×n为每层图像dsift特征向量集，联合字典为过完备字典，为联合稀疏编码系数。式(5)中的第一项为稀疏重构误差，第二项为基于l1范数的编码稀疏项。

jscspm模型结合联合稀疏与空间金字塔模型，实现了组织病理图像的分类，取得了一定的实验效果。但是，在jscspm模型中，忽视了组织病理图像的灰度信息，也没有真正的考虑rgb三通道特征之间的共性与差异，使用相同的字典对所有分量联合稀疏编码，编码系数的判别能力弱，导致分类性能有待提高。

技术实现要素：

本发明所要解决的技术问题是，针对现有技术不足，提供一种组织病理图像分类方法。

为解决上述技术问题，本发明所采用的技术方案是：一种组织病理图像分类方法，包括以下步骤：

1)输入组织病理图像的训练图像，得到训练图像的灰度通道与组织病理图像的rgb三通道图像；

2)分别提取灰度通道图像与rgb三通道图像的dsift特征向量，将rgb三通道图像的dsift特征向量串联，得到训练样本yi，并将所有训练样本yi得到样本矩阵y；

3)聚类灰度通道图像的dsift特征向量和rgb三通道图像的dsift特征向量，得到相应的子字典di，dr、dg、db，构造联合字典；

4)将rgb三通道图像特征向量表示为共有分量和独有分量之和，建立多通道联合稀疏模型；

5)将组织病理的训练图像或测试图像分为3层，该3层相应的划分为1h、4h、16h个图像块，建立每层的mc-jscspm模型，获得每一层图像样本矩阵y的联合稀疏编码系数；

6)对联合稀疏编码系数进行池化操作，得到特征的编码系数；

7)将所述编码系数作为svm的输入，训练分类器；

8)基于步骤5)和步骤6)获得的测试集的联合稀疏编码系数，利用所述分类器进行分类实验。

将rgb三通道图像特征向量表示为共有分量和独有分量之和的表达式为：

其中，yr,yg,yb分别对应rgb三通道图像的dsift特征向量；为rgbrgb三通道图像特征向量独有分量的编码系数；di为灰度子字典；dr、dg、db分别为rgb三通道分别对应的子字典；为共有分量基于di的编码系数，为基于子字典dr、dg、db的编码系数，是rgb三通道分别对应的独有分量。

所述多通道联合稀疏模型的表达式为：

其中，为联合编码系数；y＝[yr,yg,yb]^t为组织病理图像rgb三通道的dsift特征串联而成的列向量。

所述mc-jscspm模型表达式如下：

其中，y＝[y1,y2,…,yn]∈r^m×n为特征向量集；为联合字典；为稀疏编码系数；，n为输入样本个数，k为字典中列向量的个数。

利用lars方法求解mc-jscspm模型，得到稀疏编码系数

与现有技术相比，本发明所具有的有益效果为：本发明结合组织病理图像的灰度通道与彩色通道特征，基于rgb通道特征独有分量之间的相似低这一先验，提出了一种基于多通道联合稀疏编码的空间金字塔匹配模型(multi-channeljointsparsecodingbasedspatialpyramidmatching,mc-jscspm)的组织病理图像分类方法。该方法首先提取组织病理图像的灰度通道和rgb三通道的dsift特征，分别聚类每个通道的dsift特征，得到四个子字典分别为：灰度字典、r通道字典、g通道字典与b通道字典。将灰度字典作为每个通道特征的共有字典，其他三个子字典分别作为每个通道特征的独有字典，并建立联合稀疏编码模型。其次，结合spm模型，对不同层次的图像特征进行多通道联合稀疏编码，利用编码系数训练svm分类器。本发明能有效改善组织病理图像的分类性能，编码系数判别性强；考虑了rgb三个通道之间的关联，模型可以真正表示出三通道特征的共有分量与独有分量。

附图说明

图1为mc-jscspm模型流程图；

图2(a)为肺、脾脏、肾脏的健康图像；图2(b)为肺、脾脏、肾脏的炎症图像；

图3(a)为肺部的roc特性曲线；图3(b)为脾脏的roc特性曲线；图3(c)为肾脏的roc特性曲线。

具体实施方式

本发明分别提取组织病理图像灰度通道和彩色rgb三通道的dsift特征，将聚类的灰度特征作为共有字典，分别聚类的rgb三通道dsift特征作为独有字典，提出一种mc-jscspm模型。

假设矩阵a,b∈r^m×n，矩阵a，b相似度的定义如下：

其中，<a,b>＝tr(b^ta)，tr(*)表示矩阵主对角线之和；

θ表示两个矩阵之间的夹角，f(θ)的值域为[-1,1]。当θ＝90°，f(θ)＝0时，表示a，b矩阵完全不相似；当θ＝0°，f(θ)＝1时，表示a，b矩阵相似度最高。

本发明将灰度通道特征先作为共有分量，结合式(2)，求得rgb三通道特征的独有分量，利用式(6)计算独有分量之间的相似度。为了验证组织病理图像rgb三通道间独有分量的相似性，基于adl数据集^[20]中三类组织病理图像，分别计算rgb三通道的dsift特征独有分量之间的相似度，结果如表1所示。

表1：rgb三通道dsift特征独有分量之间的相似度

从表1可知，这三类组织病理图像的rgb三通道dsift特征独有分量之间的相似度很低，说明rgb三通道特征独有分量的稀疏编码系数具有较好的判别性，能够取得更好的分类结果。

本发明提出了mc-jscspm模型，与文献^[18]不同的是，本发明使用k-means分别对灰度通道、rgb三通道特征进行聚类，获得每个通道相应的子字典di，dr、dg、db。其中，灰度子字典di作为rgb三通道特征共有字典，将dr、dg、db作为rgb三通道特征独有字典。利用子字典di，dr、dg、db构造联合字典，建立多通道的稀疏模型，式(2)可以重新定义如下：

其中，为共有分量；分别为每个通道特征的独有分量；di为灰度子字典，dr、dg、db分别为rgb三通道分别对应的子字典，为共有分量基于di的编码系数，为基于子字典dr、dg、db的编码系数。

然后，将式(7)转化为矩阵形式，其定义如下：

其中，为联合字典，为联合编码系数，y＝[yr,yg,yb]^t为组织病理图像rgb三通道的dsift特征串联而成的列向量。

最后，结合图像空间结构信息，利用spm模型，建立mc-jscspm模型，定义如下：

其中，y＝[y1,y2,…,yn]∈r^m×n为特征向量集，为联合字典，为稀疏编码系数。本发明利用lars^[21]求解式(9)可以获得联合稀疏编码系数

本发明提出模型的流程如图1所示，具体步骤描述如下：

步骤1：输入训练样本，分别得到训练样本的灰度通道与rgb三通道图像。

步骤2：分别提取灰度通道与rgb三通道的dsift特征向量，将rgb三通道dsift特征向量串联得到训练特征yi，组合得到特征矩阵y。

步骤3：分别聚类灰度、rgb三通道的dsift特征，得到相应的子字典di，dr、dg、db，并用于构造联合字典。

步骤4：根据式(7)，将rgb三通道特征表示为共有分量和独有分量之和，利用步骤3构造的联合字典，根据式(8)建立多通道联合稀疏模型。

步骤5：结合空间金字塔结构，将图像分为3层，并相应的划分为1、4、16个图像块，根据式(9)建立每层的mc-jscspm模型，利用lars算法^[21]求解式(9)获得每一层图像特征的联合稀疏编码系数。

步骤6：采用多尺度最大池化方法对联合稀疏编码系数进行池化操作，得到特征的编码系数。

步骤7：利用步骤6得到的特征编码系数，作为svm的输入，训练分类器。

步骤8：利用步骤5、6获得测试样本的编码系数，并利用利用步骤7种训练好的svm分类器进行分类实验。

本发明基于adl^[20]组织病理图像数据集，验证了mc-jscspm模型的有效性，并与其他方法进行对比分析。

dsift特征^[19]的提取过程为：利用网格，将图像划分得到相同大小的特征块，并且块与块之间采用重叠方式，每个特征块的中心位置作为一个特征点，将同一个特征块里的所有像素点作为该特征点的sift特征，将图像所有特征点的sift组合而成则为dsift特征。本发明所采用的dsift特征的采样间隔设置为16个像素，图像块大小为16×16，则一幅图像的dsift特征矩阵的尺寸为128*1369。

adl数据集及相关实验设置：

adl数据集^[20]由宾夕法尼亚州立大学提供，共有900多张图像，包括三类器官的图像：肺，脾脏，肾脏。其中，每一类器官都包括健康和炎症两种类别的病理组织，各占150多张，其尺寸为1360×1024。各类器官的两种医学病理组织示意图如图2所示，图2(a)从左至右依次分别表示肺、脾脏、肾脏的健康图像，图2(b)从左至右依次表示肺、脾脏、肾脏的炎症图像。

本发明从肺、脾脏、肾脏三类器官的健康和炎症的彩色样本图像中分别随机选取120张作为训练集，将每张彩色图像尺寸转化成600×600，分别提取出其灰度通道和rgb三通道的dsift特征，则每个通道的dsift特征为128×1369×120，从每个通道随机选取10000个dsift特征进行聚类，得到子字典di，dr、dg、db∈r^128×1024，利用子字典构造联合字典将每张图像分三层，每层图像rgb三通道特征串联成列向量作为训练样本，利用联合字典进行稀疏编码，将编码系数进行最大池化，利用池化后的编码系数训练svm分类器。最后，将测试集中每张彩色图像尺寸同样转化成600×600，分为三层，提取每层图像rgb三通道的dsift特征，串联成列向量作为测试样本，利用联合字典得到测试样本的稀疏编码系数，进行同样的最大池化操作，并利用svm分类器进行分类。

本发明方法与其他方法的实验结果对比分析如下：

为了证明本发明所提mc-jscspm方法的有效性，我们对比了scspm和jscspm方法。表2、3、4分别给出了不同方法在肺部、脾脏和肾脏图像上的分类结果。

表2不同方法在肺部图像的分类结果对比

表3不同方法在脾脏图像的分类结果对比

表4不同方法在肾脏图像的分类结果对比

由表2、表3与表4可知，本发明提出的mc-jscspm模型对肺部、脾脏和肾脏三类器官的疾病诊断效果明显要好于其他模型。本发明结合图像的灰度与彩色信息，采用灰度字典与rgb三个字典作为联合字典，考虑多通道之间的关联，充分利用了不同通道之间的共性与差异，得到的联合编码系数的判别性更强，获得了更好的分类效果。

本发明方法与其他方法的roc特性曲线分析如下：

图3(a)、图3(b)、图3(c)分给出了本发明方法与其他方法的roc曲线对比结果，图3(a)、图3(b)与图3(c)分别为肺部、脾脏和肾脏的roc特性曲线图，从图中可以看出，本发明方法的roc曲线明显高于其他方法，进一步说明了本发明所提mc-jscspm方法的优越性。

本发明提出了一种基于多通道联合稀疏编码的空间金字塔匹配模型，并将其应用于组织病理图像的分类。该模型不仅结合了灰度与rgb特征，同时考虑了rgb三通道特征之间的共性与差异。首先，分别提取组织病理图像灰度通道和rgb三通道的dsift特征，相应的得到每个通道的子字典，实现了共有分量和独有分量的联合稀疏编码。然后，结合图像的空间信息，利用spm模型，对不同层次的图像特征进行多通道联合稀疏编码。最后利用编码系数进行分类。实验结果表明，本发明提出的模型具有更好的特征表示能力，编码系数具有更好的分类性能，可以有效辅助医生的临床诊断。

参考文献：

[1]chanjk.thewonderfulcolorsofthehematoxylin-eosinstainindiagnosticsurgicalpathology.[j].internationaljournalofsurgicalpathology,2014,22(1):12-32.

[2]vetam,pluimjp,vandiestpj,etal.breastcancerhistopathologyimageanalysis:areview.[j].ieeetransactionsonbio-medicalengineering,2014,61(61):1400-11.

[3]ritters,marguliekb.emergingtoolsforcomputer-aideddiagnosisandprognostication[j].journalofclinicaltrials,2011,4(2):e117-e117.

[4]xianm,zhangy,chenghd.fullyautomaticsegmentationofbreastultrasoundimagesbasedonbreastcharacteristicsinspaceandfrequencydomains[j].patternrecognition,2015,48(2):485-497

[5]xuj,janowczyka.ahigh-throughputactivecontourschemeforsegmentationofhistopathologicalimagery.[j].medicalimageanalysis,2011,15(6):851-862.

[6]kongj,cooperla,wangf,gutmanda,gaoj,chisolmc,etal.integrativemul-timodalanalysisofglioblastomausingtcgamoleculardatapathologyimagesandclinicaloutcomes.ieeetransbiomedeng2011；58(12):3469–74.

[7]srinivasu,mousavihs,mongav,etal.simultaneoussparsitymodelforhistopathologicalimagerepresentationandclassification[j].ieeetransactionsonmedicalimaging,2014,33(5):1163-1179.

[8]wrightj,yangay,ganesha,etal.robustfacerecognitionviasparserepresentation[j].ieeetransactionsonpatternanalysis&machineintelligence,2009,31(2):210-227.

[9]vuth,mousavihs,mongav,etal.dfdl:discriminativefeature-orienteddictionarylearningforhistopathologicalimageclassification[c],2015ieee12thinternationalsymposiumonbiomedicalimaging(isbi).ieee,2015:990-994.

[10]duartemf,wakinmb,barond,baraniukrg.universaldistributedsensingviarandomprojections.in:proceedingsofthesymposiumoninformationpro-cessinginsensornetworks.2006.p.177–85.

[11]yun,qiuts,bif,wangaq.imagefeaturesextractionandfusionbasedonjointsparserepresentation.ieeejseltopsignalprocess2011；5(5):1074–82

[12]yun,qiut,renfq.denoisingformultipleimagecopiesthroughjointsparserepresentation.jmathimagingvision2013；45(1):46–54.

[13]luoj,yangb,chenz.colorimagerestorationviaextendedjointsparsemodel.communcomputinfsci2012；321:497–504.

[14]ramezanim,abolmaesumip,marblek,etal.jointsparserepresentationofbrainactivitypatternsrelatedtoperceptualandcognitivecomponentsofaspeechcomprehensiontask[c]//internationalworkshoponpatternrecognitioninneuroimaging.ieee,2012:29-32.

[15]shekhars,patelvm,nasrabadinm,etal.jointsparsity-basedrobustmultimodalbiometricsrecognition[c]//internationalconferenceoncomputervision.springer-verlag,2012:365-374.

[16]yangj,yuk,gongy,etal.linearspatialpyramidmatchingusingsparsecodingforimageclassification[j].2009:1794-1801.

[17]lazebniks,schmidc,poncej.beyondbagsoffeatures:spatialpyramidmatchingforrecognizingnaturalscenecategories[c]//2006ieeecomputersocietyconferenceoncomputervisionandpatternrecognition(cvpr'06).ieee,2006,2:

[18]shij,liy,zhuj,etal.jointsparsecodingbasedspatialpyramidmatchingforclassificationofcolormedicalimage[j].computerizedmedicalimaging&graphicstheofficialjournalofthecomputerizedmedicalimagingsociety,2015,41(1):61-66.

[19]liff,peronap.abayesianhierarchicalmodelforlearningnaturalscenecategories[c]//ieeecomputersocietyconferenceoncomputervisionandpatternrecognition.ieeecomputersociety,2005:524-531vol.2.

[20]mongav,animaldiagnosticslabdataset,http://vbs.psu.edu/adl,2013

[21]efronb.leastangleregression[j].mathematics,2004,32(2):2004.