本发明涉及一种对图像进行处理的图像处理装置及图像处理方法。
背景技术：
：：当前，X射线CT(computedtomography：计算机断层成像)、超声波扫描装置等医用装置得到广泛的应用。在实践中，针对这些医用装置所取得的图像，有时需要对治疗前后等不同时刻所取得的图像进行比对，以此来帮助医师进行阅片。例如，在对某个血管或肿瘤所在地等特定部位进行了治疗之后，往往伴随着该特定部位的形态变化，在这种情况下进行不同时期的图像比对时，很难进行特定部位在多个图像之间的配准。所谓“配准”是指对不同图像的地理坐标进行匹配，使得图像之间的相同区域相对应。特别是，在图像取得环境变化较大或间隔时间较长，或者对不同设备取得的图像进行比对时，如图10所示那样，即使是同一被检体，例如治疗前后的图像之间的差异也很大，尤其是治疗后的图像上，通过灰度的像素比对很难找到与治疗前的图像上的特定部位相对应的部位，存在配准困难的问题。在现有的方法中，为了对这些误差较大的图像进行配准，一般都需要操作者在治疗后图像等对比图像上手动输入特定部位的所在地或者共通的关注区域，基于这种输入进行配准。例如在专利文献1(US8831708B2)中公开了一种利用连接设备将不同坐标系统转换成相同的坐标系统的方法。但是，该方法依然不能解决图像中的位置偏差加大而配准失败的问题。另外，在专利文献2(US2015/0209015A1)中公开了一种针对多个医用设备MR、CT等取得的图像，利用预设的参考特征点进行图像的获取，从而进行图像的配准的方法。但是，该方法也并不能避免在图像位置错误时产生的配准误差。另外，在专利文献3(US8731264B2)中公开了一种通过在超声波图像上选择点云来进行配准的方法。但是，该方法依然需要以预先设定的点云来进行定位，并且无法确定数据的正确与否。因此，现有技术中存在需要预先设定参照区域并且难以对大的变形(由于治疗或者呼吸运动等)或者重叠部分较小的图像进行精准的配准的问题。技术实现要素：本发明是鉴于以上问题而完成的，其目的在于提供一种能够高精度地自动执行图像上的特定部位的配准的图像处理装置及图像处理方法，本发明的一个技术方案是图像处理装置，其中，包括：图像取得单元，取得在时间序列上互不相同的定时采集到的、包含被检体内的特定部位的第一图像和第二图像；识别单元，对上述图像取得单元取得的各个图像中的上述特定部位进行识别，识别出上述第一图像上的多个第一特定部位候选和上述第二图像上的多个第二特定部位候选；以及配准单元，根据上述多个第一特定部位候选的每一个与上述多个第二特定部位候选的每一个之间的特征量的差分，确定代表同一特定部位的第一特定部位候选与第二特定部位候选的对应关系。此外，本发明的另一个技术方案是图像处理方法，其中，包括：图像取得步骤，取得在时间序列上互不相同的定时采集到的、包含被检体内的特定部位的第一图像和第二图像；识别步骤，对上述图像取得步骤取得的各个图像中的上述特定部位进行识别，识别出上述第一图像上的多个第一特定部位候选和上述第二图像上的多个第二特定部位候选；以及配准步骤，根据上述多个第一特定部位候选的每一个与上述多个第二特定部位候选的每一个之间的特征量的差分，确定代表同一特定部位的第一特定部位候选与第二特定部位候选的对应关系。通过对各个图像中的特定部位候选进行全面识别，再利用多个特征量的综合指标进行筛选的方式，能够自动地、高精度地执行图像上的特定部位的配准，即使图像之间的误差较大的情况下，也不必指定参照点或关注区域而能够高精度地进行配准。由于具有以上特点和效果，本发明还能够用于对来自不同图像处理装置的图像进行比对。附图说明图1是表示本发明的第一实施方式涉及的图像处理装置的结构框图。图2是表示本发明的第一实施方式涉及的配准部的结构框图。图3是表示本发明的第一实施方式涉及的图像配准处理的流程图。图4是表示本发明的第一实施方式涉及的多个特征量的差分计算的例子的流程图。图5是表示图像处理装置应用于多个医用设备联动的系统中的结构示意图。图6A、图6B是说明应用本发明确定特定部位的具体实例的说明图。图7是表示本发明的第二实施方式涉及的图像处理装置的结构框图。图8是表示本发明的第二实施方式涉及的图像配准处理的流程图。图9A～图9B是本发明与现有技术的对比例图。图10是说明不同时期的图像变动的示意图。具体实施方式本发明涉及一种对图像进行处理的图像处理装置，该图像处理装置能够通过与图像收集装置连接的独立的计算机等具有CPU(centralprocessunit：中央处理器)的设备执行具有图像处理装置的各个功能的软件来实现，也可以作为能够执行图像处理装置的各个功能的电路而以硬件的方式实现。并且，本发明的图像处理装置也可以作为CT(ComputerizedTomography：计算机X射线断层造影术)装置或超声波装置等医用图像采集装置中的一部分而预先安装在以上的医用图像采集装置中。以下，参照附图说明本发明的优选实施方式。此外，在不同实施方式中，对于相同的部件使用相同的附图标记，并适当省略重复的说明。(第一实施方式)图1是表示本发明的第一实施方式涉及的图像处理装置的结构框图。如图1所示，图像处理装置100包括图像取得部10、识别部20以及配准部30。图像取得部10用于取得在时间序列上互不相同的定时采集到的、包含被检体内的特定部位的多个图像。例如，图像取得部10从图像处理装置100 所连接的超声波装置中取得超声波装置在不同时期采集的多个超声波医用图像并加以保存。图像取得部10可以是能够实现以上功能的电路或者软件模块。识别部20对图像取得部10取得的各个图像中的特定部位进行识别，将识别出的多个特定部位作为每个图像的特定部位候选。识别部20可以是能够实现以上功能的电路或者软件模块。所谓的特定部位，是图像上具有类似特征的区域，代表被检体的医用图像上的特定部位，例如肿瘤所在处、血管部位、特定的组织集合或者医疗介入元件的部位等。对特定部位的识别能够使用现有的提取图像特征区域的方法。例如可以使用MSER(MaximallyStableExtremalRegions：最大稳定极值区域)的方法来进行提取。具体来说，利用例如作为标准的灰度值的变化量、区域最大面积、最大的变化率、稳定区域的最小变换量等标准中的某个，对构成图像的像素进行分析，提取出符合选定标准的区域作为特定部位。在本发明中，由于不需要操作者进行特定部位的输入或确认，通过对图像的全面识别，一般能够识别出多个特定部位。将这些符合识别标准的特定部位作为特定部位候选加以保存。配准部30对不同时期取得的多个图像之间进行配准，确定两个图像之间的特定部位的对应关系。例如，在对多个图像中的治疗前后的两张图像进行配准时，设识别部20在第一张图像上识别出特定部位候选R1～Rn，在第二张图像上识别出特定部位候选F1～Fm，且n、m为自然数时，配准部30将特定部位候选R1～Rn之一的R与特定部位候选F1～Fm之一的F作为一个特定部位对，计算这样组合而成的每一个特定部位对(R，F)中R与F之间的特征量差分，通过利用特征量差分进行对比，来确定两张图像上代表同一特定部位的特定部位对。图像处理装置100能够基于配准部30所得到的代表同一特定部位的特定部位对，对图像进行对位，供后续进行叠加或者显示。配准部30可以是能够实现以上功能的电路或者软件模块。所选择的特征量能够预先设定，例如是构成特定部位的像素的方差值、平均亮度、熵、欧氏距离、体积比、优化杰卡德相似系数等中的至少一个。以下说明具体的特定部位对的确定方法。例如，配准部30针对某个特征量，计算特定部位对之间的该特征量的差分作为指标，通过比较各个特 定部位对的上述指标，将指标超过规定的阈值的特定部位对或者将特定部位对按照指标排序后的最上位的特定部位对，作为代表同一特定部位的特定部位对。此外，在本发明中，还提出一种利用多个特征量形成综合指标进行评估的方法。配准部30可以利用图像上能够取得的多个特征量的差分计算每个特定部位对的综合指标，将上述综合指标最小的特定部位对作为代表同一特定部位的特定部位对。图2是表示执行这种多特征量综合评价方法的配准部30的结构框图。如图2所示，配准部30具有特征量差分计算部31和评价部32。特征量差分计算部31按照每个特定部位对，求取每个上述特定部位对中的多个特征量的差分，上述多个特征量的差分是按照多个特征量的每一个分别求取上述特定部位对中的R和F之间的特征量差分而得到的。所选择的特征量能够预先设定，例如是构成特定部位的像素的方差值(SD)、平均亮度(MeanInternsity)、熵(Entropy)、欧氏距离(EuclideanDistance)、体积比(VolumeRatio)、优化杰卡德相似系数(ModifiedJaccardsimilarity)等中的几个。这些特征量的计算方法可以参照现有技术中的方法，例如以下几个公式是比较常用的：EuclideanDistance＝baryCetnerR-transfomredBaryCetnerF对于单个特征量的计算，能够参考现有技术中的方法，因此省略详细的说明。特征量差分计算部31按照所指定的每个特征量计算各个特定部位对中的特定部位R的特征量和特定部位F的特征量之后，求取同一个特征量在特定部位R与特定部位F之间的差分。例如设VR为特定部位R的某个特征量的值，设VF为特定部位F的该特征量的值，则特定部位R与特定部位F之间的差分为(VR-VF)。评价部32根据特征量差分计算部31所得到的多个特征量的差分，计算每个上述特定部位对的综合指标，将上述综合指标最小的上述特定部位对作为代表同一特定部位的特定部位对。评价部32可以利用如下的式1求取综合指标S(R，F)。式1：在该式1中，N表示多个特征量的种类的数量，VR表示特定部位R的某个特征量的值，VF表示特定部位F的同一特征量的值，wi表示赋予第i个特征量的权重。这里，作为例子，综合指标利用了平方根的计算方式，但S(R，F)的求取方式并不限于此，也可以利用其它计算方式。关于权重的确定方法，可以将多个特征量的差分之和与各个特征量的差分的比例作为权重，例如在选定两个特征量A和B，特征量A的差分为90，特征量B的差分为10的情况下，权重(A)＝100/90，权重(B)＝100/10。此外，也可以对各个权重赋予归一化权重系数，例如在选定四个特征量A、B、C、D，且特征量A的差分为90、特征量B的差分为10、特征量C的差分为50、特征量D的差分为60的情况下，利用公式：wi＝(第i特征量的差分－最小差分)/(最大差分－最小差分)，将这四个值归一化到(0,1)的区间内。在以上例子中，求得权重(A)＝1，权重(B)＝0.00001，权重(C)＝0.5，权重(D)＝0.625。此外，也可以采用其他方法设定权重值，例如通过接口从操作者或其他设备中直接受理对权重值的输入来确定。在第一实施方式中，图像取得部10对应于“图像取得单元”，识别部20对应于“识别单元”，配准部30对应于“配准单元”。以下说明图像处理装置100所进行的图像配准处理的流程。图3是表示本发明的第一实施方式涉及的图像配准处理的流程图。如图3所示，在配准处理开始时，首先，图像取得部10从超声波装置等医用设备取得在时间序列上互不相同的定时采集到的、包含被检体内的特定部位的多个图像(步骤S301)。例如取得图6A和图6B所示出的图像。图6A、图6B是说明应用本发明确定特定部位的具体实例的说明图。接着，在步骤S302，识别部20对图像取得部10取得的各个图像中的特定部位进行识别，将识别出的多个特定部位作为每个图像的特定部位候选。例如识别部20在图6A的图像上识别出特定部位R1、R2、R3，并且在图6B的图像上识别出特定部位F1、F2。接着，进入步骤S303，配准部30计算图像之间的特定部位对的特征量的差分，来确认代表同一特定部位的特定部位对。具体的计算方法如上所述，例如利用多个特征量进行特定部位的配准。图4是表示本发明的第一实施方式涉及的多个特征量的差分计算的例子的流程图。在步骤S401中，配准部30的特征量差分计算部31按照每个特定部位对，求取每个上述特定部位对中的多个特征量的差分。接着，进入步骤S402，配准部30的评价部32根据特征量差分计算部31所得到的多个特征量的差分，计算每个上述特定部位对的综合指标，将上述综合指标最小的上述特定部位对作为代表同一特定部位的特定部位对。在图6所示的例子中，针对特定部位R1、R2、R3与特定部位F1、F2的全部组合，分别计算综合指标S(R，F)，从而得到如表1所示的表。表1：R1R2R3F15％4％15％F23％5％86％表1中的百分比表示对应的特定部位对(R，F)的综合指标S(R，F)。从表1中可以看出，F2与R3所构成的特定部位对的综合指标为86％，远高于其他组合，因此，确认F2与R3相对应，(R3，F2)在图6A与图6B的图像之间代表同一特定部位。至此，配准处理结束，图像处理装置能够基于该特定部位对，进行两个图像之间的对位或者叠加显示处理，以便提示给医师进行阅片。图6示出了一个例子，但是特定部位的对应关系的确定并不仅限于此，例如也可以将所得到的综合指标与预定的阈值进行比较，将超过阈值的特定部位对确认为表示同一特定部位。通过以上的配准处理，即使不同时期所取得的图像的形态位置差异较 大，也能够作为特定部位候选而从图像上提取多个特定部位，利用多个特征量进行综合评价，来自动找到特定部位的特定关系，能够高精度地执行图像的配准。(变形例)在第一实施方式中，针对同类别的医用图像进行了配准，但是，本发明也能够用于对来自不同医用设备的不同类别的医用图像进行配准。图5是表示图像处理装置应用于多个医用设备联动的系统中的结构示意图。在图5所示的系统中，安装有图像处理装置100的设备分别与CT装置200和超声波装置300连接，从而能够从CT装置200取得X射线图像，并且从超声波装置300取得超声波图像，由图像处理装置100对X射线图像与超声波图像之间的特定部位进行配准。由于不同类别的医用设备所采集的医用图像之间的差异较大，一般来说，使用传统的方法很容易指定错误的关注区域作为特定部位，从而影响配准的效果。通过利用本发明的图像处理装置100自动识别多个特定部位，并利用多个特征量的综合指标对特定部位对进行配准，更加适用于误差较大的图像之间的配准，能够提高配准的精度。(第二实施方式)第二实施方式在第一实施方式的基础，与第一实施方式的不同点在于，第二实施方式中，在配准处理中追加了进一步的精细配准，并且对图像进行坐标系的变换。以下主要针对第二实施方式与第一实施方式的不同点进行说明，并适当省略重复的说明。图7是表示本发明的第二实施方式涉及的图像处理装置100A的结构框图。如图7所示，图像处理装置100A包括图像取得部10、识别部20、坐标变换部40、配准部30以及配准修改部50。图像取得部10用于取得在时间序列上互不相同的定时采集到的、包含被检体内的特定部位的多个图像。该图像取得部10可以是能够实现以上功能的电路或者软件模块。识别部20对图像取得部10取得的各个图像中的特定部位进行识别，将识别出的多个特定部位作为每个图像的特定部位候选。识别部20可以是能够实现以上功能的电路或者软件模块。坐标变换部40对图像进行坐标变化，使不同图像的坐标系统一。坐标变换部40可以是能够实现以上功能的电路或者软件模块。关于图像之间的坐标变换，例如在对参照图像和对比图像构成的一对图像进行配准时，坐标变换部40可以通过将对比图像进行移动或旋转来进行坐标变换，使该对比图像的坐标系变换成与参照图像的坐标系一致。当然，也可以将需要配准的两个图像一起变换成相同的坐标系。具体的坐标变换的方法可以使用现有的方法。例如在对超声波图像进行配准的情况下，利用超声波图像的磁场坐标信息进行矩阵变换，对像素矩阵赋予位移量来进行坐标变化。配准部30基于识别部20所识别出的特定部位，对由坐标变换部40统一坐标系之后的图像进行配准。配准部30根据每一个由特定部位候选组成的特定部位对的多个特征量的差分，确定代表同一特定部位的特定部位对。配准部30可以是能够实现以上功能的电路或者软件模块。配准部30的具体构成以及对特征量的计算方法可以参考第一实施方式中说明的综合指标计算方法等。并且，在第二实施方式中，通过利用多个特征参数进行综合指标的计算，还能够应对坐标变换部40中所使用的磁场坐标信息不准的状况。这是由于在综合指标的计算中利用了多个特征参数，从而能够降低某个错误参数的影响。配准修改部50基于配准单元30所确定的特定部位对的对应关系，利用灰度参数，对图像再次进行配准。配准修改部50可以是能够实现以上功能的电路或者软件模块。也就是说，配准修改部50将配准单元30所确定的同一特定部位在两个图像之间的对应关系作为现有方法中对特征点或特征区域的指定，从而利用现有的灰度的配准方法，对图像进行进一步的精细配准。由于配准修改部50所依据的特定部位的对应关系比传统中的通过操作者手动输入等方法受理的对应关系更加准确，从而基于灰度的配准方法能够进一步优化图像处理装置100A的配准结果。传统的灰度配准方法有归一化相关系数NCC方法以及nelder–mead下山单纯形法等，这里省略详细的说明。配准修改部50是对图像处理装置110A的配准结果的进一步优化，因此也可以省略配准修改部50。在第二实施方式中，图像取得部10对应于“图像取得单元”，识别部20对应于“识别单元”，配准部30对应于“配准单元”，坐标变换部40对应于“坐标变换单元”，配准修改部50对应于“配准修改单元”。以下说明图像处理装置100A所进行的图像配准处理的流程。图8是表示本发明的第二实施方式涉及的图像配准处理的流程图。如图8所示，在配准处理开始时，首先，图像取得部10从超声波装置等医用设备取得在时间序列上互不相同的定时采集到的、包含被检体内的特定部位的多个图像(步骤S801)。接着，在步骤S802，识别部20对图像取得部10取得的各个图像中的特定部位进行识别，将识别出的多个特定部位作为每个图像的特定部位候选。接着，进入步骤S803，坐标变换部40对对比图像进行坐标变换，通过对像素赋予位移量而进行移动或旋转，来统一不同图像的坐标系。之后，在步骤S804，配准部30计算图像之间的特定部位对的特征量的差分，来确认代表同一特定部位的特定部位对。具体的确定流程可以参照附图4。最后，在步骤S805，配准修改部50作为进行精细配准的部分，将配准单元30所确定的特定部位对的对应关系作为输入，利用灰度参数，对图像再次进行灰度的配准。图9A～图9B是本发明与现有技术的对比例图。其中图9A的左侧示出了作为治疗前的参照图像，图像中央为病灶区域。并且，图9A的右侧示出了作为治疗后的对比图像。从图9A能够看出，由于治疗效果以及被检体的运动等原因，参照图像与对比图像整体上看差异较大。图9B表示通过操作者输入关注区域而利用传统的灰度配准方法进行配准的结果。在对位后的叠加显示中，将黑框中的部位与参照图像中的病灶区域对应起来，存在较大的误差。另一方面，图9C表示通过本发明的图像处理装置而获得的配准的结果。通过移动或旋转的坐标系变换以及特定部位的识别和多个特征量的综合评价，能够将图9C的黑框包围的部位与参照图像中的病灶区域对应起来，与现有技术相比，配准的精度得到提高。(变形例)在第二实施方式中，识别部20对特定部位进行识别之后，才进行坐标变化部40的坐标系变换，但是本发明并不限于此，也可以在识别部20对特定部位进行识别之前，进行坐标变化部40的坐标系变换。本发明的图像处理装置也可以作为能够实现各个实施方式中所说明的功能的电路安装在医用设备中，也可以作为能够使计算机执行的程序，储存于磁盘(软盘(floppy，登录商标)、硬盘等)、光盘(CD－ROM、DVD等)、光磁盘(MO)、半导体存储器等存储介质而发布。而且，基于从存储介质安装于计算机的程序的指示在计算机上运转的OS(操作系统)、数据库管理软件、网络软件等的MW(中间件)等也可以执行用于实现上述实施方式的各处理的一部分。以上说明了本发明的几个实施方式，但这些实施方式是作为例子而提出的，并不是想限定发明范围。这些新的实施方式可以以其他各种各样的方式实施，可以在不脱离发明主旨的范围内进行各种各样的省略、置换和变更。这些实施方式或其变形包含在发明范围或主旨内，并且也包含在权利要求范围中记载的发明及其均等的范围内。当前第1页1 2 3 当前第1页1 2 3