相似图像检索装置、以及相似图像检索装置的工作方法
【技术领域】
[0001]本发明涉及相似图像检索装置以及相似图像检索装置的工作方法。
【背景技术】
[0002]以往，进行从多个案例图像中检索与检索图像相似的相似图像的相似图像检索。在相似图像检索中，针对检索图像以及案例图像分别计算与在图像内人在视觉上关注的确定的图案对应的特征量，根据所计算出的特征量，判断检索图像与案例图像的相似性。
[0003]相似图像检索特别在医疗领域中被较大程度地利用。具体来说，在医师基于通过CT (Computed tomography，计算机断层扫描)装置、MRI (Magnetic Resonance Imaging，磁共振成像)装置、一般X射线摄影装置等来对患者进行摄影而得到的检查图像中显现出的病变，来进行疾病的确定这样的诊断时，利用相似图像检索。
[0004]在专利文献1中记载了相似图像检索装置，该相似图像检索装置利用相似图像检索，从相当于案例图像的过去的多个病例图像中，检索相当于检索图像的用于患者的诊断的检查图像的相似图像，并向医师提供所检索到的相似图像。
[0005]在检查图像中显现出的病变中，存在磨砂玻璃阴影、浸润影、蜂窝组织炎肺等多种，在一张检查图像中显现出的病变不一定限于一种。在存在多种病变的情况下，医师需要识别每个病变的微妙的差异。另外，由于疾病的发展而病变的种类也变化，所以为了让医师仅通过检查图像的解读而在没有什么帮助的情况下做出诊断，医师需要一定程度的经验。因此，如专利文献1那样，通过利用相似图像检索，能够以相似图像作为启示来确定检查图像的病变的种类，即使是经验少的医师，也能够进行准确度更高的诊断。
[0006]专利文献1的相似图像检索装置将各种病变设为图案，根据作为检索图像的检查图像与作为案例图像的病例图像分别计算特征量。在特征量中，存在如像素值的平均、方差、最大值、最小值或者直方图这样的与像素值相关的量、位置、轮廓这样的与形状相关的量、以用半径、体积或者面积这样的与大小相关的量等多种量。
[0007]在专利文献1的相似图像检索装置中，如[式1]所示，取得根据检查图像计算出的多种特征量Mi (i = 1、2、…，η)、根据病例图像计算出的多种特征量mi (i = 1、2、…，η)的分别的差分|M1-mi|，计算对各差分乘以适合的加权系数wi(i = 1、2、…，η)而得到的量的总和(Swi I)，作为检查图像与病例图像的相似度。
[0008]这样计算出的相似度表示了将特征量M1、mi分别设为要素的2个η维向量(通常称为特征向量)的η维向量空间中的距离。特征量M1、mi的差分越小(将特征量M1、mi分别设为要素的2个η维向量的距离越近)，则相似度越小，检查图像与病例图像相似性被判断为越高。另一方面，特征量M1、mi的差分越大(将特征量M1、mi分别设为要素的2个η维向量的距离越远)，则相似度越大，检查图像与病例图像相似性被判断为越低。
[0009]现有技术文献
[0010]专利文献
[0011]专利文献1:日本特开2011-118543号公报
[0012]如专利文献1的相似图像检索装置那样，在根据特征量计算出检查图像与病例图像的相似度的情况下，相似度的可靠性受到特征量的计算精度的影响。另外，特征量归根结底是数值，并非完全地再现人的外表，所以有时在根据特征量计算出的相似度与人的外表之间产生背离。特别是在特征量存在多种情况下，根据种类而其计算精度也不同，另外，根据种类而与人的外表的背离程度也不同，所以相似度的可靠性更容易被影响。
[0013]此外，如专利文献1的相似图像检索装置那样，在根据特征量计算出检查图像与病例图像的相似度的情况下，检查图像与病例图像的特征量在都大的值处大致一致的情况下，以及在检查图像与病例图像的特征量在都低的值处大致一致的情况下，相似度等同。
[0014]一般地，与某个图案对应的特征量的值越大，则表示在图像内该图案的存在概率越高。因此，如果出于希望得到检查图像的相似图像这样的相似图像检索的目的，则和检查图像与病例图像的特征量在都低的值处大致一致的情况相比，应该提高在检查图像与病例图像的特征量在都大的值处大致一致的情况下的相似度。然而，在专利文献1中没有考虑到这一点。因此，不一定能够检索到有说服力的相似图像。
【发明内容】
[0015]本发明是鉴于上述课题而完成的，其目的在于，提供一种能够检索到有可靠性的、与人的外表的相似性相符合的有说服力的相似图像的相似图像检索装置、相似图像检索装置的工作方法以及相似图像检索程序。
[0016]为了达到上述目的，本发明的相似图像检索装置从多个案例图像中检索与检索图像相似的相似图像，具备:特征量计算部，解析检索图像，计算与预先登记的图案对应的特征量；概率计算部，根据在特征量计算部中计算出的特征量，通过统计学的方法来计算在检索图像内存在图案的第1存在概率；以及相似度计算部，根据在概率计算部中计算出的第1存在概率、以及针对多个案例图像而计算出的、在案例图像内存在图案的第2存在概率，计算检索图像与多个案例图像的分别的相似度。
[0017]概率计算部优选使用根据人在视觉上判断出的学习用图像内的图案的有无与特征量的关系通过统计学的方法来预先创建的、将特征量设为变量来计算第1存在概率的计算式。
[0018]相似度计算部优选根据第1存在概率以及第2存在概率，计算图案存在于案例图像以及检索图像这两者中的并存概率、或者图案仅独立地存在于案例图像以及检索图像中的一个中的非并存概率中的至少一个。
[0019]相似度计算部例如计算并存概率、或者非并存概率，来作为相似度，并存概率越高，则判断为案例图像与检索图像的相似性越高，或者非并存概率越高，则判断为案例图像与检索图像的相似性越低。
[0020]相似度计算部例如计算并存概率与非并存概率之比，来作为相似度，比越高，则判断为案例图像与检索图像的相似性越高。
[0021]在图案有多种的情况下，相似度计算部计算多种图案的各自的并存概率、或者非并存概率，对所计算出的并存概率的总乘积或者并存概率的对数的总和、或者非并存概率的总乘积或者非并存概率的对数的总和进行计算，来作为相似度，并存概率的总乘积或者并存概率的对数的总和越高，则也可以判断为案例图像与检索图像的相似性越高，或者非并存概率的总乘积或者非并存概率的对数的总和越高，则也可以判断为案例图像与检索图像的相似性越低。
[0022]另外，在图案有多种的情况下，相似度计算部也可以计算多种图案的各自的并存概率与非并存概率之比，对所计算出的比的总乘积或者比的对数的总和进行计算，来作为相似度，比的总乘积或者比的对数的总和越高，则判断为案例图像与检索图像的相似性越尚ο
[0023]优选在将第1存在概率设为Px，将第2存在概率设为Py并且将并存概率设为Pxy的情况下，Pxy = PxXPyo
[0024]优选在将第1存在概率设为Ρχ，将第2存在概率设为Py并且将非并存概率设为NPxy 的情况下，NPxy = PxX (l_Py) + (l_Px) XPy。
[0025]也可以在将第1存在概率设为Px，将第2存在概率设为Py，将Px与Py中的最小值设为min(Px，Py)并且将并存概率设为Pxy的情况下，Pxy = PxXmin (Px，Py)。
[0026]也可以在将第1存在概率设为Px，将第2存在概率设为Py，将Px与Py中的最小值设为min (Px, Py)，将Px与Py中的最大值设为max (Px, Py)并且将非并存概率设为NPxy的情况下，在 Ρχ>0.5 的情况下，NPxy = PxX {l_min(Px，Py)} + (l_Px) XPy，在 Px < 0.5 的情况下，NPxy = PxX (l_Py) + (1-Px) Xmax (Px, Py)。
[0027]优选具备过滤处理部，该过滤处理部对第2存在概率的排除范围与第2存在概率进行比较，将第2存在概率是排除范围的案例图像从在相似度计算部计算相似度的候补中排除。过滤处理部优选根据将第1存在概率设为变量的、第1存在概率与第2存在概率的关系式，计算排除范围。
[0028]特征量计算部例如计算检索图像的一部分的区域的特征量。
[0029]特征量计算部也可以还计算案例图像的特征量。另外，概率计算部也可以还计算第2存在概率。
[0030]优选具备检索结果输出部，该检索结果输出部作为相似图像的检索结果，输出相似图像与相似度的组。检索结果输出部也可以输出按相似度的顺序对多个相似图像与相似度的组进行排序而得到的列表。
[0031]例如，检索图像是在患者的诊断中使用的检查图像，案例图像是作为过去在诊断中使用的检查图像的病例图像，图案是表示患者的疾病的症状的病变的图案。
[0032]在本发明的相似图像检索装置的工作方法中，该相似图像检索装置从多个案例图像中检索与检索图像相似的相似图像，该相似图像检索装置的工作方法具备:特征量计算步骤，通过特征量计算部，解析检索图像，计算与预先登记的图案对应的特征量；概率计算步骤，通过概率计算部，根据在特征量计算步骤中计算出的特征量，通过统计学的方法来计算在检索图像内存在图案的第1存在概率；以及相似度计算步骤，通过相似度计算部，根据在概率计算步骤中计算出的第1存在概率、以及针对多个案例图像而计算出的、在案例图像内存在图案的第2存在概率，来计算检索图像与多个案例图像的分别的相似度。
[0033]本发明的相似图像检索程序从多个案例图像中检索与检索图像相似的相似图像，使计算机执行以下功能:特征量计算功能，通过解析检索图像，来计算与预先登记的图案对应的特征量；概率计算功能，根据由特征量计算功能计算出的特征量，通过统计学的方法来计算在检索图像内存在图案的第1存在概率；以及相似度计算功能，根据由概率计算功能计算出的第1存在概率、以及针对多个案例图像而计算出的、在案例图像内存在图案的第2存在概率，计算检索图像与多个案例图像的分别的相似度。
[0034]根据本发明，根据解析检索图像而计算出的、与预先登记的图案对应的特征量，通过统计学的方法来计算图案存在于检索图像内的第1存在概率，根据该第1存在概率、以及图案存在于案例图像内的第2存在概率，计算检索图像与多个案例图像的各个图像的相似度，所以相似度的可靠性不受特征量的计算精度影响，并且，相似度与人的外表也不产生背离。进而，在检索图像与案例图像的特征量在都大的值处大致一致的情况下、以及在检索图像与案例图像的特征量在都低的值处大致一致的情况下，相似度也不会变得等同。因此，能够提供一种能够检索到有可靠性的、与人的外表的相似性相符合的有说服力的相似图像的相似图像检索装置，相似图像检索装置的工作方法以及相似图像检索程序。
【附图说明】
[0035]图1是示出包括相似图像检索服务器的医疗信息系统的结构图。
[0036]图2是示出从医疗检查直到明确诊断的流程的说明图。
[0037]图3是示出相似图像的取得请求的内容的图。
[0038]图4是示出显示检查图像而受理对关注区域R0I的指定的检查图像显示窗口的图。
[0039]图5是示出构成相似图像检索服务器的计算机的框图。
[0040]图6是示出相似图像检索服务器的CPU的功能的框图。
[0041]图7是示出特征量计算部的详细的结构以及功能的框图。
[0042]图8是不出特征量与病变的图案的对应关系的图。
[0043]图9是示出用于计算第1存在概率Px的计算式的创建方法的说明图。
[0044]图10是不出特征量Z与第1存在概率P的关系的不图。
[0045]图11是示出相似度计算部的结构以及功能的框图。
[0046]图12是示出相似度计算部的详细的结构以及功能的框图。
[0047]图13是示出列表的内容的图。
[0048]图14是示出显示相似图像的检索结果的检索结果显示窗口的图。
[0049]图15是示出相似图像检索服务器的CPU的处理步骤的流程图。
[0050]图16是示出相似度计算的处理步骤的流程图。
[0051]图17A是示出在使用式(2-A)的情况下的并存概率Pxy的计算结果的说明图。
[0052]图17B是示出在使用式(2-B)的情况下的并存概率Pxy的计算结果的说明图。
[0053]图18A是示出在使用式(3-A)的情况下的非并存概率NPxy的计算结果的说明图。
[0054]图18B是示出使用式(3-B)的情