类似病例检索装置以及类似病例检索方法

专利名称：类似病例检索装置以及类似病例检索方法
技术领域：
本发明涉及用于检索成为医用图像读片的参考的类似病例的类似病例检索装置以及类似病例检索方法。
背景技术：
近些年，由于CT (Computed Tomography:电脑断层扫描)，MRI (MagneticResonance Imaging:磁共振成像)等医用图像装置的发展以及普及,能够以大容量来获得被数字化的高精细的医用图像。并且，由医师读片完毕的医用图像，与读片报告一起依次被存储蓄积到 PACS (Picture Archiving and Communication Systems:图像存储与通信系统)。在此，为了成为新的读片的参考，开始开发了从蓄积完毕的过去病例中，检索与读片对象的医用图像类似的过去的医用图像。在类似图像检索中，与检索对象图像相对应地对决定图像间的类似度的图像特征量进行最佳化是重要的。以往，按照进行类似图像检索的成为对象的脏器来设计图像特征量的情况较多，针对脏器以外的概念级别(例如，疾病的种类、疾病的行进度、或者疾病的重症度等)，几乎在类似图像检索中采用同一个图像特征量。作为将检索时所使用的图像特征量，针对脏器以外的概念级别进行动态地变更的类似图像检索法，公开了以下的技术。在非专利文献I中公开的是,作为解决方法采用“customized_queries”approach(CQA:特定化-询问方法)这两个步骤的检索方法。具体而言，在第一步骤，利用能够将疾病的种类，疾病的行进度或疾病的重症度等种类进行最佳分类的图像特征量，来对查询图像进行分类。在第二步骤，利用被最佳化了的图像特征量，来检索类似图像，所述最佳化用于对成为分类结果的种类中所包含的病例进一步进行的细分类。此时，每个种类的最佳的图像特征量是不通过教师的学习(unsupervised learning)事先求出的。并且，在该文献中，将CQA适用于肺部CT图像，这比利用以往的一种图像特征量来检索类似图像更能提高检索复现率。(现有技术文献)(非专利文献)非专利文献I Jennifer G.Dy et al.“Unsupervised Feature SelectionApplied to Content-based Retrieval of Lung Images，，，IEEE Transactions on PatternAnalysis and Machine Intelligence, vol.25, n0.3, March 2003
发明概要发明要解决的问题

然而，在上述以往的构成中，由于图像特征量(即，类似基准)是由被识别的疾病的种类，疾病的行进度或疾病的重症度等而被决定的，是仅利用被决定的图像特征量来检索类似图像的，因此没有结合反映了针对读片对象的医用图像的读片者关注点的类似图像检索。决定图像的类似性的指标(关注点)即使是针对特定的图像，但是形状、亮度、全体区域、部分区域等不同。至于利用哪个指标来检索“类似”的图像，只有进行类似图像检索的用户本人才知道。即出现的问题是，若是医用图像检索，即使是以根据被识别的疾病的种类、疾病的行进度或者疾病的重症度等而被事先最佳化了的图像特征量来进行检索，其检索结果也很难成为读片者所下的诊断的依据或给读片者在犹豫诊断时的辅助。

发明内容
本发明为了解决上述以往的课题，目的在于提供一种能够将读片者的关注点反映到类似图像检索的类似病例检索装置。解决问题所采用的手段本发明的某个局面所涉及的类似病例检索装置从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据，所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据，所述读片报告是记载了对该医用图像进行读片后的结果的文本数据，该类似病例检索装置包括:图像特征提取部，从读片对象图像中提取多个图像特征量，所述读片对象图像是成为读片对象的医用图像；读片项目一致性算出部，根据第一读片知识，算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性，所述第一读片知识是示出，针对任意的读片项目，根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息，所述任意的读片项目是对医用图像的特征进行言语化后的字符串；读片项目候补显示部，显示由所述读片项目一致性算出部算出的一致性比规定阈值大的读片项目，或者显示从一致性大的读片项目开始规定个数的读片项目；读片项目选择部，使用户从由所述读片项目候补显示部显示的读片项目之中，选择读片项目；权重决定部，针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性，根据预先决定 的第二读片知识，按照由所述图像特征提取部提取的每个图像特征量来决定权重，在该图像特征量与所述读片项目选择部所选择的读片项目之间的关联性越高的情况下，就越决定值大的权重；以及类似病例检索部，以由所述权重决定部决定的每个图像特征量的权重，对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权，并进行比较，从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。通过此构成，根据从医用图像或者读片对象图像中提取的各个图像特征量来计算针对各个“读片项目”的一致性，读片对象图像的特征被变换为比每个单位疾病更详细的级别的“读片项目”，在以后的类似病例检索处理中，以比每个单位疾病更详细的级别来进行检索时所利用的图像特征量的最佳化成为可能。“读片项目”是指，在本说明书中被定义为“读片医师将读片对象的图像的特征进行了语言化后的字符串”。按照使用的医用图像摄像装置或对象脏器等，作为读片项目而被使用的用语几乎是被限定的。例如有:形成叶状、棘状、不规则状、边界清晰、轮廓不清晰、低浓度、高浓度、低吸収、高吸収、磨玻璃状、钙化，嵌合体状、早期染色、低回声、高回声、以及起毛等。若被选择的读片项目为，形成叶状/棘状/不规则状，则可知读片者关注形状方面，若为低浓度/高浓度/低吸収/高吸収/磨玻璃状，则可知读片者则关注亮度方面。同时，由于读片项目是医师在制作读片报告时的共同语言，因此，类似病例检索装置的用户，即读片者能够容易地理解通过本装置来推定的读片项目的妥当性。并且，通过显示一致性大的读片项目，从而能够从众多的读片项目中严格选出与从读片对象图像中提取的图像特征量相关的读片项目并显示，因而对于类似病例检索装置的用户而言，读片项目的把握及选择变得容易。据此，能够进行反映了类似病例检索装置的用户，即读片者的关注点的类似病例检索。另外，本发明不仅可以 作为具备具有这种特征的处理部的类似病例检索装置来实现，而且能够作为将类似病例检索装置中所具备的特征性的处理部所执行的处理作为步骤来实现的类似病例检索方法来实现。并且，可以作为使计算机执行，使作为类似病例检索装置中所包含的特征性的处理部的计算机发挥功能的程序或类似病例检索方法中所包含的特征性的步骤的程序来实现。并且，这些程序是可以通过⑶-ROM(Compact Disc-Read OnlyMemory)等计算机可读取的非一时性的记录介质或互联网等通信网络来流通的。发明效果通过本发明的类似病例检索装置，能够提供一种将读片者的关注点反映到类似图像检索的类似病例检索装置。


图1是示出本发明的实施例1中的类似病例检索装置的构成的方框图。图2是本发明的实施例1中的读片知识制作顺序的流程图。图3是本发明的实施例1中的图像特征量提取顺序的流程图。图4示出了本发明的实施例1中的腹部CT检查的读片报告的例子。图5示出了从本发明的实施例1中的读片报告中提取的读片项目以及疾病名称。图6示出了从本发明的实施例1中的读片报告中提取的读片项目和疾病名称，以及与读片项目同时提取的位置与时相的信息。图7示出了从本发明的实施例1中的读片报告中提取的读片项目和疾病名称，以及与进行了逻辑性解释的读片项目同时提取的位置与时相的信息。图8示出了本发明的实施例1中的用于获得读片知识提取的一系列数据。图9是示出本发明的实施例1中的第一读片知识的制作顺序的流程图。图10示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量矢量的分布。图11示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量的分布信息的存放形式。图12是本发明的实施例1中的读片项目与图像特征量之间的相关关系(二值)的概念图。图13是本发明的实施例1中的读片项目与图像特征量之间的相关关系(多值)的概念图。图14是本发明的实施例1中的疾病名称与图像特征量之间的相关关系(二值)的概念图。图15是本发明的实施例1中的读片项目与疾病名称之间的相关关系(二值)的概念图。图16示出了本发明的实施例1中的作为读片知识而提取的(图像特征量-读片项目)之间的相关关系的存放形式。图17示出了本发明的实施例1中的作为读片知识而提取的(图像特征量-疾病名称)之间的相关关系的存放形式。图18示出了本发明的实施例1中的作为读片知识而提取的(读片项目-疾病名称)之间的相关关系的存放形式。图19是本发明的实施例1中的类似病例检索顺序的流程图。图20示出了本发明的实施例1中的类似病例检索画面的一个例子。图21是用于说明本发明的实施例1中的病变位置或区域的指定的图。图22示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量的分布信息的存放形式。图23示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量的分布信息的存放形式。图24示出了本发明的实施例1中的作为第一读片知识的与某读片项目相对应的图像特征量的分布信息的存放形式。图25示出了在本发明的实施例1中，被判断为一致性高的读片项目的显示形式。图26示出了在本发明的实施例1中，按每个图像来显示被判断为一致性高的读片项目时的显示形式。图27示出了在本发明的实施例1中，在显示被判断为一致性高的读片项目的同时还显示该一致性时的显示形式。图28示出了在本发明的实施例1中，在显示被判断为一致性高的读片项目的同时还显示该一致性时的显示形式。图29示出了在本发明的实施例1中，由读片者选择的读片项目的显示形式。图30示出了本发明的实施例1中的类似病例检索时的加权方法。图31示出了在本发明的实施例1中，在进行类似病例检索时通过滑动棒，来使用户设定读片项目间的权重的画面的例子。图32示出了在本发明的实施例2中，作为读片知识而被提取的读片项目彼此的相关关系的存放形式。图33示出了在本发明的实施例2中，被选择的读片项目的显示形式。图34示出了在本发明的实施例2中，显示针对被选择的读片项目有可能选择错误时的显示形式。图35示出了在本发明的实施例3中，被选择的读片项目与不能选择的读片项目的显示形式。图36示出了 在本发明的实施例4中，从被选择的读片项目中推定的疾病名称的显示形式。图37是示出本发明的实施例5中的类似病例检索装置的构成的方框图。
图38是示出本发明的实施例5中的类似病例检索的顺序的流程图。图39是示出本发明的实施例6中的第一类似病例检索装置的构成的方框图。图40是示出本发明的实施例6中的第二类似病例检索装置的构成方框图。图41是本发明的实施例6中的读片项目选择履历数据库中所存储的读片项目的选择履历信息的一个例子。图42是示出类似病例检索装置的其他的构成方框图。
具体实施例方式以下，对本发明的实施例参照附图进行说明。另外，以下说明的实施例均为本发明的一个优选的具体例子。以下的实施例所示的数值、构成要素、构成要素的连接方式、步骤、步骤的顺序等仅为一个例子，本发明并非受此所限。本发明仅受限于权利要求书。因此，在以下的实施例的构成要素中，对于示出本发明的最上位概念的独立权利要求中没有记载的构成要素，虽然不是达成本发明的课题的必要因素，但作为优选的构成方式来进行说明。本发明的一个实施例所涉及的类似病例检索装置，从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据，所述病例数据库中蓄积了多个包含有医用图像和读片报告 的病例数据，所述读片报告是记载了对该医用图像进行读片后的结果的文本数据，该类似病例检索装置包括:图像特征提取部，从读片对象图像中提取多个图像特征量，所述读片对象图像是成为读片对象的医用图像；读片项目一致性算出部，根据第一读片知识，算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性，所述第一读片知识是示出，针对任意的读片项目，根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息，所述任意的读片项目是对医用图像的特征进行言语化后的字符串；读片项目候补显示部，显示由所述读片项目一致性算出部算出的一致性比规定阈值大的读片项目，或者显示从一致性大的读片项目开始规定个数的读片项目；读片项目选择部，使用户从由所述读片项目候补显示部显示的读片项目之中，选择读片项目；权重决定部，针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性，根据预先决定的第二读片知识，按照由所述图像特征提取部提取的每个图像特征量来决定权重，在该图像特征量与所述读片项目选择部所选择的读片项目之间的关联性越高的情况下，就越决定值大的权重；以及类似病例检索部，以由所述权重决定部决定的每个图像特征量的权重，对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权，并进行比较，从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。通过此构成，根据从医用图像或者读片对象图像中提取的各个图像特征量来计算针对各个“读片项目”的一致性，读片对象图像的特征被变换为比每个单位疾病更详细的级别的“读片项目”，在以后的类似病例检索处理中，以比每个单位疾病更详细的级别来进行检索时所利用的图像特征量的最佳化成为可能。“读片项目”是指，在本说明书中被定义为“读片医师将读片对象的图像的特征进行了语言化后的字符串”。按照使用的医用图像摄像装置或对象脏器等，作为读片项目而被使用的用语几乎是被限定的。例如有:形成叶状、棘状、不规则状、边界清晰、轮廓不清晰、低浓度、高浓度、低吸収、高吸収、磨玻璃状、钙化，嵌合体状、早期染色、低回声、高回声、以及起毛等。若被选择的读片项目为，形成叶状/棘状/不规则状，则可知读片者关注形状方面，若为低浓度/高浓度/低吸収/高吸収/磨玻璃状，则可知读片者则关注亮度方面。同时，由于读片项目是医师在制作读片报告时的共同语言，因此，类似病例检索装置的用户，即读片者能够容易地理解通过本装置来推定的读片项目的妥当性。并且，通过显示一致性大的读片项目，从而能够从众多的读片项目中，严格选出与从读片对象图像中提取的图像特征量相关的读片项目并显示，因而对于类似病例检索装置的用户而言，读片项目的把握以及选择变得容易。据此，能够进行反映了类似病例检索装置的用户，即读片者的关注点的类似病例检索。最好是，所述读片项目一致性算出部，根据所述第一读片知识，获得在一致性算出中与对象读片项目关联的所有的图像特征量的值的存在范围信息；算出由所述图像特征提取部提取的各个图像特征量、与获得的所述存在范围信息的一致度；在对于基于所述第二读片知识的与所述对象读片项目之间的关联性越高的图像特征量，就越使针对该图像特征量算出的所述一致度的权重增大的状态下，通过对针对所述图像特征提取部所提取的所述多个图像特征量算出的多个所述一致度进行统一，从而算出所述图像特征提取部所提取的所述多个图像特征量针对所述对象读片项目的一致性。根据此构成，即使存在有多种图像特征量的情况下，也能够使与关注的读片项目的关系小的图像特征量的影响减少，从而算出一致性。
最好是，所述读片项目候补显示部，进一步，将读片项目和与该读片项目相对应的
一致性一起显示。根据此构成，能够将本装置算出的读片项目的一致性的大小提示给用户，因此用户能过在选择读片项目时进行参考。最好是，所述读片项目候补显示部，进一步，针对附属于医用图像的读片报告中的读片项目彼此间的搭配程度，根据预先决定的搭配概率信息，决定由所述读片项目选择部选择的读片项目彼此间的搭配概率，在决定的所述搭配概率为规定值以下的情况下，对示出读片项目的选择有可能出现错误的信息进行显示。根据此构成，能够将难于共存的读片项目传达给用户，从而能够防止用户进行错误的读片项目的选择。最好是，所述读片项目候补显示部，进一步，针对附属于医用图像的读片报告中的读片项目彼此间的搭配程度，根据预先决定的搭配概率信息，对于与所述读片项目选择部所选择的读片项目的搭配概率在规定值以下的读片项目，显示不能选择。根据此构成，能够在选择了读片项目这一阶段之时，将不能选择的读片项目传达给用户，从而能够防止用户进行错误的读片项目的选择。最好是，所述读片项目候补显示部，进一步，针对从附属于医用图像的读片报告中提取的、作为对医用图像的特征进行了言语化后的字符串的读片项目与疾病名称之间的关联性，根据预先决定的关联性信息，推定与被选择的读片项目的关联性最高的疾病名称，并显示该被推定的疾病名称。
根据此构成，通过将当前选择的读片项目相当于哪个疾病传达给用户，从而对于用户而言，能够成为判断选择完毕的读片项目的妥当性的辅助信息。本发明的其他的实施例所涉及的类似病例检索装置，从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据，所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据，所述读片报告是记载了对该医用图像进行读片后的结果的文本数据，该类似病例检索装置包括:图像特征提取部，从读片对象图像中提取多个图像特征量，所述读片对象图像是成为读片对象的医用图像；读片项目一致性算出部，根据第一读片知识，算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性，所述第一读片知识是示出，针对任意的读片项目，根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息，所述任意的读片项目是对医用图像的特征进行言语化后的字符串；读片项目设定部，将由所述读片项目一致性算出部算出的一致性为规定值以上的读片项目，设定为在进行类似病例检索时使用的读片项目；权重决定部，针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性，根据预先决定的第二读片知识，按照由所述图像特征提取部提取的每个图像特征量来决定权重，在该图像特征量与所述读片项目设定部所设定的读片项目之间的关联性越高的情况下，就越决定值大的权重；以及类似病例检索部，以由所述权重决定部决定的每个图像特征量的权重，对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权，并进行比较，从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。根据此构成，针对从医用图像或者读片对象图像中提取的各个图像特征量，在与根据读片对象图像推定的读片项目之间的关联性越高的情况下越以大的权重来加权，这样通过对图像特征量彼此进行比较，从而能够检索类似病例。这样，在没有用户进行的读片项目的选择的情况下，能够实现利用了作为一般的读片者的关注点的读片项目的加权。在本装置，由于是将一致性为规定值以上的读片项目用于类似病例检索的，因此能够进行基于一般的医师也会关注的读片项目的类似病例检索。最好是，所述读片项目设定部，根据用户过去从读片项目的组中选择的读片项目的履历信息，从所述读片项目一致性算出部所算出的一致性为规定值以上的读片项目中，将通过进行与所述履歴信息相同的选择而得到的读片项目，设定为在进行类似病例检索时使用的读片项目。根据此构成，能够利用与用户过去选择的读片项目相同的读片项目来进行类似病例检索。因此，例如能够利用与熟练的医师过去所选择的读片项目相同的读片项目，来进行针对新的读片对象图像的类似病例检索。(实施例1)图1是本发明的实施例1中的类似病例检索装置的方框图。
类似病例检索装置从病例数据库中检索包含与读片对象的医用图像类似的医用图像的病例数据，所述病例数据库中蓄积有多个包含医用图像和读片报告的病例数据，所述读片报告是记载有对该医用图像进行读片的结果的文本数据。类似病例检索装置包括:病例数据库100、第一读片知识数据库110、第二读片知识数据库120、读片对象图像读取部130、读片对象图像显示部140、图像特征提取部150、读片项目一致性算出部160、读片项目候补显示部170、读片项目选择部180、权重决定部190、类似病例检索部200、以及类似病例显示部210。并且包括图中未示出的读片报告输入部。病例数据库100是存放有多个病例数据(以下，简单称为“病例”)的数据库，该病例数据是由 CT (Computed Tomography:电脑断层扫描)或 MRI (Magnetic ResonanceImaging:磁共振成像)等医用图像(在本说明书中将“图像数据”简称为“图像”)与读片报告配对而构成的，所述读片报告是对该医用图像进行读片后的结果。第一读片知识数据库110以及第二读片知识数据库120是存放有通过对多个病例进行分析而得到的读片知识的数据库。详细待后述。病例数据库100、第一读片知识数据库110以及第二读片知识数据库120被存储在HDD (Hard Disk Drive:硬盘驱动器)等存储装置。读片对象图像读取部120从医用图像摄像装置或在外部连接的存储装置等中，读取以CT或MRI等医用图像摄像装置拍摄的图像。 读片对象图像显示部130由医疗用的高精细显示器等构成，显示由读片对象图像读取部120读取的读片对象图像。图像特征提取部160从由读片对象图像读取部120读取的读片对象图像中，提取多种图像特征量。读片项目一致性算出部160根据图像特征提取部150所提取的多个图像特征量和被存放在第一读片知识数据库110的第一读片知识，从现在的读片对象图像中算出多个图像特征量针对各个读片项目的一致性。读片项目候补显示部170根据在读片项目一致性算出部160算出的针对多个读片项目的每一个的一致性，将一致性比规定阈值大的读片项目、或者一致性大的之中的规定个数的读片项目，作为用于使用户选择的候补来显示。本类似病例检索装置的用户(读片者)是，放射科医师、临床医师等进行读片的医师。不过，用户并非受限于此，也会有临床检查技师或向医科学生这种没有获得医师资格的人的情况。读片项目选择部180从在读片项目候补显示部170显示的读片项目中，接受用户的选择结果以作为输入。权重决定部190根据图像特征提取部150所提取的图像特征量、以及被存放在第二读片知识数据库120中的第二读片知识，针对在图像检索时所使用的多个图像特征量分别决定权重。类似病例检索部200对图像特征提取部150所提取的多个图像特征量以及被登记在病例数据库100的病例中所包含的、从医用图像中提取的多个图像特征量，以在权重决定部190决定的每个图像特征量的权重来进行加权并比较，从所述病例数据库检索包含与读片对象图像类似的医用图像的病例。类似病例显示部210显示由类似病例检索部200检索的类似病例。类似病例显示部210的构成可以是与构成读片对象图像显示部140的高精细监视器为相同的机种，也可以将读片对象图像和类似病例同时显示在读片对象图像显示部140。另外，类似病例显示部210和读片对象图像显示部140的机种也可以不同。图中未示出的读片报告输入部接受来自用户的读片报告输入。即用户一边参考由读片对象图像显示部140显示的读片对象图像、以及由类似病例显示部210显示的类似病例，一边将读片报告输入到图中未不出的读片报告输入部。读片报告输入部由键盘或鼠标等构成。读片对象图像显示部140、读片项目候补显示部170、读片项目选择部180、类似病例显示部210、以及图中未示出的读片报告输入部构成读片终端220。以下，对本发明的各个部的工作进行详细说明。<读片知识数据库的事前制作>在进行类似病例检索之时，需要事前得到读片知识，并将读片知识存放到第一读片知识数据库110以及第二读片知识数据库120。读片知识是从聚集的多个“病例”中得到的，该“病例”是由医用图像与读片报告的配对构成的，该读片报告是对该医用图像进行读片后的结果。作为病例，可以利用被存放于病例数据库100中的病例，也可以利用被存放在其他的数据库中的病例。所需的病例数是，利用各种数据挖掘算法能够得到某些法则性以及知识所需要的数量。通常采用数百 数万个的数据。在本实施例中，作为被存放在第一读片知识数据库110的第一读片知识采用以下的信息，该信息示出针对任意的读片项目，根据从与包含所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每个图像特征量的种类的值的存在范围。并且，作为被存放在第二读片知识数据库120的第二读片知识，采用从医用图像中提取的各个图像特征量与从所述医用图像所对应的读片报告中提取的各个读片项目之间的关联性，即采用(图像特征量-读片项目)这两项间的相关关系。作为“图像特征量”例如有医用图像中的脏器或与病变部分的形状相关的或者与亮度分布相关的图像特征量。图像特征量例如可以采用如下的非专利文献中所记载的490种特征量，该非专利文献是:“根本、清水、萩原、小畑、绳野所著‘根据来自多数特征量的特征选择的乳房X线图像上的肿瘤影像判别精度的改善以及快速的特征选择法的提出(多数O特徴量如W特徴選択1二 A 3 乳房X線像上O肿瘤影判別精度O改善i高速々特徴選択法O提案)’，电子信息通信学会论文集(電子情報通信学会論文誌)-1I，Vol.J88-D-1I，N0.2，pp.416-426,2005年2月”。在本实施例也按照医用图像的拍摄中所使用的医用图像摄像装置(医疗影像设备)或读片的对象脏器，来采用预先规定的数十 数百种的图像特征量。“读片项目”是指，在本说明书中被定义为“读片医师将读片对象的图像的特征进行了语言化后的字符串”。按照使用的医用图像摄像装置或对象脏器等，作为读片项目而被使用的用语几乎是被限定的。例如有:形成叶状、棘状、不规则状、边界清晰、轮廓不清晰、低浓度、高浓度、低吸収、高吸収、磨玻璃状、钙化，嵌合体状、早期染色、低回声、高回声、以及起毛等。以下，利用图2的流程图来说明制作读片知识的顺序。在本实施例成为对象的是，即使用的医用图像摄像装置为多层面CT，对象脏器以及疾病分别为肝脏以及肝脏以及肝肿瘤。在步骤S10，从存放有用于得到读片知识的病例的数据库中获得一个病例。在此，将用于得到读片知识的病例的总数设为C个。每一个病例由医用图像与作为对该医用图像进行读片后的结果的读片报告的配对构成。在医用图像由多层面CT装置获得的情况下，每一个病例将包含多张切片图像。并且，通常在多层面CT图像由医师读片的情况下，将重要的切片图像的一张或多张作为关键图像添附到读片报告中。以下对多张的切片图像集合或多张的关键图像简称为“医用图像”或“图像”。在步骤S11，从医用图像提取图像特征量。利用图3的流程图对步骤Sll的处理进行详细说明。在步骤S111，提取对象脏器的区域。在本实施例中提取肝脏区域。作为肝脏区域的提取方法，例如有利用非专利文献:“田中、清水、小畑所著‘考虑了异常部位的浓度图案的肝脏区域的提取方法的改善〈第二部 > (異常部位O濃度〃夕一 > ^ 考慮&肝脏領域抽出手法O改良〈第二報〉’，电子信息通信学会技术研究报告(電子情報通信学会技术研究報告)，医用图像，104 (580)，pp.7-12，2005年I月”等方法。在步骤S112，从在步骤Slll提取的脏器区域中提取病变区域。在本实施例中为从肝脏区域提取肿瘤区域。作为肝肿瘤区域提取方法，例如有利用非专利文献:“中川、清水、一杉、小畑所著的‘根据三维腹部CT图像的肝肿瘤影像的自动提取方法的开发〈第二部 >(三维数腹部CT像々^ O肝肿瘤影O自動抽出手法O開発〈第二報〉’，医用图像，102(575)，pp.89-94,2003年I月”等方法。在此，若将从第i个病例中的图像中提取的肿瘤的数量设为Mi，则肿瘤能够从(病例编号，肿瘤编号)的组(i，j)中来确定。在此，I < i < C，1 < j SMp并且，在本实施例中由于病变的对象是肝肿瘤，虽然称为了 “肿瘤编号”，不过在本发明中采用共同的表现，称为“病变编号”。在步骤S113，从在步骤S112提取的病变区域选择一个区域。在步骤S114，从在步骤S113选择的病变区域中提取图像特征量。在本实施例中，作为图像特征量，从非 专利文献:“根本、清水、萩原、小畑、绳野所著‘根据多个特征量中的特征选择的乳房X线图像上的肿瘤影像判别精确度的改善以及快速的特征选择法的提出(多数Θ特徴量特徴選択^ J: 3乳房X線像上Θ肿瘤影判別精度O改善i高速々特徴選択法O提案’，电子信息通信学会论文集(電子情報通信学会論文誌)D-1I，Vol.J88-D-1I，N0.2，pp.416-426，2005年2月”中所记载的490种的特征量中，选用若干个能够适用于肝肿瘤的特征量。将该特征量数量设为NIF个。在该步骤中提取的特征量是根据(病例编号、从该病例(医用图像)中提取的肿瘤编号、特征量编号)的组(i，j，k)来确定的。在此为，I彡i彡C，I彡j彡Mi, I彡k彡NIF0在步骤S115，检查在步骤S112提取的病变区域中是否有未选择的病变，在有未选择的病变的情况下，返回到步骤S113，在选择了未选择的病变区域之后，再次执行步骤S114。在没有未选择的病变的情况下，即，在针对步骤S112所提取的所有的病变区域，进行了步骤S114的特征量选择的情况下，结束图3的流程图的处理，返回到图2的流程图。在图2的步骤S12，进行读片报告的分析处理。具体而言，从读片报告中提取读片项目以及疾病名称。在本实施例中，进行词素分析以及文法分析，该词素分析以及文法分析利用了存放有读片项目的读片项目单词辞典以及存放有疾病名称的疾病名称单词辞典。通过这些处理，提取与在各个单词辞典中存放的单词一致的单词。作为词素分析技术例如有，非专利文献:MeCab (http://mecab.sourceforge.net)或 ChaSen (http://chasen-legacy.sourceforge.jp)等，作为文法分析技术例如有，KNP(http://nlp.kuee.kyoto-u.ac.jp/nl-resource/knp.html), CaboCha (http://chasen.0rg/ taku/software/cabocha/)等。读片报告由于是由医师以读片报告独特的表现来描述的情况较多，因此，希望能够开发出对读片报告具有针对性的词素分析技术、文法分析技术、以及各种单词辞典。图4示出了腹部CT检查的读片报告的例子，图5示出了从图4的读片报告中提取的读片项目以及疾病名称。读片项目通常提取多个，疾病名称提取一个。将从第i个病例中的读片报告中提取的读片项目的数量设为Ni，则读片项目能够根据(病例编号，读片项目编号)的组(i，j)来确定。在此为，I彡i彡C，I彡j彡队。并且，在图5中虽然仅提取了读片项目以及疾病名称的单词，不过也可以同时提取表示读片报告中的病变的位置的字符串，以及表示时相的字符串。在此对时相进行补充说明。在对肝脏的病变进行鉴别时有效的方法是，快速静脉注射造影剂，并随着时间的经过来进行拍摄的造影检查。一般在肝脏的造影检查中，对肝脏进行拍摄一般是在以下情况:造影剂流入肝动脉，多血症肿瘤染色的动脉相；分布到肠道以及脾脏的造影剂从门静脉流入，肝实质主要被造影的门静脉相；造影剂均衡地达到肝的血管内外的平衡相；以及造影剂留置在肝的间质组织的晚期相等。在读片报告中描述的较多的是病变在脏器上的位置以及在造影检查时关注的时相的信息。这样，由于不仅是读片项目，位置以及时相的信息也被合在一起提取，这将有用于以后将要说明的读片知识的提取。图6示出了与读片项目同时提供了位置和时相的信息的例子。例如，分析图4的读片报告，根据“在肝S3区域发现早期染色”这一文节，作为“早期染色”的位置属性“肝S3区域”被提取。同样，根据“在晚期相出现洗脱(washout)”这一文节，作为“洗脱(washout)”的时相属性“晚期相”被提取。若单纯地解释图4的读片报告，则如图6所示，关于“早期染色”的时相以及关于洗脱(washout)的位置的部分成为空白。对此，通过利用读片项目“早期染色”是与早期相相对应的单词这一事前知识，以及对表示示出“早期染色”的状态的肿瘤与“在晚期相的洗脱(washout) ”的肿瘤为同一肿瘤的上下文进行解释，被提取的位置和时相的信息则成为图7所示那样。在步骤S13，检查在存放有用于得到读片知识的病例的数据库中是否有未获得的病例，在有未获得的病例 的情况下，返回步骤S10，在获得了未获得的病例之后，执行步骤Sll以及S12。在没有未获得的病例的情况下，即针对所有的病例执行了步骤Sll的图像特征提取以及步骤S12的报告分析之后的情况下，进入步骤S14。由于步骤Sll与步骤S12的结果不相互依存，因此执行顺序也可以相反。在达到步骤S14之时，例如获得图8所示的一系列数据。即，按照每个病例获得图像特征量、读片项目、以及疾病名称。对于病例编号I的病例，在医用图像中包含Ml个病变，从各个病变提取的图像特征量的个数为NF个。并且，读片报告中的读片项目的数量为NI个。例如，在以病变编号(1，I)所示的第一个病变中，第一个图像特征量的值为0.851。并且，以读片项目编号(1，1)所示的第一个读片项目的值为“早期染色”。在图8的例子中，各个图像特征量为O以上I以下的数值，读片项目以及疾病名称为字符串。作为图像特征量也可以使用负的值或比I大的值。并且，作为读片项目以及疾病名称，也可以以预先决定的单词ID的形式来存放数据。在步骤S14，根据在步骤Sll得到的图像特征量以及在步骤S12得到的读片项目，提取第一读片知识。利用图9的流程图对步骤S14的处理进行说明。在步骤S141，从到此为止(S14的紧前)得到的图8的一系列数据中，选择一个读片项目。作为选择的顺序，例如，能够利用在步骤S12所使用的读片项目单词辞典中的条目(读片项目编号)顺序。在本实施例中，读片项目单词辞典中的读片项目的所有条目数量为NII个。另外，作为选择顺序，可以采用图8的一系列数据中的出现顺序或任意的顺序的其他的方法。在步骤S142，从图8的一系列数据中，选择包含在步骤S141被选择的读片项目的读片报告中的病例。从选择的病例的医用图像中所包含的所有的病变中获得所有种类(NIF个)的图像特征量，将获得的图像特征量存放到与现在所选择的读片项目相对应的存储区域。在此，在一个病例中包含多个图像或多个病变(肿瘤)的情况较多，在这种情况下，则成为在读片报告中包含与多个病变相关的记载。例如，在造影CT検查中，以造影剂使用前以及使用后的多个时刻(即，多个时相)中的定时来进行CT摄影。因此，能够得到多个切片图像的集合，切片图像的一个集合中包含多个病变(肿瘤)，从一个病变中提取多个图像特征量。因此，能够得到(切片图像集合数，即摄影的时相的数量)X (从一个患者检测出的病变数)的个数的(图像特征量的种类数)维数的图像特征量矢量。需要求出得到的多个图像特征量矢量、与从一个读片报告提取的疾病名称以及多个读片项目之间的相关关系。当然，通过利用大量的病例，虽然能够得到正确的对应，不过，与利用后述的病变位置和时相相同，若事先对读片报 告的记载与对应的图像特征量在某种程度上进行对应，这样就能够更正确地求出相关关系。在一个病例中包含有多个病变的情况下，只要得到了当前选择的读片项目与病变的对应，可以存放仅从与当前选择的读片项目相对应的病变中提取的特征量。将在步骤S142存放的、与当前选择的读片项目相对应的图像特征量矢量绘图为NIF维数的特征量空间的状态，由图10的模式图示出。该空间上的一点相当于从一个病变图像(从原来的切片图像中切取病变区域后的部分图像)中得到的一个NIF维数的特征量矢量。在步骤S143，确认是否有还未选择的读片项目，若有则返回到步骤S141。若没有则结束图9的流程图。在此时刻，图10所示的与一个读片项目相对应的图像特征量矢量的分布能够得到与读片项目的个数同等的数量。在本实施例中，针对读片项目单词辞典的所有条目(NII個)的每一个，能够得到图10所示的分布。将这些分布分别作为第一读片知识。得到的分布，即与特征量的值的存在范围有关的信息以图11的形式，被存放在第一读片知识数据库110。图11示出了针对NII个读片项目，存放了从对于第i个读片项目的NFi个病变图像(从原来的切片图像切取病变区域后的部分图像)中提取的特征量矢量的状态。从各个病变图像提取的特征量矢量由NIF个的值(NIF维数)构成，各个值的存在范围为
。以上是第一读片知识的最基本的算出方法以及存放形式。对于其他的例子，在进行类似病例检索的说明时一起说明。接着，在步骤S15，根据在步骤Sll得到的图像特征量、在步骤S12得到的读片项目以及疾病名称，提取第二读片知识。在本实施例中，将图像特征量与读片项目这两项的相关关系作为读片知识。以下，除了⑴(图像特征量-读片项目)之间的相关关系以外，对⑵(图像特征量-疾病名称)之间的相关关系和(3)(读片项目-疾病名称)之间的相关关系进行说明。(I)(图像特征量-读片项目)之间的相关关系对求出(图像特征量，读片项目)这一对之间的相关关系的方法进行说明。相关关系的表现形式虽然有多个，在此利用相关比。相关比是表示质的数据与量的数据之间的相关关系的指标，由(式I)来表不。[数式I]
权利要求
1.一种类似病例检索装置，从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据，所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据，所述读片报告是记载了对该医用图像进行读片后的结果的文本数据，该类似病例检索装置包括: 图像特征提取部，从读片对象图像中提取多个图像特征量，所述读片对象图像是成为读片对象的医用图像； 读片项目一致性算出部，根据第一读片知识，算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性，所述第一读片知识是示出，针对任意的读片项目，根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息，所述任意的读片项目是对医用图像的特征进行言语化后的字符串； 读片项目候补显示部，显示由所述读片项目一致性算出部算出的一致性比规定阈值大的读片项目，或者显示从一致性大的读片项目开始规定个数的读片项目； 读片项目选择部，使用户从由所述读片项目候补显示部显示的读片项目之中，选择读片项目； 权重决定部，针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性，根据预先决定的第二读片知识，按照由所述图像特征提取部提取的每个图像特征量来决定权重，在该图像特征量与所述读片项目选择部所选择的读片项目之间的关联性越高的情况下，就越决定值大的权重；以及 类似病例检索部，以由所述权重决定部决定的每个图像特征量的权重，对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权，并进行比较，从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。
2.如权利要求1所述的类似病例检索装置， 所述读片项目一致性算出部， 根据所述第一读片知识，获得在一致性算出中与对象读片项目关联的所有的图像特征量的值的存在范围信息； 算出由所述图像特征提取部提取的各个图像特征量、与获得的所述存在范围信息的一致度； 在对于基于所述第二读片知识的与所述对象读片项目之间的关联性越高的图像特征量，就越使针对该图像特征量算出的所述一致度的权重增大的状态下，通过对针对所述图像特征提取部所提取的所述多个图像特征量算出的多个所述一致度进行统一，从而算出所述图像特征提取部所提取的所述多个图像特征量针对所述对象读片项目的一致性。
3.如权利要求1或者2所述的类似病例检索装置， 所述读片项目候补显示部，进一步，将读片项目和与该读片项目相对应的一致性一起显示。
4.如权利要求1至3的任一项所述的类似病例检索装置， 所述读片项目候补显示部，进一步，针对附属于医用图像的读片报告中的读片项目彼此间的搭配程度，根据预先决定的搭配概率信息，决定由所述读片项目选择部选择的读片项目彼此间的搭配概率，在决定的所述搭配概率为规定值以下的情况下，对示出读片项目的选择有可能出现错误的信息进行显示。
5.如权利要求1至3的任一项所述的类似病例检索装置， 所述读片项目候补显示部，进一步，针对附属于医用图像的读片报告中的读片项目彼此间的搭配程度，根据预先决定的搭配概率信息，对于与所述读片项目选择部所选择的读片项目的搭配概率在规定值以下的读片项目，显示不能选择。
6.如权利要求1至5的任一项所述的类似病例检索装置， 所述读片项目候补显示部，进一步，针对从附属于医用图像的读片报告中提取的、作为对医用图像的特征进行了言语化后的字符串的读片项目与疾病名称之间的关联性，根据预先决定的关联性信息，推定与被选择的读片项目的关联性最高的疾病名称，并显示该被推定的疾病名称。
7.一种类似病例检索装置，从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的 病例数据，所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据，所述读片报告是记载了对该医用图像进行读片后的结果的文本数据，该类似病例检索装置包括: 图像特征提取部，从读片对象图像中提取多个图像特征量，所述读片对象图像是成为读片对象的医用图像； 读片项目一致性算出部，根据第一读片知识，算出所述图像特征提取部所提取的多个图像特征量针对每个读片项目的一致性，所述第一读片知识是示出，针对任意的读片项目，根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息，所述任意的读片项目是对医用图像的特征进行言语化后的字符串； 读片项目设定部，将由所述读片项目一致性算出部算出的一致性为规定值以上的读片项目，设定为在进行类似病例检索时使用的读片项目； 权重决定部，针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性，根据预先决定的第二读片知识，按照由所述图像特征提取部提取的每个图像特征量来决定权重，在该图像特征量与所述读片项目设定部所设定的读片项目之间的关联性越高的情况下，就越决定值大的权重；以及 类似病例检索部，以由所述权重决定部决定的每个图像特征量的权重，对所述图像特征提取部所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权，并进行比较，从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。
8.如权利要求7所述的类似病例检索装置， 所述读片项目设定部，根据用户过去从读片项目的组中选择的读片项目的履历信息，从所述读片项目一致性算出部所算出的一致性为规定值以上的读片项目中，将通过进行与所述履歴信息相同的选择而得到的读片项目，设定为在进行类似病例检索时使用的读片项目。
9.一种类似病例检索方法，从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据，所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据，所述读片报告是记载了对该医用图像进行读片后的结果的文本数据，该类似病例检索方法包括: 图像特征提取步骤，从读片对象图像中提取多个图像特征量，所述读片对象图像是成为读片对象的医用图像； 读片项目一致性算出步骤，根据第一读片知识，算出在所述图像特征提取步骤所提取的多个图像特征量针对每个读片项目的一致性，所述第一读片知识是示出，针对任意的读片项目，根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息，所述任意的读片项目是对医用图像的特征进行言语化后的字符串； 读片项目候补显示步骤，显示在所述读片项目一致性算出步骤算出的一致性比规定阈值大的读片项目，或者显示从一致性大的读片项目开始规定个数的读片项目； 读片项目选择步骤，使用户从在所述读片项目候补显示步骤显示的读片项目之中，选择读片项目； 权重决定步骤，针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性，根据预先决定的第二读片知识，按照在所述图像特征提取步骤提取的每个图像特征量来决定权重，在该图像特征量与在所述读片项目选择步骤所选择的读片项目之间的关联性越高的情况下，就越决定值大的权重；以及类似病例检索步骤，以在所述权重决定步骤决定的每个图像特征量的权重，对在所述图像特征提取步骤所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权，并进行比较，从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。
10.一种类似病例检索方法，从病例数据库中检索包含有与成为读片对象的医用图像类似的医用图像的病例数据，所述病例数据库中蓄积了多个包含有医用图像和读片报告的病例数据，所述读片报告是记载了对该医用图像进行读片后的结果的文本数据，该类似病例检索方法包括:` 图像特征提取步骤，从读片对象图像中提取多个图像特征量，所述读片对象图像是成为读片对象的医用图像； 读片项目一致性算出步骤，根据第一读片知识，算出在所述图像特征提取步骤所提取的多个图像特征量针对每个读片项目的一致性，所述第一读片知识是示出，针对任意的读片项目，根据从与包含有所述读片项目的读片报告相对应的医用图像中提取的多个图像特征量而算出的、每种图像特征量的值的存在范围的信息，所述任意的读片项目是对医用图像的特征进行言语化后的字符串； 读片项目设定步骤，将在所述读片项目一致性算出步骤算出的一致性为规定值以上的读片项目，设定为在进行类似病例检索时使用的读片项目；权重决定步骤，针对从医用图像中提取的各个图像特征量、与从针对所述医用图像的读片报告中提取的各个读片项目之间的关联性，根据预先决定的第二读片知识，按照在所述图像特征提取步骤提取的每个图像特征量来决定权重，在该图像特征量与在所述读片项目设定步骤所设定的读片项目之间的关联性越高的情况下，就越决定值大的权重；以及类似病例检索步骤，以在所述权重决定步骤决定的每个图像特征量的权重，对在所述图像特征提取步骤所提取的所述多个图像特征量、与从被登记在病例数据库中的病例数据所包含的医用图像中提取的多个图像特征量进行加权，并进行比较，从而从所述病例数据库中检索包含有与所述读片对象图像类似的医用图像的病例数据。
11.一种程序，使计算机执行权利要求9或者权利要求10所述的类似病例检索方法中包含的各个步骤。`
全文摘要
类似病例检索装置包括图像特征提取部(150)，从读片对象图像中提取多个图像特征量；读片项目一致性算出部(160)，根据作为示出针对各个读片项目的每种图像特征量的值的存在范围的信息的第一读片知识，算出提取的多个图像特征量针对各个读片项目的一致性；读片项目候补显示部(170)，显示一致性大的读片项目；读片项目选择部(180)，选择读片项目；权重决定部(190)，根据预先决定了各个图像特征量与各个读片项目之间的关联性的第二读片知识，按提取的每个图像特征量，在该图像特征量与被选择的读片项目之间的关联性越大的情况下就越决定值大的权重；类似病例检索部(200)，对提取的多个图像特征量与从病例数据中包含的医用图像中提取的多个图像特征量，按每个图像特征量的权重来进行加权并比较，从而来检测病例数据。
文档编号A61B5/00GK103200861SQ20118001546
公开日2013年7月10日 申请日期2011年11月4日 优先权日2011年11月4日
发明者近藤坚司, 高田和丰, 小塚和纪 申请人:松下电器产业株式会社