诊断支援系统以及诊断支援方法与流程

本发明涉及与基于计算机的图像诊断支援判定结果的依据显示相关的诊断支援系统以及诊断支援方法。

背景技术：

ct、mri、超声波等医疗图像拍摄装置是无需将生物体直接切开来观察的外科手术，因此作为拍摄被检体内部的信息的技术而广泛使用在医疗领域中。

医生将取得的图像使用于诊断来判断肿瘤是否存在等，但为了进行准确的读片(日文：読影)需要足够的经验。另外，伴随着拍摄技术的发展，每个被检体的图像张数增加，用户必须从大量的图像之中有效地确定提示判断对象的一部分图像，读片负担增加。另外，例如在乳腺癌诊查的情况下，被检者组之中包含癌患者的概率为0.5％左右。因此从大量并非乳腺癌的图像数据之中没有遗漏地发现偶尔出现的乳腺癌数据的读片负担很大。

作为支援读片的装置，开发有如下一种诊断支援装置，其从医疗图像拍摄装置取得检查图像，通过图像处理、机器学习处理来检测图像中所含的肿瘤等异常区域并提示给医生等，从而支援图像诊断。

例如提出有病症例图像检索装置(参照专利文献1)和相似图像检索装置(参照专利文献2)等，该病症例图像检索装置具备将有助于检索部检索到的相似图像的检索的特征量所对应的观察结果信息与相似图像建立对应地向规定的输出装置输出的观察结果信息输出部，该相似图像检索装置具备：特征量计算部，计算预先登记的病变图案所对应的特征量；概率计算部，基于特征量计算检索图像内存在病变图案的概率；以及计算相似度的相似度计算部。

但是，在利用了机器学习的医生的图像诊断支援显示中，虽然示出有计算出的癌的概率、相似图像，但其显示内容的依据未被提示。

在支援医生的诊断的情况下，即使计算出癌的概率并显示，如果未示出依据，就难以进行诊断。此外，即使示出了概率结果，如果不知道该数值的依据，则诊断结果将会取决于诊断医生的判断，数值自身就会失去意义。

另外，即使显示有相似病症例，如果没有示出所显示的相似病症例的检测依据，则难以判断相似病症例自身的准确度，对于医生进行的诊断决定的贡献度降低。

现有技术文献

专利文献

专利文献1:日本特开2011－118543号公报

专利文献2:日本特开2016－45662号公报

技术实现要素：

发明将要解决的课题

本发明鉴于上述方面而完成，提供一种诊断支援系统以及诊断支援方法，其通过对于作为诊断支援装置进行判定的依据的信息进行显示从而而提高诊断的精度。

用于解决课题的手段

为了解决上述课题，本发明的第一方式的诊断支援系统1s例如如图1所示，包含：预先取得数据保持部3，保持多个预先取得的被检体的内部信息的图像作为比较图像，所述多个比较图像具备图像数据、表示生物体组织信息、形状信息的标签信息、以及能够确定所述多个比较图像彼此的相似度的特征量信息；计算部13，将从作为检查对象物的被检体取得的检查图像的图像数据向学习了所述多个比较图像的学习完毕模型输入而计算所述检查图像的特征量信息；以及显示部16，基于所述多个比较图像的所述特征量信息与所述检查图像的所述特征量信息，显示所述检查图像与所述多个比较图像之间的相似性。

若如此构成，则通过在显示部显示检查图像与多个比较图像之间的相似性，与仅显示癌的概率、相似病症例的情况相比，能够附加地提供可支援医生的进行的诊断的有益的信息。

本发明的第二方式的诊断支援系统1s例如如图1以及图4所示，在上述本发明的第一方式的诊断支援系统1s中，所述特征量信息是由多维的参数构成的信息，所述诊断支援系统1s还包含控制部12，以特征量空间50上的、所述检查图像53与所述多个比较图像51、52之间的距离l作为表示所述相似性的值，所述特征量空间50以构成所述特征量信息的所述多维参数为坐标。

若如此构成，则能够用数值表示相似性，因此能够可靠地确定该相似性。

本发明的第三方式的诊断支援系统1s例如如图1、图4至图7所示，在上述本发明的第一方式的诊断支援系统1s中，所述特征量信息是由多维的参数构成的信息，所述诊断支援系统1s还包含虚拟空间数据保持部14，用于生成由能够显示的维数构成的第一虚拟空间，所述第一虚拟空间用于利用所述特征量信息在视觉上识别所述相似性，所述显示部16在所述第一虚拟空间上除了所述多个比较图像之外还显示描绘所述检查图像而得的第一虚拟空间图像。

若如此构成，则作为对检查图像与多个比较图像之间的相似性进行显示的方法，能够对在空间上描绘这些图像的虚拟空间图像进行显示，并能够一眼就理解其相似性。

本发明的第四方式的诊断支援系统1s例如如图1所示，在上述本发明的第一方式的诊断支援系统1s中，所述多个特征量信息是由与所述多个比较图像以及所述检查图像对应的语言表达构成的信息，所述诊断支援系统1s还具备虚拟空间数据保持部14，用于生成第二虚拟空间，所述第二虚拟空间用于利用所述特征量信息在视觉上识别所述相似性，所述显示部16在所述第二虚拟空间上除了所述多个比较图像之外还显示描绘所述检查图像而得的第二虚拟空间图像。

若如此构成，则作为对检查图像与多个比较图像之间的相似性进行显示的方法，能够对在空间上描绘这些图像的虚拟空间图像进行显示，并能够一眼就理解其相似性。

本发明的第五方式的诊断支援系统1s例如如图1所示，在上述本发明的第三或者第四方式的诊断支援系统1s中，所述相似性是基于所述虚拟空间图像内的、所述检查图像与所述多个比较图像之间的距离而确定的。

若如此构成，则能够将相似性数值化，能够使相似性的理解变得容易。

本发明的第六方式的诊断支援系统1s例如如图1以及图8所示，在上述本发明的第一至第五中任一方式的诊断支援系统1s中，所述显示部16显示相对于所述检查图像所述相似性较高的一个至多个所述比较图像。

若如此构成，则能够对相似性较高的比较图像进行选定并显示，能够使医生的诊断更容易。

本发明的第七方式的诊断支援系统1s例如如图1所示，在上述本发明的第一至第六的任一方式的诊断支援系统1s中，所述显示部16基于所述标签信息对所述多个比较图像的显示附加规定的视觉效果。

若如此构成，则能够以规定的视觉效果这一形式附加地显示比较图像的标签信息，因此医生在诊断时能够一眼就理解比较图像的诊断结果等。

本发明的第八方式的诊断支援系统1s例如如图1所示，在上述本发明的第一至第七的任一方式的诊断支援系统1s中，还包含推论部18，该推论部18基于所述检查图像与所述多个比较图像，推论所述检查图像内是否包含预先设定的生物体信息。

若如此构成，则能够显示检查图像中是否包含生物体图像例如恶性肿瘤等，因此能够使医生的诊断决定更容易。

本发明的第九方式的诊断支援系统1s例如如图1所示，在上述本发明的第一至第八中的任意一个方式的诊断支援系统1s中，还包含将所述检查图像的图像数据调整为能够在所述计算部13中计算所述特征量信息的形式的前处理部19。

若如此构成，则例如即使检查图像的图像数据保持原样时是计算部难以计算特征量信息的数据形式，也能够进行数据形式的调整，并能够提供无论检查图像的种类如何都可进行诊断支援的诊断支援系统。

本发明的第十方式的诊断支援方法例如如图2所示，为一种使用了计算机的诊断支援方法，包含：步骤s1000，保持多个预先取得的被检体的内部信息的图像作为比较图像，所述多个比较图像具备图像数据与能够确定所述多个比较图像彼此的相似度的特征量信息；步骤s1400，将从作为检查对象物的被检体取得的检查图像的图像数据向学习了所述多个比较图像的学习完毕模型输入而计算所述检查图像的特征量信息；以及步骤s1500，基于所述多个比较图像的所述特征量信息与所述检查图像的所述特征量信息，显示所述检查图像与所述多个比较图像之间的相似性。

若如此构成，则通过显示检查图像与多个比较图像之间的相似性，与仅显示癌的概率、相似病症例的情况相比，能够附加地提供可支援医生的诊断的有益的信息。

发明效果

根据本发明的诊断支援系统，通过对作为诊断支援装置进行的判定的依据的信息进行显示，能够提高诊断的精度，实现读片负担减少。

附图说明

图1是表示本发明的第一实施方式的诊断支援系统的构成的概略框图。

图2是表示本发明的第一实施方式的诊断支援系统的动作概要的流程图。

图3是本发明的第一实施方式的显示部的示意图。

图4是本发明的第一实施方式的虚拟空间图像的第一示意图。

图5是本发明的第一实施方式的虚拟空间图像的第二示意图。

图6是本发明的第一实施方式的虚拟空间图像的第三示意图。

图7是本发明的第一实施方式的虚拟空间图像的第四示意图。

图8是本发明的第一实施方式的显示部的其他示意图。

图9是本发明的第三实施方式的显示部的示意图。

具体实施方式

本申请基于在日本于2018年7月31日提出申请的特愿2018－144549号，将其内容作为本申请的内容而形成其一部分。

另外，本发明能够通过以下的详细说明进一步完全理解。本申请的进一步的应用范围根据以下的详细说明而变得清楚。然而，详细的说明以及特定的实例是本发明的优选的实施方式，仅为了说明的目的而记载。这是因为，对于本领域技术人员而言，根据该详细的说明，在本发明的精神与范围内的各种变更、改变是显而易见的。

申请人并不意图将所记载的实施方式中的任一个应用于公众，所公开的改变、替代方案中的、可能在权利要求的范围内未明文写出的方案也为在等同原则下的发明的一部分。

首先，对于使用了机器学习的分类的方法说明其概略。为了说明使用了机器学习的分类，首先，作为比较对象，对基于n维的标准正交基e(e1，e2，...，en)展开的空间上将数据分类的方法进行说明。在e是标准正交基的情况下，数据d能够如下述数式(i)那样使用基底来表现。

例如通过将三角函数用作标准正交基，能够使用正交基底e将波形分解并使用权重值wi的分布(频谱)分类来对波形信号进行傅立叶展开。作为傅立叶展开以外的方法，长久以来研究了进行固有向量的转换并求出最能够分类数据那样的固有向量的方法。但是，固有空间的表现力存在极限，因此人能够识别的图像的分类也难以长久地通过机器来辨别。近年来，通过使用深度学习等机器学习，根据其获得表现的多样性提高了分类的精度，因此图像识别的领域受到很大的关注。如果经由所谓的卷积网络在分类过程中在分离精度高的多维空间上进行投影，并在该多维空间上定义多个集合间的边界，则能够进行数据的分类。但是，有时难以进行病变部与正常部位的分类、多个病变之中的分类等分界线的设定。本发明的特征为，通过在视觉上显示分界线的不明确性，从而即使在难以设定分界线的多维空间中，也使影像医生认知到需要其自己的判断，有助于医生的诊断判定。

＜第一实施方式＞

使用图1对本发明的第一实施方式的诊断支援系统的概要进行说明。在本发明的诊断支援系统中，使用了以如下方式生成的学习完毕模型：通过对预先取得的病症例等的比较图像进行机器学习，能够从输入的图像输出该图像的特征量信息。然后，使用该学习完毕模型计算应检查的检查图像的该特征量信息，基于该特征量信息，显示检查图像与比较图像的相似性。作为表示检查图像与比较图像的相似性的方法，可设想各种方法。例如能够采用将特征量信息设为由多维的参数构成的信息、并将以该多维参数为坐标的特征量空间上的距离确定为表示检查图像与比较图像的相似性的值来显示的方法。另外，作为其他方法，可列举将特征量信息设为多维参数或者语言表达信息，并在利用其形成的虚拟空间内将配置有多个比较图像以及检查图像的图作为虚拟空间图像而显示。在该情况下，优选的是若进一步选择该虚拟空间图像上的任意的比较图像、区域，则也显示各比较图像、各比较图像所附随的病变特征信息(标签信息)。这里，虚拟空间指的是，用于利用特征量信息在视觉上识别检查图像与比较图像的相似性的、由能够显示的维数所构成的(用于显示的)虚拟的空间，虚拟空间图像指的是通过在该虚拟空间上绘制有检查图像以及比较图像的特征量空间上的位置而对它们的相似性可目视确认地进行显示的图像。另外，作为病变特征信息(标签信息)的例子，包含肿瘤的位置(乳房内的位置、乳腺内的位置、与皮肤的距离)、是实性还是嚢性、有无肿瘤内的结构、有无后方阴影、长宽比(近似为旋转椭圆体的情况下的a轴、b轴、c轴、各自的长度之比)、边界的特性(边界部的回声是高回声还是低回声、边界的形状光滑还是不光滑)、周围的正常组织的构筑有无紊乱、有无卫星结节等多个肿瘤的存在、有无钙化等相关的信息，但并不限定于此。另一方面，在机器学习中，由于以使结论上多个具有不同的标签信息的图像最大程度分离的方式决定特征量空间，因此不一定与以往的临床医生使用于判断的特征相同。

由于能够确认通过该诊断支援系统而显示的相似性(特别是特征量空间上或者虚拟空间上的比较图像与检查图像的距离)，因此能够将利用人可识别的现有的诊断基准与机器学习而计算的特征量信息组合，即使对于读片经验少的用户也能够支援诊断效率、精度的提高。另外，在诊断支援系统也进行病变的有无、良恶性的判定的情况下，通过参考与相似性相关的信息作为成为其依据的信息，能够确认诊断支援系统的判定结果的妥当性。另外，这里所说的判定结果指的是作为相似图像的比较图像的显示、基于这些信息的检查图像内包含癌(恶性肿瘤)的概率等。

以下，作为本发明的优选的方式，详细地说明第一实施方式。图1是表示本发明的第一实施方式的诊断支援系统1s的构成的概略框图。诊断支援系统1s至少包含诊断支援装置2和预先取得数据保持部3。在诊断支援装置2连接有图像拍摄装置4。诊断支援装置2与图像拍摄装置4的连接方式可以是有线连接或者无线连接中的某一个，也能够与远处的图像拍摄装置4经由因特网线路而连接。另外，图像拍摄装置4与诊断支援装置2也可以作为同一装置而一体地组装。

图像拍摄装置4拍摄关于被检体的医疗图像并取得内部信息图像。本实施方式中例示的图像拍摄装置4例如适用(如国际公开第2017/051903号所记载)超声波诊断装置。

该图像拍摄装置4主要使用于乳腺癌的肿瘤检查，能够以3d图像取得作为被检体的乳房的内部信息。作为被检体的乳房插入到该探头31的装置的插入部。然后，配置于被检体的周围的超声波阵列一边收发超声波一边沿上下方向扫描，生成被检体的内部信息的检查图像。图像拍摄装置4除了探头31之外，也具备以收发控制部32、图像生成部33、装置控制部34、存储部35等为首的各部。

收发控制部32对来自探头31的超声波信号的收发进行控制。装置控制部34控制包含探头31的扫描等在内的图像拍摄装置4的动作。图像生成部33重建由收发控制部32接收的超声波信号，生成检查图像。另外，这里生成的检查图像可以是表示作为被检体的乳房整体的图像，也可以是仅表示被检体的一部分、例如仅表示病变推断部位的图像。

存储部35存储所取得的接收信号、被检体信息，拍摄图像等，并以能够随时调出的方式累积。存储部35是hdd或者ssd等公知的存储装置等。另外，对于存储部35，除了组装于图像拍摄装置4的内部，也可以通过图像拍摄装置4向外部的服务器等(未图示)连接来由该外部的服务器等代替。

以下，在本实施方式中，对由图像拍摄装置4取得的三维的乳房的医疗图像中的乳腺癌的超声波图像诊断支援进行说明。当然，本发明的对象不限于该装置所进行的乳癌诊断。例如也可以是对象部位为头部、躯干、四肢等的内部信息，另外，并不局限于超声波诊断，也可以应用于二维或者三维的ct、mri以及与这些的拍摄技术的组合。

本实施方式中的诊断支援系统1s如上所述，包含诊断支援装置2和预先取得数据保持部3。诊断支援装置2至少包含通信控制部11、控制部12、计算部13、虚拟空间数据保持部14、显示控制部15、显示部16、以及输入部17，使用由图像拍摄装置4取得的检查图像进行医疗图像诊断支援。

预先取得数据保持部3对由成为诊断检查图像时的比较对象的多个比较图像构成的组进行保持。该比较图像的各个是预先取得的生物体内信息图像，能够采用由二维或者三维的影像数据、或者由转换为影像数据之前的rf(radiofrequency，高频)数据所构成的病症例图像构成的图像数据。另外，这里所保持的多个比较图像还包含能够确定多个比较图像彼此的相似度的特征量信息。但是，预先取得数据保持部3内的比较图像不一定需要直接具有该特征量信息(详细地说，例如后述的n维参数信息)，只要例如使用后述的计算部13能够从比较图像的数据导出该特征量信息即可。而且，作为该比较图像，除了病症例图像之外，能够采用通过计算机运算而取得的病灶病症例模拟图像、所述病灶病症例模拟图像的中间数据、观察结果的图像、诊断基准的图像、正常组织的图像等。另外，比较图像可以是对作为被检体的乳房整体进行拍摄的图像，也可以是仅对被检体的一部分、例如仅对病变推断部位进行拍摄的图像。在本实施方式中，设想了进行超声波图像彼此的图像比较，但比较图像并不局限于这种超声波图像，也可以将通过x射线ct等其他种类而取得的医疗图像作为比较图像。

另外，预先取得数据保持部3保持表示各比较图像的生物体组织信息、(生物体组织的)形状信息的信息，详细地说是保持标签信息，所述标签信息包含与该比较图像的各个相关的病变特征信息，它们被与各比较图像建立了关联。包含该病变特征信息的标签信息除了利用于被检体的诊断支援，还在显示比较图像以作为表示诊断支援判定结果的依据的图像时为了示出该比较图像的属性而被读出。包含该病变特征信息的标签信息例如包含基于诊断基准或多个诊断基准综合判定出的观察结果或诊断结果、基于穿刺活检等的病理诊断、还有被检体的经时变化、治疗的经历等、医生的诊断信息、被检体的生物体信息等。另外，该标签信息需要与预先取得数据保持部3内的多个比较图像分别建立关联，但不一定需要将预先取得数据保持部3内的所有比较图像与标签信息建立关联。

另外，通过这些比较图像与包含图像病变特征信息的标签信息的关联，比较图像作为带标签的教师数据构成了后述的计算部13的学习完毕模型的学习用数据集。

另外，在本实施方式中，预先取得数据保持部3配置于在诊断支援装置2的外部连接的服务器等，但也可以组装于诊断支援装置2内部(未图示)。另外，预先取得数据保持部3内的多个比较图像也可以经由网络或者经由可携带的记录介质提供给预先取得数据保持部3。

诊断支援装置2由控制部12的cpu、gpu、主存储器、其他lsi、rom、ram等构成。此外，其动作通过加载到主存储器的诊断支援程序等实现。即，诊断支援装置2能够使用个人计算机(pc)、大型机(mainframe)、工作站、云计算系统等各种计算机(计算资源)实现。

在通过软件实现诊断支援装置2的各功能部的情况下，诊断支援装置2通过执行实现各功能的软件即程序的命令而实现。储存该程序的记录介质中能够使用“非暂时性的有形介质”，例如cd、dvd、半导体存储器、可编程的逻辑回路等。另外，该程序也可以经由能够传输该程序的任意的传输介质(通信网络、广播波等)向诊断支援装置2的计算机供给。

通信控制部11是对图像诊断装置4以及预先取得数据保持部3的数据的收发等进行控制的接口。主要取得包含检查图像、比较图像组以及比较图像的病变特征信息的标签信息等。

控制部12至少具备cpu、gpu等处理器，控制诊断支援装置2内的各功能部整体。该控制部12在本实施方式中特别地具备确定检查图像与多个比较图像之间的相似性的功能。之后叙述该功能。

计算部13用于通过计算取得经由通信控制部11接收的检查图像以及根据需要用于通过计算取得多个比较图像的特征量信息。该计算部13构成所谓的分类器，在其内部具有规定的学习完毕模型。该学习完毕模型经过使用了公知的机器学习方法、例如神经网络(优选的是包含卷积神经网络(cnn))模型的监督式学习而生成。而且，该学习完毕模型是以通过向其输入层的神经元输入检查图像以及多个比较图像的数据而输出层的神经元输出特征量信息的方式被学习(训练)的学习完毕模型。另外，学习完毕模型的机器学习方法并不限定于上述，也能够替代性地或者进行适当组合地使用支持向量机(supportvectormachine：svm)、模型树，决策树、多重线性回归、局部加权回归、建立搜索方法等方法。

该计算部13的学习完毕模型通过将保持于预先取得数据保持部3的多个比较图像的一部分至全部作为学习用数据集进行学习而得，所述多个比较图像包含分别建立了关联的标签信息。因而，应该特别注意的是，向该学习完毕模型的输入层的神经元输入的数据需要是与多个比较图像相同的形式的数据。例如在比较图像包含三维的影像数据的情况下，作为向输入层的各神经元输入的数据，例如能够是构成该三维的影像数据的各体素的(8位(bit)的)灰度值。同样，在比较图像包含二维的影像数据的情况下，作为向输入层的各神经元输入的数据，例如能够是构成该二维的影像数据的各像素的灰度值。另外，向输入层的神经元输入的数据并不限定于这些，能够配合于构成比较图像的数据形式、附加信息的有无等适当变更。

另外，该计算部13的学习完毕模型的输出层输出的特征量信息包含能够在机器学习的网络中确定图像的特征的信息，其形式、数量不被限定。在本实施方式中，将特征量信息设为在上述学习阶段确定的特征量的值即多维、例如n(n＝2以上的自然数)维的参数所构成的信息。另外，如上所述，该学习完毕模型通过对比较图像以及与其建立了关联的标签信息所构成的学习用数据集进行机器学习而生成。作为标签信息的分类，也能够采用诊断基准等用户可识别的值，例如表示图像内有无规定以上的大小的白色化区域、白色化区域的大小以及位置、周围的血管的粗细等的值。

虚拟空间数据保持部14用于利用后述的计算部17所具备的学习完毕模型输出的n维参数生成规定的虚拟空间(第一虚拟空间)。该虚拟空间数据保持部14保持着用于将多个比较图像以及检查图像绘制于该虚拟空间上的规定的坐标位置的各种数据。这里所说的各种数据包含通过调整计算部17计算的n维参数的值而在可显示的维数(例如一～三维)的虚拟空间上绘制图像所用的计算式等。若具体例示该计算式，则例如在计算部17作为多个比较图像的特征量信息输出10维的参数信息，且希望作为虚拟空间在二维空间上绘制多个比较图像的情况下，可以是将10维的参数信息分为两个，并对它们乘以根据需要而预先设定的权重值的基础上，分别进行加法运算而确定二维的值的计算式、或是对于10维的参数信息使用公知的多变量解析方法而确定二维的值的计算式等。当然，在将多个比较图像绘制在这种虚拟空间的情况下，各比较图像的坐标需要与和比较图像建立了关联的各个相关信息(即，诊断结果)具有一定的相关关系。因而，例如计算部17输出的参数信息、该虚拟空间数据保持部14的计算式所含的权重值等可基于比较图像的诊断结果而调整。另外，当然能够在计算部17输出的n维参数的维数较少(例如三维)的情况下不进行另外的计算等就在(相同的维数的)虚拟空间上绘制比较图像以及检查图像。结果，在这种情况下，虚拟空间与特征量空间构成同一空间。

另外，在本实施方式中，例示了每次由计算部13计算多个比较图像的n维参数，但比较图像并非频繁追加、变更等的图像，因此也可以将多个比较图像及其n维参数保持在该虚拟空间数据保持部14内。如此，能够减少生成虚拟空间时计算部13的计算量，能够减少对于计算部13以及控制部12的负荷。

这里，简单地说明控制部12对于相似性的确定方法的一个例子。控制部12调出由计算部13计算出的作为多个比较图像的特征量信息的n维参数、同样由计算部13计算出的作为检查图像的特征量信息的n维参数，在由以n维参数为坐标的n维空间构成的特征量空间上分别进行绘制。然后，读入对配置于该特征量空间上的比较图像附带了标签的诊断基准、诊断结果的标签信息，从而在特征量空间上例如形成良恶性的分界线。这里，由于特征量空间具有n个轴，因此如果设为检查图像的特征量空间上的坐标为向量x＝(x1，x2，...，xn)、成为计算距离的对象的比较图像的特征量空间上的坐标为向量y＝(y1，y2，...，yn)，则距离l可由接下来示出的数式(ii)计算。而且，也可以按照特征量空间上的每个成分进行加权而如数式(iii)所示。

这里所确定的距离l是表示检查图像与多个比较图像之间的相似性的值。而且，良性肿瘤(肿块)、恶性肿瘤等集合的距离通过属于集合的各比较图像与距离的总和计算。当然，距集合的距离的计算也可以不采用属于集合的所有比较图像的距离的总和、而是从集合之中接近检查图像的比较图像选择上位m个而取和，也可以采用到分界线的距离，不受任何限定。另外，上述的距离l是作为特征量空间上的距离而确定的值，但测定距离的空间并不限定于该特征量空间。例如也可以在参照上述虚拟空间数据保持部14而得的m(1≤m＜n)维的虚拟空间内利用计算出的n维参数绘制各比较图像以及检查图像，并使用与上述的数式(ii)或者数式(iii)相同的数式计算该虚拟空间上的距离。将虚拟空间上的距离用作表示检查图像与多个比较图像之间的相似性的值，特别是在显示后述的虚拟空间图像45的情况下有利。详细地说，在该情况下，由于虚拟空间图像45上所示的检查图像与多个比较图像之间的距离、和作为表示检查图像与多个比较图像之间的相似性的值的距离一致，因此仅通过观察虚拟空间图像45就能够准确地掌握相似性。

特征量空间或者虚拟空间的准确性取决于用于生成计算部13的学习完毕模型的学习用数据集即比较图像以及与该比较图像建立了关联的标签信息的质与量。在检查图像距特征量空间或者虚拟空间的良恶性各自的比较图像的集合等距离地配置的情况下，通过使比较图像增加，良恶性等的属性分布图改变，使得位于与不同属性的边界的检查图像的判断变得更容易。另一方面，由于比较图像数的种类与数量增加，存在在特征量空间或者虚拟空间上出现不同属性的集合重叠的部分的可能性。在如此难以进行特征量空间或者虚拟空间上的判定的情况下，诊断判定的不明确度变高，判定的概率的数值等将失去意义。在这种情况下，可以通过不做出基于机器的诊断判定，而是仅示出虚拟空间图像并加入医生自己的判断来做出更准确的诊断判定。根据上述的记载可知，比较图像的数量给计算部的输出带来影响，因此为了避免诊断支援装置2的输出伴随着使用而变化，只要在生成该学习完毕模型时仅采用使用了预先准备的学习用数据集的批量学习即可，可以不采用将检查图像等利用于学习而更新学习完毕模型的所谓的在线学习。

显示控制部15生成示出由控制部12判定的诊断判定结果的依据的图像。该示出依据的图像例如可以仅是表示由控制部12确定的相似性的数值，也可以采用基于相似性的显示布局，或者也可以是控制部12参考虚拟空间数据保持部14而在特征量空间、虚拟空间上配置有多个比较图像以及检查图像的虚拟空间图像。除此之外，也有示出特征量空间或者虚拟空间上的检查图像与各比较图像的欧式距离的相关关系、示出该比较图像各自的坐标的函数的显示例，并不限定于这些。另外，该显示控制部15能够对于表示在虚拟空间上绘制的比较图像的点附加规定的视觉效果。作为该视觉效果，例如能够参考与各比较信息建立了关联的病变特征信息等标签信息，将标签信息中含有包括“恶性肿瘤”的要旨的信息的比较图像(恶性病症例图像)的点采用红色标记，将含有包括“良性肿瘤”的要旨的信息的比较图像(良性病症例图像)的点采用蓝色标记，将含有“正常”的要旨的信息的比较图像(正常组织图像)的点采用黑色标记。另外，视觉效果并不限定于上述，能够采用其他各种视觉效果。这样，通过将检查图像与比较图像的相似性以医生等可通过视觉掌握的形式进行显示，使得多个比较图像相对于检查图像的相对相似性明确化。将其作为基于机器的诊断判定的依据，用户能够判断对于诊断支援系统1s的诊断判定的可信度，并有效地导出读片的诊断结果。

显示部16是显示器等显示装置。在该显示部16显示由通信控制部11取得的检查图像、在控制部12中取得的判定结果、由显示控制部15生成的表示成为该判定结果的依据的相似性的信息(例如虚拟空间图像等)。即，不仅限于通过比较产生的判定结果(例如相似的规定数量的比较图像、后述的推论部18的推论结果)的显示，也一并显示表示导出该判定结果的依据的特征量空间上的距离的值、虚拟空间图像等。另外，也进行以诊断支援系统1s的操作为首的必要信息的显示所用的图像合成等。关于显示的详细情况，在后述的示意图中进行说明。另外，在本实施方式中，显示部16组装于诊断支援装置2，但也可以经由因特网等连接于外部的pc终端、便携终端等的显示部。

输入部17是操作用的键盘、触摸面板、鼠标等。除了诊断支援装置2的操作所用的输入之外，也能够进行检查图像的检查区域的指定、显示图案的选择、向工作站输入观察结果批注等。

另外，本实施方式的诊断支援装置2也可以还具备推论部18和前处理部19。

推论部18用于推论在检查图像内是否包含预先设定的规定的生物体信息、详细地说是恶性肿瘤等。该推论部18与计算部13相同，包含学习完毕模型。作为该推论部18的学习完毕模型，与计算部13的学习完毕模型相同，经过使用了公知的机器学习方法、例如神经网络模型的监督式学习而生成。而且，该学习完毕模型例如能够通过使用将保持于预先取得数据保持部2的多个比较图像和与各比较图像建立了关联的标签信息的特别是作为诊断结果的生物体信息的有无作为集合的学习用数据集进行机器学习来生成。如此生成的学习完毕模型是以如下方式进行学习的学习完毕模型：通过向其输入层的神经元输入检查图像(的图像数据)，输出输出层的神经元是否包含规定的生物体信息、或者输出包含规定的生物体信息的概率(也称作置信度值)。另外，也可以将向输入层的神经元输入的数据取代作为检查图像的图像数据的影像数据而设为由计算部13对于检查图像计算出的n维参数信息、检查图像的rf数据。另外，该学习完毕模型的机器学习方法并不限定于上述，也能够替代性地或者适当组合地使用svm、模型树、决策树、多重线性回归、局部加权回归、建立搜索方法等方法。另外，作为这里所说的生物体信息，不仅包含恶性肿瘤，也包含良性肿瘤、伪像，推论部18的学习完毕模型可以能够输出是否包含这些生物体信息中的某一个的模型，或者可以是是能够对这些生物体信息分别输出包含于检查图像的概率的模型。通过采用这种推论部18，诊断支援装置2除了检查图像与多个比较图像的相似性之外，还能够将检查图像包含规定的生物体信息的概率作为诊断支援系统1s的判定结果向用户提供。因而，能够进一步提高医生的诊断效率。

前处理部19用于将通信控制部11接收到的检查图像的数据在由计算部13计算之前调整其数据形式，以便能够由计算部13计算其特征量信息。作为该前处理，除了在机器学习装置的技术领域中通常进行的处理(例如噪声过滤、数据量调整、fft等)之外，还包含各种处理。若具体例示该各种处理，则能够列举：在计算部13的学习完毕模型是以能够通过输入二维的影像数据而输出特征量信息的方式学习的模型，且由通信控制部11接收的检查图像是三维的影像数据的情况下，执行从三维的影像数据(自动地或者经由用户的操作)生成一至多个二维切片数据(slicedata)的处理；或是在计算部13的学习完毕模型是以能够通过输入二维的影像数据而输出特征量信息的方式学习的模型，且由通信控制部11接收的检查图像是rf数据的情况下，执行从rf数据生成二维的影像数据的处理；以及在计算部13的学习完毕模型是以能够通过输入后述的语言表达信息而输出特征量信息的方式学习的模型，在由通信控制部11接收的检查图像是二维或者三维的影像数据的情况下，执行从影像数据生成语言表达信息的处理等。学习完毕模型由于通过机器学习时的学习用数据集的数据构成来确定其输入输出信息，因此通过采用这种前处理部19，无需配合检查图像的数据形式而准备多个学习完毕模型。

图2是表示本发明的第一实施方式的诊断支援系统的动作概要的流程图。此处所示的诊断支援方法通过构成诊断支援系统的各种计算机实现，包含比较图像保持步骤(s1000)、比较图像的多维参数生成步骤(s1100)、检查图像取得步骤(s1200)、比较图像以及多维参数取得步骤(s1300)、检查图像的多维参数计算步骤(s1400)、虚拟空间图像形成显示步骤(s1500)以及比较图像显示步骤(s1600)。除此之外，诊断支援方法也包含存储、储存、累积、运算等未图示的步骤。

首先，作为用于诊断支援的预先准备，在比较图像保持步骤(s1000)中，将预先收集到的多个比较图像保持于预先取得数据保持部3。这里，预先收集到的多个比较图像例如主要由三维的影像数据构成。接下来，在比较图像的多维参数生成步骤(s1100)中，通过计算部13，生成作为比较图像的特征量信息的多维(n维)参数，存储于虚拟空间数据保持部14。另外，也能够构成为，预先生成多个比较图像多维参数，将各比较图像与该多维参数作为集合存储于预先取得数据保持部3。在该情况下，能够省略该比较图像的多维参数生成步骤(s1100)。另外，上述的比较图像保持步骤(s1000)以及比较图像的多维参数生成步骤(s1100)可以在每次检查时进行，但由于比较图像的内容不会频繁地变更，因此也可以仅在比较图像的内容的更新的定时进行。

接下来，在检查图像取得步骤(s1200)中，经由通信控制部11取得由图像拍摄装置4拍摄到的成为检查对象物的检查图像。该检查数据也是例如由三维的影像数据构成。而且，在比较图像以及多维参数取得步骤(s1300)中，由预先取得数据保持部3或者虚拟空间数据保持部14取得多个比较图像与它们所对应的多维参数的集合。然后，对于取得的检查图像，由计算部13计算作为特征量信息的多维参数(检查图像的多维参数计算步骤(s1400))，进而在虚拟空间图像形成显示步骤(s1500)中基于虚拟空间数据保持部14内的各种数据，利用控制部12以及显示控制部15形成显示用的虚拟空间图像，显示于显示部16。在本实施方式中，通过如此在虚拟空间图像上将比较图像与检查图像绘制于特定的坐标位置，从而显示两者的相似性。优选的是进而由用户任意地选择该虚拟空间图像上的比较图像的坐标，从而能够使该比较图像的图像、病变特征信息等标签信息显示(比较图像显示步骤(s1600))。

如以上那样，在本实施方式的诊断支援系统中，作为判定结果，例如在显示比较图像中的判断为与检查图像相似的相似图像时，通过显示表示虚拟空间图像等图像间的相似性的信息作为其选定的依据，从而能够由用户确认利用该系统判定的妥当性，能够提高诊断效率。

另外，检查图像取得步骤(s1200)以及包含多维参数的比较图像取得步骤(s1300)可以并列进行，也可以前后进行。另外，也可以取代上述虚拟空间图像形成显示步骤(s1500)，根据检查图像与多个比较图像各自的多维参数来确定特征量空间上的距离，将该距离作为表示相似性的值而显示于显示部16。

另外，在由于教育用途而使用诊断支援装置的时等，用户也能够预先选择不显示基于机器的诊断判定的模式。

作为上述虚拟空间数据保持部14，例示了利用作为特征量信息的n维参数来生成第一虚拟空间，但本实施方式的虚拟空间数据保持部14并不限定于此。作为其他方式，也可以采用各图像所对应的语言表达信息作为特征量信息，并生成由该语言表达信息构成的语言空间作为第二虚拟空间。在该情况下，显示部16对以检查图像与多个比较图像在语言空间上的距离为基准而计算的相似性进行显示。

语言空间例如能够基于与比较图像建立了关联的读片报告表现等语言表达。首先，控制部12利用计算部13的学习完毕模型将比较图像转换为该比较图像所包含的读片语言，并作为该语言信息读入。同样，检查图像也被转换为读片语言而读入。该读片语言例如是根据肿瘤的进展度为“2”等从图像判断出的语言信息、观察结果、进而是向自然语言数据等转换后的语言数据。这里，观察结果中可以包含与上述的病变特征信息相同的信息，即肿瘤的位置(乳房内的位置、乳腺内的位置、与皮肤的距离)、是实性还是嚢性、有无肿瘤内的结构、有无后方阴影、长宽比(近似为旋转椭圆体的情况下的a轴、b轴、c轴、各自的长度之比)、边界的特性(边界部的回声是高回声还是低回声、边界的形状光滑还是不光滑)、周围的正常组织的构筑有无紊乱、有无卫星结节等多个肿块的存在、有无钙化等相关的信息。之后，利用控制部12将检查图像以及比较图像置换为语言空间上(第二虚拟空间)的指标，为了在视觉上识别检查图像与比较图像的相似性而在该语言空间上进行显示。除此之外，也能够进行检查图像与比较图像的距离分布的计测而将两者的相似性确定为数值。

在该例子中，通过将比较图像的图像与包含病变特征信息的标签信息作为学习用数据集而执行机器学习，可提供一种学习完毕模型，所述学习完毕模型能够对于检查图像内的病变推断部位将现有的诊断基准所对应的特征量语言化并提取。因此，也能够将迄今为止在人眼中并不明确的新的诊断基准语言化。

接下来，具体地说明本实施方式中的显示部16的显示内容。图3的示意图是向显示部16的显示器的显示的一个例子。其中，图3(a)中示出了将从图像拍摄装置4通过通信控制部11取得的作为被检体的乳房的三维检查图像40显示于显示部16的中央部分。在该检查图像40的内部存在应关注的肿瘤的可能性较高的特征区域41。此时，也可以出于提高可视性的目的附加将包含特征区域41的区域作为病变推断部位46而用线包围等视觉效果。另外，作为确定该特征区域41以及病变推断部位46的方法，可以不仅由用户选择，也能够使用公知的图像识别技术、机器学习技术自动地确定。而且，作为这里使用的机器学习技术，例如能够采用神经网络模型、详细地说是通过向输入层的神经元输入图像数据而在输出层输出表示与预先设定的生物体信息一致的区域的坐标那样的学习完毕模型。在图3(a)所示的显示部16的显示器中还在其右下部分显示出表示比较图像与检查图像之间的相似性的、由二维图构成的虚拟空间图像45。

图3(b)是示出了利用指示器42指定虚拟空间图像45内的特定的比较图像的坐标之后的显示的一个例子的示意图。如此，若比较图像的坐标被指定，则该指定的比较图像44作为相似病症例显示于显示部16的中央部分。另外，也可以也并排地显示配置为距虚拟空间上的检查图像一定的距离的其他比较图像44。另外，在显示部16一并示出了对于特征区域41的判定结果43。作为该判定结果43，例如是推论部18推论出的包含生物体信息的概率、良恶性鉴别判定、相应的诊断名等，并不限定于这些。另外，作为判定结果43的显示方法，也可以是取代文本信息而基于强调显示特征区域41等使用了任意的视觉效果的方法。

如此，虚拟空间图像45作为表示判定结果的依据的图像而显示，使得医生等能够做出判定结果的不明确性的判断并利用于诊断确定。另外，通过将符合相似病症例的几个比较图像与判定结果43一并显示于显示部16，能够提高诊断效率。

在显示部16的显示器中，除了各种图像之外，例如也显示患者信息显示部47、拍摄条件显示部48等。另外，显示信息的种类、配置等为例示，并不限定于此。另外，在将检查图像以及比较图像都用三维图像进行比较的情况下，所显示的比较图像也可以成为三维。

另外，显示各种数据的窗口无需为一个，也可以根据输入指示使检查图像40、虚拟空间图像45等在另一窗口、标签显示中出现。

接下来，使用图4至图7，对表示依据的图像的其他显示例进行说明。表示诊断支援系统1s的判定结果的依据的图像例如显示为作为图3的虚拟空间图像45。另外，虚拟空间图像也可以并排有多个。

图4的示意图示出了采用散点图显示(日文：マップ表示)作为特征量空间与投影特征量空间而生成的虚拟空间图像45的情况下的一个例子。图4(a)表现出特征量空间50。另外，该图4(a)所示的特征量空间50为了容易说明，例示由计算部13输出的特征量信息由二维的参数构成的情况下、是由将该两个参数分别规定为纵轴以及横轴的二维空间构成的情况。而且，表示检查图像的点53基于在计算部13中计算出的结果所获得的二维的参数，配置于特征量空间50上。另外，关于这里所示的特征量空间50的维数，没有任何限定。在图4(a)的特征量空间50，与表示检查图像的点53相同地绘制了多个比较图像所对应的点，但这些点作为例子，将多个恶性病症例图像所对应的点51用黑色圆圈，将多个良性病症例图像所对应的点52用白色圆圈分别表示。这里，恶性病症例指的是乳腺癌等恶性肿瘤，恶性病症例图像是包含恶性肿瘤的比较图像。同样，良性病症例指的是良性肿瘤，良性病症例图像是包含良性肿瘤的比较图像。另外，能够在该特征量空间50内基于这些点51以及52的配置在特征量空间50内规定良性恶性辨别线54。由此，例如作为表示上述的检查图像与比较图像之间的相似性的距离，能够确定特征量空间50中的点53的位置与良性恶性辨别线54之间的距离、距检查图像所对应的点53的距离存在于一定范围55内的比较图像的数量、其特征(良性病症例还是恶性病症例)，通过示出这些信息，能够对医生的检查图像进行诊断支援。显示控制部15也能够基于该特征量空间50的信息生成一维、二维、三维的虚拟空间图像作为表示判定结果43的依据的图像，并显示于显示部16。

图4(b)是表示基于图4(a)所示的特征量空间50等信息生成的一维虚拟空间图像56的例子。比较图像在附加有视觉效果的基础上被描绘，以便得知该比较图像表示恶性病症例还是表示良性病症例。该一维虚拟空间图像56在中心配置有检查图像所对应的点53，在将其左右方向分别设为良性方向(+的朝向)以及恶性方向(－的朝向)的区域内显示出各个比较图像所对应的点51、52。也可以设为若用未图示的指示器等选择该比较图像所对应的点51、52，则显示比较图像。显示的位置例如基于距检查图像所对应的点53的欧式距离。图4(b)的显示的优点是容易辨别相对的欧式距离。

图5所示的示意图示出了采用直方图(日文：ヒストグラム)显示作为虚拟空间图像45的情况下的一个例子。图5(a)至图5(d)在特征量空间50内用直方图表示存在于以检查图像所对应的53为中心的规定的范围55内的比较图像的数量与距离。这里，图5(a)至图5(d)中的横轴是从特征量空间50中的检查图像所对应的点53到比较图像所对应的点的欧式距离，纵轴是比较图像的个数(数据数)。另外，表示恶性病症例图像所对应的点61的数量的推移的线用虚线示出，表示良性病症例图像所对应的点62的数量的推移的线用实线示出。而且，在该直方图的原点的位置设定成为基准的检查图像所对应的点53。

对于图5(a)所示的直方图可理解为，在靠近检查图像所对应的点53的一侧，恶性病症例图像所对应的点51的数量较多，相反，在远离的一侧，良性病症例图像所对应的点52较多。因而，对于该检查图像53，根据该图像可知是恶性的可能性较高。相反，对于图5(d)所示的直方图，可知检查图像所对应的点53的良性的概率较高。另外，对于图5(b)所示的直方图，检查图像所对应的点53与恶性病症例图像所对应的点51和良性病症例图像所对应的点52都很远，由此提示出检查图像内原本就不存在肿瘤等的可能性。但是，对于图5(c)所示的直方图，在距检查图像所对应的点53较近的位置存在较多良性病症例图像所对应的点52与恶性病症例图像所对应的点51这两方的比较图像。因此，在该情况下，诊断支援系统1s带来的支援信息的精度较低，提示出病理诊断等进一步的检查手段的必要性。在本显示例中，具有医生能够一眼就掌握检查图像与大量的比较图像的总体关系的优点。另外，除了显示所有比较图像之外，还存在从是否是高密度乳房、年龄、遗传的信息等不同于图像信息的视点出发而只显示具有与检查对象者相似的特性的比较图像等方法。

图6所示的示意图示出了采用了直方图显示作为虚拟空间图像45的情况下的其他一个例子。图6(a)以直方图示出了各属性的比较图像与检查图像的数据数与距离的关联。这里，作为比较图像示出4个种类。该4个种类是恶性病症例图像所对应的点61、良性病症例图像所对应的点62、伪像图像所对应的点63、以及正常组织图像所对应的点64，该种类基于与各比较图像建立了关联的标签信息而确定。这里，伪像指的是不是因为肿瘤、肿块、而是因为噪声等拍摄到的虚像，伪像图像是包含该伪像的比较图像。另外，正常组织图像是在数据中不包含肿瘤、肿块以及伪像中任一方的比较图像。如图6(a)所示，通过对多个种类的比较图像进行直方图显示，能够提供成为更详细的诊断支援的依据的信息。另外，图6(b)是表示4种比较图像与检查图像的欧式距离的相关关系的图。这里，图6(b)的纵轴以及横轴都是欧式距离，但计算出欧式距离的特征量空间不同。即，首先，生成如下虚拟空间图像：以使良性与恶性的区别最为明显的方式进行了机器学习，使用进行了上述机器学习的结果获得的计算部输出特征量信息，将由上述特征量信息决定的特征量空间上的欧式距离作为横轴(欧式距离(1))，以使良性恶性的和集合与除此以外(无观察结果)的区别最为明显的方式进行了机器学习，使用进行了上述机器学习的结果获得的计算部输出特征量信息，将由上述特征量信息决定的特征量空间上的欧式距离作为纵轴(欧式距离(2))。这在使用了bi-rads(breastimaging-reportinganddatasystem)的乳癌的诊断中，成为分级3为较大可能为良性(恶性概率2％以下)、分级4为恶性概率2～95％这样的诊断，因此仅凭图像不会完全鉴别出良恶性。由于就这样用作机器学习的标签信息存在困难，因此对于第一次的机器学习，以良性与恶性的识别达到最高的方式进行机器学习，但在使用了相同的图像数据的其他机器学习中，以使分1与2以上被区分的方式进行机器学习也较为有效。顺便一提，分级1为阴性，2为良性。如此通过组合由多个特征量空间输出的信息，提高判定结果的可信度。

到目前为止，都是仅基于图4(a)所示的特征量空间50等信息而生成，但本实施方式中的虚拟空间图像并不限定于这种方式。例如也可以在图4(b)所示那样的一维虚拟空间图像56中作为纵轴组合人容易熟悉的指标、例如组合通过公知的图像识别技术确定的特征区域的大小、特征区域的灰度值的平均值而生成二维图像并显示。

图7是组合不同的虚拟空间而显示的情况下的示意图。图7(a)所示的虚拟空间是利用作为特征量信息的n维参数生成的二维的虚拟空间，并且绘制有检查图像与比较图像。与此相对，图7(b)所示的虚拟空间是以往以来使用的利用诊断指标等生成的二维的虚拟空间，同样绘制出检查图像与比较图像。这里所说的诊断指标等包含根据外表的近似情况得到的诊断数据、由医生等得到的观察结果、基于诊断上的准则的依据的指标。即，图7(a)所示的虚拟空间可以说是基于学习完毕模型计算的特征量信息而形成的。与此相对，图7(b)所示的虚拟空间可以说是基于医生等人容易熟悉的特征量信息而形成的。

优选的是，为了能够理解这些虚拟空间彼此的关联性，对于虚拟空间内的信息进行关联建立。作为这里所说的关联建立，只要是用于确定不同的虚拟空间所显示的信息间的关系的处理就能够采用各种处理。作为该处理，例如能够列举对于在这两个虚拟空间内绘制的同一比较图像的点使其形状、颜色共通化等附加相同的视觉效果的处理。这样，能够对于在一方的虚拟空间中不能分离的特征进一步提示出另一虚拟空间而补充用户的诊断判定。

图8的示意图是向显示部16的显示器的显示的另一个例子。在图8中，基于计算出的多维参数，并排地显示判断为与检查图像距离较近的比较图像。在本例中，一并显示检查图像与良性以及恶性的相似病症例图像。例如在虚拟空间图像45(参照图3)中由用户指定特定的区域，从而从存在于该区域内的比较图像之中提取相似度较高的比较图像、换言之提取与检查图像的距离较近的比较图像。将特征量空间50之中以检查图像为中心的规定范围内最近的恶性病症例图像提取出规定数量，同样将良性病症例图像提取出规定数量作为成为相似病症例的比较图像。例如检查图像20显示于显示部16的中央，在设于其两侧的良性病症例图像显示区域26与恶性病症例图像显示区域24中按照其相似程度分别显示所提取的良性病症例图像27以及恶性病症例图像25。通过并列显示如此显示的图像彼此，能够在视觉上捕捉它们之间的相似性。另外，这里所说的良性病症例图像27中除了包含良性肿瘤的比较图像之外，也可以包含包括伪像的比较图像、不包括肿瘤等的比较图像。

图8(a)所示的显示是在虚拟空间的以检查图像为中心的规定范围内存在多个接近检查图像的良性病症例图像、但未检测出恶性病症例图像时的显示例。在良性病症例图像显示区域26中示出三个良性病症例图像27。与此相对，在恶性病症例图像显示区域24中不存在所显示的图像。在该情况下，由于明确示出了在恶性病症例图像中没有相似图像，因此对于医生来说，一目了然地了解到特征区域21部分不是恶性肿瘤的可能性较高，诊断支援系统1s的诊断判定结果是毫无疑问的。另外，图8(c)所示的显示是仅有恶性病症例图像25作为相似病症例显示于恶性病症例图像显示区域24时的显示例。在该情况下，也同样是对于医生来说能够明确判断特征区域21是恶性肿瘤的可能性较高，诊断支援系统1s的诊断判定结果是毫无疑问的。

另一方面，图8(b)所示的显示是在特征量空间50上良恶性的鉴别不明确的情况下的显示例。在检查图像20的恶性病症例图像显示区域24与良性病症例图像显示区域26分别各显示三个恶性病症例图像25与良性病症例图像27。图8(b)所示那样的显示的情况是不能明确辨别良性与恶性的情况。在这种情况下，比起勉强提供诊断支援系统1s的判定结果，将该事例作为不明确事例而委托医生进行判断可以说是上策。医生能够选择各病症例图像并阅读病症例信息。于是，医生容易意识到该事例的检查图像的判定不明确，进而做出组织活检、过程观察等判断。

如图8所示，在显示部16显示恶性病症例图像25以及良性病症例图像27时，优选的是为了能够一眼就理解相对于所选定的这些图像的检查图像的相似性，而根据相似性的高度按升序显示、一并标注表示由控制部12确定的相似性的值、或者附加与相似性的高度相应的视觉效果。

如此，通过并列显示良性(正常)与恶性的特性等二种以上的图像作为比较图像，使得医生等能够确认机器进行的诊断的妥当性。另外，也可以不由用户指定虚拟空间图像45的规定的区域，而是由控制部12进行预先计算并选定所并排地显示的比较图像来显示。在这种情况下，由于只能从特征量信息确定特征量空间内的距离，因此不一定需要显示虚拟空间图像45。另外，也可以设为例如能够通过用户进行选择从而适当变更图8所示的显示的方式与图3所示的显示的方式来显示。

＜第二实施方式＞

在以上的第一实施方式中，说明了比较检查图像与比较图像且在导出诊断判定时显示由三维的影像数据构成的比较图像的例子。作为另一显示例，也可以在显示比较图像时，对于所显示的图像内的病变推断部位例如追加热图(heatmap)等具有更显著地表示每个像素的特征的视觉效果的图，并在各图像中示出。此时，图像与该热图等图可以重叠也可以并排。

在比较图像中预先规定了三维图像的中的肿块的位置、病变推断部位，这些信息作为标签信息与比较图像建立了关联。因而，能够通过参照该标签信息来附加地示出热图等图。另一方面，在用户确认的检查图像中，没有特定应确认部位。根据本实施方式，用户例如能够以通过机器学习技术推断的病变推断部位为参考，从三维检查图像之中高效地确定应确认的病变推断部位，因此能够减少读片负担。

另外，在比较图像为正常组织等的情况下不示出病变部位。但是，通过在机器学习的过程中示出被推断为伪病变的部分，能够减少伪阳性的判定。该实施方式相当于在所谓的cade(computeraideddetection，计算机辅助检查)中应用了本发明的例子。

＜第三实施方式＞

在第一实施方式以及第二实施方式中，在使用机器学习技术推断病变推断部位之后，由用户对判定的妥当性进行了判断。在另一实施方式中，也可以在用户先确定检查图像内的病变推断部位之后示出与该特定部位相似的比较图像。

图9的示意图是本实施方式的向显示部16的显示器的显示的一个例子。图9(a)在显示部16的右侧显示从图像拍摄装置4通过通信控制部11取得的作为被检体的乳房的三维检查图像40。在检查图像40的内部存在应注视的肿瘤可能性较高的特征区域41。在显示部16的中央显示三维检查图像中的某一剖面或者某一区域(检查图像40a、特征区域41a)。作为检查图像40a显示的剖面的三维检查图像40中的角度、位置使用对于三维检查图像40示出的表示显示剖面位置的线49来表示。该线49能够由医生等通过未图示的鼠标等操作用指示器42变更位置、角度，能够选择任意的剖面。另外，作为该检查图像40a显示的剖面也可以由控制部12以示出肿瘤存在概率较高的部位的方式自动决定。

图9(b)是对于用指示器42选择特定的剖面的显示而显示的检查图像40a的特征区域41a进行了诊断判定的显示例，在显示部16的右下位置示出了判定结果43。判定结果例如是肿瘤的是否存在概率、良恶性鉴别判定、符合的诊断名等，但并不限定于这些。另外，作为判定结果43的显示方法，取代文本信息也可以是强调显示特征区域41a等使用了任意的视觉效果的方法。而且，作为表示判定结果的依据的图，在显示部16的右下显示虚拟空间图像45，在该虚拟空间图像45中将由医生等利用指示器42指定的比较图像作为表示相似病症例的比较图像44而显示于显示部16的中央下方。

根据本实施方式，能够确定用户希望检查的部位，提取该病变部位所对应的相似病症例，因此能够提高确定所确定的病变的种类那样的用户的鉴别作业的效率。该实施方式相当于在所谓的cadx(computeraideddiganosis，计算机辅助诊断)中应用了本发明的例子。

将包含在本说明书中引用的出版物、专利申请以及专利在内的所有文献的各文献分别具体地示出并参照而引入，另外，以与在此叙述其全部内容相同的限度，在这里参照并引入。

关于与本发明的说明关联(特别是与以下的权利要求关联)而采用的名词以及相同的指示语的使用，只要在本说明书中没有特别指出或没有明显与上下文相矛盾，则可解释为涉及单个以及多个这两方。语句“具备”、“具有”、“含有”以及“包含”只要未特别指出，则可解释为开放端术语(即“～包含但不限于”这一意思)。本说明书中的数值范围的详细述说只要在本说明书中没有特别指出，则仅意图发挥作为用于分别提及对应于该范围内的各值的简记法的作用，各值如在本说明书中分别列举那样，被编入到说明书。本说明书中说明的所有方法只要在本说明书中未特别指出或没有明显与上下文相矛盾，则能够以所有适当的顺序进行。本说明书中使用的所有例子或者例示的措词(例如“等”)只要未特别主张，则仅意图更好地说明本发明，并非对本发明的范围设置限制。说明书中的任何措词都不解释为将权利要求中没有记载的要素表示为本发明的实施中不可或缺的要素。

在本说明书中，为了实施本发明而包含本发明人已知的最佳方式，说明了本发明的优选的实施方式。对于本领域技术人员来说，如果阅读上述说明，则可明确这些优选的实施方式的变形。本发明人期待熟练者适当应用这种变形，并计划以在本说明书中进行了具体说明以外的方法实施本发明。因而，本发明如遵循准据法所允许的那样，包含全部本说明书所添附的权利要求中记载的内容的修改以及等效物。而且，在本说明书中只要没有特别指出或没有明显与上下文相矛盾，则也将所有变形中的上述要素的某些组合包含在本发明中。

工业上的可利用性

根据本发明的诊断支援系统以及诊断支援方法，作为成为判定结果的相似图像的显示、生物体信息包含的概率的显示的依据，将检查图像与多个比较图像之间的相似性结合起来提供给用户，有助于诊断的效率的提高。

附图标记说明

1s诊断支援系统

2诊断支援装置

3预先取得数据保持部

4图像拍摄装置

11通信控制部

12控制部

13计算部

14虚拟空间数据保持部

15显示控制部

16显示部

17输入部

18推论部

19前处理部

20、40、40a、53检查图像

21、41、41a特征区域

24恶性侧显示栏

25恶性病症例图像

26良性侧显示栏

27良性病症例图像

42指示器

43判定结果

44(作为相似病症例的)比较图像

45虚拟空间图像

46病变推断部位

47患者信息显示部

48拍摄条件显示部

49线

50特征量空间

51、61恶性病症例图像所对应的点

52、62良性病症例图像所对应的点

54恶性良性辨别线

56一维虚拟空间图像

57二维虚拟空间图像

63伪像图像所对应的点

64正常组织图像所对应的点