具有互动式、体积可变的3D光标的放射医师辅助的机器学习的制作方法

本公开的各方面通常涉及在医学领域中计算机辅助检测(cad)和人工智能(ai)的使用，尤其涉及诊断放射中的机器学习。

背景技术：

ai和cad正在迅速改变医学成像领域。例如，许多乳房x光检查人员使用cad来帮助2d成像检测乳腺癌。但是，cad系统存在局限性，包括缺乏对临床影响的优化以及对绩效效率的量化。

技术实现要素：

本文中提到的所有示例、方面和特征可以以任何技术上可以想象的方式进行组合。

根据一方面，一种方法包括：在利用具有机器学习能力的医学图像诊断计算机分析医学图像数据的同时，连续更新训练数据集，包括以下步骤：使用三维光标选择医学图像的子体积，其中子体积对应于诊断清单上的项目；分析所选的子体积以创建人为生成的分析；并使用人为生成的分析来更新训练数据集。一些实现方式包括在手动分析所选的子体积之前，使用训练数据集分析所选子体积，以利用诊断计算机创建机器生成的分析。一些实现方式包括在使用人为生成的分析来更新训练数据集之前解决人为生成的分析与机器生成的分析之间的分歧。一些实现方式包括为机器生成的分析生成计算机制作的解释。一些实现方式包括在使用人为生成的分析来更新训练数据集之前，基于解释来更新人为生成的分析。一些实现方式包括促使对人为生成的分析和机器生成的分析进行共识性审查。一些实现方式包括在使用人为生成的分析来更新训练数据集之前，基于共识性审查来更新人为生成的分析。一些实现方式包括诊断计算机，该诊断计算机检索和呈现与清单上的项目有关的患者特定数据，以促进人为生成的分析的创建。在一些实现方式中，创建人为生成的分析包括创建以下至少一项：描述发现或诊断的术语；标记的像素或体素；以及发现或诊断的确定性的指示。在一些实现方式中，创建机器生成的分析包括创建以下至少一项：描述发现或诊断的术语；标记的像素或体素；以及发现或诊断的确定性的指示。一些实现方式包括滤出所选子体积内与发现不相关的组织。一些实现方式包括在所选子体积内的组织上执行细分。一些实现方式包括自动调整三维光标的大小以涵盖与发现相关的组织。在一些实现方式中，清单包括多个项目，每个项目都被分析，并且该方法包括基于人为生成的分析来生成报告。一些实现方式包括人为生成的分析与机器生成的分析之间包含分歧的指示。一些实现方式包括三维光标，其可视地指示诊断的置信度或危险性。一些实现方式包括将与发现相关的组织放置在虚拟容器中。一些实现方式包括从正常发现容器、疾病特定容器和差异诊断容器中选择虚拟容器。

根据一个方面，一种装置包括：具有机器学习能力的医学图像诊断计算机，该诊断计算机包括非暂时性介质，在其上存储了计算机程序逻辑，该计算机程序逻辑在分析医学图像数据时连续更新训练数据集，包括：项目选择逻辑，其利用三维光标选择医学图像的子体积，其中，所选择的子体积对应于诊断清单上的项目；输入逻辑，其接收输入，所述输入创建所述所选的子体积的分析；以及根据人为生成的分析更新训练数据集的更新逻辑。一些实现方式包括诊断逻辑，该诊断逻辑使用训练数据集来分析所选子体积，以在生成人为生成的分析之前创建机器生成的分析。一些实现方式包括解析逻辑，该解析逻辑在人为生成的分析用于更新训练数据集之前，解决了人为分析与机器生成的分析之间的分歧。一些实现方式包括虚拟大师逻辑，其为机器生成的分析生成计算机制作的解释。在一些实现方式中，在使用人为生成的分析来更新训练数据集之前，解析逻辑基于该解释来更新人为生成的分析。在一些实现方式中，解析逻辑促使对人为生成的分析和机器生成的分析进行共识性审查。在一些实现方式中，在使用人为生成的分析来更新训练数据集之前，解析逻辑基于共识性审查来更新人为生成的分析。一些实现方式包括诊断计算机，该诊断计算机检索和呈现与清单上的项目有关的患者特定数据，以促进人为生成的分析的创建。在一些实现方式中，人为生成的分析包括以下至少一项：描述发现或诊断的术语；标记的像素或体素；以及发现或诊断的确定性的指示。在一些实现方式中，机器生成的分析包括以下至少一项：描述发现或诊断的术语；标记的像素或体素；以及发现或诊断的确定性的指示。一些实现方式包括过滤逻辑，该过滤逻辑在所选子体积内去除与发现不相关的图像组织。一些实现方式包括细分逻辑，该细分逻辑对所选子体积内的组织进行细分。一些实现方式包括重新调整三维光标的大小以涵盖与该发现相关联的组织的逻辑。在一些实现方式中，清单包括多个项目，每个项目都被分析，并且该方法包括基于人为生成的分析来生成报告的逻辑。在一些实现方式中，生成报告的逻辑包括报告中人为生成的分析与机器生成的分析之间存在分歧的指示。一些实现方式包括可视地指示诊断置信度或危险性的三维光标。一些实现方式包括虚拟容器，与发现相关的组织被放置在该虚拟容器中。在一些实现方式中，虚拟容器选自正常发现容器、疾病特定容器和差异诊断容器。

附图说明

本专利或申请文件包含至少一个彩色附图。根据专利局要求，本专利或专利申请公开的副本的彩色附图将支付必要的费用。

图1示出了用于集成放射医师辅助机器学习过程的关键组件。

图2是通用流程图，其示出了用于放射医师辅助机器学习的基于检查清单的逐个体积3d光标方法。

图3示出了针对ai得出3d光标内的体积为“正常”的情况下，放射医师辅助机器学习的流程图。

图4示出了针对ai得出3d光标内的体积为“特定诊断”的情况下，放射医师辅助机器学习的流程图。

图5示出了针对ai得出3d光标内的体积中每次诊断的可能性为“差异诊断”的情况下，放射医师辅助机器学习的流程图。

图6示出了针对ai审查审查并提供进一步成像建议的情况下，放射医师辅助机器学习的流程图。

图7示出了针对ai审查审查并提供进一步管理建议的情况下，放射医师辅助机器学习的流程图。

图8示出了通过电子病历，ai搜索识别相关数据的呈现，该相关数据可能与正在审查的关注区域有关。

图9提供了将3d光标与放射医师辅助机器学习结合使用的流程图和示意图。

图10示出了合成体积、子体积和对位3d光标的体积之间的关系。

图11示出了放射医师的工作站，该工作站没有(顶部)，并且从上方(底部)观看增强现实耳机，其中放射医师仅在通过增强现实(ar)显示器观察时才能看到虚拟桶。

图12示出了3d光标外观如何改变以表示子体积内成像发现的确定性水平和严重性水平的示例。

图13示出了将正常子体积放入放射医师辅助训练的“正常解剖桶”方面。

图14示出了虚拟桶系统的使用，由此在分析阶段，可以将3d光标所涵盖的体积从一个桶移动到下一个桶。

图15示出了结合了3d光标和放射医师辅助机器学习报告技术的放射性报告示例。

图16示出了通过结合标准化术语、放射医师图像标记和放射医师分配的加权因子以进行放射医师辅助机器学习，以创建放射医师批准的机器学习训练数据集的过程。

图17是使用多个3d光标的流程图及示意图，多个3d光标用于与放射医师辅助机器学习结合使用来辅助细分，该细分通过放射医师辅助机器学习的术语和加权因子进行标记。

图18示出了与放射医师辅助机器学习结合的图像标记和术语分配。

图19示出了一组标准样本，其中ai确定成像检查是否需要放射医师的审查。

图20示出了深度学习算法中放射医师图像标记和3d光标的利用。

具体实施方式

本文描述的某些方面、特征和实现方式可以包括诸如计算机、电子组件、光学组件的机器，以及诸如计算机实现的步骤的过程。对于本领域普通技术人员将显而易见的是，计算机实现的步骤可以作为计算机可执行指令存储在非暂时性计算机可读介质上。此外，本领域普通技术人员将理解，可以在各种有形处理器设备上执行计算机可执行指令。为了便于说明，这里没有描述可能是计算机或数据存储系统的一部分的每个步骤、设备或组件。鉴于本公开的教导和本领域普通技术人员通常可获得的知识，本领域普通技术人员将认识到这样的步骤、设备和组件。因此，启用相应的机器和过程，并且包含在本公开的范围内。

本公开中使用的术语旨在在主题资格的限制内广泛地解释。术语“逻辑”和“虚拟”用于指代作为其他特征抽象的特征，例如并且不限于，对有形特征的抽象。术语“物理的”用于指的是有形的特征。例如，多个虚拟计算设备可以在一个物理的计算设备上同时操作。术语“逻辑”用于指代存储在非暂时性计算机可读介质上并由多用途有形处理器实现的专用物理电路元件和软件指令。此外，术语“3d光标”旨在表示包含体积的光标类型。术语“子体积”可用于与3d光标结合使用，以指示3d光标内的体积仅代表整个医学图像中体积的一部分(例如，肝脏包含在3d光标中，或整个腹部和骨盆ct扫描成像体积的子体积内)。

2018年10月22日提交的题为“用于放射医师辅助机器学习的方法和装置”的美国临时专利申请62/748,555通过引用并入于此。2018年4月3日提交的题为“一种通过交互式，体积可扩展的3d光标改进诊断准确性来优化放射医师与人工智能计算机系统之间相互作用的方法”美国临时专利申请62/651,934通过引用并入于此。

图1示出了与放射医师辅助机器学习能力相关的成像和诊断系统。通常，机器学习使计算机能够逐步提高任务的性能，而无需对其进行显式编程以执行该任务的每个方面。在图像处理和诊断计算机102上运行的cad和/或ai程序100部分地使医学诊断自动化，以及从放射医师的审查中学习。该系统包括诸如控制器104和耳机106之类的外部设备。io设备108包括具有多个2d监视器的观察站。通信链接可以包括上述任何元件之间的链接，例如控制器与图像处理和诊断计算机之间的链接，图像处理和诊断计算机与耳机之间的链接；以及图像处理和诊断计算机与可以显示横截面图像112的图片存档通信系统(pacs)系统110之间的链接。可以根据uspto8,384,771处理图像以形成3d体积113。患者病历117也可以显示在监视器上。在图像处理和诊断计算机116上的程序运行的是图像处理系统，如美国专利申请15/904,092中所公开的，用于处理3d医学图像以增强可视化，该申请于2018年2月23日提交，以引用方式并入本文以用于3d图像生成，以及基于来自控制器、报告生成器和ai的命令生成和图像处理，用于从pacs和患者病历中提取数据，其中可能包括对问卷的响应。感兴趣的解剖结构114的2d医学图像112被生成。成像能力116可以包括，例如但不限于x射线、超声、乳房x线照片、计算机断层摄影、磁共振成像、正电子发射断层摄影、单光子发射计算机断层摄影或断层合成。2d医学图像112被提供给图像处理和诊断计算机100，其包括处理器118(例如，cpu和gpu)、易失性存储器120(例如，ram)和非易失性存储器122(例如，hdd和ssd)。在图像处理器上运行的程序124执行此专利中描述的一个或多个步骤，以完成放射医师辅助机器学习(raml)。医学图像被显示在io设备126上并且被放射医师标记。io设备可以单独或组合地包括虚拟或增强现实耳机106、监视器、平板计算机、pda(个人数字助理)、移动电话或多种设备中的任何一种。io设备可以包括触摸屏，并且可以接受来自外部设备(由128表示)的输入，例如键盘、鼠标和各种用于接收各种输入的设备中的任何一种。最终，一系列虚拟对象(包括交互式对位3d光标130和虚拟桶132)也将成为该系统的组成部分。

图2是通用流程图，其示出了用于放射医师辅助机器学习的基于检查清单的逐个体积3d光标方法。准备步骤可以包括下载案例以从pacs进行审查，并根据一组2d图像切片创建3d体积，如uspto#8,384,771中所述。附加的准备步骤可以包括将成像的组织细分成离散的组织类型。如步骤200所示，放射医师(或其他医师)遵循关键身体部位的清单，以顺序的方式对其进行审查。例如，对于腹部/骨盆的ct扫描，检查清单可以包括肺底、心脏、肝脏、胆囊、脾脏、胰腺等。如步骤202所示，放射医师或cpu选择第一检查清单项目(例如，肝脏)和互动式，体积对应的3d光标。如步骤204所示，ai在电子病历中搜索可能与所检查的感兴趣区域(即肝脏)有关的患者信息。这将在放射医师审查图像期间呈现给放射医师(例如，文本出现在肝脏图像附近)。例如，重要的信息可以包括肝脏审查期间最新的肝功能检查。如步骤206所示，通过ai和/或cad算法分析3d光标内的体积。该算法将与患者先前的扫描结果和现有数据库进行比较。ai有三个可能的结论。首先，ai可以确定3d光标内的组织是正常的。其次，ai可以确定3d光标内的组织是特定疾病。第三，ai可以确定3d光标内的组织可以代表具有每种诊断的特定可能性的多种疾病(即，差异诊断)。对于每种情况，ai提供针对临床情况和成像量身定制的建议成像和/或管理建议。以并发的方式，放射医师以这种通常的方式或使用高级可视化技术对3d光标体积内的组织进行审查208。他/她还将患者的先前扫描结果和现有数据库进行比较。放射医师可以确定3d光标内的组织是正常的，是特定疾病或每种诊断都有特定可能性的差异诊断。放射医师从精神上确定建议成像和/或管理建议。如步骤210所示，ai/cad和放射医师可能会或可能不会得出相同的结论。请参见图3-7，了解解决分歧的方法(如果存在)以及策略性地利用子体积来增强放射医师辅助机器学习过程的方法。如步骤212所示，放射医师将移至检查清单上的下一个项目，并重复该过程，直到检查清单已完成。然后，审查发现、ddx、管理计划、报告的一致性，并通知预约/治疗医师(如果适用)。

图3示出了针对ai得出3d光标内的体积为“正常”的情况下，放射医师辅助机器学习的流程图。如300所示，放射医师可能会同意ai的结论，即3d光标内的体积是正常的。如果放射医师同意，则可以将3d体积放入“虚拟正常发现桶”304。放射性报告将声明清单上的此项为正常306。放射医师可以选择将同意的正常发现添加到规范数据库308。但是，放射医师也可能不同意ai302。在这种情况下，将3d体积放入“虚拟tbd桶”310中。在这里，“虚拟大师”被要求提供基本理论依据(例如，显示虚拟正常发现桶中的类似情况”)。如果基于虚拟大师的理论依据，放射医师现在认为3d光标内的体积是正常312，则放射医师将3d体积放入“虚拟正常发现桶”304。如果尽管有虚拟大师的解释，放射医师仍认为当3d光标内的体积为异常314时，他/她将3d光标内的体积放入“虚拟协作桶”316。此时，解释放射医师与其他放射医师协作以评估3d光标内的可疑异常。这可以采取正式的放射性会议或非正式的“路边”放射医师与放射医师咨询的形式。如果放射性共识与虚拟大师一致，即3d光标内的体积是正常318，则将该体积放入“虚拟正常发现桶”304。如果放射性共识与虚拟大师不一致，并认为存在单个特定诊断320，则将3d体积放入“虚拟特定疾病桶”322。然后，报告将讨论特定疾病(或病理实体)324。其他选项包括重新训练ai算法和/或将3d体积添加到特定疾病的病理数据库326。如果放射性共识与虚拟大师不一致，并且认为3d光标内的体积不是正常的，而是存在差异诊断的异常328。3d体积被放入“虚拟神秘桶”330中。该报告以放射医师和放射医师的共识小组332确定的指定顺序声明差异诊断。然后，放射医师可以选择挑战小组的目标是最终将3d体积放入“虚拟特定疾病桶”334。例如，该小组将跟踪活检结果，然后将子体积放入“虚拟特定疾病桶”322。

图4示出了针对ai得出结论的3d光标内的体积是“特定疾病”的情况下，放射医师辅助机器学习的流程图。如400所示，放射医师可能会同意ai的结论，即3d光标内的体积就是所述特定疾病。如果放射医师同意，则可以将3d体积放入“虚拟疾病特定桶”404中。放射性报告将描述特定疾病406。请注意，ai流程还应具有准确描述正常解剖结构和病理学的能力。通过使用3d光标和“虚拟桶”，与本专利中设计的类似的反馈也可以用于改进ai的描述。放射医师可以选择将商定的3d体积添加到疾病特定数据库408。但是，放射医师也可能不同意ai402。在这种情况下，将3d体积放入“虚拟tbd桶”410中。“虚拟大师”被要求提供理论依据(例如，显示虚拟疾病特定桶中的类似病例)。如果基于虚拟大师的理论依据，放射医师现在认为3d光标内的体积表示所述特定疾病412，则放射医师将3d体积放入“虚拟疾病特定桶”404。如果不论虚拟大师的解释，放射医师仍然不同意虚拟大师414，他/她将3d光标内的体积放置到“虚拟协作桶”416中。此时，解释放射医师与其他放射医师协作来评估3d体积。这可以采取正式的放射性会议或非正式的“路边”(“curbside”)放射医师与放射医师咨询的形式。如果放射性共识与虚拟大师一致，即3d光标内的体积是所述特定疾病418，则将该体积放入“虚拟疾病特定桶”404中。如果放射性共识与虚拟大师不一致，并且认为3d体积是正常420，然后将3d体积放入“虚拟正常发现桶”422。然后，报告将指出清单上的该项目是正常424。选项包括重新训练ai算法和/或将子体积添加到“虚拟正常发现桶”426。如果放射性共识不同意虚拟大师并且认为3d体积是特定疾病428，则将3d体积放入“虚拟特定疾病桶”430中。然后，报告将指出特定疾病432。选项包括重新训练ai算法和/或将3d光标体积添加至特定疾病病理数据库434。最后，放射性共识小组可能与虚拟大师意见不一致，并认为3d光标内的体积可能是一种差异诊断。在这种情况下，将3d体积放置在“虚拟神秘桶”438中。该报告陈述了差异诊断，并讨论了每种诊断的可能性(440)。选项包括将3d光标发送到放射性挑战组，最终目标是将其放入“虚拟疾病特定桶”中(例如，该小组将追踪活检结果，然后将该子体积放入“虚拟疾病特定桶”430中)。选项包括将诊断问题的子体积和总成像量同时发送给放射性挑战小组。

图5示出了针对放射医师辅助的机器学习的流程图，其中ai得出结论，即3d光标内的体积是“多种可能疾病的差异诊断”，每种疾病都有特定的可能性。如500所示，放射医师可以同意ai的结论，即3d光标内的体积就是所述差异诊断。如果放射医师同意，则可以将3d体积放入“虚拟神秘桶”504中。放射性报告将按特定顺序描述差异诊断506。请注意，ai流程还应具有能够准确描述正常解剖和病理学影像学发现的能力。此外，ai系统应该能够使用成像术语来说明为什么偏爱一种差异诊断优于另一种差异诊断。通过使用3d光标和“虚拟桶”，与本专利中设计的类似的反馈也可以用于改进ai的描述。放射医师可以选择将商定的3d体积添加到差异诊断(ddx)数据库508中。另一种选择是将有或没有总成像体积的相关子体积发送给放射医师挑战组，其中挑战组最终目标是将3d体积放入“虚拟疾病特定桶”中。但是，放射医师也可能不同意ai502。在这种情况下，将3d体积放入“虚拟tbd桶”510中。在这里，“虚拟大师”被要求提供理论依据(例如，从“虚拟神秘桶”显示类似病例)。如果基于虚拟大师的基本理论依据，放射医师现在认为3d光标内的体积代表了所述差异诊断，包括差异诊断的顺序512，则放射医师将3d体积放入“虚拟神秘桶”504。在虚拟大师的解释下，放射医师仍然不同意虚拟大师514，他/她将3d光标内的体积放入“虚拟协作桶”516。在此关头，解释放射医师与其他放射医师合作评估3d体积。这可以采取正式的放射性会议或非正式的“路边”放射医师与放射医师咨询的形式。如果放射性共识组与虚拟大师一致，即3d光标内的体积是具有差异诊断518的商定可能性的所述差异诊断，则将该体积放入“虚拟神秘桶”504中。放射性共识组也可以不同意虚拟大师，并认为3d光标内的体积可能是差异诊断(不同顺序、不同组诊断或其组合)。在这种情况下，将3d体积放入不同的“虚拟神秘桶”522中。该报告指出了差异诊断，并讨论了每种诊断的可能性524。选项526是重新训练ai算法，添加3d光标到差异诊断数据库和/或发送子体积(有或没有完整的成像体积和临床数据元素给放射性挑战小组，目的是最终放入“虚拟疾病特定桶”中(例如，该小组将随访活检结果，然后将子体积放入“虚拟疾病特定桶”530)中，选项包括将诊断问题子体积和总成像体积同时发送给放射性挑战小组。最终，如果放射性共识不同意虚拟大师，并认为3d体积是正常536，然后将3d体积放入“虚拟正常发现桶”538。然后，报告将指出清单上的那个项目是正常540。选项包括重新训练ai算法和/或将子体积添加到虚拟正常发现数据库542。

图6示出了针对放射医师辅助的机器学习的流程图，其中ai审查检查并提供进一步成像建议。如果放射医师同意ai600，则将3d体积和其他相关数据(例如，来自电子病历(emr)的数据)一起放入“虚拟成像建议桶”604中。放射性报告指出成像建议606。然后，一个选项是将体积和其他相关数据元素添加到成像建议数据库608。如果放射医师不同意ai602，则3d体积和其他相关数据元素将被放置到“虚拟tbd(待确定)桶”610中。在这里，“虚拟大师”被要求提供理论依据(例如，显示成像跟进指南)。如果放射医师现在同意ai611，则将3d体积和其他相关数据元素添加到“虚拟成像建议桶”604。如果尽管有虚拟大师的理论依据，放射医师仍然没有同意虚拟大师612，则将3d体积和其他相关数据元素放入“虚拟协作桶”614。如果放射性共识小组同意ai616，则3d体积和其他相关数据元素添加到“虚拟成像建议桶”604。如果放射性共识小组不同意并认为有必要提供替代成像建议618，则3d体积和其他相关数据元素被放置在不同的“虚拟成像建议桶”620中。然后，放射性报告讨论成像建议622。此刻的一种选择是重新训练ai算法和/或放置子体积和相关数据元素放入成像建议数据库624。

图7示出了针对放射医师辅助的机器学习的流程图，其中ai审查检查并提供管理建议。如果放射医师同意ai700，则将3d体积和其他相关数据(例如，来自电子病历(emr)的数据)一起放入“虚拟管理建议桶”704。放射性报告指出管理建议706。然后，一个选项是将体积和其他相关数据元素添加到管理建议数据库708。如果放射医师不同意ai602，则3d体积和其他相关数据元素被放置到“虚拟tbd桶”710中。这里，“虚拟大师”被要求提供理论依据(例如，显示管理指南)。如果放射医师现在同意ai711，则将3d体积和其他相关数据元素添加到“虚拟管理建议桶”704。尽管有虚拟大师的理论依据，放射医师仍然没有同意虚拟大师612，则将3d体积和其他相关数据元素放入“虚拟协作桶”714。如果放射性共识组与ai716一致，则3d体积和其他相关数据元素添加到“虚拟管理建议桶”704。如果放射性共识小组不同意并认为有必要提供替代管理建议718，则3d体积和其他相关数据元素被放置在不同的“虚拟管理建议桶”720中。然后，放射性报告讨论了管理建议722。此刻的一种选择是重新训练ai算法和/或放置子体积以及相关的数据元素到管理建议数据库724中。

图8示出了通过电子病历，ai搜索识别相关数据的呈现，该相关数据可能与正在检查的关注区域有关。文本框以灰色800表示，位于图像802的上方。在此图中，ai已处理图像并进行了差异诊断，包括肺癌转移到大脑。因此，它在灰色框中显示了多个可能与肺癌相关的数据元素。ai算法还可以引入与其他差异诊断相关的数据元素。此过程有助于减轻许多医疗机构在操作系统中的某些潜在缺陷。首先，预约医学图像的医师可能无法列举影响患者状况的所有相关因素。接下来，放射医师必须更改任务以获取不同的信息，来获取患者的病历。翻阅病历以提取可能相关的数据非常耗时。在当前公开的系统中，ai程序获取并处理记录，包括但不限于医疗记录和进入医疗机构后完成的患者问卷，以获得与患者有关的信息。然后，此数据可以显示在常规2d监视器或耳机上，并由放射医师通过键盘或控制器进行操作。

图9提供了将3d光标与放射医师辅助机器学习结合使用的流程图和示意图。首先，如900中所示，根据uspto8,384,771，医学图像112的2d图像切片将生成3d体积113。2d切片是可以包括但不限于mri、ct、pet、spect类型的医学图像。2d图像包括具有已知像素间间隔和已知片间间隔的像素。以每个像素为中心，创建3d体素(例如，立方体)，其xy平面上的尺寸等于像素间的间距，z方向的尺寸等于片间的间距。接下来，如902所示，选择并封装带有3d光标130的子体积。此时的一种选择是在3d光标130中隔离感兴趣的组织，根据uspto专利申请#15/878,463，这可以通过细分(即，对体积内的体素分类成离散组织类型)，然后执行过滤(即，去除不感兴趣的体素，从而在采用增强现实、混合现实或虚拟现实3d成像方法时改善更深结构的可视化)。如904所示，对3d光标130内的体积执行计算机辅助检测(cad)/人工智能(ai)。如图所示，除了肝脏外，黑色虚线3d光标330内的所有组织都进行细分和过滤(即删除)。在肝脏内可以看到小的异常910。如906所示，cad/ai识别的异常被呈现给放射医师。例如，常规横截面图像112和/或经由带有参考线的附加3d光标虚拟现实/增强现实/混合现实显示器106。注意，可以执行进一步的细分和过滤，并且孤立的异常以较小的绿色虚线，立方体形状的3d光标130表示。注意，还提供了危险级别和确定性级别，如图12所示。最终，如908所示，放射医师分析成像结果并执行用于机器学习的反馈。

图10示出了合成体积、子体积和对位3d光标的体积之间的关系。在图示中，灰色阴影的多种形状代表总成像体积(也称为合成成像体积)中腹部和骨盆的器官，如1000所示。显示了多个3d光标130，每个光标显示一个子体积(即合成成像体积的一部分)。例如，一个3d光标130包含肝脏1002的子体积，其中3d光标130内的所有其他组织都被细分和过滤(即，被去除)。虽然可视化和分析子体积的优选方法是将每个子体积都包含在3d光标内，但也可以可视化和分析子体积而不包含在3d光标130中，如1003所示。另一个示例包括3d光标130，该3d光标130包含脾1004的子体积，并且3d光标130内的所有其他组织被细分和过滤(即，被去除)。另一个示例包括3d光标130，该3d光标130包含胰腺1006的子体积，并且3d光标130内的所有其他组织被细分和过滤(即，被去除)。最后，另一示例包括3d光标130，其包含左肾1006的子体积，并且3d光标130内的所有其他组织被细分和过滤(即，被去除)。可以使用传统的逐片横截面方法或通过高级3d观察(例如使用增强现实耳机106)仔细检查每个子体积。根据检查清单在整个审查区域中按子区域(即由放射医师指定的大小的3d光标进行有效审查)，诊断系统为放射医师提供了观察一个子区域的功能。此外，放射医师可以决定在整个成像体积中移动包含体积的3d光标，而无需使用逐个器官的离散检查清单。在这种情况下，可以执行通过3d体积的光标路径以及将光标重新定位到初始查看位置的复合视图。确定ai/cad算法后，进行审查的放射医师将特别注意这些区域。根据本专利中描述的特征，这些区域将被发送到虚拟报告桶(或其他桶)。审查完成后，放射医师可以通过同时调用所有3d光标位置的显示来验证审查的完整性。此功能使放射医师可以查看审查期间是否可能遗漏了成像体积的任何部分，并根据需要返回以确保审查的完整性。此过程将有助于确保审查的错误率低。

图11示出了放射医师的工作站，该工作站没有(顶部)，并且从上方(底部)观看增强现实耳机，其中放射医师仅在通过ar显示器观看时才能看到虚拟桶。放射医师将有能力从总体积中虚拟抽取选定的子体积，然后将其放入虚拟桶中。对于放射医师而言，优选的方法是利用增强现实眼镜106，在放射医师可以看到他的工作站上或附近的虚拟桶的情况下。但是，如果放射医师工作站没有增强现实眼镜，则可以在常规2d监视器上使用代表“虚拟桶”的图标。

图12示出了3d光标外观如何改变以表示子体积内成像发现的确定性水平和严重性水平的示例。ai和/或cad对图像集执行初始分析。放射医师需要知道的两个关键的决定性信息是发现的危险性和发现的确定性水平。可以通过更改光标的外观来传达这两个关键部分。定义3d光标边距的线可以用颜色编码，以对应于发现的危险程度，例如红色表示危险发现(定义为合理的死亡机会)1200，黄色表示中性发现(定义引起症状，但不太可能引起死亡)1202，绿色表示良性发现(定义为不太可能引起症状或死亡)1204。此外，表示3d光标边距显示为实线，对应于高确定性等级1206，虚线对应于中等确定性等级1208或点划线对应于低确定性等级1210。因此，存在多种组合。红色实线的3d光标1214将指示危险发现的高确定性。黄色实线的3d光标1216将指示中性发现的高确定性。绿色实线的3d光标1218将指示良性发现的高确定性。红色虚线的3d光标1220将指示危险发现的中等确定性。黄色虚线的3d光标1222将指示中性发现的中等确定性。绿色虚线的3d光标1224将指示良性发现的中等确定性。红色点划线的3d光标1226将指示危险发现的低确定性。黄色点划线的3d光标1228将指示中性发现的低确定性。绿色点划线的3d光标1230将指示良性发现的低确定性。如果检查清单项目(例如器官)的发现结果正常，则首选的方法是不显示3d光标。当放射医师打开一个新病例时，他/她可以选择“显示所有红色光标”以查看是否有任何威胁生命的发现，如果适用，请立即通知预约医生。在审查过程中，放射医师可以自行决定是否覆盖ai/cad系统并更改外观(线条的颜色或样式)，以便预约医生可以看到3d光标的ai集和放射医师3d光标的调整集。

图13示出了将正常子体积放入放射医师辅助训练的“正常解剖桶”方面。轴1300和图像1302对比穿过腹部的增强计算机断层摄影(ct)图像。轴向和冠状图像均显示了肠系膜上动脉(sma)的部分，包括起点和近端部分。如图所示，3d光标130用于封装相关组织，以将子体积与腹部检查的ct内总成像体积隔离。封装sma的起点和近端部分后，放射医师可以在包含正常sma的3d光标内生成子体积的重复副本，并将复制的子体积在3d光标130中移至虚拟桶132中(1304)，在这种情况下，这将是正常的sma原始对比度增强ct虚拟桶132。将查看的总成像体积划分为子体积并将子体积放入特定桶的过程可用于创建放射医师批准的训练数据集，进而可以用来训练机器学习算法。

图14示出了虚拟桶系统的使用，由此在分析阶段，可以将3d光标所涵盖的体积从一个桶移动到下一个桶。在放射医师审查期间，可能会出现多个感兴趣/关注的组织簇和多个无关的组织簇。在这种情况下，ai确定总成像体积1400是正常，但放射医师认为存在异常1402，但不确定会是什么。因此，放射医师将包含子体积和感兴趣的结构1402的3d光标130放置1404到“虚拟tbd桶”1406中。在3d光标130涵盖的子体积内，放射医师要求“虚拟大师”找到专门分析子体积内的组织。在这种情况下，“虚拟大师”得出的结论是3d光标130涵盖的子体积是正常的。然后放射医师将3d光标130及其内容放置1408到“虚拟协作桶”1410。在这里，一组放射医师聚在一起，并且共识是3d光标内的感兴趣的结构1402是良性椎管血管瘤。他们，放射医师将在3d光标内的子体积放置在1212到“良性椎管血管瘤”虚拟桶1414中。放射医师还可以选择分配术语(例如“灯芯绒征”和“椎管血管瘤”)加权因子(例如，“95％的确定性”)(有关其他详细信息，请参见图16)。这种方法的另一个主要好处是可以将“桶”系统用于放射医师的同行审查。同行可以审查“正常解剖桶”的准确性。或者，他们可以审查“虚拟疾病特定桶”的准确性。桶精度将是确定放射医师技能水平的关键因素。

图15示出了结合了3d光标和放射医师辅助机器学习报告技术的放射性报告示例。左侧部分包含每个清单项目。右边的列显示了清单上每个发现的结果。对于每个异常发现，将使用3d光标显示经过细分和过滤后的检查清单项目的图像，并在外观上表示危险，并在异常处显示确定性级别。右侧部分包含对异常发现的描述。如果在计算机上审查报告，则耳机眼镜会提供指向包含封装在3d光标中的器官和异常的体积的超链接。重要的是要注意腹部之间的发现之间必须保持一致。例如，在第一次审查期间，ai算法可以传递一个圆形的亚厘米淋巴结。然后，ai算法可以在清单上的下一个项目中诊断出癌性肿瘤。然后，ai算法应通过检查清单返回额外的时间，以根据癌性肿瘤重新评估所有结构。例如，ai算法可将9毫米的圆形淋巴结在初次通过时表征为良性。然后，诊断出癌症。然后，在第二次通过中，相同的9毫米圆形淋巴结可能在第二次通过中被表征为可疑转移性疾病。

图16示出了通过结合标准化术语、放射医师图像标记和放射医师分配的加权因子以进行放射医师辅助机器学习，来创建放射医师批准的机器学习训练数据集的过程。机器学习可以基于放射医师的审查和ai/cad，其可用于部分自动化诊断审查。在步骤1600中，创建用于图像发现和诊断的术语数据库。在步骤1602中，放射医师使用放射性成像和诊断系统以标准方式审查诊断成像检查。在步骤1604中，通过使用放射性成像和诊断系统，放射医师识别可以与成像检查中的诊断相关的发现。在步骤1606中，放射医师标记与该发现有关的图像的一个或多个像素或体素。这可以通过使用体积对应的3d光标，突出显示或在区域或体积周围绘制区域来实现。在步骤1608中，放射医师将加权因子分配给像素或体素的标记集合。在步骤1610中，放射医师将像素或体素的标记集合链接到与上面的步骤1600中的发现或诊断相对应的术语。在步骤1612中，将报告、由放射医师标记并与加权因子相关联的像素和/或体素以及术语添加到训练数据集，以通过成像和诊断系统进行机器学习。选项可以包括添加整个成像体积、子体积、或者仅添加放射医师标记的像素或体素。最终结果是一个训练数据集，其中放射医师标记了具有特定像素或体素的相关加权因子和术语。这可以用来提高机器学习算法的准确性。

图17是使用多个3d光标的流程图及示意图，多个3d光标用于与放射医师辅助机器学习结合使用来辅助细分，该细分通过放射医师辅助机器学习的术语和加权因子进行标记。这可以帮助ai系统开始理解一种病理(例如脑肿瘤)可以具有多个成分(例如非增强成分和增强成分)。有效的细分算法将有助于将raml应用于临床实践。示出的示例是具有肿瘤的大脑1700的2dmri切片。细分算法可以应用于定义肿瘤材料的解剖结构和/或不同成分。使用控制器，放射医师配置用于显示关注的组织和/或与检查清单项目相关联的组织。第一步1700是将3d光标130放置在包括整个感兴趣的物体(例如，肿瘤)以及其他无关的组织的大体积/区域上。为此，放射医师可以在足以覆盖整个脑肿瘤的足够大的区域上移动，调整并定型体积对应的3d光标130。这样做时，正常的脑组织、脑脊液、头骨、头皮和头部外部的空气的成分通常将被包括在体积对应的3d光标130内。第二步骤1704，通过仅将细分算法应用于3d光标130内的结构，利用3d光标130可以提高效率及准确性。然后，可以定义肿瘤的不同成分的边缘(由放射医师或计算机细分算法定义)。例如，细分算法可以将肿瘤分为非增强成分1708和增强成分1710。为了进一步帮助隔离肿瘤，可以标记其他结构并随后过滤。例如，小的3d光标标记脑脊髓液1712。此外，小的3d光标标记正常白质1714。在raml过程中，细分的成分可用于通过虚拟桶系统训练未来的ai算法。在执行细分之后，可以为感兴趣的组织分配术语、加权因子并用于改善人工智能算法1706。作为示例，可以用术语(例如“t1-fspgr造影后序列上正常的csf外观”等)和加权因子(例如，根据神经放射医师的经验为100％)标记包含不感兴趣的像素或体素的3d光标1712。此外，感兴趣的细分像素(或体素)(即，脑肿瘤1708的增强成分和脑肿瘤1710的非增强成分)可以用术语进行标记(例如，“多形性胶质母细胞瘤的增强成分”和“多形性胶质母细胞瘤的增强成分”)和加权因子(例如，经活检和病理证实为100％)。

图18示出了结合放射医师辅助机器学习的图像标记和术语分配。在该图中，获得了三种不同的大脑mri序列。左上方是扩散加权图像1800。左中是对比后t1加权图像1802。左下方是t2加权flair图像1804。扩散图像上的关键像素已由放射医师1806标出，分配了具有关联的确定性级别(即存在95％的确定性，即标记的像素代表真实的“中心限制扩散”)的成像发现术语(即“中央限制扩散”)，分配了诊断术语(即“脑部脓肿”，其具有基于影像学术语发现的相关确定性水平(即，在文献中，据报道，“中央受限扩散”影像学发现对“脑脓肿”的诊断的敏感性和特异性分别为96％和96％)。类似地，由放射医师1808在造影剂t1加权后的图像上标记关键像素，并为其分配成像发现术语(即“周边增强”)，其具有相关的确定性水平(即，有99％的确定性对比后t1加权mri上的像素代表真正的“周边增强”)，并为其分配了具有相关确定性级别的诊断术语(即“脑脓肿”)，其是根据成像术语发现(例如，在文献中，各种情况可导致周边增强，包括脑转移瘤、脑脓肿、神经胶质瘤、梗塞、挫伤、脱髓鞘疾病和放疗后变化；因此，特异性低。经验丰富的放射医师共识小组可以帮助填补文献中没有数据的空洞精确的敏感性和特异性。)。最后，由放射医师1810在t2加权的flair图像上标记关键像素，并为其分配成像发现术语(例如，“周围血管性水肿”)，并具有相关的确定性水平(即，放射医师确定t2加权flair图像上的标记像素代表真正的“周围血管性水肿”具有90％的确定性)，并为其分配诊断术语(即“脑脓肿”)，其具有基于影像学术语发现(例如，在文献中，各种各样的情况都可能引起血管性水肿，包括脑脓肿、挫伤等。因此，该成像发现是非特异性的。然而，由于脑脓肿在脑中引起炎症反应，因此具有血管性水肿极为普遍，并且血管性水肿对脑脓肿的诊断敏感性很高。)的相关的确定性水平。最后，将相关的临床数据(例如白细胞计数、生命体征等)1812放置到虚拟桶132中。在通过神经外科手术确认可疑诊断为脑脓肿之后，影像检查、3d光标、标记和可以将相关的临床数据添加到疾病特定病理学的数据库中，该数据库可以用于完善机器学习和人工智能算法。

图19示出了一组建议的标准，其中ai确定成像检查是否需要放射医师的审查。请注意，可以想象，在不久的将来，ai在宣布正常发现时可能会非常准确。在这些情况下，审查的过程(从图3更新)可能由ai和/或cad算法组成，不需要放射医师进行审查。但是，在当前状态下(其中ai并未达到100％的检测率)，所有情况都将传递给放射医师。该系统可以被设计为使得当ai和/或cad审查得出结论未发现异常1902，或者存在以高度确定性分类的良性发现1904时，或自从先前的诊断检查1906以来，存在没有改变的重大发现是，不提示放射医师进行审查1900。可以使第一例的每个因素取决于高度的确定性，患者就诊原因的信息和/或会引起怀疑的医疗记录中的信息。如果满足指定条件，则该系统不需要放射医师进行审查。在所有其他情况1910下，提示放射医师审查1908。例如，放射医师会审查具有中等确定性的任何发现。另一个示例是特定诊断的异常发现将由放射医师进行审查。另一个例子是放射医师会对具有差异诊断的异常发现进行审查。ai和/或cad执行初步诊断，并使用决策标准来确定哪些病例将接受放射医师审查。可应用的两个因素是：ai和/或cad发现的危险程度和确定性程度。所有危险病例都提供给放射医师，以供进一步审查。任何高度确定性的良性病例都不会送交放射医师审查。其他组合将是医疗机构的政策事项。但是，除非ai和/或cad已被证明对于中性发现特别可靠，否则将这些病例转交给放射医师是谨慎的。迄今为止，对ai和/或cad结果的审查表明不同身体部位的准确性不同，因此，在应用检查清单时，不同程度的确定性将伴随着不同的身体部位。

图20示出了深度学习算法中放射医师图像标记和3d光标的利用。在第一行中，可以将大脑2000的单个轴向mri图像或大脑112的堆栈轴向mri图像输入到由隐藏层2001组成的深度学习算法中，以生成具有显示相关的等级顺序或概率的前三个(或更多)的差异诊断输出2003。在第二行中，可以将带有放射医师标记的一些像素以及相关术语和加权因子2008的大脑单个轴向mri图像或大脑2009标记的轴向mri图像堆栈输入到一个深度学习算法中，该算法包括隐藏层2010的层数，以生成具有显示相关的等级顺序或概率的前三个(或更多)的差异诊断输出2011。在第三行中，示出了大脑2008的单个轴向mri图像，其中3d光标标记了成像发现。可以将封装了子体积2009的3d光标输入到由隐藏层2010组成的深度学习算法中，以生成输出2011，其具有显示相关的等级顺序或概率的前三个(或更多)的差异诊断。在第四行中，放射医师使用3d光标和图像标记显示了大脑2012的单个轴向mri图像。可以将封装了子体积2013的3d光标输入到由隐藏层2014组成的深度学习算法中，以生成输出2015，其具有显示相关的等级顺序或概率的前三个差异诊断。放射医师可以自行决定采用单一方法还是组合方法(通过求平均值)，以确定其他/她的报告中最终报告的等级列表。例如，可以选择两种方法(例如，使用未标记图像集的顶行算法和使用标记图像集和子体积的底行算法)。通过对脓肿(85％的概率)和肿瘤(15％的概率)进行差异诊断，可以为未标记图像集方法赋予1/3加权因子。通过对脓肿(95％的概率)和肿瘤(5％的概率)进行差异诊断，可以为放射医师标记的子体积方法给予2/3加权因子。因此，放射医师报告中报告的合并概率为脓肿概率91.7％和肿瘤概率8.3％。