用于临床智能的无缝工作流程集成和编排的系统和体系结构的制作方法

pacs(影像归档和通信系统)通过使工作流程更高效而彻底改变了放射科医师的工作方式。这允许放射科医师以更快的速度读取越来越多量的研究。此外，改进的工作流程效率已经实现关键发现的更快报告、降低的重新扫描率、成像扫描的更多的均匀性、更清晰的可操作报告、增强的患者体验以及报销的改善。pacs可以为放射科医师提供甚至更多益处。

不管放射学工作流程的改进，对于放射科医师而言，针对患者的成像检查或研究的读取仍然能够是困难且耗时的过程。在一些情况下，放射科医师花费大量时间找到相关的患者检查，在图像处理应用中选择适当的应用，等待应用程序完成计算，记录关键结果发现(例如，测量结果)，并且将相关信息输入到放射学报告中。因此，仍有改进的空间。

公知地，放射学检查中的个体病变的检测、定量、表征和诊断受到实质的评估者内变异性和甚至更实质的评估者间变异性的影响。这些观察结果不利地影响放射学作为精确科学的认知，并且更具体地，可能会降低咨询医师对他/她的选择的放射部门的服务的满意度。以下示范性实施例试图解决这些问题。

技术实现要素：

一种用于确定读取医学图像的用户的期望动作的方法。所述方法包括检索和显示要由用户读取的图像，响应于所显示的要读取的图像而经由处理器接收用户的背景线索，经由处理器将背景线索映射到用户意图，并且经由处理器基于用户意图来生成动作。

一种用于确定读取医学图像的用户的期望动作的系统。所述系统包括显示要由用户读取的图像的显示器以及处理器，所述处理器响应于所显示的要读取的图像而接收用户的背景线索，经由处理器将背景线索映射到用户意图，并且经由处理器基于用户意图来生成动作。

一种用于向用户提供背景解释支持建议的方法。所述方法包括响应于显示的图像而从用户接收背景线索，并且将图像的序列规范化到受控的序列名称命名上。该方法还包括在多个成像检查中的至少一个的序列上登记成像切片，并向用户提供上下文病变解释支持建议。

附图说明

图1示出了根据示范性实施例的系统的示意图。

图2示出了图1的系统的另一示意图。

图3示出了根据另一示范性实施例的系统的示意图。

图4示出了根据示范性实施例的方法的流程图。

图5示出了根据示范性实施例的系统的示意图。

图6示出了根据示范性实施例的方法的流程图。

图7示出了包括病变注释的第一示范性图像的屏幕截图。

图8示出了包括病变表征信息的第一示范性图像的屏幕截图。

图9示出了包括针对病变的恶性预测的第一示范性图像的屏幕截图。

图10示出了包括表征和诊断病变的句子的第一示范性图像的屏幕截图。

图11示出了包括病变测量结果的第二示范性图像的屏幕截图。

图12示出了包括病变上的3d交叠的第二示范性图像的屏幕截图。

图13示出了包括病变的图像的交叉序列的第二示范性图像的屏幕截图。

图14示出了发现和预定答案的交叉序列可视化的第三示范性图像的屏幕截图。

具体实施方式

可以参考以下描述和附图进一步理解示范性实施例，其中，相似的元件以相同的附图标记指代。示范性实施例涉及用于工作流程集成和编排的系统和方法。具体地，示范性实施例描述了引导要在成像系统工作站或pacs工作站上读取的图像的系统和方法，其中，可以使用用户的背景线索来确定要由系统采取的期望动作。

高级图像处理(aip)和自动临床智能(ci)是放射科医师和其他医学专业人员的高度有用的工具。然而，其至少具有两个不同的问题。第一个问题是缺乏工作流程集成。具体地，aip由于其计算密集性质而通常从专用工作站执行，因此在没有以下操作的情况下不能够咨询专用工作站：放射科医师物理切换办公桌，登录，找到相关的患者检查，在aip环境中选择适当的应用，等待应用完成计算，记录关键结果发现(例如，测量结果)，物理移回常规工作站，并且最终将相关信息复制到放射学报告中。

第二个问题是观察者的变异性。具体地，如本领域技术人员已知的，放射学检查中的个体病变的检测、定量、表征和诊断经受实质的评估者内变异性和甚至更实质的评估者间变异性。这些观察结果不利地影响放射学作为精确科学的认知，并且更具体地，可能会降低咨询医师对所选的放射部门的服务的满意度。

下面讨论的示范性实施例提供了对aip的这些和其他问题的解决方案。因此，示范性实施例编址缺乏工作流程集成和观察者变异性的问题并解决它们，这些问题是根源于计算机技术的问题。

如图1和图2所示，根据本公开的示范性实施例的系统100确定要由读取患者身体分段的图像的用户采取的期望动作。系统100包括服务器102和用户工作站104，用户工作站104包括例如显示器106和用户接口108，以及处理器110。服务器102还可以包括处理设备112以及存储器120，处理设备112包括各种程序和/或引擎，例如，医学数字成像和通信(dicom)路由器114、状态聚合器116和工作流程编排引擎118。尽管服务器102被示出和描述为连接到单个用户工作站104，但是本领域技术人员将理解，服务器102可以连接到任何数量的工作站104，可以由用户在所述工作站上查看要读取的图像。

处理器110可以被配置为执行服务器102的多个应用程序。例如，应用程序可以包括与工作流程编排引擎118相关联的功能。应当注意，被描述为由处理器110执行的应用(例如，程序)的上述应用仅是示范性的。与应用相关联的功能还可以被表示为用户工作站104的单独的并入部件，或者可以是耦合到用户工作站104的模块化部件，例如具有或不具有固件的集成电路。例如，处理器110可以是包括解释和执行馈送到系统100的电信号所必需的电路的硬件部件。处理器的范例包括中央处理单元(cpu)、控制单元、微处理器等。电路可以被实施为集成电路、专用集成电路(asic)等。可以在用户工作站104的这些或其他配置中的任一个中实施示范性实施例。

存储器布置120可以是被配置成存储与由工作站104和/或服务器102执行的操作有关的数据的硬件部件。例如，存储器布置120可以存储与用户接口108或工作流程编排引擎118的功能有关的数据。存储器布置120可以是任何类型的半导体存储器，包括易失性和非易失性存储器。非易失性存储器的范例包括闪速存储器、只读存储器(rom)、可编程rom(prom)、可擦prom(eprom)和电可擦除prom(eeprom)。易失性存储器的范例包括动态随机存取存储器(dram)和快速cpu高速缓冲存储器，其通常是静态随机存取存储器(sram)。

显示器106可以是被配置为向用户示出数据的硬件部件。显示器106可以是例如液晶显示器(lcd)设备、发光二极管(led)显示器、有机led(oled)显示器、等离子体显示板(pdp)等。本领域技术人员将理解，用户接口108和显示器106的功能可以实施在单个硬件部件中。例如，触摸屏设备可以用于实施显示器和用户接口108两者。

dicom路由器114可以接收要读取的图像，将图像发送到影像归档和通信系统(pacs)，并通知工作流程编排引擎118。pacs可以是在用户(例如放射科医师)职责上帮助他们并允许他们跟上不断增加的工作量的工作站。具体地，pacs提供对患者研究的访问，包括例如患者的放射历史，包括诊断报告、检查记录、临床病史和图像。此外，pacs具有简化和加速工作流程的功能，以在查看大量患者研究时优化用户的生产率，以便保持成本效益和效率。

由dicom路由器114接收的图像可以例如被路由到临床pacs130和预处理pacs132两者。临床pacs130存储要读取的图像，直到用户检索它们用于读取。预处理pacs132可以例如识别图像类型(例如，ct、mri)和在要读取的图像中成像的身体分段(例如，肺、脑)。这可能帮助流线化工作流程过程。状态聚合器116通过例如应用编程接口(api)从一个或多个医学存储库(例如，emr(电子医学记录)、放射科信息系统、pacs和/或临床数据馈送)提取可能与要读取的图像有关的患者信息。状态聚合器116可以提取信息，例如人口统计信息、主动诊断、个人和家庭风险因子、先前手术事件、药物、过敏等。要读取的图像和任何对应的信息，诸如图像类型、身体分段和患者信息，可以存储到存储器120中。

工作流程编排引擎118可以使用例如用户意图检测引擎122、aip(高级图像处理)引擎124和ci(临床智能)引擎126来监视和解释读取图像的用户(例如，放射科医师)的背景线索。用户意图检测引擎118接收用户的背景线索并将它们映射到一个或多个用户意图，例如“获取体积量化”，“获取解剖位置”，“获取该检查的其他序列的该感兴趣区域的视图”，以及“在相关的先前检查中获取该感兴趣区域的视图”。aip引擎124可以包括例如智能注释、病变表征、个性化cadx和解剖学感知引擎，如图2所示，这可能提供，例如，自动病变检测、自动病变表征、自动病变分割、自动解剖结构分割、自动异常检测和/或自动多序列配准。ci引擎126可以包括例如自动风险计算引擎、自动指南引擎、自动诊断引擎、自动报告内容生成以及类似情况的自动检索。工作流程编排引擎118可以接收由用户意图检测引擎118识别的用户意图目标，并且经由基于规则的逻辑起始一个或多个api和/或ci引擎124、126，这还将在下面详细描述。可以将这些规则存储到存储器120。

用户工作站104可以是个人计算设备，如上所述，其包括用于查看要读取的图像的显示器106和可以用于向工作流程编排引擎116提供背景线索的用户接口108。用户可以在用户工作站登录，提从而供与专业简档相关联的用户认证信息，包括诸如专业和/或资历的信息。用户认证信息可以用于存储特定用户偏好和/或为每个用户定制预测的期望动作。在一些实施例中，用户的专业或资历可用于起始特定ci引擎126以提供决策支持。例如，在用户被识别为初级教员的情况下，服务器102可以起始自动指南和/或诊断引擎以帮助提供适当的诊断或图像读取从而解决用户的经验缺乏。

用户可以使用用户接口108登录并提供背景线索，用户接口108可以包括输入设备，例如键盘、鼠标、显示器106上的触摸显示器和/或眼睛移动跟踪设备。尽管示范性实施例将背景线索描述为经由鼠标使用生成，但是本领域技术人员将理解，可以以各种方式中的任何方式生成背景线索，包括例如经由手势的眼球跟踪和/或眨眼。处理器110与服务器102通信以检索和显示要读取的图像，操纵要读取的图像，提供背景线索，在放射学报告中包括发现，等等。

经由例如用户工作站104的用户接口108生成的背景线索被提供给工作流程编排引擎118，工作流程编排引擎118接收用户意图目标并协调一个或多个aip和/或ci引擎124、126。如上所述，引擎的动态排序可以由基于规则的逻辑驱动。基于规则的逻辑的范例可以为如下。如果确定用户意图是“获取体积量化”，则检索最接近由用户接口108(例如，鼠标设备)选择的体素的病变的三维分割。如果确定用户意图是“标注病变”，则检索鼠标设备的解剖位置并将输出汇集到智能注释ci引擎中。如果智能注释cu的输出等于“结节”并且解剖位置等于“肺”，则运行肺结节分割aip引擎或在其已经在预处理模式下运行的情况下检索其输出。如果发现被标注为“结节”并且解剖位置等于“肺”，则从状态聚合器116检索吸烟状态和年龄，并将这些作为输入值馈送到后续推荐引擎。如果发现被标注为“结节”，解剖位置等于“肺”并且用户意图是“确定恶性风险”，则从状态聚合器116检索年龄和吸烟状态，从适当的aip引擎124检索毛刺表征和肺气肿检测信息并将它们馈送给风险模型。本领域技术人员将理解，以上概述的规则仅是示范性的，并且可以设立任何数量的规则以模仿用户的决策/诊断过程或遵循行业内的公认指南。此外，尽管示范性实施例具体描述了肺结节的诊断和读取，但是本公开的系统和方法可以用于读取/诊断各种各样的身体分段和图像类型中的任何病变/结节。

一旦用户的背景线索已经产生了用户的预测的期望动作，用户可以修改结果，接受结果或拒绝结果。接受或拒绝结果可以向服务器102指示工作流程编排引擎118是否正确地确定/预测了用户的期望动作。每个用户系统对话(其可以包括背景线索、导出的用户信息、从状态聚合器116检索的状态信息、由aip引擎124计算的图像信息、由ci引擎126计算的决策支持和/或响应于所显示的决策支持的用户动作)可以存储到存储器120中的先前用户机器对话数据库134。

根据另一示范性实施例，系统100还可包括机器智能层128，机器智能层128访问存储在存储器120中的先前用户系统对话以使用机器学习技术训练系统100。机器智能层128可以被包括在工作流程编排引擎118中，如图3所示。机器智能层128可以预测正面的用户响应以确定系统100是否正确地预测用户的期望动作和/或向用户提供适当的决策支持。例如，在用户接受由工作流程编排引擎118预测的动作的情况下，机器智能层128将接受解释为正面的用户响应。如果用户拒绝预测的动作，则机器智能层128可以将拒绝解释为负面的用户响应。工作流程编排引擎118可以基于用户正/负响应来改变预测的动作和/或提供的决策支持。

备选地，在另一个实施例中，每个引擎(例如，aip引擎124、ci引擎126)可以包括其自己的机器智能层，如图2所示。该机器智能层可以被优化以基于背景线索和引擎本身的初始输出来预测关于个体引擎的输出的用户反馈。当应用于一系列背景线索和引擎的初始输出时，机器智能层的结果能够与引擎的输出不同。在这种情况下，机器智能层可能会否决原始引擎。

图4示出了根据示范性实施例的方法200，以用于基于由用户在读取图像时提供的背景线索来预测期望的用户动作。在步骤210中，dicom路由器114在用户检索和读取之前将要读取的图像引导到例如临床pacs130以进行存储，并通知工作流程编排引擎118图像已被存储并准备好被读取。dicom路由器114还可以将要读取的图像引导到预处理pacs，使得在步骤220中可以针对要读取的图像中的每幅识别图像类型和被成像的身体分段。在步骤230中，状态聚合器116还可以针对要读取的图像中的每幅提取相关的患者信息。如上面关于系统100所描述的，患者信息可以包括例如人口统计信息、主动诊断、个人和家庭风险因子、先前手术事件、药物、过敏等。

一旦已经处理了要读取的图像，如上所述，用户可以在步骤240中检索要读取的图像之一，使得在显示器106上显示要读取的图像。如上所述，用户可以登录到用户工作站104，使得可以包括认证信息的用户简档也可用于工作流程编排引擎118。在图像的读取期间，在步骤250中用户可以经由用户接口108向服务器102提供背景线索。可以由工作流程编排引擎118连续监测背景线索。在步骤260中，用户意图检测引擎122将检测到的背景线索映射到用户意图。例如，当用户将他/她的鼠标指针悬停在所显示图像上的感兴趣区域中的病变上时，用户意图检测引擎122可以确定用户的意图是标注病变。在另一范例中，当用户通过例如跨病变的宽度绘制线来测量病变时，用户意图检测引擎122可以确定用户的意图是获取病变的体积量化。

背景线索的额外的范例包括放大或缩小图像，点击图像，以及创建感兴趣的矩形区域。此外，鼠标或其他输入设备的移动可以作为线索被包括，具有预定的语义，类似于智能电话“扫掠”功能。在先进的实施例中，如果眼球跟踪器被安装，则眼睛移动可以被包括在背景线索的列表中。本领域技术人员将理解，可以为上述背景线索中的任何预先指定对应的用户意图。

在步骤270中，工作流程编排引擎118基于用户意图来生成动作。在确定用户的意图是标注病变的情况下，可以在图像上显示病变的注释。在步骤220中识别的图像类型和身体分段可以用于标注病变。例如，如图7所示，在图像被识别为肺的ct扫描的情况下，工作流程编排引擎118可以运行例如aip引擎124的智能注释引擎，其将病变识别为位于右肺下叶中的结节，并对病变进行注释。在另一范例中，如图8所示，在确定用户意图是获取病变的体积量化的情况下，工作流程编排引擎118可以运行aip引擎124的肺结节分割引擎，以在显示图像中的病变上方交叠3d体积，以确定病变的三维体积。可以在显示器106上显示所确定的三维体积以及病变的任何额外的可用特征信息(例如，相关患者信息、毛刺、节点计数)。

在另一实施例中，背景线索还可包括不由用户接口108(例如，鼠标)直接提供的线索。例如，可以使用可以在用户登录期间识别的用户的资历来生成决策支持动作。在一个范例中，如图9所示，在用户被识别为初级教员的情况下，工作流程编排引擎118可以运行ci引擎126的指南引擎以启动预测模型，例如，温哥华预测模型，估计针对肺部模块的恶性。使用先前获得的参数，例如由状态聚合器116识别的患者信息和确定的病变大小，指南引擎可以帮助确定病变的恶性。

在步骤280中，用户可以接受、拒绝或修改在步骤270中生成的动作。例如，在正确生成注释的情况下，用户可以接受所显示的注释。但是，如果用户认为注释不正确，则用户可以拒绝或修改注释。在另一个范例中，在病变上交叠的3d体积被认为是正确的情况下，用户可以接受交叠的体积。然而，如果用户认为交叠的体积不正确，则用户可以通过例如点击和拖动其部分来修改交叠体积的轮廓，以生成病变的更准确的三维量化。在又一范例中，在用户认为病变的预测恶性不正确的情况下，用户可以相应地拒绝或修改结果。如上面关于系统100所描述的，用户对所生成的动作的响应可以经由机器智能层128来解释，以“训练”关于用户相对于被读取的图像的期望动作的系统和方法。因此，在图像的将来的读取期间，系统和方法可以更准确地能够确定/预测用户的意图。

在必要时，可以重复步骤250至280，直到已经解释了用户的所有背景线索以生成对应的预测动作。例如，工作流程编排引擎118可以标注病变，确定图像的三维量化并在图像的单次读取期间提供病变的预测恶性。在一些实施例中，方法200可以在步骤290中基于先前的背景线索和/或生成的动作额外地预测用户期望的进一步动作。例如，工作流程编排引擎118可以预测用户可能期望将在读取图像期间导出的所有信息包括到针对图像的放射学报告中。在该范例中，工作流程编排引擎118可以生成并显示表征病变并提供诊断的句子，如图10所示。然后，用户可以将句子复制并粘贴到放射学报告中，或者如果适当的aip引擎就位，则句子可以直接导出以包括在放射学报告中。

尽管上文关于肺结节的ct扫描描述了方法200，但是本领域技术人员将理解，本公开的示范性系统和方法可以在读取各种图像类型和身体分段中的任何期间使用。在另一个范例中，系统100和方法200可以用于神经mri图像的读取。在该范例中，在步骤240中，用户检索要读取的图像，使得其显示在用户工作站104的显示器106上。在步骤210-230期间，该图像可能先前已被存储和处理以识别图像类型和身体分段，以及提取相关的患者信息。一旦图像已经被显示，如图11所示，在步骤250中，用户可以在显示的图像中所示的神经病变的2d平面中进行线性测量。在步骤260中，将该背景线索映射到获取神经病变的三维体积的用户意图。在步骤270中，在神经病变上生成3d体积交叠，如图12所示。在步骤280中，用户可以接受，拒绝或修改覆盖，基本上如上文关于肺结节所述。基于先前的背景线索和对应的生成的动作，在步骤290中，工作流程编排引擎118可以预测用户对检查病变交叉序列感兴趣并且生成跨图像的相关序列的配准的切片的条带，如图13中所示，以向用户提供图像背景。

如上文关于肺结节范例描述的，可以根据需要重复步骤250-280和/或250-290，直到已经生成并应用了用户的所有期望动作。尽管示范性实施例描述了自动确定/预测用户的期望动作，但是本领域技术人员将理解，用户还可以手动请求采取某些动作。

如图5所示，根据本公开的示范性实施例的系统300向用户提供背景解释支持建议。系统500包括服务器102和用户工作站104，包括例如显示器106、用户接口108和处理器110。在示范性实施例中也可以使用上面针对服务器102和用户工作站104描述的示范性硬件设备。服务器102还可以包括处理设备112，处理设备112包括各种程序和/或引擎，例如，工作流程编排引擎118、序列规范化引擎130、序列登记引擎132、背景病变解释支持引擎134和控制器引擎136。尽管服务器102被示出并描述为连接到单个用户工作站104，但是本领域技术人员将理解，服务器102可以连接到要读取的图像可由用户查看的任何数量的工作站104。此外，本领域技术人员将理解，系统300可以完全或部分地与系统100的程序和/或引擎集成。

工作流程编排引擎118可以经由例如用户工作站104的用户接口108提供生成的背景线索。在一个范例中，这可以是放射科医师在图像上标注病变。序列规范化引擎130可以将图像序列(或成像检查)规范化到受控的序列名称的命名上。在示范性实施例中，规范化过程可以考虑来自序列标题的信息。应当注意，例如，如果适当地配置机构的模态和/或用户已经接收适当的训练，则账户信息可以是可靠的。如果是这样，则规范化可以被实施为将序列标题名称映射到受控序列名称命名上的表。在另一示范性实施例中，可以利用来自dicom路由器114的参数设置。

序列配准引擎132可以跨多个成像检查中的至少一个的序列配准成像切片。例如，序列配准引擎132可以跨一个或多个不同mri检查的mri序列配准成像切片。在示范性实施例中，配准可以在pacs观察器中实施，例如由koninklijkephilipselectronicsnv提供的isite。在另一示范性实施例中，为了跨序列的更全局匹配，配准可以基于考虑整个图像体积。在另一个示范性实施例中，为了获得跨序列的更多局部匹配，配准可以基于图像中的病变。

背景病变解释支持引擎134可以控制解剖特异性问题的规则库。可以通过例如将规则库与结构化查找目标匹配的控制器实体来管理规则库，以确定应用的规则。控制器实体可以是例如控制器引擎136。当规则应用时，可以向用户询问(一个或多个)问题并请求完成结构化查找目标。在示范性实施例中，每个问题可以被标记为“建议”或“强制性”。这样一来，可以允许用户跳过问题或者可以不具有跳过问题的选项。本领域技术人员将理解，可以以任何期望的方式标记问题。

在另一示范性实施例中，规则库可以被组织为决策树。这能够是有利的，因为在任何给定时刻，仅应用一个规则。在规则被组织为规则集合的情况下，控制器引擎136可以优先化对哪个规则实例化。例如，控制器引擎136可以通过使用预定义的等级来优先化对哪个规则集合实例化。

可以基于给予先前问题的答案来确定问题中的每个。此外，问题中的每个还可以由病变的结构化注释的内容确定。例如，如果已经通过结构化查找目标中可用的注释提供了信息，则跳过可以由已经通过注释提供的信息回答的任何问题。实例化的规则可以基于先前输入的值来反映期望在任何结构化发现目标中存在的信息。在示范性实施例中，决策树可以具有决策节点。决策节点可以通过例如背景信息(诸如检查模态和解剖结构)来确定。

在另一示范性实施例中，如图14所示，向用户示出的问题中的每个可以伴随有发现的至少一个交叉序列可视化和至少一个预定答案。此处，例如，可以使用序列配准引擎132来配准被注释的发现，以在注释的感兴趣区域上生成最佳视图。

在另一示范性实施例中，可以利用信息按钮来生成背景材料。背景材料可以用例如结构化发现目标来索引。此外，背景材料可以提供相关信息的呈现。例如，背景信息可以显示正在增强的中等大小的脑肿瘤和不增强的另一中等大小的脑肿瘤。

图6示出了根据示范性实施例的方法400，其向用户提供背景解释支持建议。在步骤410中，用户接口108从用户接收对图像的背景线索。如上所述，背景线索可以是，例如，放射科医师在图像上标注病变。在步骤420中，序列规范化引擎130可以规范化图像的序列。在步骤430中，序列配准引擎132可以跨多个成像检查中的至少一个的序列配准成像切片。在步骤440中，背景病变解释支持引擎134可以向用户提供背景病变解释支持建议。如上所述，支持建议可以是解剖结构特异性问题的规则库。

应注意，权利要求可以包括根据pct细则6.2(b)的附图标记/数字。然而，不应认为本权利要求限于对应于附图标记/数字的示范性实施例。

本领域技术人员将理解，上述示范性实施例可以以任何数量的方式实施，包括作为单独的软件模块，作为硬件和软件的组合等。例如，状态聚合器116、工作流程编排引擎118、用户意图检测引擎122、aip引擎124和ci引擎126可以是包含代码行的程序，所述程序当被编译时，可以在处理器上执行。

对于本领域技术人员显而易见的是，可以对所公开的示范性实施例和方法以及备选方案进行各种修改，而不脱离本公开的精神或范围。因此，本公开旨在覆盖这些修改和变化，只要其落入权利要求及其等价方案的范围内。