从图像提取信息以及将信息包括在临床报告中的制作方法

以下内容总体上涉及从图像提取信息以及将所提取的信息包括在对应于所述图像的临床报告中。合适的图像的范例是由成像系统生成的图像，所述成像系统例如为超声(US)成像系统、计算机断层摄影(CT)成像系统、X射线成像系统、磁共振(MR)成像系统、正电子发射断层摄影(PET)成像系统、单光子发射计算机断层摄影(SPECT)成像系统和/或其他成像系统。

背景技术：

图1示出了范例图像102。通常，图像102包括两个单独的区域104和106。区域104是医学图像显示区域，而区域106是信息显示区域。在图示的范例中，医学图像显示区域显示具有被重叠在图像上的叠加图中的注释(图1中的图形，但也能够包括文本)的超声图像108。注释包括标记对110/112和114/116，其识别用于其间的距离测量的端点。在图1中，距离与图像中表示的病变的短轴和长轴有关。

信息显示区域106显示关于图像、成像流程、成像设施、成像装置、患者、图像中测量的参数等的字母数字信息。例如，在图示的实施例中，该信息包括像素强度窗口和水平设定118、流程类型120和122、医院名称124、超声成像帧速率的频率126、被扫描患者的侧面128、距离测量结果130和132(基于标记对110/112和114/116)，以及测量类型134和136和单元138和140。其他图像包括更少或更多信息、位于不同区域中的信息等。

阅读的临床人员可以想要包括对应于图像的临床报告中的一些或所有注释和/或字母数字信息，其形式为电子格式文件。在不容易获得注释和/或字母数字信息(例如，不被包括在DICOM标头中、不被包括在命令条/文件中、不以由查看/报告系统可读的格式等)的实例中，如果需要的话，生成或更新具有注释和/或字母数字信息的临床报告的人员必须手动输入注释和/或字母数字信息。

然而，注释和/或字母数字信息的手动输入要求用户看着图像102，记住和/或写下感兴趣的注释和/或字母数字信息，看着运行软件应用的报告生成，并且然后将注释和/或字母数字信息添加到报告中。遗憾地是，例如，在阅读的医生或其他医学人员将文本注释和/或字母数字信息添加到临床报告种的情况下，该过程会冗长并且耗费时间，该时间原本能够花费在患者上和/或阅读其他图像上。

技术实现要素：

在本文中所描述的各方面解决了以上提到的问题和其他问题。

下文描述了查看/报告系统从图像提取信息并将所提取的信息并入对应的报告中的方法。

在一个方面中，一种方法包括以电子格式获得包括医学图像显示区域和信息显示区域的图像。所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释或字母数字信息中的至少一个的图形标识。所述方法还包括评价图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的图形标识的像素。所述方法还包括从来自所述图像的所识别的图形标识中提取所述感兴趣的注释或字母数字信息。所述方法还包括将所提取的感兴趣的注释或字母数字信息插入到针对所述图像的电子格式的临床报告中。

在另一方面中，一种计算系统包括具有指令的计算机可读存储介质，所述计算机可读存储介质包括信息提取模块和报告生成/编辑模块。所述计算系统还包括运行所述指令的处理器。响应于运行所述指令，所述处理器以电子格式获得包括医学图像显示区域和信息显示区域的图像。所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释或字母数字信息中的至少一个的图形标识。响应于运行所述指令，所述处理器还评价所述图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的图形标识的像素。响应于运行所述指令，所述处理器还从来自所述图像的所识别的图形标识中提供所述感兴趣的注释或字母数字信息。响应于运行所述指令，所述处理器还将所提取的感兴趣的注释或字母数字信息插入到针对所述图像的电子临床报告中。

在另一方面中，一种计算机可读存储介质被编码具有计算机可读指令。当由处理器运行时，所述计算机可读指令令所述处理器：以电子格式获得包括医学图像显示区域和信息显示区域的图像。所述医学图像显示区域或所述信息显示区域中的至少一个包括表示注释或字母数字信息中的至少一个的图形标识。当由所述处理器运行时，所述计算机可读指令还令所述处理器：评价所述图像的像素，以识别包括表示所述图像中的感兴趣的注释或字母数字信息的所述图形标识的像素。当由所述处理器运行时，所述计算机可读指令还令所述处理器：从来自所述图像的所识别的图形标识中提取感兴趣的注释或字母数字信息。当由所述处理器运行时，所述计算机可读指令还令所述处理器：将所提取的感兴趣的注释或字母数字信息插入到针对所述图像的电子临床报告中。

附图说明

本发明可以采用各种部件和部件的布置，以及各种步骤和步骤的安排的形式。附图仅用于图示优选实施例，并且不应被解释为限制本发明。

图1图示了具有注释和/或字母数字信息的图像。

图2示意性地图示了与多个成像系统和数据资源库相连接的范例查看/报告计算装置。

图3图示了用于从图像中提取注释和/或字母数字信息并将所提取的注释和/或字母数字信息包括在对应于所述图像的临床报告中的范例方法。

图4图示了用于从图像的标识中提取病变短轴和长轴的数字测量值并将所提取的数字测量值包括在对应于所述图像的临床报告中的范例方法。

图5示意性地图示了不包括某些数字值的临床报告。

图6示意性地图示了在从图1的图像中提取某些数字值并将其包括在报告中之后的图5的临床报告。

图7示意性地图示了不包括某些数字值或其测量单位的临床报告。

图8示意性地图示了在从图1的图像中提取某些数字值及其测量单位并将其包括在报告中之后的图7的临床报告。

图9示意性地图示了不包括某些数字值、其测量单位或测量类型的临床报告。

图10示意性地图示了在从图1的图像中提取某些数字值、其测量单位和测量类型并将其包括在报告中之后的图9的临床报告。

具体实施方式

初始参考图2，示意性地图示了系统200。系统200包括与数据资源库204和N个成像系统206相连接的查看/报告计算装置202，其中，N为等于或大于1的整数。在所图示的实施例中，查看/报告计算装置202从成像系统206和/或数据资源库204中接收电子格式的图像。所述图像包括具有灰度值和/或彩色强度值的像素以及被印入图像或被覆盖在图像上的注释和/或字母数字信息。

N个成像系统206包括以下中的一个或多个：超声(US)扫描器206₁、计算机断层摄影(CT)扫描器206₂、磁共振(MR)扫描器206₃、单光子发射计算机断层摄影(SPECT)扫描器206₁、……，以及正电子发射断层摄影(PET)扫描器206_N。数据资源库204包括以下中的一个或多个：图片存档及通信系统(PACS)、放射科信息系统(RIS)、医院信息系统(HIS)、电子病历(EMR)、数据库、服务器、成像系统和/或其他数据资源库。

查看/报告计算装置202例如是计算机，例如，台式计算机、笔记本电脑和/或其他计算机。正因如此，查看/报告计算装置202包括处理器208(例如，中央处理单元或CPU、微处理器等)。查看/报告计算装置202还包括输入部/输出部(I/O)210，所述输入部/输出部便于至少(一个或多个)输出设备212(例如，显示监视器、电影放映机等)、(一个或多个)输入设备214(例如，鼠标、键盘、触摸屏的触摸敏感区域等)与网络216的通信。

查看/报告计算装置202还包括计算机可读存储介质218，其排除瞬态介质(例如，物理存储器)和/或其他非瞬态存储器。计算机可读存储介质218存储计算机可读指令220和数据222。处理器208运行被存储在计算机可读存储介质218中的计算机可读指令220。处理器208也能够运行由信号、载波和其他瞬态(即，非计算机可读存储)介质承载的计算机可读指令。

在所图示的范例中，指令218包括至少信息提取模块224和报告生成/编辑模块226。数据222包括至少搜索标准228、搜索区域230、提取区域232和报告(包括)规则234。如在下文中更加详细地描述的，信息提取模块224基于搜索标准228和搜索区域230来定位包括来自接收到的图像的至少感兴趣的注释和/或字母数字信息的标识，并且报告生成/编辑模块226基于报告规则234将所提取的注释和/或字母数字信息插入到针对图像的临床报告中。

图3图示了从图像中提取注释和/或字母数字信息并将所提取的注释和/或字母数字信息包括在对应于所述图像的临床报告中的范例方法。

应当意识到，不限制所述方法中的动作的排序。正因如此，在本文中预期其他排序。另外，可以省略一个或多个动作和/或包括一个或多个额外的动作。

在302处，获得包括感兴趣的注释和/或字母数字信息的(一幅或多幅)图像。

如在本文中所讨论的，在查看/报告计算系统202处将图像接收为以电子格式的(一个或多个)文件，并且注释和/或字母数字信息是图像的部分，并且不是分开的数据。

在304处，评价图像的像素的集合，以基于搜索标准228和搜索区域230来识别包括感兴趣的注释和/或字母数字信息的像素。例如，使用诸如字符辨识、组分模型、基于学习的分类器的模板映射方法和/或其他方法来识别像素。

搜索标准228在每个集合中识别要搜索的标识以及像素的数目和像素组。例如，在使用字符辨识的情况下，搜索标准228是字母数字字符，并且像素的集合可以个体像素、像素串(例如，10个连续像素等)或二维像素块(例如，5x5、10x2等)。例如，要搜索的标识是预定默认的和/或用户定义的。对于后者，例如，用户在搜索之前定义标识和/或在搜索时提供标识。在一个实例中，像素的集合对图像是通用的。然而，在变型中，像素的集合考虑图像分辨率。

搜索区域230识别图像内的要搜索的子区域。在一个实例中，所识别的子区域覆盖整个图像。在另一实例中，所识别的子区域覆盖小于整个图像，例如，仅为显示注释和/或字母数字信息的区域。在一个范例中，子区域是图像中显示医学图像的区域的仅外部的子区域。在又一范例中，子区域是图像的仅显示的医学图像。

在306处，基于提取区域232从所识别的像素中提取感兴趣的注释和/或字母数字信息数据。

例如，提取区域232可以指示仅包括标识的像素被提取。这非常适合于搜索标准包括感兴趣的注释和/或字母数字信息数据的情形。在另一范例中，提取区域232可以指示仅在包括标识的像素之前的预定数目的像素被提取。这非常适合于搜索标准包括遵循感兴趣的注释和/或字母数字信息数据的标识的情形。

在又一范例中，提取区域232可以指示仅在包括标识的像素之后的预定数目的像素被提取。这非常适合于搜索标准包括在感兴趣的注释和/或字母数字信息数据之前的标识的情形。在又一范例中，提取区域232可以指示在包括所述标识的像素之前、之后的像素和/仅包括包含所述标识的像素的像素被提取。之前的像素和之后的像素的数目能够是相同的或不同的。在本文中也预期其他方式。

在308处，所提取的注释和/或字母数字信息被包括在对应于所述图像的电子格式的临床报告中。

如在本文中所讨论的，基于报告规则234来包括注释和/或字母数字信息。在一个实例中，报告规则234识别报告中的预定位置。在另一实例中，报告规则234将注释和/或字母数字信息插入在用户识别的位置处。在一个实例中，报告规则234指示注释和/或字母数字信息中的数字子部分或字母子部分被包括在报告中。

在310处，具有包括的所提取的注释和/或字母数字信息的临床报告被保存到计算机可读存储介质，经由显示监视器来显示，被打印到纸上，(以电子格式)被传递到另一设备，等。

可以借助于被编码或嵌入在计算机可读存储介质上的计算机可读指令来实施以上方法，当由(一个或多个)计算机处理器运行时，所述计算机可读指令令所述(一个或多个)处理器执行所描述的动作。额外地或备选地，由信号、载波或其他瞬态介质来承载计算机可读指令中的至少一个。

接下来，结合图1和图4-10来描述特定范例。正如图3，图4的动作的排序是非限制性的，使得在本文中预期其他排序。另外，可以省略一个或多个动作和/或可以包括一个或多个额外的动作。

在该范例中，基于标记对110/112和114/116来测量经由在图1的显示区域104中显示的超声图像108的像素所表示的病变的短轴和长轴，并且表示所述测量结果的标识被放置在图像上，并且后续被提取并包括在临床报告中。通常，病变可以涉及疾病，例如，癌症。病变的尺寸影响诊断；大尺寸通常涉及恶性的病变。病变尺寸的准确测量用于临床诊断、疾病进展和治疗管理决策。

参考图4，在402处，搜索标准22(图2)指示如何分析图像。例如，在一个实例中，整个图像被逐个像素分析，直到感兴趣的图形标识经由字符辨识和/或其他方式被定位。在变型中，两个或更多个像素组被分析，直到感兴趣的标识被定位。在变型中，仅分析图像显示区域104外部的区域106。在另一变型中，仅分析图像102的子部分(例如，左下角四分之一)。

例如，在又一实例中，在感兴趣的标识被重叠在图像108上的情况下，仅分析图像显示区域104。在404处，搜索标准228(图2)指示要由信息提取模块224(图2)提取的信息。在所图示的范例中，搜索标准228包括表示感兴趣的数字值的单位的字母字符。在该实例中，搜索标准为“mm”、“cm”和/或其他单位，使用缩写(如所示)或完整字句。

额外地或备选地，搜索标准228包括表示测量类型的字母字符。该数据的范例包括“距离”、“面积”、“体积”、“标准”、“变化”和/或其他测量类型，使用缩写(如图1所示)或完整字句。在变型中，搜索标准228包括用于在视觉上识别标记110、112、114和116的字符，所述标记被叠加在图像108上并且连同表示数字值的标识一起被包括。在所图示的范例中，字符将是和

一旦基于搜索标准228和搜索区域230识别了像素组，在406处，从图像102中提取数字值。在搜索标准为“cm”的情况下，在搜索标准之前的至少预定数目的像素被提取。在所图示的范例中，预定数目的像素将确保数字值130和/或132被提取。在搜索标准为“距离”的情况下，在搜索标准之后的至少预定数目的像素被提取。在所图示的范例中，预定数目的像素将确保数字值130和/或132被提取。

在搜索标准是数字位数(例如，0、1、2、……、9等)的情况下，覆盖搜索标准的至少预定数目的像素被提取。在所图示的范例中，同样地，预定数目的像素将确保数字值130和/或132被提取。在所有这三个范例中，能够进一步提取在预定数目的像素之前和/或之后的额外像素。在本文中也预期包括以上三种方法的组合的其他方法。

在408处，基于报告规则232，所提取的数字值被并入针对图像的电子格式的临床报告。结合图5、图6、图7、图8、图9和图10，示出了若干范例。电子格式报告中的位置能够是预定的(如所示)和/或基于用户选择的位置。利用预定位置，字符辨识能够用于将字句定位到期望位置的左侧和右侧。

图5和图6示出了报告中仅数字值被插入到报告中的子部分中。图7和图8示出了报告中数字值和测量单位被插入到报告中的子部分中。图9和图10示出了报告中数字值、测量单位和测量类型被插入到报告中的子部分中。图5、图7和图9表示包括感兴趣的字母数字数据之前的报告，并且图6、图8和图10表示包括感兴趣的字母数字数据之后的报告。

已经参考优选实施例对本发明进行了描述。在阅读和理解上述详细描述后，他人可以进行修改和变型。本发明旨在被解释为包括所有这样的修改和变型，只要它们落入权利要求或其等价方案的范围内。