对图像的临床相关性进行自动检测和测试的系统和方法
【专利摘要】本文中公开了用于对解剖情形下的图像的临床相关性进行自动检测的系统和方法。该方法包括：比较第一图像和第二图像并且确定第一图像与第二图像之间的差异是否是局部型差异和全局型差异中的至少一个。局部型差异是第一图像与第二图像之间的局部差异，全局型差异是第一图像与第二图像之间的全局差异。如果第一图像与第二图像之间的差异包括局部型差异，则确定第二图像具有临床相关性。
【专利说明】对图像的临床相关性进行自动检测和测试的系统和方法
【技术领域】
[0001]本发明涉及一种用于对解剖情形下的图像的临床相关性进行自动检测的方法与装置以及系统，具体地涉及一种使得能够更快地提供可靠的图像数据的方法与装置以及系统。
【背景技术】
[0002]在将从诸如X射线、CT、MRT/MRI的成像装置获取的图像数据例如用于导航或计算机辅助手术系统时，可以提供该图像数据作为视频信号。具有相关性的是，检测是否存在新图像，使得导航系统或计算机辅助手术系统可以根据需要使用新图像的新内容。
[0003]美国专利公开N0.2011/0058026描述了一种用于检测图像装置的状态的系统和方法。美国专利公开N0.2011/0058026描述了确定掩膜(mask)外部的图像范围的强度，使得当新触发的X射线装置照射解剖体而导致强度的突然增加时检测到新图像的出现。
【发明内容】
[0004]本发明提供了用于更快地提供可靠的图像数据的系统和方法。
[0005]应当注意的是，接下来所描述的本发明的示例性实施方式也涉及方法、装置、程序要素和计算机可读介质。
[0006]根据本发明的示例性实施方式，一种用于对由成像装置提供的解剖情形下的图像的临床相关性进行自动检测的方法，包括:获取解剖情形下的第一图像；获取解剖情形下的第二图像；比较并且确定第一图像与第二图像的差异；确定第一图像与第二图像之间的差异是否包括局部型差异和全局型差异中的至少一个，其中，局部型差异是第一图像与第二图像的局部差异，以及其中，全局型差异是第一图像与第二图像之间的全局差异，并且如果确定第一图像与第二图像之间的差异包括局部型差异，则确定第二图像具有临床相关性。
[0007]在手术过程中，具有临床相关性的图像是例如在手术进行中向外科医生提供新的或附加信息的图像。具体地，当提供一系列图像时，如果后续图像关于序列中的其间接或直接在前的图像具有附加的或新的信息，则认为该后续图像具有临床相关性。该附加信息例如可以是增加的植入物、植入物的改变的位置、改变的骨头或组织群集，其中，增加和改变均是相对于各自在前的图像而言的。该方法还可以包括在检测局部型差异之前检测全局型差异。具体地，如果全局差异超过特定的阈值，则可以确定临床相关性。在全局差异没有超过特定的阈值的情况下，可以检测局部差异类型。如果局部差异超过相应的阈值，则可以确定临床相关性。换句话说，根据示例性实施方式，如果全局差异超过特定的阈值，则可以检测到临床相关性，但是在全局差异没有超过特定的阈值的情况下，如果局部差异超过另一特定的阈值，则可以检测到临床相关性。
[0008]因此，该装置提供了不仅检查新的图像的出现而且检查是否存在新的图像内容的可能性。由于导航系统或计算机辅助手术系统重新计算植入物的实际状态和位置以及相应的解剖构造，例如在导航情形被更新之前每个新图像导致严重的延迟。然而，如果没有提供新图像，则不要求更新。为了这个目的，本发明的装置比较图像的内容以便确定差异。通常，例如在添加或者去除了噪声的情况下，可能发生全局差异，则重新计算对比度等。可以通过诸如X射线C形臂或MRT的成像装置来执行这样的计算或噪声降低。全局差异不是必须由图像内容的临床相关的变动而产生。因此本发明也考虑局部差异，如特定图像部分的变化。如果仅在特定位置发生明显的变化而未在其它位置发生明显的变化，则可以导致检测到图像内容的临床相关的变动。例如，如果植入物相对于骨头发生了移动，则除植入物位置外其余所有位置都改变。因而，可以根据局部差异检测到临床相关的变动。
[0009]根据本发明的一种示例性实施方式，当第一图像与第二图像的差异超过特定的阈值时，将其确定为差异。
[0010]因此，可以消除如轻微的噪声或微小强度采用的较小差异，而检测不到显著的相关性。任何低于阈值的差异都将被忽略。因而，例如像素误差等将不会导致检测到局部差异或全局差异。
[0011]根据本发明的一种示例性实施方式，比较并且确定第一图像与第二图像的差异包括:将第一图像和第二图像中的每个划分成相应的图像块并且比较相应的图像块，其中，每个图像块包括多个像素。
[0012]因此，可以基于图像块执行自动检测。这些图像块可以包括多个像素，并且可以小于整个图像。图像块使得能够区分局部型差异和全局型差异。
[0013]根据本发明的一种示例性实施方式，如果第一图像与第二图像的差异超过第一预定阈值，则检测为局部型差异，以及其中，如果第一图像与第二图像的差异超过第二预定阈值，则检测为全局型差异，其中，第二阈值大于第一阈值。
[0014]因此，局部型差异检测的灵敏度较高，这是因为特定位置的微小差异可能导致检测到差异是临床相关的，而全局型差异(如遍布整个图像的强度变化)将可能不是临床相关的。
[0015]根据本发明的一种示例性实施方式，阈值和第一阈值中的至少一个是局部变化的阈值。
[0016]因此，例如，可以在边缘处消除特别恒定的影响。另外，假设将通过图像识别来辨识相关的临床方面，图像识别可以通过计算机辅助手术系统来执行，上述方面可以位于在图像中相关性更强的位置处。可以基于第一图像执行图像识别，使得在考虑第二图像之前，能够辨识相关的图像部分。这样的图像部分可以是识别出的螺丝尖端、克氏针尖端等。
[0017]根据本发明的一种不例性实施方式，阈值、第一阈值和第二阈值中的至少一个是动态阈值。
[0018]因此，可以考虑动态变化而对图像进行比较。阈值可以在检测到以下具体情形时变化:在该具体情形中，检测到特定区域包括伪影(artifact)等。另外，可以基于最大局部差异与全局差异的比率动态地调节阈值。换句话说，如果全局差异与最大局部差异的比率超过特定的阈值，则这可以认为表示临床相关性。
[0019]根据本发明的一种示例性实施方式，该方法还包括:确定具有最大局部差异的图像块，并且将具有最大局部差异的图像块与其余图像块进行比较并且基于具有最大局部差异的图像块与其余图像块的比较来确定局部型差异。[0020]因此，可以确定或确认该最大差异是显著差异。换句话说，这使得能够确定该差异是否为相对较大的差异，即其余的块具有较小的差异或相对较小的差异，即其余的块与最大差异块相比具有较小的差异。
[0021]根据本发明的一种示例性实施方式，该方法还包括:确定具有显著增加的局部差异的图像块，并且将具有显著增加的局部差异的图像块和与具有显著增加的局部差异的图像块邻近或在其附近的图像块进行比较，并且基于具有显著增加的局部差异的图像块和与具有显著增加的局部差异的图像块邻近或在其附近的图像块的比较来确定局部型差异。
[0022]因此，可以确定差异的梯度，使得当具有强梯度的局部差异时，即当块与邻近块或附近块之间具有强梯度的局部差异时，可以使用梯度作为对于临床相关性的度量。
[0023]根据本发明的一种示例性实施方式，该方法还包括:识别第一图像中的相关对象，并且基于第一图像的包括所识别出的相关对象的图像块与第二图像的相应图像块的差异来确定局部型差异。
[0024]因此，图像的相关部分可以用于确定局部差异以及是否发生了临床相关性的确定。可以基于计算机辅助手术系统的已经被确定为临床相关的图像信息来确定相关部分。这可以通过图像识别或对象识别来实现。
[0025]根据本发明的一种示例性实施方式，比较并确定第一图像与第二图像的差异包括:确定第一图像和第二图像的相应图像块的至少一部分的平均值和/或方差，并且关于平均值和/或方差比较相应的图像块。
[0026]因此，可以将用于确定平均值或平均数或者确定方差形式的非常简单的计算机过程应用于获取整个图像块或多个图像块的积分值。另外，可以避免像素的计算密集型的一对一分配，因为图像块形式的多个像素共同具有一个或两个平均值(平均数)或方差形式的代表值。
[0027]根据本发明的一种示例性实施方式，基于图像的所识别的对象的检测到的尺寸动态的调节所有图像块的独有的尺寸。
[0028]因此，可以使图像块适应典型的对象尺寸。大量的小对象将可能导致大量的具有较小尺寸的图像块，少数大对象可能导致少数大的图像块。前者比后者需要更多的计算容量。可以基于计算机辅助手术系统的已经被确定为临床相关的图像信息来执行相关对象的尺寸的检测。
[0029]根据本发明的一种示例性实施方式，比较并且确定第一图像与第二图像的差异包括:将多个图像块组合成图像块群并且比较相应的图像块群。
[0030]因此，可以组合图像块以减少被执行用于分析的操作的数量。多个图像块到图像块群的组合可以动态地执行并且/或者局部地分布。
[0031]根据本发明的一种示例性实施方式，如果第一图像的图像块与第二图像的相应图像块之间的差异以及第一图像的图像块群与第二图像的相应图像块群之间的差异中的至少一个超过第一阈值，则确定为局部型差异。
[0032]因此，可以检测出临床相关事件，并且可以将导致低于阈值的变化的影响认为是不相关的。这可以基于图像块以及图像块群来完成。
[0033]根据本发明的一种示例性实施方式，该方法还包括检测相关图像范围，该图像范围包括被成像的对象，其中，比较和确定第一图像与第二图像之间的差异是基于所检测到的相关图像范围来单独执行的。
[0034]因此，可以将计算限制于相关图像范围而无需无用地计算与图像不相关的黑色掩膜。具体地，可以忽略掩膜区域内的任何附加写入信息，使得仅当在相关图像范围内检测到变化时才提供新的图像。
[0035]根据本发明的一种示例性实施方式，所检测的相关图像范围用作后面的图像的基础。
[0036]因此，当先前的检测用作当前检测的起始基础时，可以降低计算容量。
[0037]根据本发明的一种示例性实施方式，该方法还包括检测第一图像和第二图像中的至少一个的预定特性，其中，预定特性表示成像装置类型和成像装置制造商中的至少一个。
[0038]因此，可以识别制造商的标识或图章或类型信息并将其用于确定成像装置的类型或制造商。这使得能够调整方法以适应装置类型或制造商的特定特性。所识别的预定特性例如可以是特性伪影、标识或商标、水印等。
[0039]根据本发明的一种示例性实施方式，根据成像装置的稳定的视频信号输出生成第一图像和第二图像。
[0040]因此，可以在每个成像设备处(尤其是，在具有触发成像流程和触发的图像传输的成像设备处，以及具有视频信号形式的稳定的图像传输的成像设备处)操作该装置。
[0041]根据本发明的一种示例性实施方式，一种用于对由成像装置提供的解剖情形下的图像的临床相关性进行自动检测的装置，包括:图像输入接口 ；用于从图像输入接口获取的解剖情形下的第一图像的第一存储装置；用于从图像输入接口获取的解剖情形下的第二图像的第二存储装置；用于比较并且确定第一图像与第二图像之间的差异的比较器；用于评估第一图像与第二图像的差异类型的差异类型评估单元，其中，差异类型评估单元适于确定局部型差异和全局型差异中的至少一个，其中，局部型差异是第一图像与第二图像的局部差异，以及其中，全局型差异是第一图像与第二图像之间的全局差异；以及图像选择单元，用于在第一图像与第二图像之间的差异被确定为包括局部型差异的情况下将第二图像选择为具有临床相关性。
[0042]装置的效果与方法的效果相似。因此，上面所描述的方法的效果也将适用于装置。
[0043]根据本发明的一种示例性实施方式，该装置还包括用于将第一图像和第二图像中的每个划分为图像块的划分单元，其中，每个图像块包括多个像素。
[0044]根据本发明的一种示例性实施方式，该装置还包括用于辨识相关图像范围的相关图像范围检测单元。
[0045]根据本发明的一种示例性实施方式，一种用于对由成像装置提供的解剖情形下的图像的临床相关性进行自动检测的系统，该系统包括:具有稳定的视频输出的成像装置、具有用于接收临床相关图像的图像接口的计算机辅助手术系统、如上面所描述的用于自动检测解剖情形下的图像的临床相关性的发明装置，其中，图像输入接口操作上连接至成像装置的稳定视频输出，以及其中，用于接收临床相关图像的图像接口操作上连接至图像选择单元。
[0046]根据本发明的一种示例性实施方式，提供了一种用于控制如上所述的用于对由成像装置提供的解剖情形下的图像的临床相关性进行自动检测的装置和系统的计算机程序要素。在通过处理单元执行该计算机程序要素时，该计算机程序要素适于执行如上所述的用于对由成像装置提供的解剖情形下的图像的临床相关性进行自动检测的方法的步骤。
[0047]根据本发明的一种示例性实施方式，提供了一种存储有如上所述的计算机程序要素的计算机可读介质。
[0048]应当注意的是，也可以组合上面的特征。即使没有明确地详细描述，上面的特征的组合也可以导致协作效果。
[0049]本发明的这些方面和其它方面将根据在下文中所描述的实施方式阐明并据此变
得清楚。
【专利附图】
【附图说明】
[0050]下面将参考以下附图描述本发明的示例性实施方式。
[0051]图1示出了根据本发明的示例性实施方式的系统的一般结构；
[0052]图2示出了根据本发明的示例性实施方式的装置的一般结构；
[0053]图3示出了不同图像细节的一般定义；
[0054]图4a/图4b示出了局部类型检测的详细视图；
[0055]图5a/图5b示出了不具有临床相关性的两个图像；
[0056]图6a/图6b示出了具有临床相关性的两个图像；
[0057]图7示出了根据本发明的示例性实施方式的方法的示例性流程图。
【具体实施方式】
[0058]计算机辅助手术系统可以操作上连接至如X射线等的成像装置。这样的计算机辅助手术系统可以仅使用对于强度的突然增加的检测来检测新图像的存在。这样的系统即使在临床相关性的意义上图像的内容没有改变的情况下仍将提供新的图像。这种情形可能在外科医生重新触发X射线装置而没有修改解剖情形时发生。特别地，现代的成像装置不仅提供图像，也自动增强对比度或添加文本信息。为了这个目的，成像装置首先提供未加工的图像，并且在完成了增强的对比度计算之后提供修正的图像，以及随后提供其上添加了文本信息的进一步修改的图像。然而，在上面的情况下，附加图像没有将临床相关的信息添加至首先提供的图像。附加图像仅添加改进的图像质量或附加文本信息，或在外科医生错误地再次触发成像装置的情况下根本没有重要的新图像。在上面所提到的情况下，如果例如仅对增加强度进行监控，新提供的图像尽管不具有临床相关性，也将导致耗费时间的对导航的重新计算。
[0059]图1示出了根据本发明的示例性实施方式的系统的一般结构。系统I包括成像装置10、用于自动检测的装置20以及计算机辅助手术系统或导航系统30。成像装置10包括视频输出接口 11，并且用于自动检测的装置20包括图像输入接口 21。视频输出接口 11和图像输入接口 21连接或可以连接以传输通过用于自动检测的装置20从成像装置(例如，X射线或MRT/MRI装置)获取的图像。如稍后将描述的，用于自动检测的装置将继续比较图像。用于自动检测的装置20还包括图像选择单元26，其中，图像选择单元26向导航系统或计算机辅助手术系统30 (具体为导航系统或计算机辅助手术系统30的图像输入接口 31)提供所选择的图像。因此，图像被成像装置10拍摄，被传输至用于自动检测的装置，其中，检测结果作为所选择的图像被进一步发送至导航系统或计算机辅助手术系统30。将参照图2进一步详细描述用于自动检测的装置20的结构。
[0060]图2示出了根据本发明的示例性实施方式的用于自动检测的装置的一般结构。例如，用于自动检测的装置20包括用于接收来自成像装置10 (诸如，X射线装置、MRT/MRI装置或CT装置)的图像的图像输入接口 21。用于自动检测的装置20还包括用于确定相关图像范围的单元28，使得能够基于相关图像范围执行自动检测。因而，对于自动检测可以不考虑非相关的图像范围，这是因为非相关的图像范围可能不包含相关的图像信息。另外，用于自动检测的装置20可以包括用于将图像划分成图像块的划分单元27。因而，如稍后所述，可以分别自动地检测不同的图像块，以区分两个图像之间的全局差异和两个图像之间的局部差异。用于自动检测的装置20还包括用于第一图像的第一存储装置22和用于第二图像的第二存储装置23。因而，在图像输入接口 21处所接收的图像在通过相关图像范围检测单元28关于相关图像范围进行分析之后并且在通过划分单元27划分成不同的图像块之后，可以通过比较器24对其进行比较。比较器的结果将被提供给差异类型评估单元25。在评估了差异类型之后，图像选择单元26将选择相应的图像以将该图像提供给导航系统或计算机辅助手术系统30。应当注意的是，仅在检测到具有手术相关性时才向计算机辅助手术系统或导航系统30提交新的图像。如果没有检测到手术相关性，则不向导航系统或计算机辅助手术系统30提供图像。因而，计算机辅助手术系统或导航系统30将仅在已接收到具有临床相关性的图像的情况下才基于手术情形执行图像的处理。例如，临床相关性可以是移动的植入物或变动的位置或解剖构造组织的群集，使得能够基于新的图像更新相应的导航或辅助信息。然而，如果没有临床相关的信息可用，则没必要更新导航系统和计算机辅助手术系统的导航信息或辅助信息。这个过程将节省许多计算时间，使得外科医生在已接收到具有临床相关的信息的新图像的情况下仅需要等待导航系统或计算机辅助手术系统30的新分析。
[0061]图3示出了对于不同的成像和图像细节的一般定义。图3使用示意性概述示出了简图，其中，解首1J情形下的整个图像100包括相关图像范围140。相关图像范围140包括对象本身的图像和透视显像(imaging)，其中，包括在解剖情形下的图像中但不包括在相关图像范围中的其余范围不包括图像本身，但是可以包括例如从要素164可见的成像信息，如病人数据、时间信息和日期信息或光标位置等。相关图像范围140以解剖构造161示出了解剖情形，其中，解剖构造161可以包括第一解剖子构造161a (如例如组织或骨头)、第二解剖子构造161b、和/或第三解剖子构造161c。应当注意的是，解剖子构造也可以进一步包括已经植入的植入物部分。图3还示出了在发生成像处理的手术期间已植入的植入物163，其中，植入物163可以是例如伽马钉等。另外，图3示出了附加植入物，该附加植入物可以是暂时的植入物，例如螺钉、钻头、克氏针(K-wire)或钉的尖端或针的尖端162。在图3中，用于确定局部差异的相关范围可以是例如针的尖端或克氏针的尖端范围，上述针在解剖构造中前后移动。随后将参照图4A和图4B对该过程进行描述，这两个图都示出了图3中利用180标识的扩大的范围。对于该描述，考虑对靠近针的尖端或克氏针的尖端的图像块120进行分析。该块120可以包括多个像素110，使得可以基于例如图像块120执行两个图像的比较。图3中的像素110仅为示意性的并且当然相对于图3中所描绘的对象162小得多。可以将多个图像块120组合以获得图像块群130。在图3中，图像块群130可以包括例如9个图像块120，每行3个并且每列3个。应当注意的是，图像块群也可以具有更多个或更少个图像块，并且图像块和图像块群都不是必须为正方形的形式，而是也可以是矩形或其它自由的形式。另外，图像块群也可以包括图像块的一部分，特别是在图像块群的边缘处。
[0062]图4a和图4b更详细地示出了局部类型检测。根据一种示例性实施方式，图4A例如可以示出第一图像，其中，第一图像示出了第一解剖子构造161a、第二解剖子构造161b和第三解剖子构造161c。另外，图4A示出了针162。从图4A可以看出，针位于图像块120内。在另一图像中，在图4B中可以示例性地看出，针162已经被移动，使得图像块120不再包括该针。当将图4A中的图像块120与图4B中的图像块120进行比较时，可以得出针162不再位于图像块120内的结论并且因此可以推断出这是临床相关的情形，这是因为针相对于解剖构造发生了移动。图4A中的图像块120与图4B中的图像块120之间的该分析可以通过计算图像块120中的平均灰度等级值或者强度或色彩的平均值来执行。在图4A和图4B所示的简化情况下，认为图像块120的背景为白色，并且认为针162为黑色。假设针覆盖图4A中的图像块120的30%，则该图像块120的灰度等级值的平均值大约为30%。然而，图4B中的图像块120不再包括针162，假设背景为白色，则该图像块120的平均灰度等级值为0%。在真实环境中，当然必须考虑噪声。当比较平均值或平均数时，结果是图4A中的图像块120的平均值或平均数相对于图4B中的图像块120的平均值或平均数之间存在显著差异，而其余图像块(例如图像块120a)中的差异保持不显著。当超过相应的阈值时，装置自动检测出这为临床相关的情形。具体地，例如如果图像4A中的另一图像块120a相对于图4B中的相应的图像块120a保持不变，则这将被确定为临床相关的情形。因而，可以推断出图4A与图4B之间的差异不是全局差异而是图像块120中的局部差异。换句话说，如果检测到例如图像块120a中的灰度等级值保持在0%并且图像块120的灰度等级值从30%变化至0%，并且如果其余图像块保持不变，则检测装置可以自动地检测出局部型差异作为导航系统或计算机辅助手术系统所要考虑的临床相关事件的表示。在真实情况下，当然要考虑噪声。如果所有图像块的差异都是显著的但是对于所有图像块都是恒定的，则也可能检测不到临床相关性。然而，如果所有图像块的差异都是显著的，并且仅一个或有限数量个块的差异超过其余图像块的显著差异，则可以确定临床相关性。后一示例表示应用动态阈值是有用的。
[0063]以下将示例性地详细描述用于对由成像装置提供的X射线图像的临床相关性进行自动检测和测试的过程。应当注意的是，可能省略一些步骤，并且也可以添加一些另外的步骤。
[0064]该示例性过程开始于以(可配置的)采样频率对模拟视频信号周期性地进行数字化。基于数字化的视频信号，可以执行例如椭圆图像区域(锥形束)的检测。可以通过下采样消除其它失真(如S形失真或枕形失真)。使用椭圆形区域的可能性使得也可以处理略微失真的视频图像。这使得能够对原始投影执行整个处理而不需要去失真(un-distortion)。因而，例如可以使用原始失真的图像。可以忽略图像中的不相关区域，如位于椭圆形图像区域之外的区域。可以考虑椭圆图像的内部或外部的可配置的或装置依赖的接缝。然后，可以基于降采样的原始图像来分析图像差异以降低图像噪声量以及处理时间。这可以通过计算与通过的最后图像相比较的差异图像DI来执行。可以通过考虑平均值或方差来执行评估。为了这个目的，可以确定差异图像的所有像素强度值的平均值和方差作为对于全局图像变化的估量。具有大的差异(即超过大阈值)的图像将被归类为新图像并且被通过用于进一步的处理。差异图像可以被划分为具有某一尺寸的重叠的或不重叠的图像块。应当注意的是,可以通过例如使块的尺寸适应图像中典型对象的尺寸来动态地改变图像块的尺寸。处理可以继续计算所有块的像素强度值的平均值和方差，以及识别示出像素变化的最大值的块。可以在后续的图像处理算法中使用具有最大变化的块的位置。应当注意的是，也可以考虑将具有第二或者第三等最强变化的块用于处理。这个算法可以包括检测图像的边缘以及计算描述图像变化的分布的量度以将变化分类为局部变化或全局变化。该量度可以量化全局变化与局部变化之间的关系并且使得能够相应地对变化进行分类。该算法可能已经实现了用于忽略来自模拟噪声或来自图像源装置内部的图像处理的小的全局变化的例程。该算法也可以计算如下图像上的感兴趣的椭圆区域:这些图像被通过进行进一步的图像处理以用于将来的图像。为此，该过程可以基于甚至更下采样的原始图像来推测粗略地覆盖内部区域的圆。该推测可以对于圆使用霍夫变换以减小后续步骤的搜索区域并且降低图像失真的影响。另外，该过程可以基于所推测的圆沿径向搜索射线搜索亮至暗的转换，并且可以使用这些作为椭圆图像区域的周界的候选。可以从考虑图像内容中忽略附加的边界区域，因为这样的边界区域可能包括写入信息(从图6b可以看到的164)，写入信息或其它干扰信息可能延伸至图像区内。然后，该过程例如可以使用RANSAC算法重复地使椭圆的数学模型适应候选点的子集，而抛弃不能很好地适应椭圆的异常值的点。光束锥检测算法的结果是椭圆提供对候选点的最佳适应。该过程可以执行制造商和/或成像装置专有的图像内容的自动检测并且相应地调整图像处理参数。自动得到的装置类型可以用作用于优化后续的图像处理步骤的信息。
[0065]待比较的两个图像之间的时间偏移可以是例如500ms。图像的分辨率可以在水平500像素且垂直500像素的范围(或水平250像素且垂直250像素)内。格式可以是PAL或NTSC等。图像块可以是例如水平4像素且垂直4像素。
[0066]图5a和图5b示出了两个图像，其中，图像的差异不具有临床相关性。图5a与图5b之间的差异例如可以是强度的轻微变化，然而该变化对于图5a和图5b中没有详细示出的图像块或图像群中的每个是相同的。作为第一图像的图5a与作为第二图像的图5b之间的差异例如可以是增加的对比度、明朗的边缘或降低的噪声等，其可以由X射线装置基于第一图像执行以提高图像质量而不拍摄新的图像。另外，可以在掩膜区域添加附加的图像信息，该掩膜区域是在盘外部并且在整个图像100内部的不相关的图像范围。这例如可以是在计算具有改进的图像品质的图像之后被添加的详细的写入信息164，然而，上述改进的图像不包括图5A的第一图像上的显著的临床相关事件。附加信息164可以是时间信息或日期信息、病人信息或外科医生的任何其它辅助信息。
[0067]图6a和图6b示出了两个图像，其中，这两个图像的差异具有临床相关性。图3是图6a的对应简图。如关于图3、图4a和图4b更详细地说明的，作为第一图像的图6a与作为第二图像的图6b之间的差异是针或克氏针的移动。即使检测到全局差异(例如变化的强度、明朗的边缘、在相关范围140外面的添加信息164)，该装置将进一步检测附加的局部差异，如已经参照图3、图4a和图4b描述的。因而，用于自动检测的装置将例如图6b所示的新图像识别为具有临床相关性并且在选择该图像之后将其提供给导航系统或计算机辅助手术系统30。
[0068]图7示出了根据本发明的示例性实施方式的方法的示例性流程图。首先，将在步骤Sll中提供第一图像以及在步骤S12中提供第二图像。检测两个图像并且例如取自成像装置的视频输出接口处的连续的视频流。将在步骤S20中比较两个图像，其中，比较的结果可以作为用于在步骤S30中确定局部型差异和全局型差异的存在的基础。例如当考虑第一阈值和第二阈值时，评估局部型差异和全局型差异使得能够在步骤S40中确定各个图像的临床相关性。详细的比较过程可以包括在步骤S21中检测相关的图像范围，使得仅相关的图像范围可以被考虑用于比较和确定临床相关性。另外，可以在步骤S22中划分成图像块，以比较各个图像块。应当注意的是，在考虑到图像中典型对象的尺寸来适应计算努力时，可以在步骤S23中动态地调节图像块的尺寸。例如，如果图像中仅有大的对象，则图像块的尺寸也可以增加，使得可以执行非常快的过程。在可能已调节了块的尺寸之后，在步骤S24中，可以确定各个图像块的平均值或平均数，其中，在随后的步骤S25中，可以比较平均值或平均数。以同样的方式，也可以在步骤S26中确定方差，其中，在步骤S27中可以比较方差。应当注意的是，可以在步骤S28中将多个图像块组合以构成图像块群，其中，在随后的步骤，可以在步骤S29中比较图像块群。应当注意的是，在步骤S29中，也包括类似步骤S24至S27的若干子步骤，因为比较图像块群也可以包括步骤S24中的平均值或平均数确定、步骤S25中的平均值或平均数比较、步骤S26中的方差确定以及步骤S27中的方差比较。应当注意的是，对于图像块以及图像块群，可以并行地执行比较过程，例如以并行地计算针对图像块具有较多细节的更多相关范围以及图像块群中具有较少细节的范围。
[0069]在本发明的另一示例性实施方式中，提供了一种计算机程序或计算机程序要素，其特征在于适于在合适的系统上执行根据上述实施方式之一的方法的方法步骤。
[0070]计算机程序要素因此可以被存储在可为本发明的实施方式的一部分的计算机单元上。该计算单元可以适于执行上述方法的步骤或引起上述方法的步骤的执行。此外，该计算单元可以适于操作上述设备的部件。该计算单元可以适于自动地操作和/或执行用户的命令。可以将该计算机程序加载到数据处理器的工作储存器中。数据处理器因而可以被装备成执行本发明的方法。
[0071]本发明的该示例性实施方式包括一开始就使用本发明的计算机程序以及借助于更新使现有的程序变为使用本发明的程序计算机程序。更进一步，计算机程序要素能够提供实现上述方法的示例性实施方式的过程的所有必要的步骤。
[0072]根据本发明的另一示例性实施方式，提出了一种计算机可读介质(如CD-ROM)，其中，计算机可读介质上存储有通过上述章节描述的计算机程序要素。
[0073]然而，也可以在网络(例如万维网)上呈现计算机程序，并且能够从这样的网络将计算机程序下载至数据处理器的工作存储器。根据本发明的另一示例性实施方式，提供了一种用于使得计算机程序要素可用于下载的介质，该计算机程序要素被布置用于执行根据先前所描述的本发明的实施方式之一的方法。
[0074]需要注意的是，参照不同的主题描述了本发明的实施方式。特别是，参照方法类型权利要求描述了一些实施方式，同时参照装置类型权利要求描述了其它实施方式。然而，本领域的技术人员将从以上以及以下描述得到:除非另有说明，否则，除了属于一类主题的特征的任何组合之外，认为涉及不同主题的特征之间的组合也包括在本申请中。然而，可以组合所有特征以提供大于特征的单一组合的协作效果。
[0075]需要注意的是，参照不同的主题描述了本发明的示例性实施方式。特别是，参照设备类型权利要求描述了一些示例性实施方式，同时参照方法类型权利要求描述了其它示例性实施方式。然而，本领域的技术人员将从以上描述以及以下描述得到:除非另有说明，否贝U，除了属于一类主题的特征的任何组合之外，认为涉及不同主题的特征之间的组合、特别是设备类型的权利要求的特征和方法类型的权利要求的特征之间的组合也包括在本申请中。
[0076]在权利要求中，措辞“包括”不排除其它元件或步骤，并且不定冠词“一个”不排除多个。单个处理器或其它单元可以满足权利要求中所列举的若干项的功能。在互相不同的独立权利要求中列举某些措施的事实并不表示不能有利地利用这些措施的组合。计算机程序可以存储和/或分布在合适的介质上，如连同其它硬件或作为其它硬件的一部分被提供的光学存储介质或固态介质，但是也可以以其它形式分布，如经由互联网或其它有线或无线电信系统。
[0077]尽管在此已经参照具体的实施方式在本文中描述了本发明，然而，需要理解的是，这些实施方式仅用作本发明的原理和应用的说明。因此，需要理解的是，可以对作为说明性的实施方式做出大量修改，并且可以设想其它的布置而不偏离如附加的权利要求所定义的本发明的精神和范围。
[0078]附图标记列表
[0079]I 系统
[0080]10成像装置
[0081]11视频输出
[0082]20用于自动检测的装置
[0083]21用于自动检测的装置的图像输入接口
[0084]22用于第一图像的第一存储单元
[0085]23用于第二图像的第二存储单元
[0086]24比较器单元
[0087]25差异类型评估单元
[0088]26图像选择单元
[0089]27划分单元
[0090]28相关图像范围检测单元
[0091]30计算机辅助手术系统
[0092]31计算机辅助手术系统的图像输入接口
[0093]100解剖情形下的图像
[0094]110图像像素
[0095]120 图像块
[0096]130图像块群
[0097]140相关图像范围
[0098]151局部型差异
[0099]152全局型差异
[0100]161解剖构造
[0101]161a第一解剖子构造[0102]161b第二解剖子构造
[0103]161c第三解剖子构造
[0104]162针或克氏针
[0105]163植入物，如钉
[0106]164与图像有关的附加信息
[0107]Sll获取解剖情形下的第一图像
[0108]S12获取解剖情形下的第二图像
[0109]S20比较并且确定第一图像与第二图像之间的差异
[0110]S21检测相关图像范围
[0111]S22划分成图像块
[0112]S23动态调节图像块的尺寸
[0113]S24确定平均值
[0114]S25比较平均值
[0115]S26确定方差
[0116]S27比较方差
[0117]S28将图像块组合成图像块群
[0118]S29比较图像块群
[0119]S30确定局部型差异和全局型差异
[0120]S40确定临床相关性
【权利要求】
1.一种用于对由成像装置提供的解剖情形下的图像的临床相关性进行自动检测的方法，所述方法包括以下步骤: 获取所述解剖情形下的第一图像(Sll)； 获取所述解剖情形下的第二图像(S12)； 比较所述第一图像与所述第二图像并且确定所述第一图像与所述第二图像之间的差异(S20)； 确定所述第一图像与所述第二图像之间的所述差异是否包括局部型差异和全局型差异中的至少一个(S30)，其中，所述局部型差异是所述第一图像与所述第二图像的局部差异，以及其中，所述全局型差异是所述第一图像与所述第二图像之间的全局差异；以及 通过确定所述第一图像与所述第二图像之间的所述差异是否包括局部型差异来确定所述第二图像是否具有临床相关性(S40)。
2.根据权利要求1所述的方法，还包括确定所述第一图像与所述第二图像的所述差异超过特定的阈值。
3.根据权利要求1和2中任一项所述的方法，其中，用于比较并且确定所述第一图像与所述第二图像的差异的步骤包括:将所述第一图像和所述第二图像中的每个划分成各自包括多个像素的相应图像块(S22)，并且比较所述第一图像和所述第二图像的所述相应图像块中的至少一个。
4.根据权利要求3所述的方法，其中，如果所述第一图像的图像块与所述第二图像的相应图像块的差异超过第一预定阈值，则检测到所述局部型差异，以及其中，如果所述第一图像与所述第二图像的差异超过第二预定阈值，则检测到所述全局型差异，其中，所述第二阈值大于所述第一阈值。`
5.根据权利要求2至4中任一项所述的方法，其中，所述阈值和所述第一阈值中的至少一个是局部变化的阈值。
6.根据权利要求2至5中任一项所述的方法，其中，所述阈值、所述第一阈值和所述第二阈值中的至少一个是动态阈值。
7.根据权利要求3至6中任一项所述的方法，还包括:确定具有最大局部差异的图像块并将所述具有最大局部差异的图像块与其余图像块进行比较，并且基于所述具有最大局部差异的图像块与其余图像块的所述比较来确定局部型差异。
8.根据权利要求3至7中任一项所述的方法，还包括:确定具有显著增加的局部差异的图像块并将所述具有显著增加的局部差异的图像块与在所述具有显著增加的局部差异的图像块附近的图像块进行比较，并且基于所述具有显著增加的局部差异的图像块与在所述具有显著增加的局部差异的图像块附近的图像块的所述比较来确定局部型差异。
9.根据权利要求3至8中任一项所述的方法，还包括:识别所述第一图像中的相关对象，并且基于所述第一图像的包括所识别出的相关对象的图像块与所述第二图像的相应图像块的差异来确定局部型差异。
10.根据权利要求3至9中任一项所述的方法，其中，用于比较并且确定所述第一图像与所述第二图像的差异的步骤包括:确定所述第一图像和所述第二图像的相应图像块的至少一部分的平均值(S24)和方差(S26)，并且关于平均值(S25)和所述方差(S26)比较相应图像块。
11.根据权利要求3至10中任一项所述的方法，其中，基于所述图像的所识别的对象的检测到的尺寸动态地调节所有图像块的独有的尺寸(S23)。
12.根据权利要求3至11中任一项所述的方法，其中，用于比较并且确定所述第一图像与所述第二图像的差异的步骤包括:将多个图像块组合成图像块群(S28)，并且比较相应的图像块群(S29)。
13.根据权利要求12所述的方法，其中，如果所述第一图像的图像块与所述第二图像的相应图像块之间的差异以及所述第一图像的图像块群与所述第二图像的相应图像块群之间的差异中的至少一个差异超过所述第一阈值，则确定为局部型差异。
14.根据权利要求1至13中任一项所述的方法，还包括检测相关图像范围(S21)，所述图像范围包括被成像的对象，其中，用于比较并且确定所述第一图像与所述第二图像之间的差异的步骤是基于所检测出的相关图像范围来单独执行的。
15.根据权利要求14所述的方法，其中，所检测出的相关图像范围用作后面的图像的基础。
16.根据权利要求1至15中任一项所述的方法，还包括检测所述第一图像和所述第二图像中的至少一个的预定特性，其中，所述预定特性表示成像装置类型和成像装置制造商中的至少一个。
17.根据权利要求1至16中任一项所述的方法，其中，根据成像装置的稳定视频信号输出生成所述第一图像和所述第二图像。
18.一种用于对由成像装置提供的解剖情形下的图像的临床相关性进行自动检测的装置，所述装置包括: 图像输入接口(21)； 用于从所述图像输入接口获取的所述解剖情形下的第一图像的第一存储单元(22); 用于从所述图像输入接口获取的所述解剖情形下的第二图像的第二存储单元(22); 比较单元(24)，用于比较并且确定所述第一图像与所述第二图像之间的差异； 差异类型评估单元(25)，用于评估所述第一图像与所述第二图像的差异类型，其中，所述差异类型评估单元适于确定局部型差异和全局型差异中的至少一个，其中，所述局部型差异是所述第一图像与所述第二图像的局部差异，以及其中，所述全局型差异是所述第一图像与所述第二图像之间的全局差异；以及 图像选择单元(26)，用于在所述第一图像与所述第二图像之间的差异被确定为包括局部型差异的情况下选择所述第二图像具有临床相关性。
19.根据权利要求18所述的装置，还包括划分单元(27)，所述划分单元(27)用于将所述第一图像和所述第二图像中的每个划分成各自包括多个像素的图像块。
20.根据权利要求18和19中任一项所述的装置，还包括用于识别相关图像范围的相关图像范围检测单元(28)。
21.一种用于对由成像装置提供的解剖情形下的图像的临床相关性进行自动检测的系统，所述系统包括: 成像装置(10)，其具有稳定的视频输出(11); 计算机辅助手术系统(30)，其具有用于接收临床相关的图像的图像接口(31);以及 根据权利要求18至20中任一项所述的用于自动检测解剖情形下的图像的临床相关性的装置(20)，其中，所述图像输入接口操作上连接至所述成像装置的所述稳定的视频输出， 其中，用于接收临床相关的图像的所述图像接口操作上连接至所述图像选择单元。
【文档编号】G06T7/20GK103503028SQ201180070608
【公开日】2014年1月8日 申请日期:2011年5月4日 优先权日:2011年5月4日
【发明者】乌多·普夫伦格勒, 迈克尔·科嫩, 阿尔诺·布洛, 托马斯·埃普坦 申请人:史塞克创伤有限责任公司