对通过胶囊相机所撷取的图像进行图像处理并显示的方法与流程

相关申请的交叉参考

本发明与2014年5月19日所提交的序列号为pct/us14/38533的pct专利申请相关，该pct专利申请要求2013年5月29日所提交的序列号为61/828,653的美国临时专利申请的优先权。本发明还与序列号为14/675,744的美国专利申请相关，该美国专利申请于2016年4月26日被授予美国专利，序列号为9,324,172。该pct专利申请、美国临时专利、美国非临时专利及美国专利整体通过参考包括于此。

本发明涉及减少对通过体内胶囊相机所撷取的图像进行检查的时间及精力。尤其，本发明涉及降低用于可视化的图像的数目的态样。

背景技术：

胶囊内窥镜是一种试图解决传统内窥镜的许多问题的体内成像装置。相机与用于向基站接收器或收发器传输数据的无线电发送器一起被容置于可吞咽胶囊中。还可使用位于体外的数据记录器以接收并记录所传输的数据。该数据主要包括通过该数字相机所记录的图像。该胶囊还可包括用于自基站发送器接收指令或其它数据的无线电接收器。代替使用射频传输，可使用较低频率电磁信号。功率可自外部电感器向该胶囊内的内部电感器电感供应或者由该胶囊内的电池供应。在具有板上储存的另一种类型胶囊相机中，所撷取的图像被板上储存，而不是传输至外部装置。具有板上储存的该胶囊于该胶囊排出以后被取回。具有板上储存的该胶囊向患者提供舒适及自由，患者无需佩戴数据记录器或被限制于无线数据接收器的邻近范围。

获取并处理后的图像及数据通常被显示于显示装置上，以供诊断医生或医学专家检查。通常，当胶囊经过胃肠(gi)道时，撷取大量图像。所撷取的图像的数目可高达20,000帧或更多。为有效观看该大量的所撷取图像，常常将该些图像显示为具有典型的视频帧速率(例如每秒30帧)的视频序列。即使如此，使用者仍需要不止一小时来观看整个序列。已开发各种观看工具来帮助观看者快速定位一个或多个兴趣图像。例如，对图像添加书签，以快速定位兴趣图像，或提供具有解剖信息标记的导航条，以快速访问期望的兴趣gi位置。

在序列号为pct/us14/38533的pct专利申请中，披露一种拼接图像序列以生成具有较大图像尺寸的合成图像的方法。在该传统方法中，每个图像仅提供胃肠道的一小段的有限视图。在序列号为pct/us14/38533的pct专利申请中，披露图像拼接技术以生成宽图像，从而依据一个实施例自通过位于胶囊内的多个相机所撷取的多个帧内图像提供较大的视场。进一步拼接该宽图像，以形成大图片，该大图片可利用高分辨率大屏幕显示装置，以允许使用者同时观看更多信息。图像拼接过程可包括移除图像之间的重叠区域中的冗余，从而可在单个合成图片中同时观看较大面积的内部胃肠道表面。此外，大图片可提供完整视图或内部胃肠道表面的较大部分。诊断医生或医学专家应当更容易且更快地快速发现兴趣区域，例如息肉。该图像拼接过程可减少图像数目并加速审查过程。

序列号为pct/us14/38533的该pct专利申请还披露时间-空间表示，作为可视化所撷取图像的一种替代方式。该时间-空间表示针对由用户所选择的每个时间实例显示静态合成图像。在该选定时间，单独的图像(尤其附近的这些图像)将被扭曲(warp)至该选定图像坐标上。不过，胃肠道中的组织常常变形。相应地，在序列号为pct/us14/38533的pct专利申请中使用局部变形，以提高视觉质量并允许用户以适当的角度观看目标图像及其相邻图像。

该大量的所撷取图像的该重构及拼接过程是非常耗时的。另一方面，所撷取的胶囊图像常常在相邻图像之间包含大量冗余。想要研究图像之间的该冗余，以自该重构及拼接过程移除一些冗余图像。此类技术也可有助于减少图像序列的观看时间。

技术实现要素：

本发明披露对通过使用体内胶囊相机所撷取的图像进行处理并显示的方法及装置。依据本发明，确定目标图像与该目标图像的相邻图像组中的各图像之间的一个或多个重叠区域，其中，该相邻图像组包括至少两个相邻图像。该目标图像与一个相邻图像之间的各重叠区域对应于与相同的场景关联的该目标图像中的一组第一像素以及该一个相邻图像中的一组第二像素。接着，确定该目标图像中的标记像素，其中，若该目标图像中的像素在该目标图像与至少一个相邻图像之间的重叠区域内，该目标图像中的该像素被称为标记像素。若该目标图像中的该标记像素的总数超过阈值，则自该多个图像排除该目标图像，以形成一组剩余图像，其中，在显示装置上显示该组剩余图像。

在一个实施例中，该目标图像与该相邻图像组中的一个相邻图像之间的该一个或多个重叠区域通过使用该目标图像与该一个相邻图像之间的可变形配准来确定。该可变形配准可对应于通过使用包括非刚性变换的变换模型将该一个相邻图像扭曲至该目标图像上。而且，可在该扭曲相邻图像与该目标图像之间测量图像相似性度量或图像失真度量，且仅当该图像相似性度量或该图像失真度量满足条件时，才确认该可变形配准。例如，仅当该图像相似性度量高于图像相似性阈值或该图像失真度量低于图像失真阈值时，才确认该可变形配准。该图像相似性度量可对应于归一化互相关(normalizedcrosscorrelation；ncc)、互信息(mutualinformation；mi)，或平方差和(sumofsquareddifference；ssd)。该图像失真度量可对应于任意像素的最大位移或像素的平均位移。

若通过使用第一变换模型将选定相邻图像扭曲至当前目标图像上且当该选定相邻图像变为新的目标图像时，通过使用与该第一变换模型的逆变换模型对应的第二变换模型可将该当前目标图像扭曲至该新的目标图像上。

在该目标图像与相邻图像之间的可变形配准期间，若该相邻图像组中的该目标图像以外的两个或更多图像配准良好，则将该两个或更多图像拼接为临时图像，并通过该目标图像与该临时图像之间的该一个或多个重叠区域评估该目标图像与各该两个或更多图像之间的该一个或多个重叠区域。

该阈值实质大于各图像中的像素总数的一半，并小于或等于各图像中的该像素总数。例如，可将该阈值设为各图像中的总像素的从75％至95％的值范围。该相邻图像组可包括在该目标图像之前所撷取的一个或多个第一图像以及在该目标图像之后所撷取的一个或多个第二图像。该相邻图像组可仅包括在该目标图像之前所撷取的两个或更多第一图像，或仅包括在该目标图像之后所撷取的两个或更多第二图像。另一方面，该多个图像包括通过该胶囊相机所撷取的输入图像、先前拼接的临时图像，或两者。在该相邻图像组中的相邻图像总数可依据该相邻图像组的特性适应性确定。例如，对于与缓慢运动的胶囊对应的相邻对象，在该相邻图像组中的相邻图像总数可较大。

排除与相邻图像具有大幅重叠的目标图像的过程可被重复应用。例如，在目标图像排除的迭代以后，可将该过程应用于该组剩余图像。在该相邻图像组中的相邻图像总数在每个迭代中可为固定的。在另一个实施例中，在一个迭代中的该相邻图像组中的相邻图像总数不同于另一个迭代。而且，本发明还可与序列图像拼接一起使用。例如，在排除一个或多个目标图像以后，可对剩余图像应用序列拼接，其中，若两个图像具有很大程度的图片重叠，则该序列拼接执行逐对拼接。此外，可在本发明之前应用该序列拼接。例如，该将要被处理的图像可与来自对输入图像的序列拼接的经处理的序列对应，其中，若两个图像具有很大程度的图片重叠，则该序列拼接执行逐对拼接。

附图说明

图1示出通过体内相机所撷取的图像的示例情景，其中，两个相邻图像的其中一些具有很大比例的重叠。

图2示出分别将两个相邻图像扭曲至一个目标图像上并测量目标图像与各扭曲相邻图像之间的重叠区域的例子。

图3示出依据本发明的一个实施例的图像处理及显示的示例流程图，其中，若目标图像中的标记像素的总数超过阈值，则自将要被显示于显示装置上的一组图像排除该目标图像。

具体实施方式

在下面的说明中，将说明本发明的各种态样。出于解释目的，阐述具体的配置及细节以提供有关本发明的透彻理解。可能略去或简化公知特征，以免模糊本发明。

在图像配准中，目标是依据一些数学模型将一个图像扭曲至另一个图像，从而将两个对象对齐。必须自所撷取的图像估计模型参数。可在像素域中直接配准两个图像。该基于像素的配准也被称为直接匹配，其基于图像强度比较两个图像区域的相似性。基于自图像所提取的特征的图像配准是另一种常见的图像配准方法。该基于特征的配准首先确定各图像中的一组特征点，接着比较相应特征描述符。为匹配自两个不同相机位置或两个不同视角所撷取的两个图像块或特征，基于对应来估计包括缩放、旋转等的仿射相机模型。为匹配在两个不同相机位置或两个不同角度所撷取的两个图像，可使用包括局部变形的非刚性相机模型。

特征点的数目通常远小于相应图像的像素的数目。因此，基于特征的图像配准的计算负荷实质小于基于像素的图像匹配的计算负荷。不过，逐对匹配仍然耗时。

为加快该重构/拼接过程，在序列号为9,324,172的美国专利中已披露序列图像拼接方法。该发明首先拼接可被可靠地拼接的成对图像。例如，具有超过阈值的大重叠的图像被拼接为较大的图像，从而减少图像的数目。该较大的图像意味着可同时观看相应场景的较大区域(例如，人体的胃肠道)，以减少所需的观看时间。若当前图像与它的相邻n个图像都不可拼接，则将当前图像称为非拼接图像。图1示出将要被拼接的一组图像的例子，其中，一些图像(也就是，t2与t3，t4与t5)与相邻图像中的另一个图像具有大量重叠。因此，将首先将共有大重叠的图像拼接在一起(也就是，t2与t3拼接，t4与t5拼接)。如图像配准领域中已知的那样，在两个图像之间的重叠区域对应于与相同的场景对应的这两个图像中的一组像素。为识别这些图像，在全局刚性变换的假设下，通过穷举搜索基于强度的图像匹配可估计全局变换。该全局变换一经估计，即可计算图像之间的该重叠。若重叠的程度高于预定义的阈值，则可对该重叠区域应用局部变换，例如自由变形立方b样条。而且，可使用基于梯度的方法优化该变形模型参数。当连续观看具有很大尺寸差异的两个拼接图像时，一个图像可能覆盖频幕上的一小块区域，而另一个可能几乎填满屏幕。这将导致非常令人分心的观看体验。不过，在拼接的第一阶段，将仅拼接具有大重叠的图像。因此，该拼接图像的尺寸可能不会变化太大。它将避免潜在的令人分心的观看问题。

在执行拼接的第一阶段以后，给定图像与相邻图像的重叠将小于阈值重叠。依据序列号为9,324,172的美国专利的一个实施例，第二阶段将拼接具有小重叠(也就是，重叠低于低阈值)的图像，以生成具有较大的视场的合成图像。

在图像序列中，目标图像与任意单个相邻图像可能仅有小重叠。不过，尽管该目标图像与包括多个相邻图像的相邻图像组中的任意图像可能仅有小重叠，但该整个目标图像或该目标图像的大部分可能位于该目标图像与该相邻图像组中的至少一个相应相邻图像之间的重叠区域内。因此，鉴于该相邻图像组中的该一个或多个相邻图像，此目标图像可能变为冗余。依据序列拼接(2016年4月26日公告的序列号为9,324,172的美国专利)，将自第一阶段拼接排除此目标图像，因为重叠程度不满足标准。因此，依据该序列拼接，此目标图像将经历与一个或多个其它图像的第二阶段拼接。

本发明披露一种识别此类目标图像并减少将要观看的图像的数目的方法。为说明依据本发明的处理，我们假设一系列图像f1、f2、f3…fn-3、fn-2、fn-1、fn、fn+1、fn+2、fn+3等。针对目标图像fn，确定该目标图像与属于相邻图像组的各相邻图像之间的重叠像素，其中，该相邻图像组包括至少两个相邻图像。若该目标图像中的像素位于该目标图像与属于该相邻图像组的任意相邻图像之间的重叠区域内，则将该像素称为“标记像素”。若该目标图像中的所有像素或大部分像素对应于标记像素，则这意味着该目标图像与该相邻图像组中的该相邻图像完全或几乎完全重叠。相应地，可自将要被显示于显示装置上的一组图像删除此目标图像。

对于胶囊图像，可在多个胶囊图像中看到胃肠壁中的给定区域。不过，相应重叠中的像素可能看起来非常不同，因为两个图像中的重叠区域是从与该两个图像关联的不同角度撷取的，且在该两个图像之间，胃肠壁还经历变形。相应地，对于每个图像fn，计算fn与该相邻图像组中的各相邻图像之间的可变形配准。例如，该相邻组可由从图像fn-k至图像fn+k的图像组成。将图像fn称为固定图像并将相邻图像称为浮动图像。该可变形配准的结果是变形模型t，可将其应用于该浮动图像并使该浮动图像与该固定图像fn对齐。如前所述，通过该胶囊相机所撷取的胶囊图像与理想的模型环境相去甚远。因此，在该配准以后，可选择图像相似性度量或图像失真度量，以确保该配准满足特定标准。例如，该特定标准可对应于该图像相似性度量高于阈值或图像失真度量低于阈值。针对该图像相似性度量，可使用归一化互相关(normalizedcrosscorrelation；ncc)或其它类型的相似性测量。可使用任意像素的最大位移或其它类型的失真测量作为该失真度量。图2示出分别将两个相邻图像扭曲至一个目标图像上并测量目标图像与各扭曲相邻图像之间的重叠区域的例子。将图像fn称为固定图像，并将两个相邻图像(fn-1及fn+1)称为将被扭曲至图像fn上的浮动图像。依据变换模型以变形格式显示该两个相邻图像(fn-1及fn+1)。

针对在fn与相邻的fm之间具有良好配准的每对图像，可确定fn与t(fm)之间的重叠，其中，t(fm)表示通过使用所计算的变换模型t扭曲fm。针对该重叠区域测量fn与t(fm)之间的相似性度量。若相似性度量(例如ncc)标示配准良好(例如，该ncc低于阈值)，则配准有效。可标记fn中的这些重叠像素。另一方面，若相似性度量测量的结果不满意，则不会确认针对此重叠区域的该配准。在此情况下，将不标记在该重叠区域中的这些像素。作为替代，可针对较小的重叠区域试用配准。当处理从fn-k至fn+k的所有相邻图像时，可执行测试，以检查fn中的所有像素或超出高百分比的像素是否都被标记。若满足条件(例如该目标图像fn中95％的像素被标记)，则这意味着图像fn中的所有或大部分内容可在其它图像(也就是，从fn-k至fn+k的图像)中被找到，且fn被视为冗余。因此，可自用于可视化的该序列删除图像fn。换句话说，将不会向使用者显示此图像以供观看。不过，使用者可请求系统显示一个或多个被删除的图像以进行观看。

在上面的例子中，从fn-k至fn-1以及从fn+1至fn+k的相邻图像被包括于当前图像fn的相邻图像组中。不过，不是特定范围内的每个图像都必须被包括于该相邻图像组中。而且，在当前图像fn之前的相邻图像的数目不必与在当前图像之后的相邻图像的数目相同。该相邻图像组可被视为围绕当前图像fn的窗口。可依据相邻图像的特性适应性确定该窗口尺寸(例如，从fn-k至fn+k的图像的数目)。例如，该窗口尺寸可依赖于该胶囊运动速度。

对于上述方法，有一些实际考虑，如下所述：

1.当将上述过程应用于该目标图像fn时，将fn视为固定图像。另一方面，当以后将上述过程应用于相邻图像(例如，fn+k)时，将fn视为浮动图像，其中，k为正整数。由于已计算了从fn+k至fn的变换t，因此无需推导从fn至fn+k的变换。相反，可直接使用逆变换t^-1，以将图像fn扭曲至图像fn+k上。从这个意义上讲，针对可变形配准过程的所需计算可减少至一半。

2.一旦已对目标图像的相邻图像组中的所有图像应用上述过程来确定该目标图像是否可被删除，即可在删除所识别的冗余图像以后，再次对该序列中的所有剩余图像应用该过程。在自该当前相邻图像组删除一个或多个目标图像以后，将要被有效处理的下一相邻图像组包括与前一轮处理相比较大的相邻范围。相应地，通过重复此过程，可删除更多的图像。例如，若帧a为当前目标帧，且在帧a与两个相邻帧(例如b与c)之间的重叠区域超过阈值，则可删除帧a。在将帧b作为目标图像的进一步处理期间，在帧b与两个相邻帧(例如d与e)之间的重叠区域超过阈值，可进一步删除帧b。帧a中的冗余信息被保存于剩余帧中(也就是，c、d以及e)。在此迭代过程期间，相邻图像组中的相邻图像的数目可为固定的。不过，在该迭代过程期间，相邻图像组中的相邻图像的数目不必相同。

3.替代总是执行两个原始图像之间的可变形配准，该些图像的其中一者或两者可为已拼接图像。该可变形配准过程不执行图像拼接。不过，可在中间步骤中应用该拼接，以加速所需的处理。例如，若图像fn-2与fn-1配准良好，则可将该两个图像临时拼接在一起，以形成图像fn-2,n-1。接着，当确定图像fn的内容是否被其它图像覆盖时，仅需要配准图像fn-2,n-1至fn，而不是分别配准fn-1至fn以及配准fn-2至fn。在另一种情形下，在当前目标图像(例如fn)的重叠区域评估期间，若相邻图像(例如fn-1)与该目标图像大幅重叠，则可将该相邻图像(例如fn-1)与该当前目标图像(例如fn)临时拼接为拼接图像(例如fn-1,n)。当该处理移至新的目标图像(例如fn+1)时，在该新的目标图像与其相邻图像之间测量相似性度量或失真度量，该相邻图像将被扭曲至此新的目标图像上。因此，两个图像fn-1与fn将被扭曲至该目标图像fn+1上。不过，依据此发明的一个实施例，单个拼接图像(例如fn-1,n)被扭曲至该新的目标图像(例如fn+1)上，而不是扭曲两个图像(fn-1与fn)。

4.针对目标帧可独立地执行重叠区域评估。该独立处理将允许重叠区域评估并行执行。在评估重叠区域以后，该方法可确定并删除冗余的一个或多个目标图像。由于针对所有目标图像的重叠区域可被一起评估，因此此方法将最大限度地增加删除帧的概率。而且，在删除目标帧以后，还可迭代地执行该过程。若相邻图像组的窗口尺寸相同，则由于目标帧删除，有效窗口尺寸可在下一迭代中变得较大。

在上面的例子中，该相邻图像组可包括具有在当前图像之前(例如fn-k,…,fn-1)以及在当前图像之后(例如fn+1,…,fn+k)的时间索引的图像。不过，该相邻图像组也可仅包括具有在当前图像之前的时间索引的图像，或仅包括具有在当前图像之后的时间索引的图像。由于该胶囊相机在经过胃肠道时可能振荡或临时逆行，因此具有在当前图像之后的时间索引的图像可能覆盖在空间上在当前图像的位置之前及之后的图像。

当前的发明可与在序列号为pct/us14/38533的pct专利申请及序列号为14/675,744的美国专利申请中所披露的发明一起使用。例如，本发明可与pct/us14/38533中所披露的时间-空间表示结合，从而可取消观看与两个或更多相邻图像大幅重叠的目标图像，以减少要观看的图像的数目。在移除具有大幅重叠的目标图像以后，可依据时间-空间表示显示剩余图像。

在另一个实施例中，在移除具有大幅重叠的目标图像以后，可依据序列号为14/675,144的美国专利申请中所披露的方法序列拼接剩余图像。在又一个实施例中，可首先应用序列拼接。在第一阶段拼接期间可首先拼接具有大重叠的图像对。在该第一阶段拼接以后，可应用本发明以识别目标图像，其中，各目标图像与两个或更多相邻图像具有大幅重叠。而且，可迭代地应用该识别并移除分别与两个或更多图像具有大幅重叠的目标图像的过程以及该序列拼接过程。

图3示出对包含本发明的实施例的对通过体内胶囊相机所撷取的图像进行处理并显示的系统的示例流程图。该流程图可对应于针对所披露的发明将要被执行于电脑、服务器、数字信号处理器或可编程装置上的软件程序代码。该程序代码可用各种编程语言编写。该流程图也可对应于基于硬件的实施，其中，一个或多个电子电路(例如asic(applicationspecificintegratedcircuits；专用集成电路)及fpga(fieldprogrammablegatearray；现场可编程门阵列))或处理器(例如，dsp(digitalsignalprocessor；数字信号处理器))。在步骤310中接收多个图像。可自存储器检索或自处理器接收该些图像。在步骤320中确定目标图像与该目标图像的相邻图像组中的各图像之间的一个或多个重叠区域，其中，该相邻图像组包括至少两个相邻图像且该目标图像与一个相邻图像之间的各重叠区域对应于与相同的场景关联的该目标图像中的一组第一像素以及该一个相邻图像中的一组第二像素。如上所述，可使用可变形配准来识别该一个或多个重叠区域。接着，在步骤330中确定该目标图像中的标记像素，其中，若该目标图像中的一个像素在该目标图像与该相邻图像组中的至少一个相邻图像之间的一个重叠区域内，该目标图像中的该一个像素被称为一个标记像素。若该目标图像中的该标记像素的总数超过阈值，则自该多个图像排除该目标图像，以形成一组剩余图像，其中，在显示装置上显示该组剩余图像，如步骤340中所示。

本发明可以其它特定形式实施，而不背离其精神或基本特性。上述例子应当在所有方面都仅被视为说明性质而非限制性质。因此，本发明的范围由权利要求而非上述说明表示。在权利要求的等同的意思及范围内所作的所有变更都将被包括于权利要求的范围内。