专利名称：从多个图像估算目标对象的运动的装置及方法
技术领域：
一般来说，本发明涉及成像系统，更具体来说，涉及从成像系统的连续获取的图像估算目标对象的运动的装置及方法。
背景技术：
成像系统是配置成显示目标对象的图像的系统，并且广泛用于各个领域。以下描述超声波诊断系统，作为成像系统的一个实例。
超声波诊断系统把超声波信号从目标对象表面向目标对象内的预期部分投射，并且通过采用经由超声回波信号得到的信息非侵入式获取软组织或血流的超声波图像。
与其它医疗成像系统(例如X射线诊断系统、X射线CT扫描仪、MRI和核医疗诊断系统)相比，超声波诊断系统是有利的，因为它的尺寸小并且相当便宜。此外，超声波诊断系统能够提供实时显示，并且是极安全的，而没有诸如X射线曝光等的危险副作用。因此，它广泛用于诊断心脏、腹部和泌尿器官，以及广泛应用于产科、妇科等领域。
具体来说，超声波诊断系统可根据通过沿人体表面移动探头而连续获取的超声波图像形成全景超声波图像。也就是说，传统的超声波诊断系统可通过将当前获取的超声波图像与先前获取的超声波图像组合来形成全景超声波图像。例如，在通过沿对象的纵向移动探头连续获取具有细长形状(例如手臂、腿等)的对象的超声波图像之后，可通过空间组合所得到的超声波图像来形成全景图像。这使得易于观察对象的受损部分。
一般来说，当显示全景超声波图像或者活动超声波图像时，估算目标对象的运动的图像通常被插入连续图像之间，以便显示接近实际图像的图像。
传统的超声波诊断系统通过比较连续输入的超声波图像的所有像素来估算目标对象的运动。因此，大量数据需要被处理，对于这类要处理的数据通常需要很长的时间。
此外，当目标对象的运动根据连续超声波图像来估算时，包含在超声波图像中的斑点噪声可能减小这种估算的准确度。
发明内容
因此，本发明的一个目的是提供通过小波变换分解连续输入的超声波图像、从而在根据分解的超声波图像估算目标对象的运动时减少斑点噪声和数据量的装置及方法。
根据本发明的一个方面，提供一种从多个图像估算目标对象的运动的方法，包括a)从多个图像选择连续的第一和第二图像；b)根据第一和第二图像的频率分量分别按n级把第一和第二图像分解为多个子图像，其中n为正整数；c)从多个子图像中选择低频分量的第一和第二子图像；d)设置第二子图像中的特征像素；e)选择包含特征像素以及特征像素的预定数量的相邻像素的图像块；f)通过把图像块与第一子图像进行比较，从第一子图像中选择参考区域；g)计算参考区域的像素与图像块的像素之间的位移；h)存储所计算的位移；i)执行分解图像的1-级合成；j)重复执行步骤c)至i)，直到分解图像成为1-级分解图像；以及k)根据存储的位移来估算目标对象的运动。
根据本发明的另一个方面，提供一种从多个图像估算目标对象的运动的装置，包括第一选择单元，用于从多个图像选择连续的第一和第二图像；分解单元，用于根据第一和第二子图像的频率分量按n级把第一和第二图像分解为多个子图像，其中n为正整数；第二选择单元，用于从多个子图像中选择低频分量的第一和第二子图像；设置单元，用于从第二子图像的像素中设置特征像素；第三选择单元，用于选择包含特征像素以及特征像素的预定数量的相邻像素的图像块；第四选择单元，用于通过把图像块与第一子图像进行比较、从第一子图像中选择参考区域；计算单元，用于计算参考区域的像素与图像块的像素之间的位移；存储单元，用于存储所计算的位移；合成单元，用于合成所分解的图像；以及估算单元，用于根据存储的位移来估算目标对象的运动。
通过以下结合附图提供的优选实施例的说明，本发明的以上及其它目的和特征将变得非常明显，其中图1是框图，示意说明根据本发明构造的超声波诊断系统；图2A和图2B是流程图，说明在根据本发明构造的图像处理器中执行的运动估算方法；图3是示意图，说明1-级小波变换的程序；图4是示意图，说明通过小波变换得到的子图像；图5是示范图，说明3-级小波变换的程序；图6A和图6B是简图，分别说明水平梯度滤波器和垂直梯度滤波器；图7A和图7B是示意图，说明对子图像应用水平梯度滤波器和垂直梯度滤波器的实例；以及图8是示意图，说明根据本发明估算目标对象的运动的一个实例。
具体实施例方式
图1是框图，示意说明根据本发明构造的超声波诊断系统。
如图1所示，超声波诊断系统100包括探头110、波束形成器120、信号处理单元130、扫描转换器140、视频处理器150、图像处理器160和显示单元170。超声波诊断系统100还可包括存储单元、如存储器等。视频处理器150和图像处理器160可作为一个处理器提供。
包括1-维或2-维阵列换能器112的探头110配置成向目标对象依次发射超声波信号，以及依次接收来自目标对象的回波信号。目标对象的超声波图像可通过采用探头110扫描目标对象连续获取。连续超声波图像可能是显示目标对象的运动的多个图像。另外，连续超声波图像也可能是目标对象的部分图像。也就是说，通过部分图像可观察目标对象的整个图像。
波束形成器120控制发送信号的延迟，这些信号将发送到探头110的阵列换能器112，使得从阵列换能器112输出的超声波信号被聚焦在焦点上。然后，通过考虑回波信号到达各换能器的延迟来聚焦阵列换能器112所接收的回波信号。
作为一种类型的数字信号处理器的信号处理单元130执行包络检测过程，用于检测由波束形成器120聚焦的回波信号的幅度，从而形成超声波图像数据。
扫描转换器140对于从信号处理单元130输出的超声波图像数据执行扫描转换。
视频处理器150处理从扫描转换器140输出的扫描转换后的超声波图像数据以得到视频格式，以及将已处理超声波图像数据发送给显示单元170。
图像处理器160接收从扫描转换器130或视频处理器150输出的超声波图像数据。
下面根据图2到图8来描述图像处理器160的操作。
图2A和图2B是流程图，说明在超声波诊断系统100的图像处理器160中执行的运动估算方法。
参照图2A和图2B，在步骤S110，图像处理器160根据预定数量的频率分量来分解从扫描转换器140连续输入的超声波图像。通过n-级分解得到的图像称作n-级图像。根据本发明的优选实施例，小波变换可用来分解超声波图像。
如图3所示，低通滤波器和高通滤波器沿水平方向应用于输入的超声波图像，从而分别产生低频带(L)的图像和高频带(H)的图像。然后，低通滤波器和高通滤波器分别沿垂直方向应用于L和H，使得可得到LL1、LH1、HL1和HH1子图像。1-级小波变换根据上述过程来执行。
此后，低通滤波器和高通滤波器沿水平方向应用于低频分量的LL1子图像。然后，沿垂直方向应用低通滤波器和高通滤波器，使得LL2、LH2、HL2和HH2子图像可从LL1子图像中得到。这样，可完成2-级小波变换。3-级小波变换对于LL2、LH2、HL2和HH2子图像之中的低频分量的LL2子图像来执行。
图像处理器160对预定数量的连续输入的超声波图像连续执行小波变换，从而把各超声波图像分解为多个子图像，以便形成和提供多分辨率，如图4所示。LLn子图像是通过小波变换得到的低频分量的滤波后原始图像。此外，HLn、LHn和HHn子图像是对于LLn子图像分别包含水平、垂直和对角线取向的高频分量的图像，其中，LLn、HLn、LHn和HHn中的n表示小波变换的级。
图5说明输入的超声波图像510的3-级小波变换的程序。如图5所示的LL3子图像520是通过3-级小波变换得到的低频的图像。
特征像素从通过3-级小波变换得到的LL3子图像520中选取。特征像素用作根据本发明的运动估算的参考像素。特征像素可选作在构成LL3子图像520的各个像素之中具有最高灰度级、发光或梯度的像素。
从LL3子图像520中选择特征像素的原因在于，LL3子图像520是在HL3、LH3和HH3子图像之中能够最好地消除斑点噪声的图像。
下面论述从LL3子图像520中选择特征像素的方法。
图6A和图6B分别示出的水平梯度滤波器610和垂直梯度滤波器620被应用于构成LL3子图像510的各像素。这使得可在步骤S120计算各像素的水平和垂直梯度Sx和Sy。
要计算具有如图7A和图7B所示的灰度级分布模式的LL3子图像510中包含的目标像素RP的水平梯度Sx，水平梯度滤波器610被应用于LL3子图像510。这使得水平梯度滤波器610的中心像素(R4，C4)定位到LL3子图像520的目标像素RP，如图7A所示。然后，水平梯度滤波器610的各像素值与LL3子图像520的各灰度级相乘。这样，可得到LL3子图像520的像素的已滤波值。
随后，中心列x4的左列中存在的已滤波值被合计，从而得到第一相加值。然后，中心列x4的右列中存在的已滤波值也被合计，从而得到第二相加值。也就是说，第一相加值为138(＝0+2+0+6+3+6+9+1+2+1+4+2+1+3+8+7+6+9+3+3+4+5+5+6+2+4+3+4+3+3+6+5+5+5+1+10)，以及第二相加值为-168(＝-4+(-2)+(-6)+(-4)+(-7)+(-3)+(-4)+(-4)+(-4)+(-1)+(-1)+(-7)+(-5)+(-4)+(-8)+(-5)+(-5)+(-3)+(-4)+(-2)+(-3)+(-5)+(-3)+(-2)+(-3)+(-5)+(-7)+(-6)+(-4)+(-7)+(-8)+(-5)+(-8)+(-8)+(-9)+(-2))。
图像处理器160通过合计第一相加值和第二相加值来计算目标像素RP的水平梯度Sx。目标像素RP的梯度变为-30(＝138+(-168))。计算目标像素RP的梯度的以上过程通过改变目标像素重复执行。计算各像素的垂直梯度Sy的方法以与计算水平梯度Sx的方法相似的方式来执行。为了计算垂直梯度Sy，垂直梯度滤波器620被应用于LL3子图像520来代替水平梯度滤波器610，如图7B所示。
在通过对LL3子图像520应用垂直梯度滤波器620来得到滤波值之后，与定位于中心行y4的上侧的坐标(xi，yj)对应的滤波值被合计，其中“i”是范围从0到8的正整数，以及“j”是范围从0到3的正整数，从而得到第三相加值。另外，与定位于中心行y4的下侧的坐标(xm，yn)对应的滤波值也被合计，其中“m”是范围从0到8的正整数，以及“n”是范围从5到8的正整数，从而得到第四相加值。此后，通过合计第三相加值和第四相加值来计算目标像素RP的垂直梯度Sy。计算目标像素RP的垂直梯度的以上过程通过改变目标像素重复执行。
在如上所述计算各像素的水平和垂直梯度Sx和Sy之后，各像素的梯度S通过把所计算的水平和垂直梯度Sx和Sy代入下式来计算S=Sx2+Sy2---(1)]]>像素的所计算梯度相互比较，以及在步骤S140，具有最大梯度的像素被选作特征像素。如果选择了特征像素，则在步骤S150，设置包含特征像素以及与LL3子图像520中的特征像素相邻的预定数量的像素的图像块521。
在设置图像块521之后，在步骤S160，通过采用图像块521，在通过3-级小波变换从前一个输入的超声波图像得到的LL3子图像800的搜索区域820中选择参考区域810。根据最小和绝对差(SAD)，通过将图像块521与搜索区域820进行比较来确定参考区域810的选择。
根据本发明的优选实施例，通过从LL3子图像800中消除边缘区域来确定搜索区域820。另外，根据过程条件，LL3子图像800的整个区域也可能是搜索区域820。即使在边缘区域中搜索具有最小SAD的区域，参考区域也应当从边缘区域之外的区域中选取。
具有最小SAD的区域可根据下式来搜索Σy=0SΣx=0S|Pn(X-x-dx,Y-y-dy)-Po(X-y,Y-y)|---(2)]]>其中，Pn是组成图像块521的各像素的灰度级，Po是组成前一个LL3子图像800的各像素的灰度级，X和Y表示从当前LL3子图像520中选择的特征像素的坐标，以及dx和dy是图像块521的各像素与参考区域810的各像素之间的坐标的距离位移。
作为大部分对应于图像块521的区域的参考区域810可被估算为在其中先前定位了对应于图像块521的图像的区域。也就是说，可以估算，图像块521从前一个LL3子图像800中的参考区域810移动。因此，在计算参考区域810的各像素与图像块520的各像素之间的坐标的位移dx3和dy3之后，在步骤S170，计算SAD在其中变为最小的坐标的旋转位移dq3。在位移dx3、dy3和dq3中，数字“3”表示对于3-级小波变换超声波图像计算位移。此后，在步骤S190，确定当前图像是否对应于1-级小波变换图像。
如果在步骤S190确定当前图像不对应于1-级小波变换图像，则在步骤S200执行1-级逆小波变换。在步骤S210，图像处理器160从通过1-级逆小波变换得到的低频分量的子图像确定特征像素，以及在步骤S220根据所确定的特征像素来选择图像块。在步骤S230，具有最小SAD的区域从通过1-级逆小波变换得到的前一个LL子图像中被选作参考区域，然后过程进入步骤S170。也就是说，如果在步骤S230确定了参考区域，则在步骤S170，通过比较参考区域的各像素与图像块的各像素之间的坐标来计算位移dx2、dy2和dq2。在步骤S180存储所计算的位移dx2、dy2和dq2。如上所述，在位移dx2、dy2和dq2中，数字“2”表示对于2-级小波变换超声波图像计算位移。另外，通过两次1-级逆小波变换得到的位移可表示为dx1、dy1和dq1。
在执行逆小波变换时，子图像的大小变大。因此，考虑到以下情况来计算位移图像块和搜索区域的大小随着执行逆小波变换而变大。
同时，如果在步骤S190确定子图像对应于1-级小波变换图像，则在步骤S240确定是否在图像处理器160中对所有超声波图像执行了以上过程(步骤S110-S180)。如果在步骤S240确定未对所有超声波图像执行以上过程，则过程返回到步骤S100，然后执行上述过程。另一方面，如果在步骤S240确定对于所有超声波图像完成了该过程，则图像处理器160根据位移dx、dy和dq来估算目标对象的运动，然后在步骤S250形成超声波活动图像。例如，x方向上的目标对象的运动可通过选择位移dx3、dx2和dx1之中最小的一个或者对位移dx3、dx2和dx1求平均来估算。超声波活动图像可能是典型活动图像或者全景图像。
如上所述，由于连续输入的超声波图像经过小波变换，因此可减少斑点噪声。这样，根据本发明，准确地执行超声波图像中的目标对象的运动估算。另外，由于分解图像还用来估算目标对象的运动，因此，为运动估算要处理的数据量可减少。因此，可以更迅速地执行估算目标对象的运动的过程。
虽然针对本发明的优选实施例来描述和说明了本发明，但是本领域的技术人员非常清楚，变更和修改是可行的，而没有背离本发明的广义原理和理论，它们应当仅由所附权利要求的范围来限制。
权利要求
1.一种从多个图像估算目标对象的运动的方法，包括a)从所述多个图像中选择连续的第一和第二图像；b)根据所述第一和第二图像的频率分量分别按n级把所述第一和第二图像分解为多个子图像，其中n为正整数；c)从所述多个子图像中选择低频分量的第一和第二子图像；d)设置所述第二子图像中的特征像素；e)选择包含所述特征像素以及所述特征像素的预定数量的相邻像素的图像块；f)通过把所述图像块与所述第一子图像进行比较，从所述第一子图像中选择参考区域；g)计算所述参考区域的像素与所述图像块的像素之间的位移；h)存储所述计算的位移；i)为所述分解的图像执行1-级合成；j)重复执行所述步骤c)到i)，直到所述分解的图像变成1-级分解图像；以及k)根据所述存储的位移来估算所述目标对象的运动。
2.如权利要求1所述的方法，其特征在于，所述多个连续图像是超声波图像。
3.如权利要求1所述的方法，其特征在于，所述步骤b)和i)分别采用小波变换和逆小波变换来执行。
4.如权利要求1所述的方法，其特征在于，所述步骤d)包括以下步骤d1)计算组成所述第二子图像的各像素的水平和垂直梯度；d2)计算所述第二子图像的各像素的梯度；以及d3)将像素的梯度相互比较，并且选择具有最大梯度的像素作为特征像素。
5.如权利要求4所述的方法，其特征在于，所述水平和垂直梯度通过采用各像素的灰度级来计算。
6.如权利要求4所述的方法，其特征在于，所述水平和垂直梯度通过采用各像素的发光来计算。
7.如权利要求4所述的方法，其特征在于，所述参考区域具有与所述图像块的最小和绝对差。
8.如权利要求1所述的方法，其特征在于，所述步骤g)包括以下步骤g1)计算所述图像块的各像素与所述参考区域的各像素之间的距离位移；以及g2)通过为所述参考区域旋转所述图像块来计算旋转位移。
9.一种用于从多个图像估算目标对象的运动的装置，包括第一选择单元，用于从所述多个图像中选择连续的第一和第二图像；分解单元，用于根据所述第一和第二图像的频率分量分别按n级把所述第一和第二图像分解为多个子图像，其中n为正整数；第二选择单元，用于从所述多个子图像中选择低频分量的第一和第二子图像；设置单元，用于从所述第二子图像中的像素设置特征像素；第三选择单元，用于选择包含所述特征像素以及所述特征像素的预定数量的相邻像素的图像块；第四选择单元，用于通过把所述图像块与所述第一子图像进行比较，从所述第一子图像中选择参考区域；计算单元，用于计算所述参考区域的像素与所述图像块的像素之间的位移；存储单元，用于存储所述计算的位移；合成单元，用于合成所述分解的图像；以及估算单元，用于根据所述存储的位移来估算所述目标对象的运动。
10.如权利要求9所述的装置，其特征在于，所述多个连续图像是超声波图像。
11.如权利要求9所述的装置，其特征在于，所述分解单元和所述合成单元通过分别采用小波变换和逆小波变换进行工作。
12.如权利要求9所述的装置，其特征在于，所述设置单元包括第一计算单元，用于计算组成所述第二子图像的各像素的水平和垂直梯度；第二计算单元，用于通过采用所述计算的垂直和水平梯度来计算所述第二子图像的各像素的梯度；以及比较单元，用于将像素的梯度相互比较，并且选择具有最大梯度的像素作为特征像素。
13.如权利要求12所述的装置，其特征在于，所述水平和垂直梯度通过采用各像素的灰度级来计算。
14.如权利要求12所述的装置，其特征在于，所述水平和垂直梯度通过采用各像素的发光来计算。
15.如权利要求9所述的装置，其特征在于，所述参考区域具有与所述图像块的最小和绝对差。
16.如权利要求9所述的装置，其特征在于，所述计算单元包括第一计算单元，用于计算所述图像块的各像素与所述参考区域的各像素之间的坐标的距离位移；以及第二计算单元，用于通过为所述参考区域旋转所述图像块来计算坐标的旋转位移。
全文摘要
本发明涉及一种从多个图像估算目标对象的运动的方法。该方法包括a)从多个图像选择连续的第一和第二图像；b)根据第一和第二图像的频率分量分别按n级把第一和第二图像分解为多个子图像，其中n为正整数；c)从多个子图像中选择低频分量的第一和第二子图像；d)设置第二子图像中的特征像素；e)选择包含特征像素及特征像素的预定数量的相邻像素的图像块；f)通过把图像块与第一子图像比较，从第一子图像中选择参考区域；g)计算参考区域的像素与图像块的像素之间的位移；h)存储所计算的位移；i)执行分解图像的1－级合成；j)重复执行步骤c)至i)，直到分解图像成为1－级分解图像；以及k)根据存储的位移来估算目标对象的运动。
文档编号G06T7/20GK1868404SQ200610079289
公开日2006年11月29日 申请日期2006年4月20日 优先权日2005年4月20日
发明者申东国 申请人:株式会社美蒂森