专利名称：图像处理方法和图像处理装置的制作方法
技术领域：
本发明涉及能够分离图像的背景区域的图像处理方法和图像处理设备。
背景技术：
近年来，带有照相机的可视通信设备已经开始投入广泛应用。例如，用于多人同时参加的电视会议的系统在商业领域是已知的，而利用网络照相机的通信系统在个人领域是已知的。在这样的系统中，另一方的显示图像被显示在显示装置上，并且捕获视觉观察显示装置的屏幕的用户的图像，以作为拍摄物体的图像。通过包含公共线路和专用线路等的网络将得到的图像信号发送到在另一方处的图像处理装置，由此有可能使得两个用户都具有真实的感觉。
但是，那些系统共有的一个问题是，期望不将除人物之外的区域的信息发送到另一方。将由一台照相机捕获的图像的所有信息都发送到另一方的现有系统包含这样的局限性，即必须将系统安装在其图像可以显示给另一方的地点。
因此，希望有一种方法，在其中人物的图像部分(前景)和背景的图像部分彼此分离，对背景的图像部分施行某种图像处理或其它处理等等。
即，从一台照像机系统所捕获的移动的图像中分离出包含诸如用户的移动对象的图像的前景区域，并对分离出的移动对象的图像施行预定的处理，从而使得几乎不受背景特征影响的、健壮(robust)的图像处理变为可能。此外，当不希望将关于背景的信息发送到另一方时，前景和背景是彼此分离的，并且仅仅发送关于前景的信息，从而实现健壮的图像处理。
这里，当考虑到将背景和前景彼此分离的方法时，例如，已知使用热传感器确定人物区域并对背景区域施行预定的图像处理的方法(例如见专利文献1)，基于背景差异、帧间差异和立体方法检测移动区域以形成前景的方法(例如见专利文献2)，确定距离范围并输出关于落在该距离范围内的图像的信息的方法(例如见专利文献3)等。
专利文献1已公开的日本专利公报No.Hei 9-200714专利文献2已公开的日本专利公报No.2000-20722专利文献3已公开的日本专利公报No.2000-200359发明内容但是，在专利文献1中公开的使用热传感器确定人物区域并对背景区域施行预定的图像处理的方法的情况中，热传感器通常价格很高，并且必须提供可视通信设备所要求的传感器，而不是照相机。此外，在专利文献2所公开的基于背景差异、帧间差异和立体方法确定移动区域以形成前景的方法的情况中，由于采用了背景差异，必须提前获得其中没有捕获人物图像的图像。因此，这种方法在便利方面存在问题。并且，在专利文献3所公开的确定距离范围并输出关于落在该距离范围内的图像的信息的方法的情况中，当通过使用立体方法测量距离时，如果在输入场景中包含许多重复的图案或者包藏的区域，则很难以高精度执行距离测量。不仅如此，当考虑到其它技术时，已知分割捕获的图像的区域的方法、识别人物的方法等。但是，那些方法并不是考虑到健壮性特性和精度而建立的。
由于现有技术中的上述问题，本发明期望提供一种图像处理方法和图像处理装置，其能够通过使用从多个照相机捕获的图像将立体方法和估计背景的方法彼此结合以达到分离图像的背景区域的目的。
通过下面将要说明的优选实施例，本发明的其它目的和由本发明得到的具体优点将变得更加清楚。
根据本发明的一个实施例，提供一种图像处理方法，包括步骤捕获步骤，使用至少两台照相机从不同的视点捕获一个物体的图像以得到彼此同时的输入图像；背景区域估计步骤，对于在捕获的步骤得到的每一个输入图像，基于背景区域是远距离的并且具有平的表面的假设，根据执行全局图像重叠之后的相似程度，估计背景区域；距离图像生成步骤，对于除了在背景区域估计步骤估计出的背景区域中的那些点之外的点，通过利用立体方法执行距离测量，生成距离图像；以及背景分离图像生成步骤，通过参照在距离图像生成步骤生成的距离图像，从每个输入图像中除去预定距离或更远的区域的图像，生成背景分离的图像。
优选地，在根据本发明的实施例的图像处理方法中，在背景区域估计步骤中，计算输入图像之间移动的量、不超过阈值的全局移动的量，从而执行全局图像重叠，其中，输入图像之间移动的量使得整个图像的亮度误差在输入图像之间变得最小，阈值是依据分离边界而确定的，背景区域根据所述分离边界被分离。
优选地，在背景区域估计步骤中，该估计是通过将具有高于预定阈值的局部相似程度的区域作为背景区域而执行的。
此外，优选地，在根据本发明的实施例的图像处理方法中，例如，在背景区域估计步骤中，在任何需要的时候更新/添加用于根据局部相似程度估计背景区域的背景模板。
根据本发明的另一个实施例，提供一种图像处理装置，包括用于在其中存储彼此同时的输入图像的数据的存储器件，其中输入图像是通过使用至少两台照相机从不同视点拍摄一个物体而得到的；背景区域估计处理单元，用于对于每一个彼此同时的输入图像，基于背景区域是远距离的并且具有平的表面的假设，在执行全局图像重叠之后，基于局部相似程度估计背景区域，其中，输入图像的数据被存储在所述存储器件中；距离图像生成处理单元，用于对于除了在背景区域估计处理单元估计出的背景区域中的那些点之外的点，利用立体方法执行距离测量，生成距离图像；以及背景分离图像生成处理单元，用于通过参照在距离图像生成处理单元生成的距离图像，从每个输入图像中除去预定距离或更远的区域的图像，生成背景分离图像。
优选地，背景区域估计处理单元计算在输入图像之间移动的量、全局移动的量，从而执行全局图像重叠，其中，在输入图像之间移动的量使得整个图像的亮度误差在输入图像之间变得最小，全局移动的量不超过根据分离边界确定的阈值，背景区域依据该分离边界被分离。
此外，优选地，背景区域估计处理单元将具有高于预定阈值的局部相似程度的区域估计为背景区域。
并且，优选地，在根据本发明的另一个实施例的图像处理装置中，背景区域估计处理单元在任何需要的时候更新/添加用于根据局部相似程度估计背景区域的背景模板。
根据本发明，执行全局和局部背景估计使得有可能更准确地生成距离图像。从而能够将前景和背景彼此分离。使用了整个图像的重叠并估计了大致的背景区域，从而对于具有许多重复图案和包藏区域的场景能够获得健壮的结果。此外，背景模板堆栈在任何需要的时候被更新/添加，这使得对于随时间的逝去带来的环境的改变更加健壮。
图1是示出应用了本发明的可视通信设备的结构方框图；图2用于解释基于立体方法测量距离的方法；图3的流程图示出了在图1所示的可视通信设备中用于将背景和前景彼此分离的处理的流程；图4用于解释由图3所示的用于将背景和前景彼此分离的处理中步骤S2的处理所执行的图像正规化(normalize)处理；图5的流程图示出了由图3所示的用于将背景和前景彼此分离的处理中步骤S3的处理所执行的背景区域掩码(mask)计算处理的流程；图6示出了输入图像的例子；图7的功能方框图示出了图1所示的可视通信设备中的背景估计处理单元的结构；图8示出了图像重叠(superimposition)的例子；图9的流程图示出了图5所示的背景区域掩码计算处理中步骤S3-1的全局移动(shift)量计算处理的流程；图10示出了图5所示的背景区域掩码计算处理中步骤S3-2的局部相似程度计算处理的要点；图11的流程图示出了图5所示的背景区域掩码计算处理中步骤S3-2的局部相似程度计算处理的流程；图12示出了图5所示的背景区域掩码计算处理中步骤S3-3的背景模板堆栈比较处理的要点；图13的流程图示出了图5所示的背景区域掩码计算处理中步骤S3-3的背景模板堆栈比较处理的流程；图14的流程图示出了图5所示的背景区域掩码计算处理中步骤S3-4的背景模板更新处理的流程；以及图15示出了输入图像和背景区域掩码。
具体实施例方式
在下文中，将参照附图详细说明本发明的优选实施例。顺便提及，应该理解，本发明并不意味着局限于下列实施例，因此在不脱离本发明的要旨的前提下，本领域的技术人员可以任意进行各种改变。
例如，本发明被应用于具有图1所示结构的可视通信设备10。
可视通信设备10具有通过使用由多个照相机捕获的多幅图像估计背景区域的功能、以及通过利用基于立体方法的距离测量将背景和前景彼此分离的功能。可视通信设备10包含基准照相机1、检测照相机2、帧存储器3、背景区域估计处理单元4、距离图像生成处理单元5和背景分离的图像生成处理单元6。
假设对可视通信设备10中所使用的多个照相机已经预先执行了校准。由于在本实施例中必须使用两台或两台以上的照相机，因此将参考使用两台照相机(基准照相机1和检测照相机2)的情况给出以下的说明。校准是这样的，即获得对于基准照相机1的点m和对于检测照相机2的、与点m相对应的点m’，并计算出用于距离测量的照相机之间的约束条件。
在可视通信设备10中，由基准照相机1和检测照相机2同时捕获的彩色图像的数据在帧存储器3中累积，并且背景区域估计处理单元4估计背景区域。随后，距离图像生成处理单元5参考除由背景区域估计处理单元4估计出的背景区域中那些点之外的点、利用立体方法执行距离测量，其中的立体方法将在后面说明。背景分离的图像生成处理单元6确定最终的背景区域，如果需要则执行处理，并输出关于背景分离的图像的数据。
这里，将说明一般的照相机校准和距离测量方法。
在本例中，将图像上的点m和空间中的点M分别记为m＝[u，v]T和M＝[x，y，z]T，并且将在齐次坐标系中对那些点的描述分别记为m~＝[u，v，l]T和M~＝[x，y，z，l]T。空间中的点M和图像上的点m的关系由式1给出sm~＝Ａ·[R t]·M~＝P·M~ (式1)其中s是比例因子，矩阵[R t]被称为外部参数，并且表示照相机在空间中的位置，R和t分别表示旋转矩阵和变换矩阵。矩阵A被称为照相机的内部参数，由式2给出A=αγu00βv0001]]>(式2)其中(u0，v0)表示图像中心，α＝-f/ku和β＝-f·kv/sinθ分别表示u轴的比例因子和v轴的比例因子，并且γ＝f·ku·cosθ表示两轴的扭转(twisting)。此外，矩阵P＝A·[R t]是3×4的投影矩阵，空间中的点通过该矩阵投影到图像表面上。上述说明示出了在不考虑透镜失真影响的理想条件下的变换。但是，由于实际上不能忽略失真的影响，因此将添加透镜失真作为照相机参数。在失真坐标系中的点md＝[ud vd]T和点m＝[u v]T的关系能够用式3表示u＝ud+(ud-cu)·k·rd2v＝vd+(vd-cv)·k·rd2(式3)其中rd2由((ud-cu)2+(vd-cv)2sv2)表示，(cu，cv)表示失真中心，sv表示宽高比。
随后将说明基于立体方法的距离测量方法。
如图2所示，将在基准照相机1和检测照相机2上的投影矩阵分别记为P和P’，并且将在由基准照相机1和检测照相机2捕获的图像上的点分别记为m和m’。但是，假设如式3所示，从各自图像中的那些点上除去了失真的影响。当测量到点M的距离时，必须检测与在基准图像上的点m相对应的、在检测图像上的点m’。如图2所示，由于点m’位于被称为epipola线的直线1上，为了检测在检测图像上与点m相对应的点，必须在这条线上进行搜索。epipola线是通过将照相机中心和点m之间的直线上的点投影到检测照相机2上而得到的点的集合。例如，当在空间中Z轴方向的测量范围被记为(Z0-Zn)时，epipola线变为在点m0′和mn′之间的直线，其中点m0′和mn′是通过投影对应于各自距离的点M0和Mn而获得的。在实际的搜索中，位于距离Zi的点被投影在检测图像上，测量与在基准图像上的点的相似程度，并且确定图像之间的点之间的对应性。
下面示出将投影到基准照相机1的点m上的、在距离Zi的点Mi投影到检测图像上的点mi′的过程。
根据式1的、通过点m的视线上的点可由式4表示M~＝sP+·m~+P⊥(式4)
其中P+是伪逆矩阵。伪逆矩阵P+由式5定义P+＝PT(PPT)-1(式5)此外，由于P⊥成为满足式6的向量，并且总是投影到原点，因此它实际表示光学中心并且可以从式6计算得到。
P·P⊥＝0P⊥＝(I-PP+)ω(式6)其中ω是任意的四维向量。
式4代表通过光学中心和基准图像上的点m的所有点。但是，将距离设置为Zi使得有可能确定比例因子并确定空间中的点Mi。当使用投影矩阵P’投影该点时，能够计算出检测图像上的点mi’。
从前面的描述，为了得到空间中的点，必须单独地获得照相机1和2各自的照相机参数A、R、t、A’、R’和t’，或者必须直接计算出投影矩阵P和P’并进一步计算出照相机1和2各自的失真参数k1、cu1、cv1、sv1、k2、cu2、cv2和sv2。这样，计算这些参数成为照相机校准。
图3示出了在可视通信设备10中将背景和前景彼此分离的处理的流程。
即，在可视通信设备10中，首先使用基准照相机1和检测照相机2从不同的视点拍摄一个物体，以获得彼此同时的输入彩色图像(步骤S1)。将得到的输入图像的数据存储到帧存储器3中。
随后，背景区域估计处理单元4使用上述校准参数从存储在帧存储器3中的每个输入图像的数据中除去透镜失真的影响，并执行图像正规化(步骤S2)。
即，由于每个输入图像都受到透镜失真的影响，因此使用式3从其中除去透镜失真的影响。此外，如图4所示，图像正规化是这样的，即，将使用两个照相机1和2从不同的视点c1和c2拍摄一个物体而获得的图像IL和IR变换成就像是使用平行的照相机(具有平行的光轴的左手侧和右手侧的照相机)拍摄该物体而获得的图像IL和IR。结果，使得原本不是彼此平行的epipola线变得并行，并且与光学中心(视点c1和c2)之间的直线平行。当获得作为校准参数的投影矩阵P和P’时，通过利用例如下面的参考文献中公开的方法，能够获得图4所示的变换矩阵TH1和TH2。使用作为结果的变换矩阵TH1和TH2变换输入图像，以生成基准照相机图像Ib和检测照相机图像Id。[参考文献Andrea Fusiello，Emanuele Trucco和Alessandro VerriA compactalgorithm for rectification of stereo pairs(用于校正立体像对的简单算法)，Machine Vision and Application(2000)12，16到22页]即，变换矩阵是根据左手侧和右手侧照相机的投影矩阵P和P’计算出的。
实际上，投影矩阵P和P’被转换成使得在获取投影矩阵P时所使用的左手侧照相机的XYZ坐标系中的X轴变成与照相机1和2各自的光学中心c1和c2之间的直线平行，并且Y’轴变为与包含Z轴以及光学中心c1和c2之间的直线(X’轴)的平面垂直。变换矩阵是从修正过的投影矩阵Pn和Pn’计算出的。
在下文中将说明计算修正的投影矩阵Pn和Ph’的过程。并且，下面将给出关于从作为结果的矩阵Pn和Pn’以及投影矩阵P和P’计算出变换矩阵TH1和TH2的过程的说明。
(i)光学中心的计算当投影矩阵P和P’由式7描述时，光学中心c1＝[xc1，yc1，zc1]T和c2＝[xc2，vc2，zc2]T由式8给出 (式7)c1＝-Q-1qc2＝-Q′-1q′ (式8)(ii)X’、Y’和Z’轴的计算如上所述，X’轴是连接光学中心的向量。因此，当由v1＝[x1，y1，z1]T表示时，X’轴的向量v1通过式9获得v1＝(c1-c2) (式9)此外，如上所述，Y’轴的向量v2＝[x2，y2，z2]T是与X’轴和Z轴垂直的向量。因此，当投影矩阵P由式10表达时，Y’轴的向量v2由v2＝r3∧v1表示。
(式10)并且，Z’轴的向量v3＝[x3，y3，z3]T是与X’轴和Y’轴垂直的向量，由式11表示v3＝v1∧v2 (式11)(iii)投影矩阵Pn和Pn’的计算投影矩阵Pn和Pn’由式12描述Pn＝An·[Rntn]Pn′＝An·[Rntn′] (式12)在新的投影矩阵中，内部参数和外部参数的旋转分量变成彼此相同。因此，为了计算投影矩阵Pn和Pn’，必须计算内部和外部参数An、Rn、tn和tn’。内部参数An是使用投影矩阵P和P’的内部参数由式13计算出的An=12(A+A′)]]>(式13)此外，外部变量Rn是通过使用按照上述过程计算出的X’轴、Y’轴和Z’轴的向量v1、v2和v3由式14计算出的。
Rn=v1′Tv2′Tv3′T]]>(式14)v1′＝v1/‖v1‖v2′＝v2/‖v2‖v3′＝v3/‖v3‖(式14)并且，外部变量tn和tn’是通过使用根据式7的光学中心c1和c2以及外部变量Rn由式15计算出的tn＝-Rnc1tn′＝-Rnc2(式15)投影矩阵Pn和Pn’可以根据上述对内部和外部参数An、Rn、tn和tn’的计算由表达式12计算得到。
(iv)变换矩阵TH1和TH2的计算在这一部分，下面将给出关于通过使用投影矩阵P、P’、Pn和Pn’来计算变换矩阵TH1和TH2的方法的说明。
当被捕获的图像上的点m~＝[u，v，1]T被假定为正规化图像上的点m~n＝[u，v，1]T时，空间中的点m~＝[x，y，z，1]T和点m~n之间的关系可以由式16描述m~＝PM~＝[Q|-Qc1]M~m~n＝PnM~＝[Qn|-Qnc1]M~ (式16)
根据式16，通过点m~和点m~n的直线可以由式17表示M~＝sQ-1m~+c1M~n＝snQn-1m~n+c1(式17)因此，点m~和点m~n之间的关系可以由式18说明m~n＝λQnQ-1m~ (式18)由于变换矩阵是被捕获的图像上的点m通过其投影到正规化图像上的点mn的矩阵，因此矩阵QnQ-1即为变换矩阵。换句话说，变换矩阵TH1和TH2可以由式19计算得到TH1＝QnQ-1TH2＝Qn′Q′-1(式19)随后，背景区域估计处理单元4计算背景区域掩码Rbbg(u，v)和Rdbg(u，v)(步骤S3)。
在本例中，假设背景区域在远处并且在一个平面附近。图5示出了实际计算背景区域掩码Rbbg(u，v)和Rdbg(u，v)的处理的流程。在背景区域掩码Rbbg(u，v)和Rdbg(u，v)中，将背景区域记为「1」，将其它部分记为「0」。
例如，在如图6所示的输入图像Ib(u，v)和Id(u，v)的情况下，背景区域具有许多重复的图案和大块的包藏区域。因此，当使用通常的基于局部区域的比较方法时，不能以高精度确定相应的单元。于是，首先使用全局图像重叠技术估计背景区域。
这里，如图7的功能方框图所示的背景区域处理单元包含全局移动量计算单元41、背景像素估计单元42和更新处理单元43。
于是，在如图5所示的步骤S3的处理中，首先，在第一个步骤S3-1的处理中，全局移动量计算单元41执行用于获得移动量bg_shift的全局移动量计算处理，以便如式20所示，使得对于其数据存储在帧存储器FM1中的左手侧和右手侧的输入图像Ib(u，v)和Id(u，v)来说，整个图像的亮度误差达到最小。然后，全局移动量计算单元41将有关作为结果的移动量bg_shift的数据存储到存储器M1中。
E_g=Σi|Ib(ui,vi)-Id(ui-bg_shift,vi)|]]>(式20)但是，在本例中假设背景区域在远处，并且0≤bg_shift＜SHIFT_THRESH成立。SHIFT_THRESH是根据前景和背景之间的分离边界自适应地确定的阈值。期望在特定距离上和在特定距离之后的区域不被见到，即，将这一区域作为背景，从而确定阈值。此外，由于图像处理是基于背景是平面的假设而执行的，因此这减小了输入图像Ib(u，v)和Ib(u，v)的分辨率。因此，从式20计算移动量bg_shift。由于在步骤S2的处理中对输入图像Id(u，v)和Id(u，v)进行了正规化，因此在本例中只获取在u轴方向的移动量。
图8示出了图像重叠的例子，图9示出了步骤S3-1的全局移动量计算处理的具体流程。
更确切地说，在步骤S3-1的全局移动量计算处理中，首先，shift和E_min被分别初始化为0和MAX(步骤S3-1A)。接着，得到E_g＝0，i＝0，即，变量E_g和i被复位为「0」(步骤S3-1B)。
接下来，得到E_gt+＝|Ib(ui，vi)-Id(ui-shift，vi)|，即，相对于输入图像Ib(u，v)和Id(u，v)得到Ib(ui，vi)和Id(ui-shift，vi)之间差的绝对值之和(步骤S3-1C)。然后变量i增加(步骤S3-1D)。随后判定增加的变量i是否大于图像尺寸(步骤S3-1E)。
当在步骤S3-1E的判定结果显示为否时，操作返回到步骤S3-1C的处理，并且重复地执行从步骤S3-1C到步骤S3-1E的处理。结果，当在步骤S3-1E的判定结果显示为是时，判定表示Ib(ui，vi)和Id(ui-shift，vi)之差的绝对值之和的变量E_g是否小于变量E_min(步骤S3-1F)。
当在步骤S3-1F的判定结果显示为是时，使得变量E_min等于表示上述绝对值之和的变量E_g的值，并且使得移动量bg_shift等于变量shift的值(步骤S3-1G)。其后，变量shift增加(步骤S3-1H)。另一方面，当在步骤S3-1F的判定结果显示为否时，变量shift立即增加(步骤S3-1H)。
然后，判定在步骤S3-1H增加的变量shift是否大于阈值SHIFT_THRESH(步骤S3-1I)。
当在步骤S3-1I的判定结果显示为否时，操作返回到步骤S3-1B的处理。然后重复地执行从步骤S3-1B到步骤S3-1I的处理，直到增加的变量shift变得大于阈值SHIFT_THRESH为止。结果，当在步骤S3-1I的判定结果显示为是时，全局移动量计算处理完成。
接下来，在步骤S3-2的处理中，背景像素估计单元42通过使用在步骤S3-1的全局移动量计算处理中获得的移动量bg_shift，执行关于左手侧和右手侧的输入图像Ib(u，v)和Id(u，v)的局部匹配，其中，左手侧和右手侧的输入图像Ib(u，v)和Id(u，v)两者的数据都存储在帧存储器FM1中。更具体地说，如图10所示，计算出在M×N的窗口尺寸内的亮度误差E_1。当E_1＜THRESH_L时，将图像Ib和Id的点(ui，vi)和(ui-bg_shift，vi)作为背景区域。换句话说，得到Rbbg(ui，vi)＝1和Rdbg(ui-bg_shift，vi)＝1。通过局部匹配估计出的背景区域的数据被作为背景区域掩码Rbbg和Rdbg分别存储在帧存储器FM2和M2中。图11示出了步骤S3-2的处理的具体流程。
即，在步骤S3-2的处理中，首先，执行用于得到i＝0、Rbbg≤全0以及Rdbg≤全0的初始化(步骤S3-2A)。然后，得到j＝0和E_1＝0，即，变量j和E_1被复位为「0」(步骤S3-2B)。
接着，得到E_1+＝|Ib(uij，vij)-Id(uij-bg_shift，vij)|，即，得到Ib(uij，vij)和Id(uij-bg_shift，vij)之间差的绝对值之和，作为亮度误差E_1(步骤S3-2C)。然后变量j增加(步骤S3-2D)。判定增加的变量j是否变得大于M×N的窗口尺寸(步骤S3-2E)。
当在步骤S3-2E中的判定结果显示为否时，操作返回到步骤S3-2C的处理，并且重复地执行从步骤S3-2C到步骤S3-2E的处理。结果，当在步骤S3-2E的判定结果变为显示是时，判定作为结果的在M×N的窗口尺寸内的亮度误差E_1是否小于阈值THRESH_L(步骤S3-2F)。
当在步骤S3-2F的判定结果显示为是时，在得到Rbbg(ui，vi)＝1和Rdbg(ui-bg_shift，vi)＝1之后，即，将图像Ib和Id的点(ui，vi)和(ui-bg_shift，vi)作为背景区域(步骤S3-2G)之后，变量i增加(步骤S3-2H)。另一方面，当在步骤S3-2F的判定结果显示为否时，变量i立即增加(步骤S3-2H)。
判定在步骤S3-2H增加的变量i是否大于图像尺寸(步骤S3-2I)。
当在步骤S3-2I的判定结果显示为否时，操作返回到步骤S3-2B的处理。重复地执行从步骤S3-2B到步骤S3-2I的处理，直到增加的变量i变得大于图像尺寸为止。结果，当在步骤S3-2I的判定结果变为显示是时，局部相似程度计算处理完成。
接着，在步骤S3-3的处理中，由基准照相机1捕获的图像Ib和由检测照相机2捕获的图像Id分别与背景模板堆栈bgBufb和bgBufd比较。背景模板堆栈bgBufb和bgBufd中的每一个都是局部图像的堆栈，其中的局部图像是通过在时刻(T-1)的帧中切除掉作为背景的点的外围区域(M×N)而获得的。并且，背景模板堆栈bgBufb和bgBufd中的每一个都具有含有(M×N)的尺寸及其中心坐标(ui，vi)的亮度信息。执行堆放在背景模板堆栈bgBufb中的每一个模板与由基准照相机1捕获的图像Ib(ui，vi)之间的匹配，并计算亮度误差E_T。当E_T＜THRESH_T时，点(ui，vi)被作为背景区域，并且得到Rbbg(ui，vi)＝1。背景模板堆栈bgBufd被用于由检测照相机2捕获的图像Id，并且执行与图像Ib相同的处理以生成背景区域掩码Rdbg(u，v)。图12示出了对于基准照相机1的步骤S3-3的处理的要点，图13示出了步骤S3-3的处理的具体流程。
即，在步骤S3-3的处理中，首先，变量i被初始化为「0」(步骤S3-3A)，然后得到j＝0，即，变量j随后被复位为「0」(步骤S3-3B)。
接着，得到E_T＝∑|Ibj-bgBufb[i]|，即，得到Ibj和bgBufb[i]之间差的绝对值之和，作为关于输入图像Ib(u，v)和Id(u，v)的亮度误差E_T(步骤S3-3C)。然后判定作为结果的亮度误差E_T是否小于阈值E_T＜THRESH_T(步骤S3-3D)。
当在步骤S3-3D的判定结果显示为是时，在将Rbbg(ui，vi)，即，点(ui，vi)作为背景区域(步骤S3-3E)之后，变量j增加(步骤S3-3F)。然后判定增加的变量j是否变得大于图像尺寸(步骤S3-3G)。
当在步骤S3-3G的判定结果显示为否时，操作返回到步骤S3-3C的处理，并且重复地执行从步骤S3-3C到步骤S3-3G的处理。结果，当在步骤S3-3G的判定结果变为是时，变量i增加(步骤S3-3H)。另一方面，当在步骤S3-3D的判定结果显示为否时，变量i立即增加(步骤S3-3H)。
然后判定在步骤S3-3H增加的变量i是否大于堆栈尺寸(步骤S3-3I)。
当在步骤S3-3I的判定结果显示为否时，操作返回到步骤S3-3B的处理。然后重复地执行从步骤S3-3B到步骤S3-3I的处理，直到增加的变量i大于堆栈尺寸为止。结果，当在步骤S3-3I的判定结果变为显示是时，用于比较模板的处理完成。
随后，在步骤S3-4的处理中，更新处理单元43使用在上述处理中生成的背景区域掩码Rbbg(u，v)和Rdbg(u，v)更新背景模板堆栈。更具体地说，具有背景区域掩码值1的点(ui，vi)的、M×N的外围像素的区域Rn(即，被估计为背景的区域)被切除，并且随后以该背景模板堆栈作为基准。当之前存在点(ui，vi)的背景模板时，对已存在的模板和新的模板Rn进行平均。另一方面，当之前不存在点(ui，vi)的背景模板时，则堆叠新的模板。图14示出了对于基准照相机1的更新处理的具体流程。
即，在步骤S3-4的处理中，首先，变量i和j被初始化为「0」(步骤S3-4A)。
接着，得到va1＝Rbbg(ui，vi)，即，使得变量va1等于Rbbg(ui，vi)的值(步骤S3-4B)，并判定变量va1的值是否为「1」(步骤S3-4C)。
当在步骤S3-4C的判定结果显示为是时，以bgBufb[j]的坐标(bfuj，bfvj)作为基准(步骤S3-4D)。然后判定坐标(bfuj，bfvj)是否与点(uj，vj)一致(步骤S3-4E)。
当在步骤S3-4E的判定结果显示为是时，在更新了bgBufb[j]的模板(步骤S3-4F)之后，变量i增加(步骤S3-4G)。另一方面，当在步骤S3-4E判定的结果显示为否时，变量j立即增加(步骤S3-4G)。
接着，判定在步骤S3-4G增加的变量j是否变得大于堆栈尺寸(步骤S3-4H)。
当在步骤S3-4H的判定结果显示为否时，操作返回到步骤S3-4D的处理，并随后重复地执行从步骤S3-4D到步骤S3-4H的处理。结果，当在步骤S3-4H的判定结果变为是时，将点(uj，vj)的模板添加到bgBufb(步骤S3-4I)，并且变量i增加(步骤S3-4J)。另一方面，当在步骤S3-4C的判定结果显示为否时，变量i立即增加(步骤S3-4J)。
然后判定在步骤S3-4J增加的变量i是否大于变量i的图像尺寸(步骤S3-4K)。
当在步骤S3-4K的判定结果显示为否时，操作返回到步骤S3-4B的处理，并且接着重复地执行从步骤S3-4B到步骤S3-4K的处理，直到增加的变量i大于图像尺寸为止。结果，当在步骤S3-4K的判定结果变为显示是时，更新背景模板的处理完成。
接着，距离图像生成处理单元5通过使用在步骤S3的处理中生成的背景区域掩码Rbbg(u，v)和Rdbg(u，v)来计算距离信息(步骤S4)。
这里，在步骤S4的处理中，根据在步骤S3的处理中生成的背景区域掩码Rbbg(u，v)和Rdbg(u，v)的信息生成距离图像Db(u，v)和Dd(u，v)。由于输入图像Ib(u，v)和Id(u，v)在步骤S2的处理中被正规化，因此在步骤S4的处理中的距离图像的值被设置为在u轴方向上的移动量。换句话说，当与在基准照相机图像Ib(u，v)上的点Ib(ui，vi)相对应的点被作为在检测照相机图像Id(u，v)上的点Id(ui-shift，vi)时，得到Db(ui，vi)＝shift。由多种已知的方法可以作为搜索相应点的方法。但是在本例中，通过搜索在基准照相机图像Ib(u，v)上的点(ui，vi)的M×N的外围区域和在检测照相机图像Id(u，v)上的点(ui-shift，vi)的M×N的外围区域之间的亮度误差变得最小时的点来获得相对应的点。同时，如图15所示，通过使用背景区域掩码信息在搜索中排除任何构成背景区域的点(背景区域掩码为1)。结果，与对于以区域为基础对整个普通输入图像的匹配相比，能够更准确地执行匹配。
背景分离图像生成处理单元6通过参照在步骤S4的处理中生成的距离区域图像Db(u，v)和Dd(u，v)，从输入图像Ib(u，v)和Id(u，v)中除去任何具有等于或小于阈值的距离的点(ui，vi)，随后，背景分离图像生成处理单元6生成背景分离的图像Ib′(u，v)和Id′(u，v)(步骤S5)，并输出作为结果的背景分离的图像Ib′(u，v)和Id′(u，v)(步骤S6)。在本例的阈值处理中，每个在特定距离或更远的点被作为背景。
对于在上述处理中生成的背景分离的图像Ib′(u，v)和Id′(u，v)，针对输入图像Ib(u，v)和Id(u，v)执行了全局和局部的背景估计，生成了距离图像，并对距离图像执行了背景分离。结果，背景分离变得可能，并且与利用生成整个输入图像Ib(u，v)和Id(u，v)的距离图像的方法相比，其更加准确，并且，随后执行了背景分离。此外，在任何需要的时候背景模板堆栈都被更新/添加，这对于由于时间的逝去而带来的环境改变变得更加健壮。并且，使用了整个图像的重叠，并且估计了大致的背景区域，从而能够对于现场以及具有许多重复图案和包藏区域的景象获得健壮的结果。
虽然使用特定的条件说明了本发明的优选实施例，但是这一说明仅仅是出于说明性的目的，应该理解，在不脱离所附权利要求的精神和范围的前提下，可以进行改变和修改。
权利要求
1.一种图像处理方法，包括步骤使用至少两台照相机从不同的视点捕获一个物体的图像以得到彼此同时的输入图像；对于在所述捕获的步骤得到的每一个输入图像，基于背景区域是远距离的并且具有平的表面的假设，根据执行全局图像重叠之后的相似程度，估计背景区域；对于除了在所述背景区域估计步骤估计出的背景区域中的那些点之外的点，通过利用立体方法执行距离测量，生成距离图像；以及通过参照在所述距离图像生成步骤生成的距离图像，从每个输入图像中除去预定距离或更远的区域的图像，生成背景分离的图像。
2.如权利要求1所述的图像处理方法，其中，在所述背景区域估计步骤中，计算输入图像之间移动的量、不超过阈值的全局移动的量，从而执行全局图像重叠，其中，所述输入图像之间移动的量使得整个图像的亮度误差在输入图像之间变得最小，所述阈值是依据分离边界而确定的，背景区域根据所述分离边界被分离。
3.如权利要求1所述的图像处理方法，其中，在所述背景区域估计步骤中，该估计是通过将具有高于预定阈值的局部相似程度的区域作为背景区域而执行的。
4.如权利要求1所述的图像处理方法，其中，在所述背景区域估计步骤中，在任何需要的时候更新/添加用于根据局部相似程度估计背景区域的背景模板。
5.一种图像处理装置，包括用于在其中存储彼此同时的输入图像的数据的存储器件，所述输入图像是通过使用至少两台照相机从不同视点拍摄一个物体而得到的；背景区域估计处理单元，用于对于每一个彼此同步的输入图像，基于背景区域是远距离的并且具有平的表面的假设，在执行全局图像重叠之后的局部相似程度来估计背景区域，其中，所述输入图像的数据被存储在所述存储器件中；距离图像生成处理单元，用于对于除了在所述背景区域估计处理单元估计出的背景区域中的那些点之外的点，利用立体方法执行距离测量，生成距离图像；以及背景分离图像生成处理单元，用于通过参照在所述距离图像生成处理单元生成的距离图像，从每个输入图像中除去预定距离或更远的区域的图像，生成背景分离图像。
6.如权利要求5所述的图像处理装置，其中，所述背景区域估计处理单元计算在输入图像之间移动的量、全局移动的量，从而执行全局图像重叠，其中，所述在输入图像之间移动的量使得整个图像的亮度误差在输入图像之间变得最小，所述全局移动的量不超过根据分离边界确定的阈值，背景区域依据所述分离边界被分离。
7.如权利要求5所述的图像处理装置，其中，所述背景区域估计处理单元将具有高于预定阈值的局部相似程度的区域估计为背景区域。
8.如权利要求5所述的图像处理装置，其中，所述背景区域估计处理单元在任何需要的时候更新/添加用于根据局部相似程度估计背景区域的背景模板。
全文摘要
本发明的目的在于通过利用结合立体方法的估计背景的方法，使用多个照相机分离图像的背景区域。通过使用至少两个照相机从不同的视点对一个物体拍摄图像而获得的、彼此同时的输入图像的数据被存储在帧存储器中。背景区域估计处理单元基于背景区域是远距离的并且具有平的表面的假设，对其数据存储在帧存储器中的、彼此同时的输入图像执行全局图像重叠。然后，背景区域估计处理单元根据局部相似程度估计背景区域。距离图像生成处理单元通过利用立体方法对除了在估计的背景区域中的那些点之外的点执行距离测量以生成距离图像。背景分离图像生成处理单元通过参照作为结果的距离图像从输入图像中除去预定距离或更远的区域的图像以生成背景分离的图像。
文档编号G06T11/60GK1758720SQ200510108440
公开日2006年4月12日 申请日期2005年10月8日 优先权日2004年10月6日
发明者岩井嘉昭 申请人:索尼株式会社