专利名称：图象处理方法、图象处理装置、程序和记录介质的制作方法
技术领域：
本发明涉及图象处理方法、图象处理装置、程序和记录介质，其涉及立体图象的视差数据的生成。
背景技术：
例如，立体匹配用于确定从不同位置拍摄同一物体所得两幅图象之间以像素为单位的对应关系，以及根据从所确定的对应关系获得的视差数据，产生机器感知或虚拟图所需的原始图象三维结构。
然而，由于实际环境的不明确性或复杂性，确定上述这种对应关系并不容易。
在传统立体匹配中，根据一种假设确定对应关系，例如同一物体的两幅图象中像素数据的亮度相等。
已有相关技术公开，例如Yuri Boykv，Olga Veksler，和Ramin Zabih，″Fast Approximate Energy Minimization via Graph Cuts″，International Conferenceon Computer Vision，Vol.1，pp.377-384，1999(下文称为非专利文献1)，V.Lolmogorov和R.Zabih，″Computing visual correspondence with occlusionsusing graph cuts″，Journal of Confidence on Computer Vision，Vol.2，pp.508-515，2001(下文称为非专利文献2)，Geoffrey Egnal，″Mutual information as astereo correspondence measure″，Technical Report MS-CIS-00-20，University ofPennsylvania，2000(下文称为非专利文献3)，和Junhwan Kim，VladimirKolmogorov，Ramin Zabih，″Visual Correspondence Using Energy Minimizationand Mutual Information″，International Conference on Computer Vision，vol.2，pp.1033-1040，2003(下文称为非专利文献4)。
发明内容
可是，尽管上述传统技术中假设同一物体的两幅图象中像素数据的亮度相等，许多情况下该假设无法满足。因此，采用上述方法难已确定对应关系。
此外，根据传统技术，在匹配过程中估计图象中每个像素数据属于匹配区或遮挡区中的一个。因此，错误估计的可能性高，且根据错误估计结果产生错误视差数据。
本发明提供一种图象处理方法、图象处理装置、程序和记录介质，其可产生多幅图象数据之间的高精度视差数据。
为实现上述目的，根据本发明实施例，提供一种图象处理方法，其包括第一步从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成多幅图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的一个像素数据相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的像素数据相对应，第二步确定多幅图象数据之间以像素数据为单位的对应关系，使根据第一步中所选择概率密度函数定义的表征多幅图象数据之间的对应关系的能量最小化，第三步根据第二步所定义的对应关系更新表示多幅图象数据之间视差的视差数据和遮挡区，以及第四步根据第三步所更新的视差数据和遮挡区更新概率密度函数。
根据本发明的另一实施例，提供一种图象处理方法，包括第一步产生多幅图象数据，其表示多个相机所拍摄的图象，第二步从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成第一步所产生图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的一个像素数据相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的像素数据相对应，第三步确定多幅图象数据之间以像素数据为单位的对应关系，使根据第二步中所选择概率密度函数定义的多幅图象数据之间的能量最小化，第四步根据第三步所定义的对应关系更新表示多幅图象数据之间视差的视差数据和遮挡区，第五步根据第四步所更新的视差数据和遮挡区更新概率密度函数，以及第六步根据第一步所产生多幅图象数据和第五步所更新概率密度函数，将多幅图象数据组合以产生合成图象数据。
根据本发明的另一实施例，提供一种图象处理装置，包括概率密度函数选择部件，用于从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成多幅图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的一个像素数据相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的像素数据相对应，对应关系确定部件，用于确定多幅图象数据之间以像素数据为单位的对应关系，使根据概率密度函数选择部件所选择概率密度函数定义的表征多幅图象数据之间的能量最小化，视差更新部件，用于根据对应关系确定部件所定义的对应关系更新表示多幅图象数据之间视差的视差数据和遮挡区，以及概率密度更新部件，用于根据视差更新部件所更新的视差数据和遮挡区更新概率密度函数。
根据本发明的实施例，还提供计算机执行的程序，该程序使计算机执行第一步从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成多幅图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的一个像素数据相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的像素数据相对应，第二步确定多幅图象数据之间以像素数据为单位的对应关系，使根据第一步所选择概率密度函数定义的多幅图象数据之间的能量最小化，第三步根据第二步所定义的对应关系更新表示多幅图象数据之间视差的视差数据和遮挡区，以及第四步根据第三步所更新的视差数据和遮挡区更新概率密度函数。
根据本发明的实施例，还提供记录介质，其上记录计算机所执行的程序，该程序使计算机执行第一步从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成多幅图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的一个像素数据相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的像素数据相对应，第二步确定多幅图象数据之间以像素数据为单位的对应关系，使根据第一步所选择概率密度函数定义的多幅图象数据之间的能量最小化，第三步根据第二步所定义的对应关系更新表示多幅图象数据之间视差的视差数据和遮挡区，以及第四步根据第三步所更新的视差数据和遮挡区更新概率密度函数。
用该图象处理方法和装置、程序以及记录介质，可产生高精度的多幅图象数据之间的视差数据。
从下面结合附图的描述和附加权利要求中，本发明的上述和其他目的、特性和优点将变得更明显，其中用相同标记符号表示同一部分或部件。
图1是表示本发明使用的图象处理装置大体结构的示意性图；图2是表示左和右图象的匹配区和遮挡区的概略图；图3是表示右图象与左图象之间以像素数据为单位的对应关系示例图；图4是表示图1所示图象处理装置所定义的能量概念图；图5是表示图1所示图象处理装置操作示例流程图；图6表示图1所示图象处理装置过程中使用的数据；图7，8A，8B和9表示图1所示图象处理装置的效果；图10是表示本发明使用的另一图象处理装置过程流程图；图11A和11B是表示图10所示步骤ST21中的过程概略图；图12是表示图10所示步骤ST22中的过程概略图；图13是表示对图1所示图象处理装置修改后的方框图。
具体实施例方式
下面将参照附图描述本发明使用的图象处理装置。
第一实施例图5所示步骤ST2和ST11为本发明第一实施例中第一步和第二实施例中第二步的示例。
图5所示步骤ST6和ST7为本发明第一实施例中第二步和第二实施例中第三步的示例。
图5所示步骤ST8为本发明第一实施例中第三步和第二实施例中第四步的示例。
图5所示步骤ST10为本发明第一实施例中第四步和第二实施例中第五步的示例。
能量E(f)为本发明中的能量示例。
概率密度函数PD为本发明中的概率密度函数示例。
视差数据DM为本发明中的视差数据示例。
图5所示图象处理电路12所执行步骤ST2和ST11实现本发明第三实施例中概率密度函数选择部件的示例。
图5所示图象处理电路12所执行步骤ST6和ST7实现本发明第三实施例中对应关系确定部件的示例。
图5所示图象处理电路12所执行步骤ST8实现本发明第三实施例中视差更新部件的示例。
图5所示图象处理电路12所执行步骤ST10实现本发明第三实施例中概率密度函数更新部件的示例。
此外，图12所示程序PRG为本发明的程序示例。
图1表示本发明适用的图象处理装置1的结构。
参照图1，图象处理装置1包括诸如一对相机10R和10L、以及图象处理电路12。
相机10R拍摄物体TARGET的图象，并将所拍摄的图象数据S10R输出到图象处理电路12。
将相机10L置于与相机10R相距预定距离的位置上。
与相机10R类似，相机10L拍摄物体TARGET的图象，并将所拍摄的图象数据S10L输出到图象处理电路12。
下面详细描述图象处理电路12。
图象处理电路12产生分别从相机10R和10L输入的所拍摄图象数据S10R和S10L之间的视差数据DM。
尤其是，图象处理电路12相继选择多个概率密度函数PD，每个定义对构成所拍摄图象数据S10R和S10L的每个像素数据而言，该像素数据是属于匹配区，即其中任何像素数据与其他所拍摄图象数据中的一个像素数据相对应或是遮挡区，其中任何像素数据都不与其他所拍摄图象数据中的像素数据相对应。
概率密度函数为真实值函数，当在任意集上对它积分时，可提供随机变量包含在该集中的概率。
之后，图象处理电路12确定所拍摄图象数据S10R和S10L之间以像素数据为单位的对应关系f，使根据所选择概率密度函数PD定义的所拍摄图象数据S10R和S10L之间的能量E(f)最小化。
之后，图象处理电路12根据所确定对应关系f更新表示所拍摄图象数据S10R和S10L之间的视差的视差数据DM。
图象处理电路12确定多个概率密度函数中的一个PD，其使能量E(f)最小化，并根据该概率密度函数PD更新视差数据DM。
之后，图象处理电路12根据上面确定的视差数据DM，在除相机10R和10L视点之外的所指定位置产生假的拍摄图象数据。
在本实施例中，标记符号R表示所拍摄图象数据S10R(右图象)，且L表示所拍摄图象数据S10L(左图象)。
此外，标记符号IL()和IR()表示函数，其分别返回左右图象中像素的亮度。
标记符号RML和RMR分别表示左和右图象的匹配区，且ROL和ROR分别表示左和右图象的遮挡区。
此外，图2表示立体视觉中RML，RMR和ROL，ROR之间的关系。
图象处理电路12根据下式(1)计算能量E(f)E(f)＝Edata(f)+Eoccl(f)+Esmooth(f)(1)其中f表示所拍摄图象数据S10R和S10L之间的像素数据的区域不同和对应关系。
此外，能量E(f)表示匹配区中像素数据对之间的像素值差的代价总和，且按下式(2)定义Edata(f)=ΣmfDCM(i1,i2),mf---(2)]]>其中mf为f中左和右图象之间的匹配对，且DCM[]为根据前一(前一周期中计算的)对应关系(结构)f计算的匹配代价函数。
同时，能量Eoccl(f)表示像素被遮挡时的损失总和，且由下式(3)定义Eoccl(f)=ΣolfOPL(IL(olf))+ΣorfOPR(IR(orf))---(3)]]>其中olf和orf分别为左和右遮挡像素，且OPL()和OPR()为根据前一对应关系f所计算的左和右遮挡的损失函数。
此外，能量Esmooth(f)表示在当前对应关系f中使同一图象中相邻像素具有类似视差值的平滑代价，且用下式(4)定义Esmooth(f)=Σ{mf′,mf′′}∈NVmf′,mf′′·T[f(mf′)≠f(mf′′)]---(4)]]>其中N为判决两对m′f和m″f是否相邻的关系，且Vm′f和Vm″f为相应对的平滑损失函数。此外，f(m)返回对mf的视差，且当[]中的条件为真正(true)时，T[]返回1，而在任何其他情况下返回0。
在本实施例中，用下式(5)定义上述式(2)中给出的能量DCM(i1，i2)DCM(i1,i2)=-1|Mf0|log[PML,MR,f0(i1,i2|S)]⊗gψ,2(i1,i2)---(5)]]>其中IMf01为按对应关系f计算的匹配对的数量，且S为立体视觉的条件下。此外，PML，MR，f0(i1，i2|S)表示按前一对应关系f0计算的ML和MR的联合概率分布。此外，gψ，2(i1，i2)表示Parzen估计(非参数概率密度函数估计)的二维核心函数，且可为诸如高斯分布。标记表示卷积。
此外，用下式(6)定义上式(3)中给出的能量Eoccl(f)OPL(i)=-1|Of0|log[POL,f0(i|S)]⊗gψ,1(i)]]>OPR(i)=-1|Of0|log[POR,f0(i|S)]⊗gψ,1(i)---(6)]]>其中|Of0|为按前一对应关系f0计算的遮挡数量。由于唯一性约束，左和右图象之间的遮挡数量是相等的。此外，POL,f0(i|S)和POR，f0(i|S)分别表示按前一对应关系f0计算的立体视觉条件S下OL和OR的概率分布。此外，gψ，1(i)表示Parzen估计的一维核心函数，且可为诸如高斯分布。
这里，实际像素值为离散值，且可将上述式(5)和(6)转换为可取任何像素值的值的总和。在本实施例中，像素值可取的值的数量为256。
在离散系统中，可将不同测定的代价函数的总和描述为核心函数与单个脉冲总和之间的卷积。
因此，可分别根据式(5)和(6)定义下式(7)和(8)PML,MR,f(i1,i2|S)=1|Mf|Σmfgψ,2[(i1,i2)-(IL(mf),IR(mf))]---(7)]]>POL,f(i|S)=1|Of|Σolfgψ,1[i-IL(olf)]]]>POR,f(i|S)=1|Of|Σorfgψ,1[i-IR(orf)]---(8)]]>式(7)定义对应关系f，且用于计算PML，MR，f(i1，i2|S)，且若f为f0，则可计算PML，MR，f0(i1，i2|S)。此外，gψ，2(i1，i2)表示Parzen估计的二维核心函数，且可为诸如二维高斯分布。
另一方面，式(8)定义对应关系f，且用于计算POL，f(i|S)和POR，f(i|S)，且若f为f0，则可计算POL，f0(i|S)和POR，f0(i|S)。
图象处理电路12根据上面给定的式(5)至(8)计算能量Edata(f)和能量Esmooth(f)。
下面描述本发明中使用式(5)和(6)的原因。
在本实施例中，变量ML和MR分别用于产生在所拍摄图象数据S10R和S10L之间的匹配区中图象数据的像素值(亮度)。
同时，变量OL和OR分别用于产生在所拍摄图象数据S10L和S10R的遮挡区中像素数据的像素值。
在本实施例中，假设相机S10R和S10L(立体图象)的概率密度函数PD在匹配区中的像素数据与遮挡区中的像素数据之间相互独立，且除此之外，在所拍摄图象数据S10R的遮挡区中的像素数据与相机S10L的遮挡区中的像素数据之间同样相互独立，如下式(9)和(10)中给出的。
PML，OL，MR，OR，f(i1，i2，i3，i4|S)＝PML，MR，f(i1，i2|S)·POL，OR，f(i3，i4|S) (9)POL，OR，f(i3，i4|S)＝POL，f(i3|S)·POR，f(i4|S) (10)在上式(9)中，左侧表示按f计算的立体视觉条件S下的ML，OL，MR和OR的联合概率分布。右侧的PML，MR，f(i1，i2|S)表示ML和MR的联合概率分布。此外，POL，OR，f(i3，i4|S)表示OL和OR的联合概率分布。
此外，在上式(10)中，POL，f(i3|S)和POR，f(i4|S)分别表示按f计算的立体视觉条件S下D OL和OR的概率分布。
顺便提及，用下式(11)定义MI(互信息)CMIf(ML，OL；MR，OR|S)＝Hf(ML，OL|S)+Hf(MR，OR|S)-Hf(ML，OL，MR，OR|S)(11)其中左侧表示按f计算的立体视觉条件S下ML，OL与MR，OR的互信息量。此外，Hf(ML，OL|S)表示按f计算的立体视觉条件S下的ML和OL的熵，且Hf(MR，OR|S)表示按f计算的立体视觉条件S下的MR和OR的熵。Hf(ML，OL，MR，OR|S)表示按f计算的立体视觉条件S下的MR，ML，OL与OR的熵。
这里期望确定视差数据DM和概率密度函数PD，使MI最大化。
在上式(11)中，由于在立体匹配中熵Hf(ML，OL|S)和Hf(MR，OR|S)为固定值，最大化MI等价于熵Hf(ML，OL，MR，OR|S)的最小化。
这里，用下式(12)定义Hf(ML，OL，MR，OR|S)Hf(ML，OL，MR，OR|S)＝-∫∫∫∫log[PML，OL，MR，OR，f(i1，i2，i3，i4|S)]PML，OL，MR，OR，f(i1，i2，i3，i4|S)di1di2di3di4(12)根据上述假设，将上式(12)中的Hf(ML，OL，MR，OR|S)进一步转换为由下式(13)给出
Hf(ML，OL，MR，OR |S)＝-∫∫PML，MR，f(i1，i2|S)log PML，MR，f(i1，i2|S)di1di2-∫POL，f(i|S)log POL，f(i|S)di(13)-∫POR，f(i|S)log POR，f(i|S)di＝Hf(ML，MR|S)+Hf(OL|S)+Hf(OR|S)其中Hf(ML，MR|S)是按f计算的立体视觉条件S下的ML与MR的熵，且Hf(OL|S)是按f计算的立体视觉条件S下的OL的熵，而Hf(OR|S)是按f计算的立体视觉条件S下的OR的熵。
图象处理电路12用图切割方法最小化上式(13)所表示的Hf(ML，OL，MR，OR|S)。
用图切割可以最优化能量函数。这里，待优化的MI为待测定的概率密度函数PD的积分。
在本实施例中，将上面给出的非专利文献4所公开的非专利文献技术用于确定视差数据DM和概率密度函数PD，用图切割方法使Hf(ML，OL，MR，OR|S)最小化。
顺便提及，F(x)＝xlogx为Taylor展开，如下式(14)中给出F(x)＝-x0+(1+log x0)x+o((x-x0)2) (14)通过将上式(14)的Taylor展开式应用于上式(13)中的每一项，可得到下式(15)和(16)Hf(ML，MR|S)＝∫∫PML，MR，f0(i1，i2|S)di1di2-∫∫PML，MR，f(i1，i2|S)di1di2-∫∫PML，MR，f(i1，i2|S)log(PML，MR，f0(i1，i2|S)di1di2(15)Hf(OL|S)＝∫POL，f0(i|S)di-∫POL，f(i|S)di-∫POL，f(i|S)log(POL，f0(i|S)diHf(OR|S)＝∫POR，f0(i|S)di-∫POR，f(i|S)di-∫POR，f(i|S)log(POR，f0(i|S)di (16)其中f0为前一对应关系，且f为优化过程之后的对应关系。
在本实施例中，假设即使对应关系从f0变为f，概率密度函数的测定也没有多大改变。
因此，由于下式(17)至(20)为1，因此为固定值，将它们从式(15)和(16)中移除。
∫∫PML，MR，f0(i1，i2|S)di1di2(17)至∫∫PML，MR，f(i1，i2|S)di1di2(18)
∫POL，f0(i|S)di∫POR，f0(i|S)di (19)∫POL，f(i|S)di∫POR，f(i|S)di (20)因此，分别将式(15)和(16)转换成下式(21)和(22)Hf(ML，MR|S)Hf(ML,MR|S)]]>=Σmf-1|Mf0|∫∫log[PML,MR,f0(i1,i2|S)]·gψ,2[(i1,i2)-(IL(mf),IR(mf))]di1di2---(21)]]>Hf(OL|S)=Σolf-1|Of|∫log[POL,f0(i|S)]·gψ,1[i-IL(olf)]di]]>Hf(OR|S)=Σorf-1|Of0|∫log[POR,f0(i|S)]·gψ,1[i-IL(orf)]di---(22)]]>其中″1/|M|″和″1/|Ok|″为估计所用的整形系数。其中考虑到上式(1)，从上式(21)引入上式(5)，且从上式(22)引入上式(6)。
其中图3所示对应关系存在于所拍摄图象数据S10R的像素数据(p，q，r，s)与所拍摄图象数据S10L的像素数据(w，x，y，z)之间，图象处理电路12构造诸如图4所示的图。
图3中，虚线表示当前条件下的对应关系，且实线表示允许α-展开的对应关系。
图4中，Doccl(mf)和Dsmooth(mf)分别表示与匹配对mf有关的能量Eoccl(mf)和能量Esmooth(mf)。
下面描述图1所示图象处理装置1根据从相机10R和10L输入的所拍摄图象数据S10R和S10L，产生所拍摄图象数据S10R和S10L之间的视差数据DM的过程。
图5是表示图1所示图象处理电路12的过程的流程图。
步骤ST1图象处理电路12初始化视差数据DM和遮挡区。
步骤ST2图象处理电路12初始化概率密度函数PD。
步骤ST3图象处理电路12将能量E(f)设为无穷大。
步骤ST4
图象处理电路12根据上面给定的式(5)至(8)计算能量Edata(f)和Eoccl(f)。
这里，能量Edata(f)和Eoccl(f)取决于视差数据DM和概率密度函数PD。图象处理电路12使用式(5)的DMC(i1，i2|S)作为能量Edata(f)，且使用式(6)的OPL(i)和OPR(i)作为能量Eoccl(f)。
具体而言，图象处理电路12根据概率密度函数PD、相机10L所拍摄图象数据S10L和相机10R所拍摄图象数据S10R，产生匹配区中像素的直方图数据MHIS、左遮挡区中像素的直方图数据LOHIS和左遮挡区中像素的直方图数据ROHIS。
图象处理电路12将核心函数卷积为3个直方图数据MHIS、LOHIS和ROHIS。
之后，图象处理电路12用函数F(x)＝-log(x)映射卷积结果。
图象处理电路12再将核心函数卷积为映射结果。
因此，图象处理电路12得到与匹配区中像素有关的256×256 2D数据代价矩阵，且将2D数据代价矩阵确定为能量Edata(f)。
此外，从左和右遮挡区的像素得到256 1D遮挡损失矩阵，且确定为能量Eoccl(f)。
因此，图象处理电路12通过表搜索方法可高速实现之后进行的匹配过程，其中使用了该矩阵。
图象处理电路12每次完成所有α遮挡之后更新概率密度函数PD。
步骤ST5图象处理电路12计算能量Esmooth(f)。
图象处理电路12根据下式(23)计算相邻两个像素对的平滑代价以确定自动参数Vmf′,mf′′=3λmax(|IL(mf′)-IL(mf′′)|,|IR(mf′)-IR(mf′′)|)<8λelse---(23)]]>图象处理电路12根据相机10L所拍摄图象数据S10L和相机10R所拍摄图象数据S10R，进行自动参数检测和λ检测。
这种信息存在于匹配区中像素的数据代价中。
因此，图象处理电路12对所有256×256个可能的数据代价进行分类。
之后，图象处理电路12选择根据分类结果按预定顺序排列的代价之一。
之后，图象处理电路12将该代价值乘以小于1的系数以计算λ。
此后，图象处理电路12根据上式(23)中的Vm1，m2和上式(4)，计算能量Esmooth(f)。
步骤ST6图象处理电路12从多个视差值中选择到目前为止还未得到处理的对应关系f。
图象处理电路12基于步骤ST4和ST5中产生的能量Edata(f)、Eoccl(f)和Esmooth(f)，根据式(1)针对所选择对应关系f计算能量E(f)。
这里，对应关系f的选择等价于视差的选择。
在对应关系f的选择中，图象处理电路12参照D+1个标记选择，D+1个标记包括与预先确定的最大视差对应的若干标记和一个遮挡标记。
步骤ST7图象处理电路12判定步骤ST6中当前周期所计算的能量E(f)是否小于到目前为止计算的最小能量E(f)。若图象处理电路12判定所计算能量E(f)小于最小能量E(f)，则处理过程转到步骤ST8，而在其他情况下处理过程转到步骤ST9。
步骤ST8图象处理电路12响应于在步骤ST6中最后选择的对应关系f更新视差数据DM和遮挡区。
步骤ST9图象处理电路12判定是否对所有预先根据处理对象的概率密度函数PD定义的对应关系f执行了步骤ST6至ST8中的处理。若图象处理电路12判定执行了所有处理，则处理过程转到步骤ST10，而在其他情况下，处理过程转到步骤ST6。
步骤ST10图象处理电路12判定其中使用所有可能降低能量E(f)的概率密度函数PD的过程是否终止，或该过程因达到预定次数后终止。若判定该过程终止，则处理过程结束，而在其他情况下，处理过程转到步骤ST11。
步骤ST11图象处理电路12选择(更新)预先规定的多个概率密度函数PD中到目前为止还未作为处理对象得到处理的那些之中的一个。
图象处理电路12确定在上述过程执行之后步骤ST10中结束该过程的阶段中所选择的概率密度函数PD、视差数据DM和遮挡区。
根据图象处理装置1，由于按上述选择(搜索)使式(5)所定义的能量E(f)最小化的概率密度函数PD，所拍摄图象数据S10L和S10R之间以像素为单位的对应关系具有比传统技术中假设两幅图象有相同亮度或根据匹配过程估计一个像素属于匹配区和遮挡区之一所得到的精度高。
因此，根据图象处理装置1，产生高精度的视差数据DM，且产生其为所拍摄图象数据S10L与S10R的合成的合成图象(从相机10L和10R之间的中间位置看到的图象)。
此外，根据图象处理装置1，假设所拍摄图象数据S10R和S10L(立体图象)的概率密度函数PD在匹配区中的像素数据与遮挡区中的像素数据之间相互独立，且在所拍摄图象数据S10R的遮挡区中的像素数据与所拍摄图象数据S10L的遮挡区中的图象数据之间同样相互独立，如式(9)和(10)中所表示。
因此，根据图象处理装置1，可产生高精度的概率密度函数PD和视差数据DM，以便使式(11)所表示的MI最大化。
按图6所示方式产生图5所示步骤ST4中的DMC、OPL(i)和OPR(i)以及更新步骤ST8中的视差数据DM。
图象处理装置1所获得的视差数据诸如图7的右下部分(我们的差异)所示，且比右下部分左侧的传统视差数据([2]的差异和[4]的差异)的质量高。
下面描述对本实施例图象处理装置1技术的评价。
对照立体匹配所用标准测试，图象处理装置1的技术特性与非专利文献4的技术(未考虑遮挡的技术)特性的比较如图8A所示。
此外，图象处理装置1的技术特性与非专利文献2的技术(未使用MI的技术)特性之比较如图8B所示。图8B中，非专利文献2的技术使用R、G和B信息，图象处理装置1的技术只使用亮度信息。尽管如此，图象处理装置1的技术与非专利文献2的技术近似。就辉度数据而言，图象处理装置1的技术优于非专利文献2的技术。
选择″Tsukuba″作为比较用图来评估稳健性。图9所示为转换所拍摄图象数据S10R时的转换和误码率，而所拍摄图象数据S10L不变。
尺寸再生转换模拟低分辨率相机。首先，将图象转换成1/4尺寸的图象，之后再转回到原来的大小。在不使用MI时附加高斯噪声和尺寸再生转换，获得的结果比使用MI时好。
这是因为根据图象处理装置1的技术(使用MI的技术)，在一一映射中通过固定的MI获得稳健性。同样这是由于当前循环中不使用MI的技术采用RGB信息。换言之，色彩信息具有降低噪声影响的作用。
第二实施例根据本发明第二实施例的图象处理电路12a如图1所示，且除下述图象处理电路12a的过程之外，其与第一实施例的图象处理电路12类似。
在本实施例中，图5所示步骤ST4中计算能量Edata(f)的技术不同于第一实施例中的描述。
图10是表示计算图5所示步骤ST4中的能量Edata(f)的技术流程图。
步骤ST21图象处理电路12a通过插值过程在图11A所示每个匹配对mf中产生所拍摄图象数据S10R(右图象)的像素数据周围预定范围AR内的图象数据。换言之，图象处理电路12a产生少量像素精度的像素数据。插值过程可为线性插值、样条等。预定范围AR为由[x-1/2，x+1/2]和[y-1/2，y+1/2]定义的四边形范围，其中与mf对应的点为(x，y)。
此外，图象处理电路12a通过插值过程在图11B所示匹配对mf中产生所拍摄图象数据S10L(左图象)的像素数据周围预定范围AL内的像素数据。例如，预定范围AL的尺寸与预定范围AR的尺寸相等。
步骤ST22图象处理电路12a确定步骤ST21中产生的、所拍摄图象数据S10R的预定范围AR内的像素数据的最小值GR-(mf)和最大值GR+(mf)，如图12所示。
图象处理电路12a确定步骤ST21中产生的、所拍摄图象数据S10L的预定范围AL内的像素数据的最小值GL-(mf)和最大值GL+(mf)。
步骤ST23图象处理电路12a根据下式(24)产生SIL-＞R[DCM(i1，i2)，mf]SIL->R[DCM(i1,i2),mf]=minGR-(mf)≤i≤GR+(mf)DCM[IL(mf),i]---(24)]]>尤其是，图象处理电路12a计算图11A所示所拍摄图象数据S10L的像素数据IL(mf)与所拍摄图象数据S10R的预定范围AR中最小值GR-(mf)至最大值GR+(mf)之间的像素数据之间的DCM(上式(5)中定义)值，之后将DCM值中最小的一个确定为SIL-＞R[DCM(i1，i2)，mf]。
之后，图象处理电路12a根据下式(25)产生SIL-＞R[DCM(i1，i2)，mf]
SIR->L[DCM(i1,i2),mf]=minGL-(mf)≤i≤GL+(mf)DCM[i,IR(mf)]---(25)]]>尤其是，图象处理电路12a计算图11B所示所拍摄图象数据S10R的像素数据IR(mf)与所拍摄图象数据S10L的预定范围AL中最小值GL-(mf)至最大值GL+(mf)之间的像素数据之间的DCM(上式(5)中定义)值，之后将DCM值中最小的一个确定为SIR-＞L[DCM(i1，i2)，mf]。
应注意到在本实施例中对代价函数的形式没有特定限制，且可将表搜索如MI(互信息)的代价用作DCM。
步骤ST24图象处理电路12a选择步骤ST23中产生的SIL-＞R[DCM(i1，i2)，mf]和SIR-＞L[DCM(i1，i2)，mf]中较小的一个，如下式(26)中给出，且将所选择的值设为SI[DCM(i1，i2)，mf]SI[DCM(i1，i2)，mf]＝min{SIL-＞R[DCM(i1，i2)，mf]，SIR-＞L[DCM(i1，i2)，mf]} (26)之后，图象处理电路12a将上式(26)中定义的SI[DCM(i1，i2)，mf]对由对应关系f所定义的所有匹配对mf求和以计算能量Edata(f)，如下式(27)中给出Edata(f)=ΣmfSI[DCM(i1,i2),mf].---(27)]]>根据本实施例，可取消对诸如传统SI(采样不敏感)测量中只能用单调闭合形式的代价函数的限制以使可用的代价函数多样化。
应注意到在本实施例中，图10所示过程可通过计算机执行程序来实现，或使用专用硬件来执行各步骤中的程序。
本发明不限制于上述实施例。
特别是，本领域中的技术人员可在本发明的技术范围内或在等价的范畴内变更、组合、拆分和交换上述实施例中的部分。
例如，可用专用硬件实现图象处理电路12，以执行图5或10中所示所有或部分步骤。
此外，对图象处理电路12可作其他的配置，例如如图13所示，接口21、存储器22和处理电路23通过总线20相互连接。
在该例子中，处理电路23从存储器22中读程序PRG，且执行图5或10中所示的每个步骤。
此时，处理电路23将图5或10中所示的每个步骤获得的中间数据存储到存储器22或某个其他缓冲存储器中，且将中间数据读出并用作遮挡所需。
应注意到存储器22可为记录介质，如半导体存储器、光盘、磁盘或磁光盘。
本领域的技术人员应理解根据设计要求和其他因素可作修改、组合、拆分和变更，其涵盖在所附权利要求或其等效之中。
权利要求
1.一种图象处理方法，包括第一步从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成多幅图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的所述像素数据之一相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的所述像素数据相对应；第二步确定所述多幅图象数据之间以像素数据为单位的对应关系，使根据所述第一步中所选择概率密度函数定义的表征所述多幅图象数据之间的对应关系的能量最小化；第三步根据所述第二步所定义的所述对应关系更新表示所述多幅图象数据之间视差的视差数据和遮挡区；以及第四步根据所述第三步所更新的所述视差数据和遮挡区更新概率密度函数。
2.根据权利要求1的图象处理方法，其中在所述第二步，添加所述匹配区中像素数据的像素值之间的差代价以及针对将每个像素数据确定为所述任何遮挡区中像素数据的损失以计算所述能量。
3.根据权利要求2的图象处理方法，其中在所述第二步，根据在所述多幅图象数据之间相互对应的像素数据的像素值之间的差计算所述差代价。
4.根据权利要求2的图象处理方法，其中当所述第一图象数据的第一所述像素数据与所述第二图象数据的第二所述像素数据相互对应时，第二步包括步骤通过插值过程产生所述第一像素数据和所述第二像素数据周围的像素数据；确定第一最小值，其为所述第一像素数据与所述第二像素数据以及所述插值过程为第二像素数据产生的像素数据之间的差的最小值；确定第二最小值，其为所述第二像素数据与所述第一像素数据以及所述插值过程为第一像素数据产生的像素数据之间的差的最小值；以及根据所述第一最小值和所述第二最小值中较小的一个计算所述差代价。
5.根据权利要求2的图象处理方法，其中所述第二步包括步骤根据匹配区中像素数据和遮挡区中像素数据相互独立，且不同匹配区中像素数据相互独立的假设，将定义所述多幅图象数据的所述匹配区中像素数据与所述遮挡区中像素数据之间的互相关信息要素的熵计算式分成针对匹配区中像素数据的第一熵计算式和针对遮挡区中像素数据的第二熵计算式；以及使用所述第一熵计算式作为对所述差代价的评估方法以及使用所述第二熵计算式作为对所述损失的评估方法来计算所述能量。
6.根据权利要求5的图象处理方法，其中所述第二步还包括步骤根据所述第一熵计算式的Taylor变换结果以及将非参数概率密度函数估计应用于除常数项之外的Taylor变换结果中的每一项，产生对所述差代价的测定值；以及根据所述第二熵计算式的Taylor变换结果以及将非参数概率密度函数估计应用于除常数项之外的Taylor变换结果中的每一项，产生对所述损失的测定值。
7.根据权利要求2的图象处理方法，其中在所述第二步，还添加因所述多幅图象数据每一幅中相邻像素位置处像素数据之间视差不同带来的损失以计算所述能量。
8.一种图象处理方法，包括第一步产生多幅图象数据，其表示多个相机所拍摄的图象；第二步从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成所述第一步所产生所述多幅图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的所述像素数据之一相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的所述像素数据相对应；第三步确定所述多幅图象数据之间以像素数据为单位的对应关系，使根据所述第二步中所选择所述概率密度函数定义的所述多幅图象数据之间的能量最小化；第四步根据所述第三步所定义的所述对应关系更新表示所述多幅图象数据之间视差的视差数据和遮挡区；第五步根据所述第四步所更新的所述视差数据和遮挡区更新概率密度函数；以及第六步根据所述第一步所产生所述多幅图象数据和所述第五步所更新所述概率密度函数，将所述多幅图象数据组合以产生合成图象数据。
9.一种图象处理装置，包括概率密度函数选择部件，用于从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成多幅图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的一个像素数据相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的像素数据相对应；对应关系确定部件，用于确定所述多幅图象数据之间以像素数据为单位的对应关系，使根据所述概率密度函数选择部件所选择所述概率密度函数定义的表征所述多幅图象数据之间对应关系的能量最小化；视差更新部件，用于根据所述对应关系确定部件所定义的所述对应关系更新表示所述多幅图象数据之间视差的视差数据和遮挡区；以及概率密度更新部件，用于根据所述视差更新部件所更新的所述视差数据和遮挡区更新概率密度函数。
10.根据权利要求9的图象处理装置，其中所述对应关系确定部件添加所述匹配区中像素数据的像素值之间的差代价以及针对将每个像素数据确定为所述任何遮挡区中像素数据的损失以计算所述能量。
11.根据权利要求10的图象处理装置，其中所述对应关系确定部件根据在所述多幅图象数据之间相互对应的像素数据的像素值之间的差计算所述差代价。
12.根据权利要求10的图象处理装置，其中当所述第一图象数据的第一所述像素数据与所述第二图象数据的第二所述像素数据相互对应时，所述对应关系确定部件通过插值过程产生所述第一像素数据和所述第二像素数据周围的像素数据，确定第一最小值，其为所述第一像素数据与所述第二像素数据以及由对于第二像素数据的所述插值过程产生的像素数据之间的差的最小值，确定第二最小值，其为所述第二像素数据与所述第一像素数据以及由对于第一像素数据的所述插值过程产生的像素数据之间的差的最小值，以及根据所述第一最小值和所述第二最小值中较小的一个计算所述差代价。
13.根据权利要求10的图象处理装置，其中所述对应关系确定部件根据匹配区中的像素数据和遮挡区中的像素数据相互独立，且不同匹配区中像素数据相互独立的假设，将定义所述多幅图象数据的所述匹配区中像素数据与所述遮挡区中像素数据之间的互相关信息要素的熵计算式分成针对匹配区中像素数据的第一熵计算式和针对遮挡区中像素数据的第二熵计算式，以及使用所述第一熵计算式作为对所述差代价的测定方法以及使用所述第二熵计算式作为对所述损失的测定方法来计算所述能量。
14.根据权利要求13的图象处理装置，其中所述对应关系确定部件根据所述第一熵计算式的Taylor变换结果以及将非参数概率密度函数估计应用于除常数项之外的Taylor变换结果中的每一项，产生对所述差代价的测定值，以及根据所述第二熵计算式的Taylor变换结果以及将非参数概率密度函数估计应用于除常数项之外的Taylor变换结果中的每一项，产生对所述损失的测定值。
15.根据权利要求10的图象处理装置，其中所述对应关系确定部件还添加因所述多幅图象数据每一幅中相邻像素位置处像素数据之间视差不同带来的损失以计算所述能量。
16.一种计算机执行的程序，所述程序使所述计算机执行第一步从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成多幅图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的一个像素数据相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的像素数据相对应；第二步确定所述多幅图象数据之间以像素数据为单位的对应关系，使根据所述第一步中所选择所述概率密度函数定义的所述多幅图象数据之间的能量最小化；第三步根据所述第二步所定义的所述对应关系更新表示所述多幅图象数据之间视差的视差数据和遮挡区；以及第四步根据所述第三步所更新的所述视差数据和遮挡区更新概率密度函数。
17.一种其上或其中记录计算机执行程序的记录介质，所述程序使所述计算机执行第一步从多个概率密度函数中选择一个概率密度函数，这些概率密度函数的每一个对构成多幅图象数据的每个像素数据而言，定义该像素数据是属于匹配区，即其中任何像素数据与其他图象数据中的一个像素数据相对应，还是属于遮挡区，即其中任何像素数据都不与其他图象数据中的像素数据相对应；第二步确定所述多幅图象数据之间以像素数据为单位的对应关系，使根据所述第一步中所选择所述概率密度函数定义的所述多幅图象数据之间的能量最小化；第三步根据所述第二步所定义的所述对应关系更新表示所述多幅图象数据之间视差的视差数据和遮挡区；以及第四步根据所述第三步所更新的所述视差数据和遮挡区更新概率密度函数。
全文摘要
公开一种图象处理方法和装置，其产生多幅图象数据之间的高精度视差数据。持续更新概率密度函数，且确定对应关系，使每个概率密度函数中的能量最小化。之后，确定最终使能量最小化的概率密度函数和对应关系所对应的视差数据。
文档编号H04N13/00GK1831869SQ200610067869
公开日2006年9月13日 申请日期2006年3月13日 优先权日2005年3月11日
发明者刘玉宇, 吴伟国 申请人:索尼株式会社