专利名称：多视像产生的制作方法
技术领域：
本发明涉及一种用于根据输入图像来产生多视像的多视像产生单元。
本发明还涉及一种图像处理装置，包括-接收装置，用于接收与输入图像对应的信号；和-这种用于根据输入图像来产生多视像的多视像产生单元。
本发明还涉及一种根据输入图像来产生多视像的方法。
本发明还涉及一种由计算机装置加载的计算机程序产品，其包括基于输入图像产生多视像的指令，所述计算机装置包括处理装置和存储器。
背景技术：
为了在多视图显示装置上产生3D效果，必须渲染来自不同有效视点的图像。这需要呈现多个输入视图或一些3D或深度信息。该深度信息可从多视图照相机系统记录、产生，或从传统的2D视频素材产生。为了从2D视频产生深度信息，可应用若干种类型的深度提示例如从运动恢复结构(structure from motion)、聚焦信息、几何形状和动态隐面。其目标是产生密集的深度映射，即每像素一个深度值。该深度映射随后被用于渲染多视像以给出观看者深度效果。由P.A.Redert、E.A.Hendriks和J.Biemond在Proceedingsof International Conference on Acoustics，Speech，and SignalProcessing上(卷IV，ISBN 0-8186-7919-0，2749-2752页，IEEEComputer Society，Los Alamitos，California，1997)发表的文章 “Synthesis of multi viewpoint images at non-intermediatepositions”中，披露了一种在输入图像和深度映射的基础上提取深度信息和渲染多视像的方法。
所述方法的缺点是所述深度映射产生过程通常并不会导致适当的结果，最后导致不满意的深度效果。
发明内容
本发明的目的是提供一种开头段落中所述种类的多视像产生单元，其被设置成根据相对有限的深度信息来渲染在感观上具有令人信服的深度效果的多视像。
本发明的这一目的是通过这样的产生单元实现的，其包括-边缘检测装置，用于检测输入图像中的边缘；-深度映射产生装置，用于根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视像的观看者有关，所述第一值小于第二值；和-渲染装置，用于根据所述输入图像和深度映射来渲染多视像。
因此，对多视像所执行的渲染是以这种方式进行的，即边缘被感知为比周围区域更靠近观看者，即产生了关于边缘的深度差。从人类感知视点，边缘呈现为属于前景对象。所以，局部的深度排序似乎是这样的，即前景对象确实在背景的前面。本发明者已经观察到人类感知就将该非常有限的和局部的深度信息结合为完整的深度效果。
应该注意，边缘不一定意味着1像素宽的过渡。它可以是通过多个像素延伸的软边缘。
在根据本发明的多视像产生单元的一个实施例中，所述边缘检测装置被设置来通过计算所述输入图像的第一像素值和第二输入图像的相应第二像素值之间的像素值差来检测所述边缘，所述输入图像和第二输入图像属于一个视频图像序列。在减去一个视频图像序列的随后图像的基础上检测边缘是相对容易的。该实施例的一个优点是，能够以相对简单的计算资源实现实时的实施方式。像素值表示可视信息，例如颜色或亮度。
在根据本发明的被设置成通过计算像素值差来检测边缘的多视像产生单元的一个实施例中，所述第一深度值是第一像素值差的函数。换句话说，所述计算的像素值差用于确定深度值。优选地，所述计算的像素值差与深度值成比例。可选择地，对像素值差的中间计算结果施加滤波。所述滤波可包括空间、时间或空间-时间低通滤波。可选择地，使用一个阈值来虑除相对低的像素值差。这些相对低的像素值差因此就被解释为噪音。
在根据本发明的多视像产生单元的一个实施例中，所述边缘检测装置被设置来在根据所述输入图像和第二输入图像计算的运动矢量场的基础上检测边缘，所述输入图像和第二输入图像属于一个视频图像序列。优选地，所述边缘检测装置被设置来借助计算运动矢量场的相邻运动矢量的运动矢量差来检测边缘。计算运动矢量场是已知用于例如视频压缩、去交错或时域向上变换的公知技术。典型的，运动矢量场中的不连续性，即运动矢量场的相邻运动矢量之间的相对较大差与正在拍摄的场景中的移动对象的边界对应，因此与有关边缘对应。根据本发明的这个实施例的优点是，它被设置成在不同类型的边缘之间进行区别属于基本固定的对象的边缘和属于移动对象的边缘。尤其是，后一类型的边缘是相关的，因为这些边缘典型的与前景对象对应。
在根据本发明的被设置成根据运动矢量场来检测边缘的多视像产生单元的一个实施例中，所述第一深度值是第一运动矢量差的函数。换句话说，所述计算的运动矢量差用于确定深度值。优选地，所述计算的运动矢量差与深度值成比例。
本发明的另一个目的是提供一种图像处理装置，其包括开头段落中所述类型的多视像产生单元，所述多视像产生单元被设置成根据相对有限的深度信息来渲染在感观上具有令人信服的深度效果的多视像。
本发明的这一目的是以这样的方式实现的，即所述产生单元包括-边缘检测装置，用于检测输入图像中的边缘；-深度映射产生装置，用于根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视像的观看者有关，所述第一值小于第二值；和
-渲染装置，用于根据所述输入图像和深度映射来渲染多视像。
可选择地，所述图像处理装置还包括用于显示多视像的多视图显示装置。
本发明的再一个目的是提供一种开头段落中所述种类的方法，用于根据相对有限的深度信息来渲染在感观上具有令人信服的深度效果的多视像。
本发明的这一目的是以这样的方式实现的，即所述方法包括-检测输入图像中的边缘；-根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视像的观看者有关，所述第一值小于第二值；和-根据所述输入图像和深度映射来渲染多视像。
本发明的又一个目的是提供一种开头段落中所述种类的计算机程序产品，用于根据相对有限的深度信息来渲染在感观上具有令人信服的深度效果的多视像。
本发明的这一目的是以这样的方式实现的，即所述计算机程序产品在被装载之后给所述处理装置提供有执行下述步骤的能力-检测输入图像中的边缘；-根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视像的观看者有关，所述第一值小于第二值；和-根据所述输入图像和深度映射来渲染多视像。
对多视像产生单元的修改及其变形可与所述的图像处理装置、方法和计算机程序产品的修改及其变形一致。
根据本发明的多视像产生单元、图像处理装置、方法和计算机程序产品的这些和其它方面通过之后参照附图所述的实现过程和实施方式将变得显而易见并将参照这样的实施例对其进行阐释，其中图1示意性示出根据本发明的多视像产生单元的一个实施例；图2示意性示出根据本发明的多视像产生单元的另一个实施例；图3示意性示出一个视频图像序列的输入图像；图4A示意性示出基于随后的输入图像之间的色差的深度映射；图4B示意性示出基于运动不连续性的深度映射；图5A示意性示出对边缘进行深度分配的第一函数；图5B示意性示出对边缘进行深度分配的第二函数；图5C示意性示出对边缘进行深度分配的第三函数；图6示意性示出根据本发明的图像处理装置的一个实施例。
相同的参考数字在附图中通篇指代相同的部分。
具体实施例方式
图1示意性示出根据本发明的多视像产生单元100的一个实施例。所述多视像产生单元100被设置成根据视频图像序列来产生一个多视像序列。图3示意性示出该视频图像的输入图像。多视像产生单元100在输入连接器108处具有视频图像流，并分别在输出连接器110和112处提供两个相关的视频图像流。这两个相关的视频图像流将被提供给多视图显示装置，所述多视图显示装置被设置成根据第一个相关视频图像流来直观化第一图像序列，并根据第二相关视频图像流来直观化第二图像序列。如果用户通过他的左眼观察第一图像序列和通过右眼观察第二图像序列，则他会注意到3D效果。可能的情况是，第一相关视频图像流与接收的视频图像序列对应，并且根据所接收的视频图像序列来渲染第二相关视频图像流。优选地，两个视频图像流都是根据所述接收的视频图像序列来渲染的。所述渲染过程例如由P.A.Redert、E.A.Hendriks和J.Biemond在Proceedings of International Conference onAcoustics，Speech，and Signal Processing上(卷IV，ISBN 0-8186-7919-0，2749-2752页，IEEE Computer Society，Los Alamitos，California，1997)发表的文章“Synthesis of multi viewpointimages at non-intermediate positions”中所述。可选择地，所述渲染过程如在由R.P.Berretty和F.E.Ernst在ProceedingsEurographics(Granada，2003，Short Note 124)中所述。
多视像产生单元100包括-边缘检测单元102，用于检测输入图像中的边缘；-深度映射产生单元104，用于根据检测的边缘来为相应的输入图像产生深度映射；和-渲染单元106，用于根据输入图像和相应深度映射来渲染多视像。
检测边缘可基于各个输入图像的空间高通滤波进行。然而优选的是，在相互比较多个输入图像、尤其是计算视频图像序列的随后图像的像素值差的基础上来检测边缘。计算像素值差S(x，y，n)的第一个例子由等式1给出S(x，y，n)＝|I(x，y，n)-I(x，y，n-1)| (1)其中，I(x，y，n)是在时间n具有图像坐标x和y的像素的亮度值。可选择地，所述像素值差S(x，y，n)是根据以下颜色值计算的S(x，y，n)＝|C(x，y，n)-C(x，y，n-1)| (2)其中，C(x，y，n)是在时间n具有图像坐标x和y的像素的颜色值。在等式3中给出了基于三种不同的颜色分量R(红色)G(绿色)和B(蓝色)来计算像素值差S(x，y，n)的另一个可选择方案。
S(x，y，n)＝max(|R(x，y，n)-R(x，y，n-1)|，|G(x，y，n)-G(x，y，n-1)|，|B(x，y，n)-B(x，y，n-1)|) (3)可选择地，像素值差信号 通过将低于预定阈值的所有像素值差削波至一个常量(例如零)而被滤波。可选择地，应用形态滤波操作来除去所有在空间上较小的边缘。形态滤波器通常是非线性图像处理单元。例如参见P.W.Verbeek，H.A.Vrooman和L.J.van Vliet在“Signal Processing”(卷15，第3期，249-258页，1988)发表的文章“Low-level image processing by max-min filters”。
在对滤波的像素值差信号 进行计算之后，确定深度映射。这在等式4中规定
D(x，y，n)＝F(SF(x，y，n)) (4)其中D(x，y，n)是在时间n具有图像坐标x和y的像素的深度值，而函数F(j)是像素值差SF(x，y，n)到深度值D(x，y，n)的线性或非线性变换。该函数F(j)可以是像素值差SF(x，y，n)与预定常数的简单乘法运算D(x，y，n)＝α·SF(x，y，n) (5)可选择地，函数F(j)相当于像素值差SF(x，y，n)与一个加权因数W(i)的乘积，所述加权因数W(i)涉及的是所考虑的像素和与所考虑的像素邻近的空间中的第二像素之间的空间距离i，其具有局部最大值。假定第二像素位于边缘的中心。
D(x′，y′，n)＝W(x，y，x′，y′)*SF(x，y，n) (6)图5A示意性示出对边缘进行深度分配的适当函数，即作为空间距离i的函数的加权因数W(i)。
如上所述的操作结果是，与所述边缘对应的特定深度映射的第一组元素具有第一深度值，其与多视像的观看者有关，而与位于与所述边缘邻近的特定输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视像的观看者有关，所述第一值小于第二值。或者换句话说，与边缘对应的深度映射元素具有的值表示到观看者的距离要比到深度映射的其它元素小。
图4A示意性示出基于随后的输入图像之间的色差的深度映射的一个示例。该深度映射如上所述是根据等式2和5在没有滤波的情况下确定的。
边缘检测单元102、深度映射产生单元104和渲染单元106可使用一个处理器来实现。通常，在软件程序产品的控制下执行这些函数。在执行期间，通常将软件程序产品装载到存储器(例如RAM)中，并据此来执行。可从后台存储器装载所述程序，例如ROM、硬盘、或磁存储器和/或光存储器，或者可通过类似互联网的网络装载程序。可选择地，特殊用途集成电路提供所披露的功能性。
图2示意性示出根据本发明的多视像产生单元200的另一个实施例。所述多视像产生单元200被设置成根据视频图像序列来产生一个多视像序列。多视像产生单元200在输入连接器108处具有视频图像流，并分别在输出连接器110和112处提供两个相关的视频图像流。多视像产生单元200包括-运动评估单元202，用于计算输入图像的运动矢量场；-边缘检测单元102，用于根据相应运动矢量场来检测输入图像中的边缘；-深度映射产生单元104，用于根据检测的边缘来为相应的输入图像产生深度映射；和-渲染单元106，用于根据输入图像和相应深度映射来渲染多视像。
运动评估单元202例如在G.de Haan等人在“IEEE Transactionson circuits and systems for video technology(卷3，第5期，1993年10月，368-379页)上发表的文章“True-Motion Estimationwith 3-D Recursive Search Block Matching”中所指出的。
边缘检测单元102具有由运动评估单元202所计算的运动矢量场。边缘检测单元102被设置成确定运动矢量场的不连续性。这意味着它被设置成检测运动矢量场中具有相对较大运动矢量对比度的区域。这些区域与相应图像中的边缘对应。可选择地，边缘检测单元102还具有像素值，即输入图像的颜色和/或亮度值。通过适当组合各个输入，就可获得图像中的片断。该处理还由F.Emst在“Proceedings of the ICOB(Imersive Communication andBroadcast Systems)workshop(Heinrich-Hertz-Institut，Berlin，2003年1月)上发表的“2D-to-3D video conversion based ontime-consistents egmentation”中有所说明。除了图像中的片段的检测边缘的坐标之外，边缘检测单元102还可以提供所述片段的拓扑信息。因此，可以知道边缘的哪一侧属于前景目标，以及边远的哪一侧属于背景。
在边缘检测之后，执行深度值的分配。优选地，深度值的分配是根据如图5B和5C所示的加权因数W(i)来进行的。在所述的图5B和5C中，假定左侧部分与前景对应。图5B表示不对称分配；深度跳变朝前景偏斜，并且图5C示出了偏斜的分配；深度跳变在背景中更加快速地衰落。如图5A中所示的，虽然在边缘附近的深度的对称分配看上去能满足充分的感知，但优选的是，如果有来自任何其它深度提示的额外深度信息，那么这适于将深度值分配给一个边缘。深度值的分配优选地被略微偏斜，使得边缘的前景侧至前部的渲染要比边缘的背景侧被略微渲染得多。如上所述，边缘检测单元102被设置成提供关于片段拓扑的信息。因此，知道边缘的哪一侧属于前景，以及哪一侧属于背景。图4B示意性示出基于运动不连续性的深度映射，其是由根据本发明的这个实施例的深度映射产生单元104所提供的。
运动评估单元202、边缘检测单元102、深度映射产生单元104和渲染单元106可使用一个处理器来实现。
总之，多视像产生单元100和200被设置来借助检测输入图像中的边缘并以将所述边缘感知为比周围区域更靠近观看者这样一种方式渲染这些图像来渲染多视像，所述输入图像中的边缘是深度不连续的良好候选。
因为深度分配主要是根据边缘检测进行的，所以能够容易且稳定地来实现。尤其是因为边缘检测是相对容易的基于颜色、亮度、结构或运动。优选地，通过时间，例如通过时间一致性分割来跟踪边缘，以使对每边缘的深度分配随时间更加稳定。
图6示意性示出根据本发明的图像处理装置600的一个实施例，其包括-接收单元602，用于接收表示输入图像的视频信号；-多视像产生单元604，用于根据接收的输入图像来产生多视像，如结合图1和2中的任何一幅所述的；和-多视图显示装置606，用于显示由多视像产生单元604提供的多视像。
视频信号可以是通过天线或电缆接收的广播信号，但也可以是来自存储装置例如VCR(盒式磁带录像机)或数字万用盘(DVD)的信号。该信号在输入连接器610处被提供。图像处理装置600可以例如是电视。可选择地，图像处理装置600不包括任选的显示装置，而是将输出图像提供给包括显示装置606的装置。那么图像处理装置600可以是例如机顶盒、卫星调谐器、VCR播放器、DVD播放器或记录器。可选择地，图像处理装置600包括存储装置，例如硬盘或用于在可拆除介质(例如光盘)上进行存储的装置。图像处理装置600还可以是被电影工作室或广播公司应用的系统。
应该注意上述的实施例仅仅是示意说明而非限制本发明，在不脱离后附权利要求范围的情况下，本领域技术人员将能够设计出可选择的实施例。在权利要求中，置于括号间的任何参考标记都不应构成为限制权利要求。单词“包括”并不排除出现权利要求中未列举的元件或步骤。在一个元件前面的单词“一”或“一个”并不排除出现多个这种元件。本发明可借助包括若干个不同元件的硬件和借助适当编程的计算机来实现。在列举了若干个装置的单元权利要求中，若干个这些装置可由一个和相同项的硬件来体现。
权利要求
1.一种用于根据输入图像来产生多视像的多视像产生单元(100，200)，所述产生单元包括-边缘检测装置(102)，用于检测输入图像中的边缘；-深度映射产生装置(104)，用于根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视像的观看者有关，所述第一值小于第二值；和-渲染装置(106)，用于根据所述输入图像和深度映射来渲染多视像。
2.如权利要求1所述的多视像产生单元(100)，其中所述边缘检测装置(102)被设置来通过计算所述输入图像的第一像素值和第二输入图像的相应第二像素值之间的像素值差来检测所述边缘，所述输入图像和第二输入图像属于一个视频图像序列。
3.如权利要求2所述的多视像产生单元(100)，其中所述第一像素值表示颜色和亮度中的一个。
4.如权利要求2所述的多视像产生单元(100)，其中所述第一深度值是第一像素值差的函数。
5.如权利要求1所述的多视像产生单元(200)，其中所述边缘检测装置(102)被设置来在根据所述输入图像和第二输入图像计算的运动矢量场的基础上检测边缘，所述输入图像和第二输入图像属于一个视频图像序列。
6.如权利要求5所述的多视像产生单元(200)，其中所述边缘检测装置(102)被设置来借助计算运动矢量场的相邻运动矢量的运动矢量差来检测边缘。
7.如权利要求6所述的多视像产生单元(200)，其中所述第一深度值是第一运动矢量差的函数。
8.一种图像处理装置(600)，包括-接收装置(602)，用于接收与输入图像对应的信号；和-如权利要求1所述的用于根据输入图像来产生多视像的多视像产生单元(604)。
9.如权利要求8所述的图像处理装置(600)，还包括用于显示多视像的多视图显示装置(606)。
10.一种根据输入图像来产生多视像的方法，该方法包括-检测输入图像中的边缘；-根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视像的观看者有关，所述第一值小于第二值；和-根据所述输入图像和深度映射来渲染多视像。
11.一种将由计算机装置加载的计算机程序产品，包括用于根据输入图像来产生多视像的指令，所述计算机装置包括处理装置和存储器，所述计算机程序产品在被装载之后给所述处理装置提供有执行下述步骤的能力-检测输入图像中的边缘；-根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视像的观看者有关，所述第一值小于第二值；和-根据所述输入图像和深度映射来渲染多视像。
全文摘要
本发明披露了一种用于根据输入图像来产生多视像的多视像产生单元(100)。所述产生单元(100)包括边缘检测装置(102)，用于检测输入图像中的边缘；深度映射产生装置(104)，用于根据所述边缘为输入图像产生深度映射，与所述边缘对应的深度映射的第一组元素具有第一深度值，其与多视像的观看者有关，而与位于与所述边缘邻近的输入图像的一个区域对应的深度映射的第二组元素具有第二深度值，其与多视像的观看者有关，所述第一值小于第二值；和渲染装置(106)，用于根据所述输入图像和深度映射来渲染多视像。
文档编号G06T15/10GK1830217SQ200480022155
公开日2006年9月6日 申请日期2004年7月28日 优先权日2003年8月5日
发明者M·J·R·奥普德比克, F·E·厄恩斯特 申请人:皇家飞利浦电子股份有限公司