专利名称：视频处理的制作方法
技术领域：
本发明涉及视频处理设备和方法，并且特别涉及视频压缩设备和方法。
背景技术：
视频压缩技术通常用于通过具有有限带宽的通信信道更有效地传送视频信号。在当今视频压缩技术诸如MPEG4中，基于区域的编码被建议，以允许场景(scene)中的不同区域利用不同的质量来编码。这个技术的主要目的是利用高质量发送重要对象，而以较低质量传送场景中的不太重要区域。
“Region based Video Coding using Mathematical Morphology(使用数学形态学的基于区域的视频编码)”(Philippe Salembier等人，IEEE学报，83卷，第6期，1995年6月)公开了一种基于区域的编码，其中基于强度、彩色和灰度值来分段图像中的诸区域。这具有的缺点是不清楚哪个是场景中的重要对象。时常，重要对象将是图像中的移动对象。
发明内容
本发明的目的是提供一种改进的视频处理。
本发明利用独立权利要求来定义。从属权利要求定义有利的实施例。
根据本发明的第一方面，提供一种用于处理具有一个或多个所关心区域的图像信号的视频处理设备。该设备包括深度估算装置，用于确定图像信号中区域的深度并提供相应深度信号。数据压缩器接收图像信号和深度信号，并被配置成根据从深度估算装置接收的相应深度信号来压缩特定区域中的图像数据。
本发明具有的优点是能够根据图像信号中区域的深度，压缩例如涉及特定对象并因此涉及整个图像信号内区域的重要性的图像信号的区域。
根据本发明的另一方面，提供一种移动通信设备，包括用于获取第一图像信号的第一成像装置以及用于获取第二图像信号的第二成像装置。第一和第二成像装置被安排成实质上指向同一方向。
根据本发明的这个方面的通信设备具有的优点是能够确定正被观看的图像信号中的深度信息，这随后能够被用于动态地压缩上述的图像信号中的不同区域。
根据本发明的另一方面，提供一种处理具有一个或多个所关心区域的图像信号的方法。该方法包括确定图像信号中区域的深度以提供相应深度信号的步骤。该深度信号被数据压缩器用于压缩图像信号，以致于根据图像信号中特定区域的相应深度来压缩用于该特定区域的图像数据。
为了更好理解本发明，以及为了更清楚地显示如何可以实现本发明，现在将仅仅利用示例参考以下附图，其中图1显示了根据本发明的视频处理设备；图2显示了典型的场景；图3A和图3B显示了在图1的第一和第二摄像机中获得的图像；图4显示了简单的压缩引擎；和图5显示了本发明的替代实施例。
具体实施例方式
图1描述了根据本发明的视频处理设备。第一摄像机1产生第一图像信号9，而第二摄像机3产生第二图像信号11。第一图像信号9和第二图像信号11是相同场景的偏移版本，例如涉及分别通过第一和第二摄像机观看的“右”和“左”版本。深度估算器5接收第一和第二图像信号9、11，并产生深度信号13。
数据处理器7从一个摄像机(例如，第一摄像机1)接收图像信号，并压缩该图像信号中的视频数据，以产生压缩的图像信号14。数据压缩级基于从深度估算器5接收的深度信号13。
例如，该设备可以被配置成根据越靠近摄像机的对象比背景中的对象更重要的假设，压缩图像数据。
根据由深度估算器5接收的第一图像信号9和第二图像信号11，确定深度信号13。第一图像信号9和第二图像信号11用来确定左右图像中相同对象的相应像素之间的视差(disparity)(不均等性)。
最好，该视差被翻译成每个像素的深度信号，其用来在压缩正常图像时控制数据压缩器7中的量化程度。
因此，根据本发明，更靠近摄像机的对象利用高质量即高量化来编码，而远离摄像机的对象则经历较低编码，即导致较低带宽需求的较低量化。
任选地，可以作出完全忽略涉及场景的不重要部分的像素的决定。在这样的像素中，数据压缩器7可以被配置成插入更容易被编码的数据以替代真实的背景信息。择一地，可以插入标志或指示符，这使得接收机在接收机侧上插入像素数据。
图2显示了典型场景S，其中在前景中在相距第一和第二摄像机1、3大约一或二米的距离处找到主对象15。在场景的背景中例如在相距摄像机1、3大约三至四米的深度上发现不太重要对象17。
图3A和3B显示了利用第一和第二摄像机查看的图像信号。图3A显示了利用第二摄像机3(即，该实施例中的“左”摄像机)查看到的图像信号，而图3B显示了利用第一摄像机1(即，该实施例中的“右”摄像机)查看到的图像信号。正如可以从这些图中看到的那样，在利用右和左摄像机查看到的图像信号之间具有视差。请注意，该视差与对象距摄像机的距离成反比。
立体图像中特定对象的视差是在左图象上对象的位置与右图像上同一对象的位置之间的像素差。换言之，对于涉及特定对象的给定像素，如果该像素涉及远离摄像机的对象，则利用第一和第二摄像机1、3查看到的图像之间的视差将是小的，而如果该像素涉及靠近摄像机的对象，则视差将是大的。因此，当像素数据涉及远离摄像机1、3的对象时，像素数据将出现在两个图像帧中几乎相同的位置上。相反地，当像素数据涉及靠近摄像机1、3的对象时，像素数据将出现在图像帧明显不同的位置上。
例如，在图3A和3B中，背景对象17位于两个图像信号的几乎相同的位置中。另一方面，在位于场景的前景中的对象1 5的位置之间存在更大的视差。
用于根据从两个摄像机获得的图像计算对象深度的各种技术本身是已知的，并在这个申请中将不再更详细地进行说明。这些技术包括从第一图像中获得特定像素并在第二图像中查找相应像素的步骤。如果相应像素被找到，则计算视差，并把深度值分配给那个像素。
从上面将明白，图像信号中的每个像素被提供深度信号，这在压缩正常图像时用于为数据压缩器提供量化值。
图4显示了根据本发明的简化的压缩引擎。压缩引擎40接收来自摄像机之一的输入像素数据(像素(i，j)in)，并且从深度估算器5接收深度信号(深度(i，j)in)。根据该像素的深度信号，量化输入像素数据，以提供输出像素数据(像素(i，j)out)。因此，根据来自摄像机的相关联对象的深度，压缩每个像素。此后，已知的可变长度编码装置43可以用来利用这些值的压缩范围，以提供压缩的输出数据45。
本发明特别适于其中视频数据必须进行压缩以便经由具有有限带宽的通信信道传输的应用。例如，本发明特别适于用在移动电话中。根据本发明的这一方面，提供具有第一和第二摄像机的移动电话，第一和第二摄像机被安排成实质上指向同一方向。这些摄像机可以用来确定深度信息，供提供用于数据压缩的深度信号之用，如上所述。
选择地，视频处理设备可以用来降低待存储在例如移动电话和摄影机中的视频数据的量。
尽管已经涉及提供场景的“左”和“右”版本的摄像机描述了优选实施例，但是将意识到，任何方位将是有可能的，相对彼此在固定的位置中提供两个摄像机。此外，还可以使用其它的手段来测量深度值，诸如利用自场景中对象的“光飞行时间”或者用于确定对象深度的其它的聚焦技术来测量深度值。此外，当与视频摄像机一起使用时，假定对象正在相应帧之间移动，则可以从相同场景的连续帧中确定场景中对象的深度。尽管这样的实施例依赖于有关场景中对象大小的知识，但是其对于确定哪个对象在其它对象的前面是有用的，因而能够确定最接近的对象(并因此最重要对象)。
此外，尽管已经以前景中的对象比背景中的对象更重要为基础描述了优选实施例，但是将容易意识到，也可以反过来使用本发明，从而例如在监视背景场景的安全应用中，把背景中的对象视为更重要的对象。作为选择，例如，如果在固定位置中使用摄像机，并且打算监视位于远离摄像机的预定距离上的场景，则本发明还可以用来在距离摄像机的预定深度上提供最佳质量。
图5显示了实现本发明的再一个实施例。图5的实施例具有第一和第二透镜51和53，而不是如图1和图2所示的具有两个单独的摄像机或传感器。第一和第二透镜沿着垂直于视线的方向被隔开，并且将光引导到潜望镜设备55。潜望镜设备55用于将来自分隔开的透镜51、53的光引导到单个传感器或摄像机57。因此，图像的左边部分将来自左透镜，而右边部分将来自右透镜。执行“校准”，以使传感器的中部与镜子匹配。
以上实施例中所描述的本发明具有以下优点能够根据图像信号中区域的深度，压缩例如涉及特定对象并因此整个图像信号内区域的重要性的图象信号的区域。
应当注意，上述实施例说明而不是限制本发明，并且本领域熟练技术人员将能够在不背离所附权利要求范围的条件下，设计许多替代实施例。词“包括”不排除权利要求中所列之外的元素或步骤的存在。
在权利要求中，置于括号之间的任何参考标记不应解释为限制该权利要求。元素前面的词“一或一个”并不排除多个这样的元素的存在。本发明可以利用包括若干不同元素的硬件来实施，并且可以利用合适编程的计算机来实施。在枚举若干装置的设备权利要求中，这些装置中的若干装置可以利用同一个硬件项来实施。在相互不同的从属权利要求中叙述某些措施的纯粹事实并不表示这些措施的组合不能有利地加以使用。
权利要求
1.一种视频处理设备，用于处理具有一个或多个所关心区域的图像信号，该设备包括深度估算装置(5)，用于确定图像信号中区域的深度并提供相应深度信号(13)；数据压缩器(7)，用于接收图像信号和深度信号(13)；其中数据压缩器(7)被配置成根据从深度估算装置(5)接收的相应深度信号(13)，压缩特定区域中的图像数据。
2.根据权利要求1所述的视频处理设备，进一步包括第一和第二摄像机(1，3)，第一和第二摄像机(1，3)给深度估算装置(5)提供第一和第二图像信号(9，11)，用于确定图像信号中区域的深度。
3.根据权利要求2所述的视频处理设备，其中深度估算装置(5)被配置成根据第一与第二图像信号(9，11)之间的视差，确定区域的深度。
4.根据权利要求1所述的视频处理设备，其中数据压缩器适于根据深度信号(13)改变数据压缩(7)的量化。
5.根据权利要求4所述的视频处理设备，其中数据压缩器(7)适于对具有小值深度信号的区域应用高量化，并对具有高值深度信号的区域应用较低量化。
6.根据权利要求1所述的视频处理设备，其中在每个像素的基础上，确定数据压缩和深度。
7.根据权利要求6所述的视频处理设备，其中数据压缩器(7)被安排为以预定方式编码非重要像素。
8.根据权利要求7所述的视频处理设备，其中数据压缩器(7)被安排为省略涉及非重要像素的像素数据。
9.根据权利要求7所述的视频处理设备，其中数据压缩器(7)被安排为利用需要较少带宽的数据来编码用于非重要像素的像素数据。
10.根据权利要求7所述的视频处理设备，其中数据压缩器(7)被安排为利用标记来编码用于非重要像素的像素数据，以引起预定数据在接收机上被插入。
11.一种移动通信设备，具有如权利要求1所述的视频处理设备。
12.根据权利要求11所述的移动通信设备，进一步包括第一成像装置(1；51)，用于获取第一图像信号；第二成像装置(3；53)，用于获取第二图像信号；其中第一和第二成像装置被安排为实质上指向同一方向。
13.根据权利要求12所述的移动通信设备，其中第一和第二成像装置分别包括第一和第二透镜(51，53)，第一和第二透镜沿着垂直于视线的方向被间隔开。
14.根据权利要求12所述的移动通信设备，其中第一和第二成像设备分别包括第一和第二摄像机(1，3)。
15.根据权利要求12所述的移动通信设备，其中第一和第二图像信号用于确定图像信号中对象的深度。
16.一种处理具有一个或多个所关心区域的图像信号的方法，该方法包括以下步骤确定图像信号中区域的深度，以提供相应深度信号；提供数据压缩器，用于压缩图像信号；以及根据相应深度信号，压缩特定区域中的数据。
17.根据权利要求16所述的方法，还包括以下步骤提供第一和第二摄像机(1，3)，第一和第二摄像机提供第一和第二图像信号，用于确定图像信号中区域的深度。
全文摘要
一种视频处理设备包括用于产生第一图像信号(9)的第一摄像机(1)和用于产生第二图像信号(11)的第二摄像机(3)。第一图像信号(9)和第二图像信号(11)分别是相同场景的偏移版本，例如涉及通过第一和第二摄像机观看的场景的"右"和"左"版本。深度估算器(5)接收第一和第二图像信号(9，11)，并对于场景中的区域产生深度信号(13)。数据压缩器(7)从摄像机之一例如第一摄像机(1)接收图像信号，并压缩图像信号中的视频数据，以产生压缩的图像信号(14)。特定区域的数据压缩是根据从深度估算器(5)接收的用于那个区域的深度信号(13)来执行的。该设备可以被配置成利用高于位于背景中的对象的分辨率来压缩前景中的对象的图像数据。
文档编号G06K9/36GK1981295SQ200580022599
公开日2007年6月13日 申请日期2005年6月28日 优先权日2004年7月2日
发明者R·P·克莱霍斯特 申请人:皇家飞利浦电子股份有限公司