图像处理设备和图像处理方法
【专利摘要】本发明提供一种图像处理设备，包括深度生成单元，被配置为：基于当前帧的图像以及所述当前帧的先前帧的图像来生成指示所述先前帧的图像中的深度方向上的被摄体的位置的深度图像作为所述当前帧的深度图像。
【专利说明】图像处理设备和图像处理方法
[0001]相关申请的交叉引用
[0002]该申请要求于2013年7月10日提交的日本优先权专利申请JP2013-144504的利益，其完整内容通过引用合并到此。
【技术领域】
[0003]本公开涉及图像处理设备和图像处理方法，更具体地说，涉及能够使用先前帧的深度图像来快速地生成深度图像的图像处理设备和图像处理方法。
【背景技术】
[0004]已经提出了用于使用指示在使用具有高精度的多个视点的图像所生成的图像中在深度方向上的被摄体的位置的深度图像，并且使用运动作为各种应用的用户接口，通过图像识别来检测人类的臂、手、手指等的运动的技术。
[0005]在这些技术中，由于具有高精度的深度图像是必需的，因此期望以比像素单位更小的子像素为单位来检测深度方向上的位置。作为以子像素为单位检测深度方向上的位置的方法，例如，存在这样的方法:通过线性内插等以伪方式来增加多个视点的图像的分辨率，并且在增加分辨率之后使用所述多个视点的图像来检测深度方向上的位置。
[0006]还存在这样的方法:基于指示在深度方向上以像素为单位检测到的位置的函数以子像素为单位来内插深度方向上的位置。还存在这样的方法:通过相位限制校正方法来以子像素为单位检测深度方向上的位置(例如，见JP2013-19801A)。
[0007]然而，当以子像素为单位检测深度方向上的位置时，计算量增加得比当以像素为单位检测深度方向上的位置时更多。因此，当对整个屏幕执行以子像素为单位检测深度方向上的位置时，检测时间可能增加，并且可能不以高帧速率生成深度图像。因此，在上述技术中，难以充分地使用人类的臂、手、手指等的运动作为用户接口。
[0008]另一方面，已经提出了通过使用运动矢量而将具有大运动矢量的区域中的深度方向上的被摄体的位置设置为前位置并且将具有小运动矢量的区域中的深度方向上的被摄体的位置设置为后位置来容易地生成深度图像的方法(例如，JP2000-261828A和JP2012-109788A)。
[0009]公开内容
[0010]如上所述，当对整个屏幕执行以子像素为单位检测深度方向上的位置时，检测时间可能增加。因此，期望通过在一部分屏幕中至少不执行深度方向上的位置的检测来快速地生成深度图像。
[0011]期望提供一种用于使用先前帧的深度图像来快速地生成深度图像的技术。
[0012]根据本公开的实施例，提供一种图像处理设备，包括:深度生成单元，被配置为:基于当前帧的图像以及所述当前帧的先前帧的图像来生成指示所述先前帧的图像中的深度方向上的被摄体的位置的深度图像作为所述当前帧的深度图像。
[0013]根据本公开的实施例的图像处理方法与根据本公开的实施例的图像处理设备对应。
[0014]根据本公开的实施例，基于当前帧的图像和所述当前帧的先前帧的图像来生成指示在所述先前帧的图像中的深度方向上的被摄体的位置的深度图像作为所述当前帧的深度图像。
[0015]可以通过使得计算机执行程序来实现根据本公开的实施例的图像处理设备。
[0016]为了实现根据本公开的实施例的图像处理设备，计算机使得执行的程序可以经由传输介质而发送或记录在待提供的记录介质上。
[0017]根据本公开的实施例，可以使用先前帧的深度图像来快速地生成深度图像。
【专利附图】
【附图说明】
[0018]图1是示出应用本公开的第一实施例的图像处理设备的配置的示例的框图；
[0019]图2是用于描述预测生成单元生成预测深度图像的示图；
[0020]图3是用于描述图1中的图像处理设备的深度图像生成处理的流程图；
[0021]图4是用于描述图3的生成处理的细节的流程图；
[0022]图5是示出应用本公开的第二实施例的图像处理设备的配置的示例的框图；
[0023]图6是用于描述图5中的深度生成单元所设置的搜索范围的示图；
[0024]图7是用于描述图5中的深度生成单元的生成处理的流程图；
[0025]图8是示出应用本公开的第三实施例的图像处理设备的配置的示例的框图；
[0026]图9是用于描述图8中的深度生成单元81的生成处理的流程图；
[0027]图10是示出运动量与搜索范围的尺寸之间的关系的示例的示图；
[0028]图11是示出应用本公开的第四实施例的图像处理设备的配置的示例的框图；
[0029]图12是示出先前帧和当前帧的各标准视点之间的图像的差异的示例的示图；
[0030]图13是示出深度值的生成频率的示例的示图；
[0031]图14是用于描述图11中的图像处理设备的深度图像生成处理的流程图；
[0032]图15是用于描述图14的生成处理的细节的流程图；
[0033]图16是示出第一实施例至第四实施例的处理的总结表的示图；
[0034]图17是示出应用本公开的实施例的编码设备的配置的示例的框图；
[0035]图18是示出实施例的解码设备的配置的示例的框图；以及
[0036]图19是示出计算机的硬件配置的示例的框图。
【具体实施方式】
[0037]下文中，将参照附图详细描述本公开的优选实施例。注意，在该说明书和附图中，以相同的附图标记来表示具有基本上相同功能和结构的结构要素，并且省略这些结构要素的重复解释。
[0038]<第一实施例>
[0039](应用本公开的第一实施例的图像处理设备的配置的示例)
[0040]图1是示出应用本公开的第一实施例的图像处理设备的配置的示例的框图。
[0041]图1中的图像处理设备10包括标准图像获取单元11、邻近图像获取单元12、检测单元13、帧存储器14、预测生成单元15和深度生成单元16。图像处理设备10使用多个视点的图像来生成作为在各视点当中充当标准的一个视点的以子像素为单位的标准视点的深度图像。
[0042]具体地说，图像处理设备10的标准图像获取单元11获取当前帧的标准视点的图像。标准图像获取单元11将当前帧的标准视点的图像提供给检测单元13和深度生成单元16。
[0043]邻近图像获取单元12获取作为除了当前帧的标准视点之外的视点的邻近视点的图像。在本公开中，为了有助于描述，邻近视点的数量假设为1，但可以是多个。邻近图像获取单元12将当前帧的邻近视点的图像提供给深度生成单元16。
[0044]检测单元13保存从标准图像获取单元11提供的当前帧的标准视点的图像。检测单元13基于先前帧(其为当前帧紧接的前一帧)的标准视点的图像和当前帧的标准视点的图像来检测运动矢量作为指示各帧之间的改变的信息。具体地说，检测单元13通过块匹配方法而基于先前帧的标准视点的图像和当前帧的标准视点的图像来检测当前帧的标准视点的所保存的图像的每个像素的运动矢量。检测单元13将运动矢量提供给预测生成单元15。
[0045]帧存储器14通过一帧来保存从深度生成单元16提供的以子像素为单位的标准视点的深度图像。帧存储器14读取所保存的以子像素为单位的先前帧的深度图像，并且将深度图像提供给预测生成单元15。
[0046]基于从检测单元13提供的运动矢量，预测生成单元15将通过移动从帧存储器14提供的先前帧的深度图像的每个子像素的像素值所获得的值设置为当前帧的标准视点的深度图像的每个子像素的像素值的预测值。因此，通过当前帧的标准视点的深度图像的每个子像素的像素值的预测值来生成预测深度图像。
[0047]在以此方式所生成的预测深度图像中，出现在当前帧的标准视点的图像中但不出现在先前帧的标准视点的图像中的遮挡区域产生。在预测深度图像的遮挡区域中，不存在像素值。预测生成单元15将预测深度图像和运动矢量提供给深度生成单元16。
[0048]深度生成单元16基于来自标准图像获取单元11的标准视点的图像和来自邻近图像获取单元12的邻近视点的图像而以像素为单位来生成指示预测深度图像中不存在像素值的遮挡区域中的深度方向上的被摄体的位置的深度值。
[0049]具体地说，深度生成单元16将以像素为中心的邻近视点的图像的预定范围设置为关于标准视点的图像的遮挡区域的每个像素的搜索范围。作为深度值，深度生成单元16通过将遮挡区域的每个像素与搜索范围内的像素进行匹配来生成遮挡区域的每个像素与搜索范围内与遮挡区域的像素最相似的像素之间的距离。
[0050]深度生成单元16基于从预测生成单元15提供的运动矢量来将除了标准视点的图像的遮挡区域之外的区域划分为具有运动的区域和没有运动的区域。深度生成单元16从预测深度图像提取以子像素为单位的没有运动的区域的像素值，并且将该像素值设置为以子像素为单位的没有运动的区域的深度值。
[0051]深度生成单元16从预测深度图像提取以子像素为单位的具有运动的区域的像素值，并且基于该像素值而生成以像素为单位的具有运动的区域的深度值。深度生成单元16基于以像素为单位的具有运动的区域和遮挡区域的深度值，通过内插等而生成以子像素为单位的深度值。
[0052]深度生成单元16生成通过上述方式所获得的以子像素为单位的没有运动的区域、遮挡区域以及具有运动的区域的深度值设置为子像素的像素值的深度图像，作为当前帧的标准视点的深度图像。深度生成单元16输出当前帧的标准视点的深度图像，并且将该深度图像提供给帧存储器14。
[0053](生成预测深度图像)
[0054]图2是用于描述图1中的预测生成单元15生成预测深度图像的示图。
[0055]在图2的示例中，标准视点的图像是字母作为背景而篮球作为前景的图像。篮球在先前帧中出现在屏幕的右上侧，而在当前帧中出现在屏幕的中间。也就是说，在先前帧与当前帧之间，篮球移动到左下侧。
[0056]在此情况下，篮球区域中的当前帧的标准视点的每个像素的运动矢量是在图2的中间如箭头指示的每一个自身像素(self-pixel)从右上定向到左下的矢量，并且在除了篮球区域之外的区域中是O。
[0057]因此，预测生成单元15基于运动矢量来将先前帧的深度图像的篮球区域中的子像素31的像素值移动到左下。然后，预测生成单元15将子像素31的像素值设置为定位到位于当前帧的预测深度图像的子像素31的相同位置处的子像素41的左下的子像素42的像素值。同样的操作也应用于篮球区域中的其它子像素。
[0058]预测生成单元15将除了先前帧的深度图像的篮球区域之外的区域中的子像素32的深度值设置为位于与当前帧的预测深度图像的子像素32相同的位置处的子像素43的像素值。同样的操作也应用于除了篮球区域之外的区域中的其它子像素。
[0059]结果，并非在作为除了当前帧中的篮球区域之外的区域的遮挡区域44而是在先前帧中的篮球区域中生成预测深度图像的像素值。
[0060](图像处理设备的处理的描述)
[0061]图3是用于描述图1中的图像处理设备10的深度图像生成处理的流程图。
[0062]在图3的步骤Sll中，图像处理设备10的标准图像获取单元11获取当前帧的标准视点的图像，邻近图像获取单元12获取当前帧的邻近视点的图像。标准图像获取单元11将当前帧的标准视点的图像提供给检测单元13而且保存标准视点的图像，并且将当前帧的标准视点的图像提供给深度生成单元16。邻近图像获取单元12将当前帧的邻近视点的图像提供给深度生成单元16。
[0063]在步骤S12中，检测单元13对所保存的先前帧的标准视点的图像与来自标准图像获取单元11的当前帧的标准视点的图像进行比较，并且检测当前帧的标准视点的图像的每个像素的运动矢量。检测单元13将运动矢量提供给预测生成单元15。
[0064]在步骤S13中，帧存储器14读取所保存的以子像素为单位的先前帧的标准视点的深度图像，并且将该深度图像提供给预测生成单元15。
[0065]在步骤S14中，预测生成单元15基于从检测单元13提供的运动矢量和从帧存储器14提供的先前帧的深度图像来生成当前帧的标准视点的预测深度图像，如参照图2所描述的那样。预测生成单元15将预测深度图像和运动矢量提供给深度生成单元16。
[0066]在步骤S15中，深度生成单元16基于预测深度图像来执行生成当前帧的标准视点的深度图像的生成处理。将参照以下将描述的图4来描述生成处理的细节。
[0067]在步骤S16中，深度生成单元16输出通过生成处理所生成的当前帧的标准视点的深度图像，并且将该深度图像提供给帧存储器14而且保存该深度图像。然后，处理结束。
[0068]图4是用于描述图3的步骤S15的生成处理的细节的流程图。通过将当前帧的标准视点的图像的每个像素设置为处理目标像素来执行生成处理。
[0069]在图4的步骤S31中，深度生成单元16确定处理目标像素的像素值是否出现在从预测生成单元15提供的预测深度图像中。当在步骤S31中确定像素值出现，也就是说，处理目标像素出现在遮挡区域的外部时，处理进入步骤S32。
[0070]在步骤S32中，深度生成单元16确定从预测生成单元15提供的处理目标像素的运动矢量的运动量是否大于第一阈值(例如O)。
[0071]当深度生成单元16在步骤S32中确定运动量大于第一阈值时，深度生成单元16确定处理目标像素是具有运动的区域中的像素。然后，在步骤S33中，深度生成单元16从预测深度图像提取以子像素为单位的处理目标像素的像素值，并且基于该像素值来生成以像素为单位的处理目标像素的深度值。然后，处理进入步骤S35。
[0072]反之，当在步骤S31中确定该值没有出现，也就是说，处理目标像素出现在遮挡区域中时，处理进入步骤S34。
[0073]在步骤S34中，深度生成单元16基于来自标准图像获取单元11的标准视点的图像和来自邻近图像获取单元12的邻近视点的图像来生成以像素为单位的处理目标像素的深度值。然后，处理进入步骤S35。
[0074]在步骤S35中，深度生成单元16基于在步骤S33或步骤S34中所生成的以像素为单位的深度值，通过内插等而生成以子像素为单位的深度值。然后，处理返回到图3的步骤S15，并且处理进入到步骤S16。
[0075]反之，当深度生成单元16在步骤S32中确定运动量等于或小于第一阈值时，深度生成单元16确定处理目标像素是没有运动的区域的像素。然后，在步骤S36中，深度生成单元16从预测深度图像提取以子像素为单位的处理目标像素的像素值，并且将该像素值设置为以子像素为单位的处理目标像素的深度值。然后，处理返回到图3的步骤S15，并且处理进入到步骤S16。
[0076]如上所述，图像处理设备10基于当前帧的图像和先前帧的图像来生成没有运动的区域中的先前帧的深度值作为当前帧的深度值。因此，无需在没有运动的区域中生成深度值，并且可以快速地生成深度图像。
[0077]图像处理设备10基于具有运动的区域中的先前帧的深度值来生成以像素为单位的当前帧的深度值。因此，无需检测具有运动的区域中的以像素为单位的深度值，并且可以更快速地生成深度图像。
[0078]<第二实施例>
[0079](应用本公开的第二实施例的图像处理设备的配置的示例)
[0080]图5是示出应用本技术的第二实施例的图像处理设备的配置的示例的框图。
[0081]对于与图1中相同的图5所示的构成要素给出相同的附图标记。将适当地省略重复的描述。
[0082]图5中的图像处理设备60的配置与图1中的图像处理设备10的配置不同在于，提供深度生成单元61，而不是深度生成单元16。图像处理设备60并不根据先前帧的深度值来生成具有运动的区域中的以像素为单位的当前帧的深度值，而是基于先前帧的深度值来限定搜索范围。
[0083]具体地说，如在深度生成单元16中那样，图像处理设备60的深度生成单元61基于标准视点的图像和邻近视点的图像来生成以像素为单位的遮挡区域的深度值。如在深度生成单元16中那样，深度生成单元61基于运动矢量来将除了标准视点的图像的遮挡区域之外的区域划分为具有运动的区域和没有运动的区域。
[0084]深度生成单元61从预测深度图像提取以子像素为单位的具有运动的区域的像素值。作为关于具有运动的区域的每个像素的搜索范围，深度生成单元61基于像素的预测值来设置具有关于遮挡区域比正常尺寸(其为邻近视点的图像的搜索范围的尺寸)更小的尺寸的范围。作为深度值，深度生成单元61通过将具有运动的区域的每个像素与搜索范围内的像素进行匹配来生成具有运动的区域的每个像素与搜索范围内与具有运动的区域的像素最相似的像素之间的距离。
[0085]深度生成单元61基于以像素为单位的具有运动的区域和遮挡区域的深度值，通过内插等而生成以子像素为单位的深度值。如在深度生成单元16中那样，深度生成单元61从预测深度图像提取以子像素为单位的没有运动的区域的像素值，并且将该像素值设置为以子像素为单位的没有运动的区域的深度值。
[0086]深度生成单元61生成通过上述方式所获得的以子像素为单位的没有运动的区域、遮挡区域以及具有运动的区域的深度值设置为子像素的像素值的深度图像，作为当前帧的标准视点的深度图像。深度生成单元61输出当前帧的标准视点的深度图像，并且将该深度图像提供给帧存储器14。
[0087](搜索范围的描述)
[0088]图6是用于描述图5中的深度生成单元61所设置的搜索范围的示图。
[0089]在图6的示例中，标准视点和邻近视点的图像是字母作为背景而篮球作为前景的图像。篮球在先前帧中出现在屏幕的右上侧，而在当前帧中出现在屏幕的中间。也就是说，在先前帧与当前帧之间，篮球移动到左下侧。
[0090]在此情况下，当前帧的图像中的篮球的区域是具有运动的区域。作为具有运动的区域内的像素71的搜索范围，并不设置具有以像素71为中心的邻近视点的图像的正常尺寸的范围75，而设置基于像素71的像素值的具有比正常尺寸更小的尺寸的范围76。范围76是例如在水平方向上与像素71分离开了与像素71的预测值对应的距离的、以像素71的位置为中心的、具有比正常尺寸更小的尺寸的范围。
[0091]作为除了当前帧中的篮球的区域之外的区域以及作为先前帧中的篮球的区域的区域是遮挡区域72。遮挡区域72的像素73的搜索范围是以像素73为中心的邻近视点的图像的具有正常尺寸的范围77。
[0092]由于像素74的运动矢量是0，因此并不设置作为除了当前帧和先前帧二者的篮球区域之外的区域的区域内的像素74的搜索范围，而且不生成像素74的深度值。像素74的深度值被看作是位于与当前帧的预测深度图像的像素74相同的位置处的子像素的像素值。
[0093](图像处理设备的处理的描述)
[0094]除了步骤S15的生成处理之外，图5中的图像处理设备60的深度图像生成处理与图3中的深度图像生成处理相同。因此，以下将仅描述生成处理。
[0095]图7是用于描述图像处理设备60的深度生成单元61 (图5)的生成处理的流程图。通过将当前帧的标准视点的图像的每个像素设置为处理目标像素来执行生成处理。
[0096]由于图7的步骤S51和步骤S52的处理与图4的步骤S31和步骤S32的处理相同，因此将省略其描述。
[0097]在步骤S53中，深度生成单元61在具有处理目标像素的邻近视点的图像中基于预测深度图像中以子像素为单位的处理目标像素的像素值来匹配具有比正常尺寸更小的尺寸的搜索范围内的像素。然后，深度生成单元61生成距搜索范围内与处理目标像素最相似的像素的距离作为深度值，然后，处理进入步骤S55。
[0098]反之，当在步骤S51中确定像素值没有出现，也就是说，处理目标像素出现在遮挡区域内时，处理进入步骤S54。在步骤S54中，深度生成单元61对具有正常尺寸的搜索范围内的邻近视点的图像的像素与处理目标像素进行匹配。然后，深度生成单元61生成距搜索范围内与处理目标像素最相似的像素的距离作为深度值，然后，处理进入步骤S55。
[0099]当深度生成单元61在步骤S52中确定运动量等于或小于第一阈值时，深度生成单元61确定处理目标像素是没有运动的区域的像素。然后，处理进入步骤S56。
[0100]由于步骤S55和步骤S56的处理与图4的步骤S35和步骤S36的处理相同，因此将省略其描述。
[0101]如上所述，图像处理设备60基于预测值来将在生成具有运动的区域中以像素为单位的当前帧的深度值时的搜索范围限定为具有比正常尺寸更小的尺寸的范围。因此，在生成具有运动的区域中以像素为单位的深度值时的计算量减少，因此可以更快速地生成深度图像。
[0102]〈第三实施例〉
[0103](应用本公开的第三实施例的图像处理设备的配置的示例)
[0104]图8是示出应用本公开的第三实施例的图像处理设备的配置的示例的框图。
[0105]对于与图1中相同的图8所示的构成要素给出相同的附图标记。将适当地省略重复的描述。
[0106]图8中的图像处理设备80的配置与图1中的图像处理设备10的配置不同在于，提供深度生成单元81，而不是深度生成单元16。图像处理设备80仅在具有小运动的区域中基于先前帧的深度值来限定搜索范围。
[0107]具体地说，如在深度生成单元16中那样，图像处理设备80的深度生成单元81基于运动矢量来将除了标准视点的图像的遮挡区域之外的区域划分为具有运动的区域和没有运动的区域。深度生成单元81基于运动矢量进一步将具有运动的区域划分为具有小运动的区域和具有大运动的区域。
[0108]深度生成单元81通过使用标准视点的图像和邻近视点的图像而在遮挡区域和具有大运动的区域中的具有正常尺寸的搜索范围中执行匹配来生成以像素为单位的深度值。
[0109]深度生成单元81从预测深度图像提取以子像素为单位的具有小运动的区域的像素值。作为具有小运动的区域的每个像素的搜索范围，深度生成单元81基于像素的预测值来设置具有比邻近视点的图像的正常尺寸更小的尺寸的范围。作为深度值，深度生成单元81通过执行具有小运动的区域的每个像素与搜索范围内的像素的匹配来生成具有小运动的区域的每个像素与搜索范围内与具有小运动的区域的像素最相似的像素之间的距离。
[0110]深度生成单元81基于以像素为单位的遮挡区域、具有大运动的区域和具有小运动的区域的深度值而通过内插等来生成以子像素为单位的深度值。如在深度生成单元16中那样，深度生成单元81从预测深度图像提取以子像素为单位的没有运动的区域的像素值，并且将该像素值设置为以子像素为单位的没有运动的区域的深度值。
[0111]深度生成单元81生成以上述方式所获得的以子像素为单位的没有运动的区域、遮挡区域、具有大运动的区域和具有小运动的区域的深度值设置为子像素的像素值的深度图像，作为当前帧的标准视点的深度图像。深度生成单元81输出当前帧的标准视点的深度图像，并且将该深度图像提供给帧存储器14。
[0112](图像处理设备的处理的描述)
[0113]除了步骤S15的生成处理之外，图8中的图像处理设备80的深度图像生成处理与图3中的深度图像生成处理相同。因此，以下将仅描述生成处理。
[0114]图9是用于描述图像处理设备80的深度生成单元81 (图8)的生成处理的流程图。通过将当前帧的标准视点的图像的每个像素设置为处理目标像素来执行生成处理。
[0115]由于图9的步骤S71和步骤S72的处理与图4的步骤S31和步骤S32的处理相同，因此将省略其描述。
[0116]当深度生成单元81在步骤S72确定运动量大于第一阈值时，深度生成单元81在步骤S73确定处理目标像素的运动矢量的运动量是否小于或等于比第一阈值更大的第二阈值。当深度生成单元81在步骤S73中确定运动量小于或等于第二阈值，也就是说，运动量大于第一阈值并且等于或小于第二阈值时，深度生成单元81确定处理目标像素是具有小运动的区域中的像素。然后，处理进入步骤S74。
[0117]反之，当深度生成单元81在步骤S73中确定运动量并非等于或小于第二阈值，也就是说，运动量大于第二阈值时，深度生成单元81确定处理目标像素是具有大运动的区域的像素。然后，处理进入步骤S75。
[0118]由于步骤S74和步骤S77的处理与图7的步骤S53和步骤S56的处理相同，因此将省略其描述。
[0119]如上所述，图像处理设备80仅在具有小运动的区域中基于预测值并且以在具有运动的各区域之间的预测值的高可靠性来将搜索范围限定为具有比正常尺寸更小的尺寸的范围。因此，可以比在图像处理设备60中更多地改进深度图像的精度。
[0120](搜索范围的尺寸的另一示例)
[0121]第二实施例和第三实施例中的所限定的搜索范围的尺寸可以是固定的，或可以是可变的。当所限定的搜索范围的尺寸是可变的时，根据例如运动量来设置尺寸。
[0122]图10是示出在此情况下的运动量与搜索范围的尺寸之间的关系的示例的示图。
[0123]在图10中，图表的水平轴表示运动量，而垂直轴表示当搜索范围的中心设置为O时在搜索范围的水平方向和垂直方向上的位置。
[0124]在图10的示例中，当运动量等于或大于O并且小于B时，在水平方向和垂直方向上的搜索范围的长度是2DB。此外，当运动量等于或大于B并且小于A时，在水平方向和垂直方向上的搜索范围的长度与运动量成比例而变为大于2DB。当运动量是A时，搜索范围的长度是2DA。当运动量大于A时，在水平方向和垂直方向上的搜索范围的长度是2DA。
[0125]〈第四实施例〉
[0126](应用本公开的第四实施例的图像处理设备的配置的示例)
[0127]图11是示出应用本公开的第四实施例的图像处理设备的配置的示例的框图。
[0128]对于与图1中相同的图11所示的构成要素给出相同的附图标记。将适当地省略重复的描述。
[0129]图11中的图像处理设备100的配置与图1中的图像处理设备10的配置不同在于，提供检测单元101、预测生成单元102和深度生成单元103，而不是检测单元13、预测生成单元15和深度生成单元16。图像处理设备100基于作为指示各帧之间的标准视点的图像的改变的信息的差来确定深度值的生成频率。
[0130]具体地说，检测单元101保存从标准图像获取单元11提供的当前帧的标准视点的图像。检测单元101以像素为单位检测所保存的先前帧的标准视点的图像与当前帧的标准视点的图像之间的差异，并且将该差异提供给预测生成单元102。
[0131]基于从检测单元101提供的差异，预测生成单元102对于标准视点的图像的每个像素，将指示更新(生成)深度值的更新标记设置为正或负。预测生成单元102将作为预测深度图像的从帧存储器14提供的先前帧的深度图像提供给深度生成单元103，并且将每个像素的更新标记提供给深度生成单元103。
[0132]基于从预测生成单元102提供的更新标记，深度生成单元103对每个像素的更新标记连续为负的次数进行计数。深度生成单元103基于来自标准图像获取单元11的标准视点的图像和来自邻近图像获取单元12的邻近视点的图像来生成以像素为单位的更新标记为正的像素的深度值。
[0133]深度生成单元103基于标准视点的图像和邻近视点的图像来生成以像素为单位的更新标记为负并且更新标记连续为负的次数是预定次数(在此，10次)的像素的深度值。深度生成单元103基于所生成的以像素为单位的深度值而通过内插等来生成以子像素为单位的深度值。
[0134]深度生成单元103将以子像素为单位的预测深度图像的像素值设置为以子像素为单位的更新标记为负并且更新标记连续为负的次数不是预定次数的像素的深度值。
[0135]深度生成单元103生成通过上述方式所获得的以子像素为单位的标准视点的图像的每个像素的深度值设置为每个子像素的像素值的深度图像作为当前帧的标准视点的深度图像。深度生成单元103输出当前帧的标准视点的深度图像，并且将该深度图像提供给帧存储器14。
[0136](差的示例)
[0137]图12是示出先前帧和当前帧的标准视点的各图像之间的差的示例的示图。
[0138]在图12的示例中，标准视点的图像是字母作为背景而篮球作为前景的图像。篮球在先前帧中出现在屏幕的右上侧，而在当前帧中出现在屏幕的中间。也就是说，在先前帧与当前帧之间，篮球移动到左下侧。
[0139]在此情况下，先前帧和当前帧的标准视点的各图像之间的差异增加到图12中的对角线所指示的先前帧和当前帧的篮球的区域111。此外，图12的右侧上的小矩形指示像素。
[0140](深度值的生成频率的示例)
[0141]图13是示出深度值的生成频率的示例的示图。
[0142]在图13中，图表的水平轴表示先前帧和当前帧的标准视点的各图像之间的差，垂直轴表示当一帧的频率为I时的深度值的生成频率。
[0143]在图13的示例中，当差等于或大于O并且等于或小于阈值Th时，深度值的生成频率是1/10。当差大于阈值Th时,深度值的生成频率是I。也就是说，当差等于或大于O并且等于或小于阈值Th时，先前帧的深度值被看作是9倍到10倍的比例的当前帧的深度值。当差大于阈值Th时,在每个帧中不使用先前帧的深度值。
[0144](图像处理设备的处理的描述)
[0145]图14是用于描述图11中的图像处理设备100的深度图像生成处理的流程图。
[0146]在图14的步骤S91中，图像处理设备100的标准图像获取单元11获取当前帧的标准视点的图像，邻近图像获取单元12获取当前帧的邻近视点的图像。标准图像获取单元11将当前帧的标准视点的图像提供给检测单元101而且保存标准视点的图像，并且将当前帧的标准视点的图像提供给深度生成单元103。邻近图像获取单元12将当前帧的邻近视点的图像提供给深度生成单元103。
[0147]在步骤S92中，检测单元101以像素为单位检测所保存的先前帧的标准视点的图像与当前帧的标准视点的图像之间的差异，并且将该差异提供给预测生成单元102。
[0148]在步骤S93中，帧存储器14读取所保存的以子像素为单位的先前帧的标准视点的深度图像，并且将该深度图像提供给预测生成单元192。
[0149]在步骤S94中，预测生成单元102将从检测单元101提供的差等于或大于O并且等于或小于阈值Th的像素的更新标记设置为负，并且将差大于阈值Th的像素的更新标记设置为正。
[0150]在步骤S95中，预测生成单元102将作为预测深度图像的从帧存储器14提供的先前帧的深度图像提供给深度生成单元103，并且将每个像素的更新标记提供给深度生成单元 103。
[0151]在步骤S96中，深度生成单元103基于预测深度图像来执行生成当前帧的标准视点的深度图像的生成处理。将参照以下待描述的图15来描述生成处理的细节。
[0152]在步骤S97中，深度生成单元103输出通过生成处理所生成的当前帧的标准视点的深度图像，并且将该深度图像提供给帧存储器14而且保存该深度图像。然后，处理结束。
[0153]图15是用于描述图14的步骤S96的生成处理的细节的流程图。通过将当前帧的标准视点的图像的每个像素设置为处理目标像素来执行生成处理。
[0154]在图15的步骤Slll中，深度生成单元103确定处理目标像素的更新标记是否为正。当在步骤Slll中确定更新标记不为正，也就是说，更新标记为负时，处理进入到步骤S112。
[0155]在步骤SI 12中，深度生成单元103将更新标记的次数连续为负的计数值仅增加I。计数值的初始值是O。
[0156]在步骤S113中，深度生成单元103确定计数值是否为10。当在步骤S113中确定计数值不为10，也就是说，确定更新标记并非连续为负10次时，处理进入到步骤S114。
[0157]在步骤S114中，深度生成单元103从提供自预测生成单元102的预测深度图像提取以子像素为单位的处理目标像素的像素值，并且将该像素值设置为深度值。然后，处理返回到图14的步骤S96，并且处理进入到步骤S97。
[0158]反之，当在步骤Slll中确定更新标记为正或在步骤S113中确定计数值为10时，深度生成单元103在步骤S115中将计数值改变为O。
[0159]在步骤SI 16中，深度生成单元103基于来自标准图像获取单元11的标准视点的图像和来自邻近图像获取单元12的邻近视点的图像来生成以像素为单位的处理目标像素的深度值。然后，深度生成单元103基于以像素为单位的处理目标像素的深度值来生成以子像素为单位的深度值。然后，处理返回到图14的步骤S96，并且处理进入到步骤S97。
[0160]如上所述，图像处理设备100基于当前帧的图像和先前帧的图像来生成差很小的区域中的先前帧的深度值作为当前帧的深度值。因此，无需在差很小的区域中生成深度值，并且可以快速地生成深度图像。
[0161]由于图像处理设备100甚至在差很小的区域中以比差很大的区域的频率更小的频率来生成深度值，因此可以改进深度图像的精度。
[0162]如上所述，差很小的区域的深度值的生成频率不限于每10帧I次。此外，如上所述，差很大的深度值的生成频率不限于每个帧。
[0163]<第一实施例至第四实施例的总结>
[0164]图16是示出第一实施例至第四实施例的处理的总结表的示图。
[0165]如图16所示，在第一实施例至第三实施例中，处理在遮挡区域与除了遮挡区域之外的区域之间是不同的。此外，在除了遮挡区域之外的区域中，处理在没有运动的区域与具有运动的区域之间是不同的。在第三实施例中，在具有运动的区域中，处理在具有小运动的区域与具有大运动的区域之间是不同的。
[0166]具体地说，在第一实施例中，在除了遮挡区域之外的区域中的没有运动的区域中，以子像素为单位的先前帧的深度值用作以子像素为单位的当前帧的深度值。另一方面，在具有运动的区域中，根据以子像素为单位的先前帧的深度值生成以像素为单位的当前帧的深度值，并且基于以像素为单位的深度值来生成以子像素为单位的深度值。
[0167]在遮挡区域中，通过匹配来生成以像素为单位的当前帧的深度值，并且基于以像素为单位的深度值来生成以子像素为单位的深度值。
[0168]在第二实施例中，在除了遮挡区域之外的区域中的没有运动的区域中，如在第一实施例中那样，以子像素为单位的先前帧的深度值用作以子像素为单位的当前帧的深度值。另一方面，在具有运动的区域中，基于以子像素为单位的先前帧的深度值来设置具有比正常尺寸更小的尺寸的搜索范围，并且在搜索范围中执行匹配。然后，基于作为匹配结果而获得的以像素为单位的深度值来生成以子像素为单位的深度值。
[0169]在遮挡区域中，通过在具有正常尺寸的搜索范围中执行匹配来生成以像素为单位的当前帧的深度值，并且基于以像素为单位的深度值来生成以子像素为单位的深度值。
[0170]在第三实施例中，在除了遮挡区域之外的区域中的没有运动的区域中，如在第一实施例中那样，以子像素为单位的先前帧的深度值用作以子像素为单位的当前帧的深度值。另一方面，在作为具有运动的区域和具有小运动的区域的区域中，如第二实施例的具有运动的区域的情况下那样，在具有比正常尺寸更小的尺寸的搜索范围中生成以子像素为单位的深度值。
[0171]在作为具有运动的区域和作为具有大运动的区域的区域以及遮挡区域中，如第二实施例的遮挡区域的情况下那样，在具有正常尺寸的搜索范围中生成以子像素为单位的深度值。
[0172]在第四实施例中，处理在先前帧和当前帧的标准视点的各图像之间的差很大以及很小的区域中是不同的。
[0173]具体地说，在差很大的区域中，按每个帧生成以子像素为单位的深度值。另一方面，在差很小的区域中，每10帧一次生成以子像素为单位的深度值。
[0174]〈第五实施例〉
[0175](应用本公开的实施例的编码设备的配置的示例)
[0176]图17是示出应用本公开的实施例的编码设备的配置的示例的框图。
[0177]图17中的编码设备120包括标准图像获取单元121、邻近图像获取单元122、深度图像生成单元123和编码单元124。编码设备120对标准视点的图像、邻近视点的图像以及标准视点的深度图像进行编码。
[0178]编码设备120的标准图像获取单元121获取外部成像设备(未示出)所捕获的标准视点的图像，并且将标准视点的图像提供给深度图像生成单元123和编码单元124。
[0179]邻近图像获取单元122获取外部成像设备(未示出)所捕获的邻近视点的图像，并且将邻近视点的图像提供给深度图像生成单元123和编码单元124。
[0180]深度图像生成单元123由根据第一实施例至第四实施例的上述图像处理设备配置。深度图像生成单元123基于来自标准图像获取单元121的标准视点的图像和来自邻近图像获取单元122的邻近视点的图像来生成标准视点的深度图像，并且将标准视点的深度图像提供给编码单元124。
[0181]编码单元124对来自标准图像获取单元121的标准视点的图像、来自邻近图像获取单元122的邻近视点的图像和来自深度图像生成单元123的深度图像进行编码。作为对深度图像进行编码的方案，可以使用高级视频编码(AVC)方案、多视角视频编码(MVC)方案、高效视频编码(HEVC)方案等。编码单元124发送作为编码结果所获得的编码流。
[0182](根据实施例的解码设备的配置的示例)
[0183]图18是示出根据实施例的对图17中的编码设备120所生成的编码流进行解码的解码设备的配置的示例的框图。
[0184]图18中的解码设备140包括解码单元141、标准图像输出单元142、邻近图像输出单元143和深度图像输出单元144。
[0185]解码设备140的解码单元141获取从编码设备120发送的编码流。解码单元141根据与编码设备120的编码方案对应的方案来对编码流进行解码，以生成标准视点的图像、邻近视点的图像和标准视点的深度图像。解码单元141将标准视点的图像提供给标准图像输出单元142，将邻近视点的图像提供给邻近图像输出单元143，并且将标准视点的深度图像提供给深度图像输出单元144。
[0186]标准图像输出单元142输出从解码单元141提供的标准视点的图像。邻近图像输出单元143输出从解码单元141提供的邻近视点的图像。深度图像输出单元144输出从解码单元141提供的深度图像。
[0187]〈第六实施例〉
[0188](应用本公开的计算机的配置示例)
[0189]上述一系列处理可以由硬件执行，而且也可以由软件执行。当一系列处理由软件执行时，构成该软件的程序安装到计算机。在此，表述“计算机”包括当安装各种程序时能够执行各种功能的含有专用硬件的计算机以及通用个人计算机等。
[0190]图19是示出根据程序来执行上述一系列处理的计算机的硬件的示例配置的框图。
[0191]在计算机中，中央处理单元(CPU) 201、只读存储器(ROM) 202和随机存取存储器(RAM) 203由总线204彼此连接。
[0192]输入/输出接口 205也连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接到输入/输出接口 205。
[0193]从键盘、鼠标、麦克风等配置输入单元206。从显示器、扬声器等配置输出单元207。从硬盘、非易失性存储器等配置存储单元208。从网络接口等配置通信单元209。驱动器210驱动可拆卸介质211 (例如磁盘、光盘、磁光盘、半导体存储器等)。
[0194]在如上所述而配置的计算机中，CPU201经由输入/输出接口 205和总线204将存储在例如存储单元208中的程序加载到RAM203上，并且执行该程序。因此，上述处理序列得以执行。
[0195]待由计算机(CPU201)执行的程序被提供为记录在可拆卸介质211(其为包封介质等)中。此外，可以经由有线传输介质或无线传输介质(例如局域网、因特网或数字卫星广播)来提供程序。
[0196]在计算机中，通过将可拆卸介质211加载到驱动器210，程序可以经由输入/输出接口 205安装到存储单元416中。也可以使用通信单元209从有线传输介质或无线传输介质接收程序，并且将程序安装到存储单元416中。作为另一替选，可以预先将程序安装到R0M202或存储单元416中。
[0197]应注意，计算机所执行的程序可以是根据本公开所描述的顺序按时间序列处理的程序或以并行方式或按必要时序(例如在调用时)处理的程序。
[0198]本公开实施例不限于上述实施例，在不脱离本公开的范围的情况下，可以进行各种改变和修改。
[0199]例如，在第二实施例至第四实施例中，可以不以子像素为单位而以像素为单位来生成深度值。
[0200]在第一实施例至第三实施例中，深度生成单元16(61和81)执行基于运动矢量来划分区域，但预测生成单元15可以执行划分区域。
[0201]在此情况下，预测生成单元15向深度生成单元16和61提供指示是否生成对于每个像素所设置的深度值的标记(即指示区域是否为具有运动的区域的标记)。此外，预测生成单元15向深度生成单元81提供指示是否生成对于每个像素所设置的深度值并且指示是否限定搜索范围的标记。也就是说，深度生成单元81向预测生成单元15提供指示在没有运动的区域、具有大运动的区域和具有小运动的区域当中像素出现的区域的标记。
[0202]在第一实施例至第三实施例中，基于当前帧的运动矢量来划分区域，但可以基于运动矢量的历史来划分区域。
[0203]例如，本公开可以采用云计算的配置，其通过网络通过多个装置分配并且连接一个功能来进行处理。
[0204]此外，可以由一个装置或通过分配多个装置来执行上述流程图所描述的每个步骤。
[0205]此外，在一个步骤中包括多个处理的情况下，这一个步骤中所包括的多个处理可以由一个装置或通过分配多个装置来执行。
[0206]本领域技术人员应理解，只要各种修改、组合、部分组合和改动在所附权利要求及其等同物的范围内，它们就可以取决于设计需求和其它因素产生。
[0207]此外，也可以如下配置本公开。
[0208](I) 一种图像处理设备，包括:
[0209]深度生成单元，被配置为:基于当前帧的图像以及所述当前帧的先前帧的图像来生成指示所述先前帧的图像中的深度方向上的被摄体的位置的深度图像作为所述当前帧的深度图像。
[0210](2)如⑴所述的图像处理设备，其中，所述深度生成单元基于所述当前帧的图像与所述先前帧的图像之间改变来生成所述深度图像。
[0211](3)如⑵所述的图像处理设备，还包括:
[0212]检测单元，被配置为:基于所述当前帧的图像和所述先前帧的图像来检测所述当前帧的图像的运动矢量，
[0213]其中，所述深度生成单元基于所述检测单元检测到的所述运动矢量来生成所述先前帧的深度图像作为所述当前帧的深度图像。
[0214](4)如(3)所述的图像处理设备，其中，当所述运动矢量的运动量等于或小于第一阈值时，所述深度生成单元生成所述先前帧的深度图像作为所述当前帧的深度图像。
[0215](5)如(4)所述的图像处理设备，其中，当所述运动矢量的运动量大于所述第一阈值时，所述深度生成单元基于所述先前帧的深度图像来生成所述当前帧的深度图像。
[0216](6)如(5)所述的图像处理设备，其中，当所述运动矢量的运动量大于所述第一阈值时，所述深度生成单元基于以子像素为单位的所述先前帧的深度图像来生成以像素为单位的所述当前帧的深度图像，并且基于以像素为单位的所述当前帧的深度图像来生成以子像素为单位的所述当前帧的深度图像。
[0217](7)如(5)所述的图像处理设备，其中，当所述运动矢量的运动量大于所述第一阈值时，所述深度生成单元基于所述先前帧的深度图像，通过在所限定的搜索范围中执行匹配来生成所述当前帧的深度图像。
[0218](8)如(7)所述的图像处理设备，其中，当所述运动矢量的运动量大于所述第一阈值并且等于或小于第二阈值时，所述深度生成单元基于所述先前帧的深度图像，通过在所限定的搜索范围中执行匹配来生成所述当前帧的深度图像。
[0219](9)如(7)或⑶所述的图像处理设备，其中，所述搜索范围的尺寸是根据所述运动量的尺寸。
[0220](10)如(I)或⑵所述的图像处理设备，还包括:
[0221]检测单元，被配置为:检测所述当前帧的图像与所述先前帧的图像之间的差异，
[0222]其中，当所述检测单元检测到的差异等于或小于一阈值时，所述深度生成单元根据生成所述先前帧的图像的深度图像作为所述当前帧的深度图像的频率来生成所述当前帧的深度图像。
[0223](11)如(10)所述的图像处理设备，其中，当所述检测单元检测到的差异大于所述阈值时，所述深度生成单元根据比生成所述先前帧的图像的深度图像作为所述当前帧的深度图像的频率更小的频率来生成所述当前帧的深度图像。
[0224](12)如(I)至(11)中的任一项所述的图像处理设备，还包括:
[0225]编码单元，被配置为:对所述深度生成单元所生成的深度图像进行编码。
[0226](13) 一种图像处理方法，包括，通过图像处理设备:
[0227]基于当前帧的图像和所述当前帧的先前帧的图像来生成指示在所述先前帧的图像中的深度方向上的被摄体的位置的深度图像作为所述当前帧的深度图像。
【权利要求】
1.一种图像处理设备，包括: 深度生成单元，被配置为:基于当前帧的图像以及所述当前帧的先前帧的图像来生成指示所述先前帧的图像中的深度方向上的被摄体的位置的深度图像作为所述当前帧的深度图像。
2.如权利要求1所述的图像处理设备，其中，所述深度生成单元基于所述当前帧的图像与所述先前帧的图像之间改变来生成所述深度图像。
3.如权利要求2所述的图像处理设备，还包括: 检测单元，被配置为:基于所述当前帧的图像和所述先前帧的图像来检测所述当前帧的图像的运动矢量， 其中，所述深度生成单元基于所述检测单元检测到的所述运动矢量来生成所述先前帧的深度图像作为所述当前帧的深度图像。
4.如权利要求3所述的图像处理设备，其中，当所述运动矢量的运动量等于或小于第一阈值时，所述深度生成单元生成所述先前帧的深度图像作为所述当前帧的深度图像。
5.如权利要求4所述的图像处理设备，其中，当所述运动矢量的运动量大于所述第一阈值时，所述深度生成单元基于所述先前帧的深度图像来生成所述当前帧的深度图像。
6.如权利要求5所述的图像处理设备，其中，当所述运动矢量的运动量大于所述第一阈值时，所述深度生成单元基于以子像素为单位的所述先前帧的深度图像来生成以像素为单位的所述当前帧的深度图像，并且基于以像素为单位的所述当前帧的深度图像来生成以子像素为单位的所述当前帧的深度图像。
7.如权利要求5所述的图像处理设备，其中，当所述运动矢量的运动量大于所述第一阈值时，所述深度生成单元基于所述先前帧的深度图像，通过在所限定的搜索范围中执行匹配来生成所述当前帧的深度图像。
8.如权利要求7所述的图像处理设备，其中，当所述运动矢量的运动量大于所述第一阈值并且等于或小于第二阈值时，所述深度生成单元基于所述先前帧的深度图像，通过在所限定的搜索范围中执行匹配来生成所述当前帧的深度图像。
9.如权利要求7所述的图像处理设备，其中，所述搜索范围的尺寸是根据所述运动量的尺寸。
10.如权利要求1所述的图像处理设备，还包括: 检测单元，被配置为:检测所述当前帧的图像与所述先前帧的图像之间的差异， 其中，当所述检测单元检测到的差异等于或小于一阈值时，所述深度生成单元根据生成所述先前帧的图像的深度图像作为所述当前帧的深度图像的频率来生成所述当前帧的深度图像。
11.如权利要求10所述的图像处理设备，其中，当所述检测单元检测到的差异大于所述阈值时，所述深度生成单元根据比生成所述先前帧的图像的深度图像作为所述当前帧的深度图像的频率更小的频率来生成所述当前帧的深度图像。
12.如权利要求1所述的图像处理设备，还包括: 编码单元，被配置为:对所述深度生成单元所生成的深度图像进行编码。
13.一种图像处理方法，包括，通过图像处理设备: 基于当前帧的图像和所述当前帧的先前帧的图像来生成指示在所述先前帧的图像中的深度方向上的被摄体的位置的深度图像作为所述当前帧的深度图像。
【文档编号】H04N13/00GK104284192SQ201410315682
【公开日】2015年1月14日 申请日期:2014年7月3日 优先权日:2013年7月10日
【发明者】森浩典, 井藤功久, 早坂健吾 申请人:索尼公司