专利名称：图像处理设备及方法以及程序的制作方法
技术领域：
本公开涉及图像处理设备及方法以及程序。更具体地，本公开涉能够容易地识别被成像的人所做出的手势的图像处理设备及方法以及程序。
背景技术：
图像处理设备的示例包括手势识别设备，其用于通过进行图像处理来辨识由人做出的手势。例如，已经提出了这样一种技术将图像划分为多个图像块，针对每个图像块来计算各帧之间的改变，并且识别手势(参见日本未审查专利申请公开2009-064199号)。此外，已经提出了这样一种技术在通过使用飞行时间来获得深度图像并计算整体的深度分布(直方图)之后，确定深度方向上的阈值，对作为关注区域(ROI，regions of interest)的手部和臂部进行标记和剪切，然后获得剪切部分的中心点，并将该中心点设定为手势的坐标(参见 YANG-Keun Ahn，Young-Choong Park, Kwang-Soon Choi, Woo-ChoolPark, Hae-Moon Seo, Kwang-Mo Jung, “ 3D Spatial Touch System Based on Time-of-flight Camera “ ， WSEAS TRANSACTIONS on INFORMATION SCIENCE and APPLICATIONS,Issue 9，Volume 6,2009 年 9 月)。
发明内容
然而，在日本未审查专利申请公开2009-064199号的方法中，如果在辨识对象的背景中存在快速运动，则存在难以进行正常辨识的风险。此夕卜，在 YANG-Keun Ahn, Young-Choong Park,Kwang-Soon Choi,Woo-ChoolPark, Hae-Moon Seo,Kwang-Mo Jung, “ 3D Spatial Touch System Based on Time-of-flight Camera" (WSEAS TRANSACTIONS on INFORMATION SCIENCE and APPLICATIONS, Issue 9， Volume 6，2009年9月)的技术中，需要用于确定关注区域的标记处理，在处理时间方面成本较大。此夕卜，在 YANG-Keun Ahn, Young-Choong Park, Kwang-Soon Choi, Woo-ChoolPark, Hae-Moon Seo,Kwang-Mo Jung, “ 3D Spatial Touch System Based on Time-of-flight Camera" (WSEAS TRANSACTIONS on INFORMATION SCIENCE and APPLICATIONS, Issue 9， Volume 6，2009年9月)的技术中，当进行标记时，需要提供阈值，呈现了通用性较差的问题。特别地，在假设能够获得包括从图像捕捉位置到图像中的对象的、以像素为单位的距离信息的深度图像的情况下，期望从深度图像中获得局部顶端部分，在局部顶端部分内获得以帧为单位连续的轨迹，并且基于该轨迹辨识手势，使得能够准确辨识手势，同时减小处理负荷。根据本公开实施例，提供一种图像处理设备，包括深度图像获得单元，被配置为获得深度图像，该深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，该深度图像以图像的像素为单位；局部顶端部分检测单元，被配置为以深度图像中每组多个邻近像素构成的块为单位，将对象的接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分；凸出部分检测单元，被配置为，在当每个块被设置为关注块时，由邻近关注块的包括关注块的多个块构成的区域中，关注块的局部顶端部分成为该区域中最接近图像捕捉位置的局部顶端部分的情况下，将该局部顶端部分检测为凸出部分；以及追踪单元，被配置为连续追踪被凸出部分检测单元检测到的凸出部分的位置。该图像处理设备还可以包括手势检测单元，被配置为将追踪单元所追踪的凸出部分的位置的轨迹辨识为图像中要被捕捉图像的对象的动作，并基于该轨迹来检测由对象的动作做出的手势。该追踪单元可以开始追踪由凸出部分检测单元检测到的凸出部分的位置；此后， 当在之前刚检测到的凸出部分的位置附近预定范围内在时间方向上连续检测到凸出部分的情况下，可以追踪之前刚检测到的凸出部分的位置附近预定范围内在时间方向上连续检测到的凸出部分的位置；而当在之前刚检测到的凸出部分的位置附近预定范围内在时间方向上未连续检测到凸出部分的情况下，可以将之前刚检测到的凸出部分的位置附近预定范围内在时间方向上连续检测到的局部顶端部分的位置作为凸出部分的位置进行追踪。追踪单元可以追踪由追踪单元追踪的凸出部分的位置，或者追踪作为顶端部分的位置的局部顶端部分的位置；可以在每个顶端部分中设置可能性；并且可以结束对可能性已变为小于预定阈值的顶端部分的追踪。图像处理设备还可以包括追踪优先级设置单元，被配置为基于顶端部分的轨迹， 按照由手势检测单元检测到的手势，设置顶端部分的追踪优先级，其中，追踪单元基于各个顶端部分的相应追踪优先级来设置各个可能性。根据本公开的另一实施例，提供一种用于图像处理设备的图像处理方法，该图像处理设备包括深度图像获得单元，被配置为获得深度图像，深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，深度图像以图像的像素为单位；局部顶端部分检测单元，被配置为以深度图像中每组多个邻近像素构成的块为单位，将对象的接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分；凸出部分检测单元，被配置为，在当每个块被设置为关注块时，由邻近关注块的包括关注块的多个块构成的区域中， 关注块的局部顶端部分成为区域中最接近图像捕捉位置的局部顶端部分的情况下，将局部顶端部分检测为凸出部分；以及追踪单元，被配置为连续追踪被凸出部分检测单元检测到的凸出部分的位置，图像处理方法包括在深度图像获得单元中获得深度图像，深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，深度图像以图像的像素为单位；在局部顶端部分检测单元中，以深度图像中每组多个邻近像素构成的块为单位，将对象的接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分；在凸出部分检测单元中，在当每个块被设置为关注块时，由邻近关注块的包括关注块的多个块构成的区域中，关注块的局部顶端部分成为区域中最接近图像捕捉位置的局部顶端部分的情况下，将局部顶端部分检测为凸出部分；以及在追踪单元中追踪在凸出部分检测中检测到的凸出部分的位置。根据本公开的另一实施例，一种用于使控制图像处理设备的计算机执行处理的程序，该图像处理设备包括深度图像获得单元，被配置为获得深度图像，深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，深度图像以图像的像素为单位；局部顶端部分检测单元，被配置为以深度图像中每组多个邻近像素构成的块为单位， 将对象的接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分；凸出部分检测单元，被配置为，在当每个块被设置为关注块时，由邻近关注块的包括关注块的多个块构成的区域中，关注块的局部顶端部分成为区域中最接近图像捕捉位置的局部顶端部分的情况下，将局部顶端部分检测为凸出部分；以及追踪单元，被配置为连续追踪被凸出部分检测单元检测到的凸出部分的位置，该处理包括在深度图像获得单元中获得深度图像，深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，深度图像以图像的像素为单位；在局部顶端部分检测单元中，以深度图像中每组多个邻近像素构成的块为单位，将对象的接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分；在凸出部分检测单元中，在当每个块被设置为关注块时，由邻近关注块的包括关注块的多个块构成的区域中，关注块的局部顶端部分成为区域中最接近图像捕捉位置的局部顶端部分的情况下，将局部顶端部分检测为凸出部分；以及在追踪单元中连续地追踪在凸出部分检测中检测到的凸出部分的位置。在本公开的实施例中，获得深度图像，深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，深度图像以图像的像素为单位。以深度图像中每组多个邻近像素构成的块为单位，将对象的接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分。在当每个块被设置为关注块时，由邻近关注块的包括关注块的多个块构成的区域中，关注块的局部顶端部分成为区域中最接近图像捕捉位置的局部顶端部分的情况下，将局部顶端部分检测为凸出部分，以及连续追踪被检测到的凸出部分的位置。根据本公开实施例的图像处理设备可以是独立的设备，也可以是进行图像处理的模块。根据本公开实施例，基于深度图像，使用在时间上连续检测到的局部顶端部分的轨迹，能够容易地识别被捕捉的图像中的人所做出的手势，其中，该深度图像被形成为包括与距图像捕捉位置的距离相对应的值，并且该深度图像以该图像中对象的像素为单位。
图1是示出应用本公开的图像处理设备的实施例的配置示例的框图；图2是示出由图1的图像处理设备进行的图像处理的流程图；图3示出输入图像和深度图像；
图4示出经平滑的深度图像；图5示出局部顶端部分；图6示出检测凸出信息的方法；图7示出凸出信息检测结果；图8是示出凸出追踪处理的流程图；图9示出凸出信息的结构；图10示出凸出信息的更新；图11是示出顶端部分追踪处理的流程图；图12示出顶端部分信息的结构；图13示出顶端部分信息和追踪ID ；
图14示出顶端部分信息的更新；图15是示出未检测到凸出的顶端部分信息更新处理的流程图；图16示出新顶端部分信息的生成；图17示出重叠顶端部分信息；图18示出被作为轨迹检测的手势；图19示出追踪优先级信息；图20示出设置追踪优先级的方法；以及图21示出通用个人计算的配置示例。
具体实施例方式图像处理设备的配置示例图1示出应用本公开的图像处理设备的硬件实施例的配置示例。当图1的图像处理设备11接收提供的捕捉图像时，图像处理设备11检测作为图像中包含的对象的人所做出的手势，并输出关于检测到的手势的信息。更具体地，图像处理设备11包括深度图像生成单元101、局部顶端部分检测单元 102、凸出部分检测单元103、凸出部分追踪单元104、顶端追踪单元105、手势轨迹检测单元 106、追踪优先级设置单元107以及追踪优先级存储单元108。深度图像生成单元101生成深度图像，该深度图像被形成为包括与输入的捕捉图像中以像素为单位的、从图像捕捉位置到对象的距离相对应的值，并将深度图像提供给局部顶端部分检测单元102。此外，深度图像生成单元101包括平滑单元101a，并对所生成的深度图像进行平滑。即，深度图像包含捕捉图像中所包含的很多源自图像传感器的噪声以及很多左右之间的不相关误差，诸如由于观察点差异导致的反射状态差异，而对深度图像进行平滑，以在统计意义上降低这种影响。局部顶端部分检测单元102将从深度图像生成单元101提供的深度图像划分为以块为单位，诸如16像素X 16像素，并以块为单位检测靠近图像捕捉位置的部分的区域信息 (坐标)，即位于近侧(即，靠近用户一侧)的部分的区域信息(坐标)，作为局部顶端部分。 然后，局部顶端部分检测单元102将作为检测结果的局部顶端部分的信息提供给凸出部分检测单元103和顶端追踪单元105。在下文中，将通过把深度图像假设为如下图像来给出描述在该图像中，以像素为单位存储深度值，使得深度图像越靠近近侧(图像捕捉位置侧)， 则深度值变得越大，反之，越远离图像捕捉位置，则深度值(视差值)变得越小。然而，只要深度值与从图像捕捉位置到对象的距离相对应就足够了。可以使用所谓的距离值，使得距图像捕捉位置的距离越小则距离值越小，而该距离越大则距离值越大。当凸出部分检测单元103控制凸出信息更新单元111并例如基于由局部顶端部分检测单元102输出的针对每个块区域的局部顶端部分的信息来将每个块设为关注块时，当在关注块以及邻近该关注块的8个周围块(上、下、右侧、左侧以及斜向)组合成的3块X3 块的区域的每个块的局部顶端部分的值当中，关注块的局部顶端部分的值成为该区域中的最大值时，凸出部分检测单元103将关注块的局部顶端部分检测为凸出部分，并且将该信息作为凸出信息提供给凸出部分追踪单元104。相对于关注块而设置的该区域不限于上述9个块，也可以是被设置为另外数目的块的区域。凸出部分追踪单元104包括凸出信息更新单元111以及凸出信息存储单元112。 当包含由凸出部分检测单元103检测出的凸出部分的位置的凸出信息处于先前帧的凸出部分的位置附近预定范围内时，凸出部分追踪单元104的凸出信息更新单元111假设连续检测到了同一凸出部分，通过对连续检测次数进行计数而追踪该凸出部分，使凸出信息存储单元112将追踪结果作为凸出信息存储，并更新凸出信息。顶端追踪单元105控制顶端部分信息更新单元121，并且使用作为对象包含在图像中的人的手势轨迹，将被凸出部分追踪单元104检测为凸出部分的视差对于固定数目或更多的帧(例如，8帧或更多)连续地成为局部极大值的像素的位置，即局部顶端部分的位置，假设为顶端部分。然后，顶端追踪单元105追逐顶端部分的位置，将按顺序更新的关于顶端部分的位置的信息设置为顶端部分信息，并使顶端部分信息存储单元122存储该信息。此时，在开始追踪凸出部分之后，当基于由凸出部分追踪单元104输出的凸出信息，在前一帧中检测到的凸出部分的位置附近预定范围内检测到了凸出部分时，顶端部分信息更新单元121假设检测到了同一凸出部分。然后，顶端部分信息更新单元121追踪凸出部分的位置作为按照对象的动作而形成手势的顶端部分的位置，并使顶端部分信息存储单元122 将追踪结果作为顶端部分信息进行存储。此外，在开始追踪凸出部分之后，当基于由凸出部分追踪单元104输出的凸出信息在前一帧中检测到的凸出部分的位置附近预定范围内没有检测到凸出部分时，顶端追踪单元105基于由局部顶端部分检测单元102检测的针对每个块的局部顶端部分的信息，追踪前一帧中检测到的凸出部分的位置附近预定范围内存在的局部顶端部分，作为连续检测到顶端部分的位置，并且，按顺序更新顶端部分信息存储单元122中存储的顶端部分信息。 此外，顶端部分信息更新单元121将可能性与顶端部分的位置一起设置为顶端部分信息， 使得当难以进行顶端部分的追踪以及可能性变得小于预定阈值时，相应顶端部分信息的可能性被减弱，并且，当通过使用局部顶端部分更新顶端部分的位置时，从顶端部分信息存储单元122中删除相应顶端部分信息。另外，顶端部分信息更新单元121基于追踪优先级存储单元108中存储的关于追踪优先级的信息来计算与追踪ID相对应的顶端部分信息的可能性，其中，追踪优先级是以与针对每个顶端部分信息而设置的追踪ID相对应的方式而设置的。手势轨迹检测单元106通过使用存储在顶端追踪单元105的顶端部分信息存储单元122中的顶端部分信息的位置信息(坐标信息)来将手势检测为诸如手指或指尖的顶端部分的轨迹，该轨迹形成与对象在做出手势时进行的动作相对应的手势，并且，手势轨迹检测单元106输出作为检测结果的该手势的信息。此外，手势轨迹检测单元106还将作为检测结果的该手势的信息提供给追踪优先级设置单元107。手势轨迹检测单元106通过例如使用隐马尔可夫模型(HMM)分析轨迹关于时间的改变量，其中隐马尔可夫模型是使用包含在顶端部分信息中所包含的位置信息(坐标信息)中的顶端部分的轨迹的手势辨识技术的示例。关于手势辨识技术的细节，应参考An HMM-Based Threshold Model Approach for Gesture Recognition, Hyeon-Kyu Lee 及 Jin H. Kim。追踪优先级设置单元107基于手势轨迹检测单元131的手势检测结果来形成轨迹，以与用来标识追踪对象的顶端部分信息的追踪ID相对应的方式来设置优先级，并使追踪优先级存储单元108以帧为单位存储该优先级。例如当检测到绘制圆形闭合路径的轨迹时，追踪优先级设置单元107将优先级设为高。图像处理接下来，将参考图2的流程图来对由图1的图像处理设备11所进行的图像处理进行描述。在步骤S11，深度图像生成单元101生成深度图像，该深度图像被形成为包括与从图像捕捉位置到所输入的捕捉图像中的以像素为单位的对象的距离相对应的值。更具体地，深度图像生成单元101例如通过使用算法(诸如立体匹配)来搜索使用被设置在不同位置处的两个或更多个相机捕捉的多个图像之间的对应点；获得参考图像中的像素与参考图像中的像素的位置相对于彼此的视差；按照从图像捕捉点到以像素为单位的对象的距离来基于三角测量原理获得值(视差)，使得例如越靠近图像捕捉位置，该值变得越大，而越远离图像捕捉位置，该值变得越小；并且生成深度图像，该深度图像被形成为包括与以像素为单位获得的距离相对应的像素值。此外，关于捕捉图像，只要获得深度图像就足够了，因而深度图像生成单元101可以通过与此不同的方法来生成深度图像。例如，通过以象素为单位测量从由图像捕捉位置向对象发出测距光(诸如近红外线)到测距光返回为止的时间 (被称为飞行时间(TOF))，深度图像生成单元101可以以像素为单位获得从图像捕捉位置到对象的距离，并且可以通过使用该距离生成深度图像。结果，如图3的图像Pl所示，例如当输入了太阳存在于左上区域、云存在于右上部分、而人存在于中下区域的输入图像时，如图3的图像P2所示，将获得如下图像在该图像中，位于从图像捕捉位置看的近侧的该人的手指附近具有最高像素值，而作为背景的区域具有低像素值。在步骤S12，平滑单元IOla通过以下方式对根据视差形成的像素值进行平滑通过例如按照以下等式(1)所表示的算术运算将深度图像的每个像素用作参考，例如在8像素X8像素的范围内以像素值的移动平均值来代替像素值。然后，深度图像生成单元101 将经平滑的深度图像提供给局部顶端部分检测单元102。
Σ Σ f(x+i,y+j)g(X’y)= Ο*·:-
64- (1)这里，g(x，y)表示经平滑的深度图像的像素值，f(x，y)表示被平滑之前深度图像的像素值，而i和j分别表示深度图像中X方向上和Y方向上的范围。作为该处理的结果， 例如，在被平滑前的深度图像为图3的图像P2的情况下，获得诸如图4中所示的经平滑图像的图像P11。作为图像P2被平滑的结果，图像Pll变为整体模糊的图像。当进行平滑时， 只要获得关于每个像素的周边像素的像素值的移动平均值就足够了。由于关于每个像素的周边像素的范围可能由多个邻近像素形成，因此该范围可能是与8像素X8像素的范围不同的范围。在步骤S13，例如如图5中的图像P21所示，局部顶端部分检测单元102将经平滑的深度图像划分为以16像素X16像素为单位的块；将以块为单位平滑的深度图像的各像素中像素值成为最大值的像素g(umn，ν )检测为局部顶端部分；并将该像素的像素值 g(u , vj和位置坐标(umn，ν )提供给凸出部分检测单元103和顶端追踪单元105。由图5中的圆形标记指示的像素表示每个块中的局部顶端部分。这里，m和η表示每个块中X方向和Y方向上的坐标位置(m，n)。此外，块的尺寸不限于16像素X16像素，而可以是与此不同的尺寸。在步骤S14，凸出部分检测单元103根据作为中心的块的局部顶端部分的像素值是否成为3块X 3块的总共9个块中的最大值来检测凸出部分，其中，该3块X 3块包括在每块的上、下、右侧、左侧以及斜向的8个邻近块；并且，当检测到凸出部分时，凸出部分检测单元103将凸出部分的像素位置的位置坐标提供给凸出部分追踪单元104。SM列如，在使用白线将图6的左侧区域所示的图像P31如所指示的划分为块的情况下，关于块Bll至B13、B21至B23以及B31至B33的9个块，其中，图6右上部分所示的块B22为图像P31的所有块中的关注块，由于作为关注块的块B22的局部顶端部分的像素值为9个块的局部顶端部分的像素值中最的大值，因此，块B22的局部顶端部分被检测为凸出部分。另一方面，关于块Bl至B3、Bll至B13以及B21至B23中的9个块，其中，图6右下部分所示的块B12为图像P31所有块中的关注块，由于作为关注块的块B12的局部顶端部分的像素值不是9个块的局部顶端部分的像素值中的最大值而块B22的局部顶端部分的像素值为最大值，因此块B12的局部顶端部分未被检测为凸出部分。例如，作为通过凸出部分检测单元103对图7的图像P31的所有块进行上述处理的结果，图7中以X标记指示的局部顶端部分被检测为凸出部分。在图7中，在图像P31 中，作为对象的人的脸以及右手和左手的局部顶端部分被检测为凸出部分，并且图像捕捉时在右上部分生成的噪声也被错误地检测为凸出部分。在步骤S15，凸出信息更新单元111进行凸出追踪处理，确定是否连续检测到了同一凸出部分，并按照确定结果来更新凸出信息存储单元112中存储的凸出信息。凸出追踪处理这里，将参考图8的流程图来对凸出追踪处理进行描述。在步骤S41，凸出信息更新单元111访问凸出信息存储单元112，并确定是否已经记录了先前帧的凸出信息。在凸出信息存储单元112中，已经针对被检测为凸出部分的每个局部顶端部分记录了诸如图9中所示的凸出信息，并且该凸出信息被记录为针对该帧中首先被检测为凸出部分的每个局部顶端部分的信息。按顺序更新后续帧中被视为同一凸出部位的凸出信息。即，在图9中，从顶部起，已经存储了最新帧凸出坐标(x，y)、连续凸出检测计数N以及旧帧凸出坐标(X' , y')。最新帧凸出坐标(X，y)是最新帧中被检测为凸出部分的局部顶端部分在图像中的坐标。此外，连续凸出检测计数N是对于在连续的帧中连续检测到的被检测为同一凸出部分的局部顶端部分的计数。另外，旧帧凸出坐标(x'， y')是前一帧中被检测为凸出部分的局部顶端部分在图像中的坐标。此外，在凸出信息存储单元112中，如图10所示，设置有两个存储区域，使得以帧为单位交替地存储凸出信息。即，假设凸出信息存储单元112中所设置的第一表面Ml记录有作为前一帧的凸出信息的凸出信息Il至14。在这种情况下，以下面的方式执行管理。例如当新的凸出信息被检测为下一帧的凸出信息时，凸出信息存储单元112的第二表面
记录有凸出信息Il'。当检测到与凸出信息Il和13相同的凸出部分时，相应的连续凸出检测计数N被递增1，并被更新为凸出信息12'和14'。由于并未检测到与凸出信息13相同的凸出部分，因此删除凸出信息13。然后，关于再下一帧的凸出信息，重复用于临时清除第一表面Stl上的信息并重新记录信息的处理。S卩，在新帧中，当凸出部分被视为与前一帧中检测到的凸出部分相同时，前一帧中的最新帧凸出坐标(x，y)被重写到旧帧凸出坐标(χ'，1’ )中，而最新帧中检测到的凸出部分的坐标被新重写到最新帧凸出坐标(χ，y)中。将重复该操作。此外，当在连续的帧中检测到同一凸出部分的情况下，连续凸出检测计数N被递增1，而在连续的帧中未检测到同一凸出部分的情况下，该凸出信息被删除。相应地，凸出信息更新单元111读取记录在凸出信息存储单元112的第一表面Ml 和第二表面M2中与前一帧相对应的表面上的凸出信息，并确定是否已经记录了先前帧的凸出信息。在步骤S41，在例如至少已经记录了一条或更多条凸出信息的情况下，处理前往步骤 S42。在步骤S42，凸出信息更新单元111参考已经存储在凸出信息存储单元112中的先前帧的凸出信息的所有最新帧凸出坐标(X，y)，并通过计算下面的等式( 来根据检测到的凸出部分检测坐标(xn，yn)获得欧氏距离d(x，y)。d(x,y) = V ((x-xn)2+ (y-yn)2)…O)这里，1和7 分别为检测到的凸出部分在图像中的χ坐标和y坐标。下面，将先前帧中欧氏距离d(x，y)成为最小值的最新帧凸出坐标(x，y)设置为坐标(x。ld，y。ld)，并将该坐标设置为与(x。ld，y。ld)相对应的另一凸出信息的每个元素；将连续凸出检测计数N设置为N。ld，而旧帧凸出坐标(χ'，y')表示坐标(x'。ld，y'。ld)。在步骤S43，凸出信息更新单元111确定新检测到的凸出部分与所记录的凸出部分之间距离变为最小值的欧氏距离d(x。ld，y。ld)是否足够小于预定阈值thl，以及这些凸出部分是否能被视为在各帧之间移动了的同一凸出部分。即，确定这些凸出部分是否是能被视为在各帧之间移动了的凸出部分。在步骤S43，例如，在欧氏距离d(x。ld，y。ld)足够小于预定阈值thl，并且这些凸出部分能被视为在各帧之间移动了的同一凸出部分的情况下，处理前往步骤S44。在步骤S44，凸出信息更新单元111对被辨识为同一凸出部分的凸出信息中的连续凸出检测计数N的值加1，其中连续地从凸出信息存储单元112中存储的凸出信息内的前一帧中检测到该同一凸出部分；并且更新连续凸出检测计数N( = N。ld+1)。此外，凸出信息更新单元111通过使用最新帧凸出坐标(x。ld，y。ld)来更新被辨识为相同凸出部分的凸出信息中的旧帧凸出坐标(x'。ld，y'。ld)。在步骤S45，凸出信息更新单元111通过使用被检测为此刻的帧的凸出部分的局部顶端部分的凸出部分检测坐标Un，yn)，对被辨识为同一凸出部分的凸出信息中的最新帧凸出坐标(x。ld，y。ld)进行更新，其中连续地从凸出信息存储单元112中存储的凸出信息内的前一帧中检测到该同一凸出部分。凸出信息更新单元111通过使用如上所述地更新过的最新帧凸出坐标Un，yn)、连续凸出检测计数N和旧帧凸出坐标(x。ld，y。ld)来更新凸出信息， 并使凸出信息存储单元112存储该凸出信息。另一方面，在步骤S41中，在尚未记录凸出信息的情况下，或者例如在步骤S43中， 在欧氏距离d(x。ld，y。ld)并不足够小于预定阈值thl并且凸出部分难以被视为在各帧之间移动了的同一凸出部分的情况下，处理前往步骤S46。在步骤S46，凸出信息更新单元111将连续凸出检测计数N初始化为N = 0 ；通过使用最新帧凸出坐标(x，y)和旧帧凸出坐标(χ'，i')两者生成新的凸出信息，作为凸出部分检测坐标(xn，yn)；并使凸出信息存储单元112存储该凸出信息。S卩，例如，该凸出信息被存储为类似于参考图10描述的凸出信息Il'的新的凸出信息。使用凸出部分检测坐标Un，yn)来更新旧帧凸出坐标值(X'，y')的原因是，由于凸出信息是新的凸出信息，并且不存在前一帧的凸出部分坐标值，因此应使凸出信息为空白，但是使凸出信息不会变得不稳定。此时，在连续的帧中，例如类似于参照图10描述的凸出信息13，未被连续检测到的凸出信息未被更新为凸出信息，并且实际上是被删除了。作为以上处理的结果，当在各帧之间连续检测到被检测为局部顶端部分中的凸出部分的凸出部分时，连续凸出检测计数N相继被加在一起。另外，以彼此对应的方式更新最新帧凸出坐标值和旧帧凸出坐标值，并将这些值作为凸出信息存储在凸出信息存储单元 112中。此外，删除未被检测为连续的帧之间的同一凸出信息的凸出信息。这里，描述返回至图2的流程图。当通过步骤S15的凸出追踪处理来更新相继检测到的凸出部分的凸出信息并将该凸出信息存储在凸出信息存储单元112中时，处理前往步骤S16。在步骤S16，顶端追踪单元105的顶端部分信息更新单元121进行顶端追踪处理， 相继更新顶端部分信息，并使顶端部分信息存储单元122存储该顶端部分信息。顶端部分追踪处理这里，将参考图11的流程图对顶端部分追踪处理进行描述。在步骤S71，顶端部分信息更新单元121将顶端部分信息存储单元122中存储的所有顶端部分信息的标志f均初始化为0，表明无更新。顶端部分信息是当要追踪作为做出手势的对象的动作的顶端(例如手指或指尖) 的顶端部分的位置时被管理的信息。在继续检测到凸出部分的情况下，关于顶端部分的追踪，关于继续被检测到的凸出部分的位置信息被用于追踪顶端部分的位置。此外，在曾被暂时检测到的凸出部分处于未检测到凸出部分的状态的情况下，针对顶端部分的追踪，使用靠近先前刚被检测到的顶端部分的位置的局部顶端部分的位置。更具体地，顶端部分信息是在要追踪顶端部分的位置时用于识别要追踪的顶端部分的信息。例如，如图12所示，顶端部分信息由追踪ID、最新帧坐标(x，y)、可能性p(0 ^p ^ 1.0)和更新标志f (f = 0 未更新，f = 1 已更新)构成。ρ = kOX 1. 0+(1. 0-k0) Xp- (3)这里，ρ表示可能性，k0为常数，表示当顶端部分被连续检测为凸出部分时可能性增加的比率，例如kO = 0. 2。S卩，例如，在包含于如14图所示的顶端部分信息B中的更新前的最新帧坐标(X， y)与包含于凸出信息A中的指示前一帧中凸出部分PfO的坐标位置的旧帧凸出坐标(χ'， y')相匹配的情况下，假设要作为轨迹来追踪的顶端部分与凸出信息所表示的凸出部分向匹配。这样，通过用最新帧中凸出部分Pfl的凸出信息A的最新帧凸出坐标来代替帧凸出坐标，更新了顶端部分信息B的最新帧坐标(x，y)。未检测到凸出的顶端部分信息更新处理
这里，将参考图15对尚未检测到突出的顶端部分信息更新处理进行描述。在步骤S91，顶端部分信息更新单元121将尚未处理的顶端部分信息中更新标志f 已被设为0的顶端部分信息设置为要进行处理的顶端部分信息，并获得最新帧坐标(X，y) 与从局部顶端检测单元102提供的所有局部顶端部分的坐标之间的欧氏距离d。然后，顶端部分信息更新单元121获得欧氏距离d成为最小值的局部顶端部分的坐标(u，v)。可以通过类似于上述等式O)的算术运算来获得欧氏距离d。在步骤S92，顶端部分信息更新单元121确定成为最小值的欧氏距离d(u，v)足够小于预定阈值th2且欧氏距离成为最小值的局部顶端部分是否为由追踪ID标识的轨迹的顶端部分的最新帧中的坐标位置。当在步骤S92中确定例如成为最小值的欧氏距离d(u，v)足够小于预定阈值th2， 并且欧氏距离成为最小值的局部顶端部分位于由追踪ID标识的轨迹的顶端部分的最新帧中的坐标位置处，则处理前往步骤S93。在步骤S93，顶端部分信息更新单元121使局部顶端部分的坐标(u，ν)被反映为要处理的顶端部分信息中的最新帧坐标(x，y)。在步骤S94，顶端部分信息更新单元121按照由以下等式(4)表示的算术运算来减弱可能性。此时，顶端部分信息更新单元121将更新标志f设置为1，表示“已更新”。ρ = (1. 0-kl) Xp- (4)这里，kl为常数，其限定当未检测到凸出部分时可能性的减弱比率，例如，可以为 kl = 0. 2。另一方面，当例如在步骤S92中确定了成为最小值的欧氏距离d(u，ν)并非足够小于预定阈值th2，并且欧氏距离变为最小值的局部顶端部分难以被视为由追踪ID标识的轨迹的顶端部分的最新帧中的坐标位置，则处理前往步骤S95。由于未在要被处理的顶端部分信息附近检测到局部顶端部分，在步骤S95，顶端部分信息更新单元121假设顶端部分是无效顶端部分，设置可能性ρ = 0，并将更新标志f设为1，表示已更新。在步骤S96，顶端部分信息更新单元121确定是否存在更新标志f已被设为0的尚未处理的顶端部分信息。在存在尚未处理的顶端部分信息的情况下，处理返回步骤S91。 艮口，重复步骤S91至S96的处理，直到不存在更新标志f已被设为0的未被更新的尚未处理的顶端部分信息为止。然后，当在步骤S96中确定没有更新标志f已被设为0的未更新的尚未处理的顶端部分信息时，处理完成。即，作为以上处理的结果，关于与凸出信息不存在匹配的顶端部分信息，在所有顶端部分中成为最小值的欧氏距离小于预定阈值th2的情况下，将顶端部分信息设置为能够被视为顶端部分信息的最新帧中的坐标的局部顶端部分的坐标，并且更新顶端部分信息； 否则，将可能性设为0。这里，描述返回至图11的流程图。作为步骤S73的处理的结果，当关于不能使用凸出信息来更新最新帧坐标的顶端部分信息使用局部顶端部分来更新最新帧坐标的时候，处理前往步骤S74。在顶端部分信息存储单元112中存储的凸出信息中不存在连续检测计数N高于预定检测计数(例如，16)的相应顶端部分信息的情况下，在步骤S74，顶端部分信息更新单元121通过使用连续检测计数N高于预定检测计数的凸出信息，生成新的顶端部分信息。艮口， 如图16的左侧区域所示，当在连续的帧之间连续检测到凸出信息的最新帧凸出部分，诸如凸出部分Pf 1，. . . Pf2至Pf 16，并且连续检测计数N超出预定检测计数时，顶端部分信息更新单元121假设新生成了要追踪的轨迹，即顶端部分。然后，顶端部分信息更新单元121 设置新的追踪ID，并且使用连续检测计数N高于预定检测计数的凸出信息的最新帧凸出坐标，作为最新帧坐标。此外，顶端部分信息更新单元121将新的顶端部分信息的可能性ρ设置为初始值P = k2 (k2例如为0. 6)，并将更新标志f设置为1，表示“已更新”。然后，顶端部分信息更新单元121使得顶端部分信息存储单元122在其中存储所生成的新的凸出部分 fn息ο在步骤S75，顶端部分信息更新单元121读取针对每个追踪ID而记录的、基于手势轨迹检测单元106的检测结果而设置的优先级q，该优先级q被存储在追踪优先级存储单元108 ；并且按照以下等式(5)更新与追踪ID相对应的顶端部分信息的可能性ρ。通过如上所述基于优先级q来更新可能性P，已被手势轨迹检测单元106检测到手势的顶端部分信息的可能性P增加。ρ = k3Xq+(l. 0-k3) Xp... (5)这里，k3是把被设置为手势检测结果的优先级q反映成以帧为单位的比率，并且例如可以是k3 = 0. 2。稍后将描述优先级q的设置。在步骤S76，顶端部分信息更新单元121将顶端部分信息存储单元122中存储的所有顶端部分信息中可能性P低于预定阈值k4的顶端部分信息从顶端部分信息存储单元122 中删除。阈值k4是可能性的阈值，顶端部分以该阈值被视为有效顶端部分，并且阈值k4例如可以是k4 = 0.4。在步骤S77，顶端部分信息更新单元121从顶端部分信息存储单元122中存储的顶端部分信息中搜索最新帧坐标(X，y)重叠的顶端部分信息。然后，在存在最新帧坐标(X， y)重叠的多个顶端部分信息(分配了多个追踪ID)的情况下，顶端部分信息更新单元121 从顶端部分信息存储单元122中删除除具有最高可能性ρ的顶端部分信息以外的重叠的顶端部分信息。S卩，例如，如图17中所示，在存在使用追踪ID13M标识的轨迹rll以及使用追踪 ID3456标识的轨迹rl2的情况下，最新帧坐标在由图中的X标记指示的位置处重合。在此情况下，由于要追踪的轨迹可能是一个，因此顶端部分信息更新单元121将追踪ID1234的顶端部分信息中包含的可能性ρ = 0. 8与追踪ID3456的顶端部分信息中包含的可能性ρ =0. 7相比较，并从顶端部分信息存储单元122中删除追踪ID3456的顶端部分信息，只保留具有高可能性P的追踪ID1234的顶端部分信息。作为以上处理的结果，针对每个帧按顺序更新顶端部分信息的最新帧坐标的信息，并将该信息存储在顶端部分信息存储单元122中。这里，描述返回至图2的流程图。当通过步骤S16的顶端部分追踪处理对按顺序存储在顶端部分信息存储单元122 中的顶端部分信息进行以帧为单位的按顺序更新时，处理前往步骤S17。在步骤S17，手势轨迹检测单元106以追踪ID单位为单位，按顺序读取被按顺序存储在顶端部分信息存储单元122中的顶端部分信息的最新帧坐标，因而将帧坐标检测为被识别为顶端部分的部位的轨迹。结果，能够基于关于轨迹的信息，例如按照隐马尔可夫模型 (HMM)来辨识手势。S卩，针对每个追踪ID，以帧为单位来按顺序读取顶端部分信息的最新帧坐标。结果，通过按顺序存储和连接关于以帧为单位读取的最新帧坐标的信息，例如如18图所示， 将人的右手Hl和左手H2辨识为顶端部分，并且获得诸如轨迹rlOl和rl02的轨迹。手势轨迹检测单元106基于轨迹检测手势，并输出关于检测到的手势的信息，并且还将关于检测到的手势的信息以及有助于手势检测的、用于识别顶端部分信息的追踪ID提供给追踪优先级设置单元107。在做出手势的过程中的情况下，不将顶端部分检测为手势。然而，同样在此情况下，手势轨迹检测单元106基于追踪ID只将关于轨迹的信息提供给额外的优先级设置单元107。在步骤S18，追踪优先级设置单元107基于作为手势轨迹检测单元106的检测结果的手势以及有助于手势检测的追踪ID来设置优先级q，并且，例如如图19中所示，使追踪优先级存储单元108以与追踪ID相对应的方式在其中存储关于所设置的优先级q的信息。可以如下设置优先级q的设定。例如，如图20左侧区域所示，从起点绘制近似的圆形。 关于形成从中检测到诸如交叉轨迹r201的手势的轨迹的顶端部分，优先级q被设置为q = 1. O。关于形成诸如轨迹r202的其中未检测到手势的轨迹的顶端部分，优先级q被设置为 q = 0. 7，其中，如图20的右侧区域所示，轨迹r202是从起点绘制的弧形。以此方式关于有助于手势检测的顶端部分将优先级q设为高的结果是，如上所述，可能性P被设为高。相较之下，关于无助于手势的顶端部分将优先级q设为低的结果是，可能性P被设为低。在步骤S19，深度图像生成单元101确定输入图像的提供是否停止以及处理是否完成。当确定已经按顺序提供了输入图像而处理尚未完成时，处理返回至步骤S11。S卩，重复步骤Sll至S19的处理，直到给出停止处理的指令为止。然后，当给出停止处理的指令时， 诸如输入图像的提供被停止，则处理完成。S卩，从深度图像中获得局部顶端部分。如果把其值高于其周围块的局部顶端部分的值的局部顶端部分检测为凸出部分，并且在前一帧中被检测到的凸出部分的位置附近的预定范围内能够检测到最新帧的凸出部分，则假设以帧为单位连续检测到了顶端部分。以上述方式连续检测到的凸出部分的位置被作为顶端部分的位置追踪，并且根据轨迹辨识手势，由此能够减小处理负荷，并且还能够准确地辨识手势。另外，即使在达到难以将局部顶端部分连续检测为凸出部分的状态时，如果在前一帧中被检测到的凸出部分的位置附近的预定范围内能检测到最新帧的局部顶端部分，则假设以帧为单位连续检测到了顶端部分。通过追踪以上述方式连续检测到的局部顶端部分的位置，例如即使做出手势的手指不位于最靠近图像捕捉位置的位置，也能够进行追踪，并且能够以更高的准确度来辨识手势。此外，在顶端部分的信息中设置了可能性。结果，在连续检测到凸出部分，并且已基于有助于被检测为手势的轨迹的顶端部分的位置或者凸出部分的坐标位置的信息而更新了顶端部分的位置的情况下，该可能性增加。结果，对于检测手势而言必要的顶端部分的信息被持续追踪。相较之下，在未曾连续检测到凸出部分，已使用无助于被检测为手势的轨迹的顶端部分的位置或者局部顶端部分的坐标位置的信息来更新顶端部分的位置的情况下，该可能性被减弱。结果，将及时删除对于检测手势而言必要的顶端部分的信息。结果，继续追踪顶端部分的必要信息，而将删除顶端部分的非必要信息。结果，通过使用顶端部分的必要信息，能够以更高的准确度来辨识手势。上述一系列图像处理能够由硬件执行，也能够由软件执行。当由软件进行这一系列图像处理时，将构成软件的程序从记录介质安装到合并在专用硬件中的计算机，或者将该程序从记录介质安装到能够通过安装各种程序来执行各种处理的通用计算机。图21示出通用个人计算的配置示例。该个人计算机中包含中央处理单元 (CPU) 1001。通过总线1004将输入/输出接口 1005连接至CPU 1001。只读存储器(ROM) 1002 和随机存取存储器(RAM) 1003连接至总线1004。包括输入装置(诸如用户用来输入操作命令的键盘和鼠标)的输入单元1006、用于向显示装置输出处理操作屏幕以及处理结果的图像的输出单元1007、包括用于存储程序和各种数据等的硬盘驱动器的存储单元1008、以及包括通过以因特网为代表的网络来进行通信过程的局域网(LAN)适配器的通信单元1009，被连接至输入/输出接口 1005。此外， 驱动器1010被连接至输入/输出接口 1005，驱动器1010用于从诸如磁盘(包括软盘)、光盘(包括⑶-ROM (光盘只读存储器))、DVD (数字多用盘)、磁光盘(包括MD (迷你光盘)) 或半导体存储器的可拆卸介质1011读取数据以及向其写入数据。CPU 1001按照ROM 1002中存储的程序或者从诸如磁盘、光盘、磁光盘或半导体存储器的可拆卸介质1011读取的程序来执行各种处理，其中，该程序被安装到存储单元1008 并从存储单元1008加载到RAM 1003。此外，RAM 1003中根据需要存储由CPU 1001执行各种处理所需要的数据等。本发明的一个实施例是一种图像处理设备，包括深度图像获得单元，被配置为获得深度图像，该深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，深度图像以图像的像素为单位；局部顶端部分检测单元，被配置为以深度图像中每组多个邻近像素构成的块为单位，将对象的在接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分；凸出部分检测单元，被配置为，在下述情况下将局部顶端部分检测为凸出部分当每个块被设置为关注块时，由邻近关注块的多个块，包括关注块，构成的区域中关注块的局部顶端部分成为该区域中最接近图像捕捉位置的局部顶端部分；以及追踪单元，被配置为连续追踪被凸出部分检测单元检测到的凸出部分的位置。本发明的另一个实施例是一种用于图像处理设备的图像处理方法，该图像处理设备包括深度图像获得单元，被配置为获得深度图像，深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，深度图像以图像的像素为单位；局部顶端部分检测单元，被配置为以深度图像中每组多个邻近像素构成的块为单位，将对象的在接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分；凸出部分检测单元，被配置为， 在下述情况下将局部顶端部分检测为凸出部分当每个块被设置为关注块时，由邻近关注块的多个块，包括关注块，构成的区域中关注块的局部顶端部分成为该区域中最接近图像捕捉位置的局部顶端部分；以及追踪单元，被配置为连续追踪被凸出部分检测单元检测到的凸出部分的位置，该图像处理方法包括在深度图像获得单元中获得深度图像，深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，深度图像以图像的像素为单位；在局部顶端部分检测单元中，以深度图像中每组多个邻近像素构成的块为单位，将对象的在接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分；在凸出部分检测单元中，在下述情况下将局部顶端部分检测为凸出部分当每个块被设置为关注块时，由邻近关注块的多个块，包括关注块，构成的区域中关注块的局部顶端部分成为该区域中最接近图像捕捉位置的局部顶端部分；以及在追踪单元中连续追踪在凸出部分检测中检测到的凸出部分的位置。在本说明书中，对记录在记录介质上的程序进行描述的步骤包括根据所记载的顺序以时间序列方式进行的处理，但是也包括尽管可能不是以时间序列方式执行的、并行或单独执行的处理。本公开包含与2010年11月沈日提交到日本专利局的日本优先权专利申请 2010-263805中公开的主题有关的主题，其全部内容通过引用合并于此。本领域技术人员应理解，取决于设计需要和其它因素，可能出现各种修改、组合、 子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求或其等同的范围内即可。
权利要求
1.一种图像处理设备，包括深度图像获得单元，被配置为获得深度图像，所述深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，所述深度图像以所述图像的像素为单位；局部顶端部分检测单元，被配置为以所述深度图像中每组多个邻近像素构成的块为单位，将所述对象的在接近所述图像捕捉位置的深度和位置处的部分检测为局部顶端部分；凸出部分检测单元，被配置为，在下述情况下将局部顶端部分检测为凸出部分当每个所述块被设置为关注块时，由邻近所述关注块的多个块，包括所述关注块，构成的区域中所述关注块的所述局部顶端部分成为所述区域中最接近所述图像捕捉位置的所述局部顶端部分；以及追踪单元，被配置为连续追踪被所述凸出部分检测单元检测到的所述凸出部分的位置。
2.根据权利要求1所述的图像处理设备，还包括手势检测单元，被配置为将所述追踪单元所追踪的所述凸出部分的位置的轨迹辨识为所述图像中要被捕捉图像的所述对象的动作，并基于所述轨迹来检测由所述对象的所述动作做出的手势。
3.根据权利要求2所述的图像处理设备，其中，所述追踪单元开始追踪由所述凸出部分检测单元检测到的所述凸出部分的位置；此后，当在之前刚检测到的所述凸出部分的位置附近的预定范围内在时间方向上连续检测到所述凸出部分的情况下，追踪在之前刚检测到的所述凸出部分的位置附近的所述预定范围内在时间方向上连续检测到的所述凸出部分的位置；而当在之前刚检测到的所述凸出部分的位置附近的所述预定范围内在时间方向上未连续检测到所述凸出部分的情况下，将之前刚检测到的所述凸出部分的位置附近的所述预定范围内在时间方向上连续检测到的所述局部顶端部分的位置作为所述凸出部分的位置进行追踪。
4.根据权利要求3所述的图像处理设备，其中，所述追踪单元追踪由所述追踪单元追踪的所述凸出部分的位置或者所述局部顶端部分的位置作为所述顶端部分的位置，在每个所述顶端部分中设置可能性，以及结束对所述可能性已变为小于预定阈值的所述顶端部分的追踪。
5.根据权利要求4所述的图像处理设备，还包括追踪优先级设置单元，被配置为基于所述顶端部分的轨迹，按照由所述手势检测单元检测到的手势，设置所述顶端部分的追踪优先级，其中，所述追踪单元基于各个顶端部分的相应追踪优先级来设置各个可能性。
6.一种用于图像处理设备的图像处理方法，所述图像处理设备包括深度图像获得单元，被配置为获得深度图像，所述深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，所述深度图像以所述图像的像素为单位；局部顶端部分检测单元，被配置为以所述深度图像中每组多个邻近像素构成的块为单位，将所述对象的在接近所述图像捕捉位置的深度和位置处的部分检测为局部顶端部分；凸出部分检测单元，被配置为，在下述情况下将局部顶端部分检测为凸出部分当每个所述块被设置为关注块时，由邻近所述关注块的多个块，包括所述关注块，构成的区域中所述关注块的所述局部顶端部分成为所述区域中最接近所述图像捕捉位置的所述局部顶端部分；以及追踪单元，被配置为连续追踪被所述凸出部分检测单元检测到的所述凸出部分的位置，所述图像处理方法包括在所述深度图像获得单元中获得深度图像，所述深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，所述深度图像以所述图像的像素为单位；在所述局部顶端部分检测单元中，以所述深度图像中每组多个邻近像素构成的块为单位，将所述对象的在接近所述图像捕捉位置的深度和位置处的部分检测为局部顶端部分；在所述凸出部分检测单元中，在下述情况下将局部顶端部分检测为凸出部分当每个所述块被设置为关注块时，由邻近所述关注块的多个块，包括所述关注块，构成的区域中所述关注块的所述局部顶端部分成为所述区域中最接近所述图像捕捉位置的所述局部顶端部分；以及在所述追踪单元中连续追踪在所述凸出部分检测中检测到的所述凸出部分的位置。
7. 一种用于使控制图像处理设备的计算机执行处理的程序，所述图像处理设备包括 深度图像获得单元，被配置为获得深度图像，所述深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，所述深度图像以所述图像的像素为单位；局部顶端部分检测单元，被配置为以所述深度图像中每组多个邻近像素构成的块为单位，将所述对象的在接近所述图像捕捉位置的深度和位置处的部分检测为局部顶端部分；凸出部分检测单元，被配置为，在下述情况下将局部顶端部分检测为凸出部分当每个所述块被设置为关注块时，由邻近所述关注块的多个块，包括所述关注块，构成的区域中所述关注块的所述局部顶端部分成为所述区域中最接近所述图像捕捉位置的所述局部顶端部分；以及追踪单元，被配置为连续追踪被所述凸出部分检测单元检测到的所述凸出部分的位置，所述处理包括在所述深度图像获得单元中获得深度图像，所述深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息，所述深度图像以所述图像的像素为单位；在所述局部顶端部分检测单元中，以所述深度图像中每组多个邻近像素构成的块为单位，将所述对象的在接近所述图像捕捉位置的深度和位置处的部分检测为局部顶端部分；在所述凸出部分检测单元中，在下述情况下将局部顶端部分检测为凸出部分当每个所述块被设置为关注块时，由邻近所述关注块的多个块，包括所述关注块，构成的区域中所述关注块的所述局部顶端部分成为所述区域中最接近所述图像捕捉位置的所述局部顶端部分；以及在所述追踪单元中连续地追踪在所述凸出部分检测中检测到的所述凸出部分的位置。
全文摘要
一种图像处理设备及方法以及程序。该图像处理设备包括深度图像获得单元，被配置为获得深度图像，该深度图像包括关于从图像捕捉位置到要被捕捉的二维图像中的对象的距离的信息；局部顶端部分检测单元，被配置为将对象的接近图像捕捉位置的深度和位置处的部分检测为局部顶端部分；凸出部分检测单元，被配置为，在当每个块被设置为关注块时，由邻近关注块的多个块构成的区域中，关注块的局部顶端部分成为最接近图像捕捉位置的局部顶端部分的情况下，将该局部顶端部分检测为凸出部分；以及追踪单元，被配置为连续追踪凸出部分的位置。
文档编号G06K9/00GK102479324SQ20111036544
公开日2012年5月30日 申请日期2011年11月17日 优先权日2010年11月26日
发明者明官佳宏 申请人:索尼公司