专利名称：一种目标识别方法和设备的制作方法
技术领域：
本发明属于人机交互技术领域，尤其涉及一种目标识别方法和设备。
背景技术：
在现有的人机交互设备(例如智能电视)中，用户可以和智能电视进行简单的人机交互。在人机交互设备中，往往涉及目标动作识别技术，人机交互设备通过识别目标动作 (例如手势)来响应用户的控制。现有的目标识别方法往往是通过二维图像的处理来识别人的肢体动作，但由于二维图像难以全面、准确地反映实际的事物，因此该方法难以准确区分目标以及识别人的肢体动作，误识别概率较大。
发明内容
本发明实施例提供了一种目标识别方法，旨在解决现有的目标识别方法在识别目标动作时，误识别概率较大的问题。本发明实施例是这样实现的，一种目标识别方法，所述方法包括下述步骤同步获取深度帧序列和彩色帧序列，所述深度帧序列为深度摄像机采集的多幅深度图；根据深度帧序列中相邻前、后两幅深度图的深度值的变化判断后一幅深度帧中预设的感兴趣区域ROI内是否存在启动动作；在深度帧的ROI存在启动动作时，根据预设的肢体目标模型对同步的彩色帧中与 ROI相同的区域进行检测，并将符合肢体目标模型的区域判定为肢体目标区域；保存判定为肢体目标区域的特征集合参数，并把检测到的肢体目标区域作为跟踪的目标；在后续的深度帧中对所述跟踪目标进行跟踪，并使用预设的肢体目标模型以及保存的上一个肢体目标区域的特征集合参数对与所述后续的深度帧同步的彩色帧中相同的区域进行校正，并将符合肢体目标模型和上一个肢体目标区域的特征集合参数的区域判定为肢体目标区域；获取每一个肢体目标区域中的所有坐标值，依据获取的坐标值判断目标的运动方向，并依据目标的运动方向识别目标动作。本发明实施例的另一目的在于提供一种目标动作识别设备，所述设备包括图像获取单元，用于同步获取深度帧序列和彩色帧序列，所述深度帧序列为深度摄像机采集的多幅深度图；运动区域判断单元，用于根据深度帧序列中相邻前、后两幅深度图的深度值的变化判断后一幅深度图中预设的感兴趣区域ROI内是否存在启动动作；肢体目标区域判断单元，用于在深度帧的ROI存在启动动作时，根据预设的肢体目标模型对同步的彩色帧中与ROI相同的区域进行检测，并将符合肢体目标模型的区域判定为肢体目标区域；参数存储单元，用于保存判定为肢体目标区域的特征集合参数，并把检测到的肢体目标区域作为跟踪目标；肢体目标区域校正单元，用于在后续的深度帧中对所述跟踪目标进行跟踪，并使用预设的肢体目标模型以及保存的上一个肢体目标区域的特征集合参数对与所述后续的深度帧同步的彩色帧中相同的区域进行校正，并将符合肢体目标模型和上一个肢体目标区域的特征集合参数的区域判定为肢体目标区域；目标动作识别单元，用于获取每一个肢体目标区域中的所有坐标值，依据获取的坐标值判断目标的运动方向，并依据目标的运动方向识别目标动作。本发明实施例中，首先获取一个深度图像序列和一个彩色图像序列，再使用深度图像序列检测是否存在运动状态的区域以及跟踪经过彩色图像序列过滤后的肢体目标区域，使用彩色图像序列对存在运动状态的区域进行过滤，确认肢体目标区域。和现有技术相比，本发明实施例结合使用深度图像序列和彩色图像序列一起检测肢体目标区域，因此有效提高了检测的准确性，降低了误识别概率。
图1是本发明第一实施例提供的目标识别方法流程图；图2是本发明第二实施例提供的目标识别方法流程图；图3是本发明第三实施例提供的目标识别方法流程图；图4是本发明第四实施例提供的目标识别方法流程图；图5是本发明第五实施例提供的目标动作识别设备的结构图；图6是本发明第六实施例提供的目标动作识别设备的结构图；图7是本发明第七实施例提供的目标动作识别设备的结构图；图8是本发明第八实施例提供的目标动作识别设备的结构图。
具体实施例方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。实施例一图1示出了本发明第一实施例提供的目标识别方法的流程图，在本实施例提供的目标识别方法包括步骤S11，同步获取深度帧序列和彩色帧序列，该深度帧序列为深度摄像机采集的多幅深度图。在本实施例中，使用深度摄像机每秒采集大于10帧的深度图，通常每秒钟采集25 帧深度图，每幅深度图都按照顺序递增编号，这些具有递增编号的多幅深度图组成深度帧序列。在本实施例中，使用普通摄像机或者深度摄像机采集彩色图，采集彩色图的频率与采集深度图的频率相同，且与采集的深度图为同一场景，每一幅彩色图同样按照顺序递增编号，具有递增编号的多幅彩色图组成彩色帧序列。步骤S12，根据深度帧序列中相邻前、后两幅深度图的深度值的变化判断后一幅深度帧中预设的感兴趣区域(Region of Interest, R0I)内是否存在启动动作，如果否，执行步骤S13，如果是，执行步骤S14。在本实施例根据深度值确定运动状态，通过获取的相邻前、后两幅深度图中感兴趣区域的深度值变化，判断深度值变化是否满足预设的条件，若满足，则判断后一幅深度帧中ROI内存在启动动作，执行步骤S14。若判断ROI内不存在启动动作，执行步骤S13。在本实施例中，ROI可以根据识别的目标所在的位置来灵活确定，例如识别的目标为人的头部，则该区域可以为头部所在的合理区域。若识别的目标为脚部，则该区域可以为脚部所在的合理区域。区域的形状可以为方形或圆形。另外，启动动作可以包括不同的肢体目标(包括但不限于人手目标、人的脚部目标和人的头部目标等)的动作，例如人的头部动作、脚部动作、手部动作中的一种或几种等，即检测到人的头部的预设动作、脚部预设动作、手部的预设动作后均可以启动进一步的识别过程(步骤S14)。步骤S13，继续监测。在本实施例中，若判断前一个深度帧不存在启动动作，则继续监测下一帧。步骤S14，根据预设的肢体目标模型对同步的彩色帧中与ROI相同的区域进行检测，并将符合肢体目标模型的区域判定为肢体目标区域。在本实施例中，不同的识别目标对应不同的肢体目标模型，例如识别目标为人的头部，则该肢体目标模型可以为头部模型，对应的肢体目标区域为头部区域。若识别的目标为脚部，则该肢体目标模型可以为脚部模型，对应的肢体目标区域为脚部区域。若该识别的目标为手部，则该肢体目标模型可以为人手模型，对应的肢体目标区域为人手区域。在本实施例中，当存在启动动作的ROI包括非肢体目标区域时，如包含与人体肤色不同的非肢体目标区域时，在彩色帧中的同一个区域可以先检测出非肢体目标区域，缩小检测范围，减少计算量。当包含的非肢体目标区域为包含色彩与人体肤色不同的区域时， 可通过肤色模型检测出与人体肤色不同的色彩，并丢弃该色彩所在的区域，缩小检测范围。 在本实施例中，由于深度图像序列只需根据深度值就能确定运动状态的区域，过滤非运动状态的区域，使得彩色图像序列在确认肢体目标区域时避免了整幅图像的计算，优化了算法，使计算更简单。步骤S15，保存判定为肢体目标区域的特征集合参数，并把检测到的肢体目标区域作为跟踪目标。在本实施例中，当获取肢体目标区域后，保存该肢体目标区域的特征集合参数。步骤S16，在后续的深度帧中对该跟踪目标进行跟踪，并使用预设的肢体目标模型以及保存的上一个肢体目标区域的特征集合参数对与该后续的深度帧同步的彩色帧中相同的区域进行校正，并将符合肢体目标模型和上一个肢体目标区域的特征集合参数的区域判定为肢体目标区域。本实施例中，在获取一个肢体目标区域后，继续在后续的深度帧序列中跟踪获取的肢体目标区域，并不断在彩色帧序列的相应区域校正，提高肢体目标区域判定的准确度。如果跟踪肢体目标区域失败，则返回步骤S12，重新确定跟踪目标。例如，在跟踪人手目标失败后，返回S12，重新确定人的头部或脚部作为跟踪目标来识别。步骤S17,获取每一个肢体目标区域中的所有坐标值，依据获取的坐标值判断目标的运动方向，并依据目标的运动方向识别目标动作。本实施例中，每次目标运动后记录下这次运动所形成的一组坐标值，获取每一个肢体目标区域中的所有坐标值，根据获取的多个坐标值判断目标的运动方向，再根据判定的结果识别目标动作，以便执行相应的操作。在本发明第一实施例中，首先获取一个深度图像序列和一个彩色图像序列，再使用深度图像序列检测是否存在运动状态的区域以及跟踪经过彩色图像序列过滤后的肢体目标区域，使用彩色图像序列对存在运动状态的区域进行过滤，确认肢体目标区域。由于使用深度图像序列和彩色图像序列一起检测肢体目标区域，因此有效提高了检测的准确性， 降低了误识别概率。实施例二 图2示出了本发明二实施例提供的目标识别方法的流程，在本实施例中，主要对实施例一的步骤S12进行更详细的描述，本实施例二提供的目标识别方法主要包括步骤S21，同步获取深度帧序列和彩色帧序列，该深度帧序列为深度摄像机采集的多幅深度图。在本实施例中，步骤S21的执行过程和上述实施例一中的步骤Sll的执行过程相同，在此不再重复描述。步骤S22，分别获取前、后两个深度帧中预设的感兴趣区域ROI内的深度值组，并计算所述前、后两个深度帧的深度值组的差。在本实施例中，获取前幅深度图中预设的感兴趣区域ROI内的深度值组和后幅深度图中预设的感兴趣区域ROI内的深度值组，并计算上述前、后两个深度帧的深度值组的差。在ROI内存在多个深度值，该多个深度值组成了一个深度值组，通过获取前幅深度图中 ROI内的深度值组和后幅深度图中ROI内的深度值组，能够计算上述两个深度值组的差值。步骤S23，判断获取的深度值组的差是否满足预设的启动条件，如果否，执行步骤 S24，如果是，执行步骤S25。当深度值组的差值满足预设启动条件时，判定后一幅深度图中ROI内存在启动动作，否则，判定后一幅深度图中ROI内不存在启动动作。在本实施例中，预设的启动条件为一个集合，计算前一个深度帧的所有深度值和当前深度帧的所有深度值的差值，并判断计算的差值是否包含存在该预设启用条件的集合内的差值。比如，检测一个ROI是否有启动动作，是通过比较相邻前、后两个深度帧的所有深度值来判断的。假设前一个深度帧的一个深度值为DEPTHpm(X，y, z)，深度值组为 DEPTHpre[x, y，ζ]，当前深度帧的一个深度值为DEPTHn。w(x，y，ζ)，深度值组为DEPTHnw[x，y, ζ]，深度帧的一个变化值为DEPTH。(x, y，ζ)，变化值组为DEPTHjx，y，ζ]，预设启动条件的集合为 SARTUP (D)，则DEPTHc[X，y, z] = DEPTHnow[χ, y, ζ]-DEPTHpre [χ, y, ζ]当DEPTHc[χ, y，ζ]至少存在一个 DEPTHc(χ，y，ζ) e SARTUP (D)时，表示该 ROI 内存在启动动作。步骤S24，继续监测。步骤S25，根据预设的肢体目标模型对同步的彩色帧中与ROI相同的区域进行检测，并将符合肢体目标模型的区域判定为肢体目标区域。步骤S26，保存判定为肢体目标区域的特征集合参数，并把检测到的肢体目标区域作为跟踪目标。在后续的深度帧序列和彩色帧序列中执行下述步骤S27 步骤S27，在后续的深度帧中对该跟踪目标进行跟踪，并使用预设的肢体目标模型以及保存的上一个肢体目标区域的特征集合参数对与该后续的深度帧同步的彩色帧中相同的区域进行校正，并将符合肢体目标模型和上一个肢体目标区域的特征集合参数的区域判定为肢体目标区域。步骤S28，获取每一个肢体目标区域中的所有坐标值，依据获取的坐标值判断目标的运动方向，并依据目标的运动方向识别目标动作。在本实施例中，步骤S24-S28的执行过程和上述实施例一中的步骤S13-S17的执行过程相同，在此不再重复描述。在本发明第二实施例中，通过获取前、后两个深度帧中ROI内的深度值组来获取该前、后两个深度帧的深度值组的差，并将获取的深度值组的差与预设的启动条件比较，可以判断ROI内是否存在启动动作。由于相同区域内的深度值的差能够反映该区域内的运动状态，因此本实施例能够获取较准确的检测结果。实施例三图3示出了本发明第三实施例提供的目标识别方法流程，在本实施例中选择的肢体目标为人手，本实施例主要对实施例一的步骤S15、实施例二的步骤S26以及实施例一的步骤S16、实施例二的步骤S27进行更详细的描述步骤S31，同步获取深度帧序列和彩色帧序列，该深度帧序列为深度摄像机采集的多幅深度图。步骤S32，根据深度帧序列中相邻前、后两幅深度图的深度值的变化判断后一幅深度图中预设的感兴趣区域内是否存在启动动作，如果否，执行步骤S33，如果是，执行步骤 S34。步骤S33，继续监测。在本实施例中，步骤S31 S33的执行过程和上述实施例一中的步骤Sll S13 的执行过程相同，在此不再重复描述。在本实施例中，根据预设的肢体目标模型对同步的彩色帧中与ROI相同的区域进行检测，并将符合肢体目标模型的区域判定为肢体目标区域的过程(实施例一中的步骤 S14和二中的步骤S2Q具体包括S34-36。步骤S34，根据肤色模型检测同步的彩色帧中相同的区域是否符合肤色模型。本实施例中，肢体目标模型包括肤色模型和特征模型。其中，肤色模型是将彩色空间中的肤色与其他颜色区别开来的一种数学关系模型，它用一种代数或查表形式来表达哪些像素的色彩属于肤色，或是表征出某一像素的色彩与肤色的相似度。本实施例将彩色帧先转换到chromatic颜色空间，利用在chromatic空间建立的肤色模型把肤色从图像中分割出来，然后判断是否满足预设的肤色模型，若满足，则执行S35，若不满足则继续监测。其中，chromatic颜色空间对亮度变化有较强的适应性，彩色帧(RGB图像)投影
到chromatic颜色空间的公式为
权利要求
1.一种目标识别方法，其特征在于，所述方法包括下述步骤同步获取深度帧序列和彩色帧序列，所述深度帧序列为深度摄像机采集的多幅深度图；根据深度帧序列中相邻前、后两幅深度图的深度值的变化判断后一幅深度帧中预设的感兴趣区域ROI内是否存在启动动作；在深度帧的ROI存在启动动作时，根据预设的肢体目标模型对同步的彩色帧中与ROI 相同的区域进行检测，并将符合肢体目标模型的区域判定为肢体目标区域；保存判定为肢体目标区域的特征集合参数，并把检测到的肢体目标区域作为跟踪目标；在后续的深度帧中对所述跟踪目标进行跟踪，并使用预设的肢体目标模型以及保存的上一个肢体目标区域的特征集合参数对与所述后续的深度帧同步的彩色帧中相同的区域进行校正，并将符合肢体目标模型和上一个肢体目标区域的特征集合参数的区域判定为肢体目标区域；获取每一个肢体目标区域中的所有坐标值，依据获取的坐标值判断目标的运动方向， 并依据目标的运动方向识别目标动作。
2.如权利要求1所述的方法，其特征在于，所述根据深度帧序列中相邻前、后两幅深度图的深度值的变化判断后一幅深度图中预设的感兴趣区域ROI内是否存在启动动作的步骤包括分别获取前、后两个深度帧中预设的感兴趣区域ROI内的深度值组，并计算所述前、后两个深度帧的深度值组的差；判断获取的深度值组的差是否满足预设的启动条件，在满足预设的启动条件时，判定所述ROI存在启动动作，否则，不存在启动动作。
3.如权利要求1所述的方法，其特征在于，所述肢体目标模型包括肤色模型和特征模型，所述肢体目标区域的特征集合参数包括目标肤色范围值，目标形状参数；所述在深度帧的ROI存在启动动作时，根据预设的肢体目标模型对同步的彩色帧中与 ROI相同的区域进行检测，并将符合肢体目标模型的区域判定为肢体目标区域的步骤具体为根据所述肤色模型检测同步的彩色帧中相同的区域是否符合肤色模型； 根据所述特征模型检测符合所述肤色模型的区域是否符合特征模型； 将符合特征模型的区域判定为肢体目标区域。
4.如权利要求1所述的方法，其特征在于，
5.如权利要求1所述的方法，其特征在于，所述获取每一个肢体目标区域的坐标值，依据获取的坐标值判断目标的运动方向，并依据目标的运动方向识别目标动作的步骤包括获取每一个肢体目标区域中的所有坐标值，从获取的坐标值中获取最大的深度值和最小的深度值，并计算所述最大的深度值和最小的深度值的差；判断所述最大的深度值和最小的深度值的差是否大于所述预设的差值阈值；若最大的深度值和最小的深度值的差大于所述预设的差值阈值，则判定目标动作的方向是前后方向，否则判定目标动作的方向是平面方向。
6.如权利要求5所述的方法，其特征在于，在判定目标动作的方向是平面方向时，以获取的所有坐标的横坐标χ值和纵坐标y值拟合一条直线；判断所述直线与χ轴正半轴的夹角是否在所述两个预设的夹角阈值之间，若在所述两个预设的夹角阈值之间，则判定目标动作的方向是上下方向，否则，判定目标动作的方向是左右方向。
7.一种目标动作识别设备，其特征在于，包括图像获取单元，用于同步获取深度帧序列和彩色帧序列，所述深度帧序列为深度摄像机采集的多幅深度图；运动区域判断单元，用于根据深度帧序列中相邻前、后两幅深度图的深度值的变化判断后一幅深度图中预设的感兴趣区域ROI内是否存在启动动作；肢体目标区域判断单元，用于在深度帧的ROI存在启动动作时，根据预设的肢体目标模型对同步的彩色帧中与ROI相同的区域进行检测，并将符合肢体目标模型的区域判定为肢体目标区域；参数存储单元，用于保存判定为肢体目标区域的特征集合参数，并把检测到的肢体目标区域作为跟踪目标；肢体目标区域校正单元，用于在后续的深度帧中对所述跟踪目标进行跟踪，并使用预设的肢体目标模型以及保存的上一个肢体目标区域的特征集合参数对与所述后续的深度帧同步的彩色帧中相同的区域进行校正，并将符合肢体目标模型和上一个肢体目标区域的特征集合参数的区域判定为肢体目标区域；目标动作识别单元，用于获取每一个肢体目标区域中的所有坐标值，依据获取的坐标值判断目标的运动方向，并依据目标的运动方向识别目标动作。
8.如权利要求7所述的设备，其特征在于，所述肢体目标模型包括肤色模型和特征模型，所述肢体目标区域的特征集合参数包括目标肤色范围值，目标形状参数；所述肢体目标区域判断单元包括区域肤色检测模块，用于根据肤色模型检测同步的彩色帧中相同的区域是否符合肤色模型；区域特征检测模块，用于根据特征模型检测符合肤色模型的区域是否符合特征模型； 肢体目标区域判定模块，用于将符合特征模型的区域判定为肢体目标区域。
9.如权利要求7所述的设备，其特征在于，所述目标动作识别单元包括深度差确定模块，用于获取每一个肢体目标区域中的所有坐标值，从获取的坐标值中获取最大的深度值和最小的深度值，并计算所述最大的深度值和最小的深度值的差；深度差判断模块，用于判断所述最大的深度值和最小的深度值的差是否大于所述预设的差值阈值；方向判断模块，用于在最大的深度值和最小的深度值的差大于所述预设的差值阈值时，判定目标动作的方向是前后方向，否则判定目标动作的方向是平面方向。
10.如权利要求9所述的设备，其特征在于，所述方向判断模块包括前后方向判断子模块，用于在最大的深度值和最小的深度值的差大于所述预设的差值阈值时，判定目标动作的方向是前后方向；平面方向判断子模块，用于在最大的深度值和最小的深度值的不大于所述预设的差值阈值时，判定目标动作的方向是平面方向，并以获取的所有坐标的横坐标χ值和纵坐标y值拟合一条直线，进一步判断所述直线与χ轴正半轴的夹角是否在所述两个预设的夹角阈值之间，若在所述两个预设的夹角阈值之间，则判定目标动作的方向是上下方向，否则，判定目标动作的方向是左右方向。
全文摘要
本发明适用于电子领域，提供了目标识别方法和设备，所述方法包括根据深度帧序列相邻前、后两幅深度图的深度值的变化判断后一幅深度图中ROI内是否存在启动动作；根据预设的肢体目标模型对彩色帧相同的区域进行检测，并将符合肢体目标模型的区域判定为肢体目标区域；保存判定为肢体目标区域的特征集合参数；在深度帧中对前一个彩色帧判定为肢体目标区域的区域进行跟踪，并使用预设的肢体目标模型以及保存的上一个肢体目标区域的特征集合参数对与该深度帧对应的彩色帧中相同的区域进行检测，以获取肢体目标区域；获取每一个肢体目标区域的坐标值，依据获取的坐标值识别目标动作。本发明实施例由于使用深度图像序列和彩色图像序列一起检测肢体目标区域，因此有效提高了检测的准确性。
文档编号G06K9/32GK102509074SQ201110317260
公开日2012年6月20日 申请日期2011年10月18日 优先权日2011年10月18日
发明者李相涛 申请人:Tcl集团股份有限公司