视频数据中的关键点定位方法及装置与流程

本公开涉及视频技术领域，尤其涉及视频数据中的关键点定位方法及装置。

背景技术：

目前，在对包含某拍摄对象的视频进行检测以对每帧图像中的该对象的关键点进行定位时，往往需要先对视频中每帧图像中的对象的位置进行检测，进而在检测到每帧图像中该对象的位置后，再对该帧视频中该对象的关键点进行定位，但由于需要检测每帧图像中对象的位置，因而，每帧图像中的关键点的定位结果很容易受对象检测器的影响，容易导致定位结果的不稳定和不连续。

技术实现要素：

本公开实施例提供了视频数据中的关键点定位方法及装置。所述技术方案如下：

根据本公开实施例的第一方面，提供一种视频数据中的关键点定位方法，包括：

当获取到参考帧图像中目标对象的第一关键点坐标时，根据所述第一关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标；

当获取所述参考帧图像中所述目标对象的第一关键点坐标失败时，根据预设帧中所述目标对象的关键点坐标确定所述当前帧图像中所述目标对象的第二关键点坐标。

在一个实施例中，所述根据所述第一关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标，包括：

确定所述参考帧图像中所述目标对象与参考方向之间的角度；

将所述参考帧图像按照所述第一预设方向旋转所述角度，得到旋转后的所述第一关键点坐标；

根据旋转后的所述第一关键点坐标，确定所述第二关键点坐标。

在一个实施例中，所述根据旋转后的所述第一关键点坐标，确定所述第二关键点坐标，包括：

将所述当前帧图像按照所述第一预设方向旋转所述角度；

根据旋转后的所述第一关键点坐标，确定旋转后的所述当前帧图像中所述目标对象的第三关键点的坐标；

根据所述第三关键点的坐标，确定所述第二关键点坐标。

在一个实施例中，所述根据所述第三关键点的坐标，确定所述第二关键点坐标，包括：

将旋转后的所述当前帧图像按照与所述第一预设方向相反的第二预设方向旋转所述角度，得到旋转后的所述第三关键点的坐标；

将旋转后的所述第三关键点的坐标确定为所述第二关键点坐标。

在一个实施例中，所述当获取参考帧图像中所述目标对象的第一关键点坐标失败时，根据预设帧中所述目标对象的关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标，包括：

当获取参考帧图像中所述目标对象的第一关键点坐标失败时，对所述当前帧图像中所述目标对象进行检测，获得所述当前帧图像中所述目标对象所在的目标区域；

根据所述目标区域和所述预设帧中所述目标对象的关键点坐标，确定所述当前帧图像中所述目标对象中各关键点相对于所述目标区域的第二关键点坐标，其中，所述目标对象包括人脸、宠物脸。

在一个实施例中，所述第一关键点坐标包括：所述当前帧图像所在的所述视频数据中与所述当前帧图像相邻的前一帧图像中所述目标对象中各关键点的坐标；

所述预设帧中所述目标对象的关键点坐标包括：所述目标对象中各关键点的平均坐标。

根据本公开实施例的第二方面，提供一种视频数据中的关键点定位装置，包括：

第一确定模块，用于当获取到参考帧图像中目标对象的第一关键点坐标时，根据所述第一关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标；

第二确定模块，用于当获取所述参考帧图像中所述目标对象的第一关键点坐标失败时，根据预设帧中所述目标对象的关键点坐标确定所述当前帧图像中所述目标对象的第二关键点坐标。

在一个实施例中，所述第一确定模块包括：

第一确定子模块，用于确定所述参考帧图像中所述目标对象与参考方向之间的角度；

旋转子模块，用于将所述参考帧图像按照所述第一预设方向旋转所述角度，得到旋转后的所述第一关键点坐标；

第二确定子模块，用于根据旋转后的所述第一关键点坐标，确定所述第二关键点坐标。

在一个实施例中，所述第二确定子模块包括：

旋转单元，用于将所述当前帧图像按照所述第一预设方向旋转所述角度；

第一确定单元，用于根据旋转后的所述第一关键点坐标，确定旋转后的所述当前帧图像中所述目标对象的第三关键点的坐标；

第二确定单元，用于根据所述第三关键点的坐标，确定所述第二关键点坐标。

在一个实施例中，所述第二确定单元包括：

旋转子单元，用于将旋转后的所述当前帧图像按照与所述第一预设方向相反的第二预设方向旋转所述角度，得到旋转后的所述第三关键点的坐标；

确定子单元，用于将旋转后的所述第三关键点的坐标确定为所述第二关键点坐标。

在一个实施例中，所述第二确定模块包括：

检测子模块，用于当获取参考帧图像中所述目标对象的第一关键点坐标失败时，对所述当前帧图像中所述目标对象进行检测，获得所述当前帧图像中所述目标对象所在的目标区域；

第三确定子模块，用于根据所述目标区域和所述预设帧中所述目标对象的关键点坐标，确定所述当前帧图像中所述目标对象中的关键点相对于所述目标区域的第二关键点坐标，其中，所述目标对象包括人脸、宠物脸。

在一个实施例中，所述第一关键点坐标包括：所述当前帧图像所在的所述视频数据中与所述当前帧图像相邻的前一帧图像中所述目标对象中各关键点的坐标；

所述预设帧中所述目标对象的关键点坐标包括：所述目标对象中各关键点的平均坐标。

根据本公开实施例的第三方面，提供了一种视频数据中的关键点定位装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

当获取到参考帧图像中目标对象的第一关键点坐标时，根据所述第一关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标；

当获取所述参考帧图像中所述目标对象的第一关键点坐标失败时，根据预设帧中所述目标对象的关键点坐标确定所述当前帧图像中所述目标对象的第二关键点坐标。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开的实施例提供的技术方案，由于视频具有连续性，相邻帧之间的变化较小，关联性较大，同一目标对象在参考帧图像和当前帧图像中的区域位置大概相同(可能只相差几个像素点)且每帧图像中目标对象的关键点的坐标也是相对于该目标对象在该帧图像中的区域位置而言的，因而，将视频数据中的参考帧图像中目标对象的关键点的第一关键点坐标作为该当前帧图像中相同关键点的参考坐标，可以省略对当前帧图像中的目标对象的检测步骤，从而实现在尽可能不需要对当前帧图像中的目标对象的位置进行检测以确定出目标对象在该当前帧图像中的区域位置的基础上，可以直接根据参考帧图像的第一关键点坐标，得到当前帧图像的第二关键点坐标，以对该当前帧图像中的关键点进行精准、快速的定位，以尽量避免需要检测目标对象在当前帧图像中的位置区域，进而避免对象检测结果影响最终的第二关键点坐标，也可以尽量避免由于需要检测目标对象的位置区域而造成最终定位结果的不稳定和不连续。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种视频数据中的关键点定位方法的流程图。

图2是根据一示例性实施例示出的另一种视频数据中的关键点定位方法的流程图。

图3是根据一示例性实施例一示出的又一种视频数据中的关键点定位方法的流程图。

图4是根据一示例性实施例一示出的再一种视频数据中的关键点定位方法的流程图。

图5是根据一示例性实施例一示出的再一种视频数据中的关键点定位方法的流程图。

图6是根据一示例性实施例示出的一种视频数据中的关键点定位装置的框图。

图7是根据一示例性实施例示出的另一种视频数据中的关键点定位装置的框图。

图8是根据一示例性实施例示出的又一种视频数据中的关键点定位装置的框图。

图9是根据一示例性实施例示出的再一种视频数据中的关键点定位装置的框图。

图10是根据一示例性实施例示出的再一种视频数据中的关键点定位装置的框图。

图11是根据一示例性实施例示出的适用于视频数据中的关键点定位装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

目前，在对包含某拍摄对象的视频进行检测以对每帧图像中的该对象的关键点进行定位以对关键点进行处理(如美颜处理)时，往往需要先对视频中每帧图像中的对象的位置进行检测，进而在检测到每帧图像中该对象的位置(如该对象在其所在帧图像中的位置区域)后，再对该帧视频中该对象的关键点进行定位(即根据该对象的关键点的坐标进行定位)，但由于需要检测每帧图像中该对象的位置，因而，每帧图像中的关键点的坐标和定位结果很容易受对象检测器的影响，容易导致定位结果的不稳定和不连续，例如：在对人脸视频中每帧人脸图像中的关键点进行检测时，由于需要对每帧人脸图像中的人脸位置先进行检测，然后再根据检测到的人脸的位置来计算人脸中关键点的坐标进而实现关键点定位，因而，每帧人脸图像中的人脸关键点的定位结果很容易受人脸检测器的影响，造成定位结果的不稳定和不连续。

为了解决上述技术问题，本公开实施例提供了一种视频数据中的关键点定位方法，该方法可用于视频数据中的关键点定位程序、系统或装置中，且该方法对应的执行主体可以是手机、平板、计算机等终端或者是服务器。

图1是根据一示例性实施例示出的一种视频数据中的关键点定位方法的流程图。

如图1所示，该方法包括步骤S101至步骤S102：

在步骤S101中，当获取到参考帧图像中目标对象的第一关键点坐标时，根据第一关键点坐标确定当前帧图像中目标对象的第二关键点坐标。

其中，第一关键点坐标和第二关键点坐标用于表示目标对象中至少一个相同关键点分别在参考帧图像和当前帧图像中的坐标，具体地，第一关键点坐标为参考帧图像中目标对象的至少一个关键点的坐标(当然，这里的第一关键点坐标是对参考帧图像中目标对象的各关键点的坐标统称，即参考帧图像中目标对象中的每个关键点的坐标均可称为第一关键点坐标)，如目标对象为人脸时，第一关键点坐标为参考帧图像中五官(如眼睛、鼻子、眉毛、嘴巴等)的坐标，而该第一关键点坐标可以用于表示以参考帧图像中目标对象所在区域为准，该参考帧图像中目标对象的关键点的坐标值，例如：以参考帧图像中目标对象所在的预设矩形区域的左上角顶点为原点，以水平向右的方向为X轴正向，以竖直向下的方向为Y轴正向建立坐标系后，参考帧图像中目标对象的各关键点在该坐标系中的坐标值。

同样地，第二关键点坐标为当前帧图像中目标对象的至少一个相同关键点的坐标(当然，这里的第二关键点坐标也是对当前帧图像中目标对象的各关键点的坐标统称，即当前帧图像中目标对象中的每个关键点的坐标均可称为第二关键点坐标)，如目标对象为人脸时，第二关键点坐标为当前帧图像中五官(如眼睛、鼻子、眉毛、嘴巴等)的坐标，而该第二关键点坐标表征的含义仍然可以为：以上述建立的坐标系和参考帧图像中目标对象所在的预设矩形区域为准，该当前帧图像中目标对象的各关键点在该坐标系中的坐标值。

其次，该当前帧图像可以是包含有该目标对象的视频数据中的任一帧图像，而参考帧图像可以是该视频数据中与该当前帧图像相邻的帧图像，如该参考帧图像可以是当前帧图像之前的第M帧图像(如前一帧图像，其中，M为正整数)或者之后第N帧图像(如后一帧图像，其中，N为正整数)，而该目标对象可以是人脸、宠物脸，某物体(如车辆等)、动物的某部位(如脸部、腿部等)、某建筑或者某景物等。

由于视频具有连续性，相邻帧之间的变化较小，关联性较大，同一目标对象在参考帧图像和当前帧图像中的区域位置大概相同(可能只相差几个像素点)且每帧图像中目标对象的关键点的坐标也是相对于该目标对象在该帧图像中的区域位置而言的，因而，将视频数据中的参考帧图像中目标对象的关键点的第一关键点坐标作为该当前帧图像中相同关键点的参考坐标，可以省略对当前帧图像中的目标对象的检测步骤，从而实现在尽可能不需要对当前帧图像中的目标对象的位置进行检测以确定出目标对象在该当前帧图像中的区域位置的基础上，可以直接根据参考帧图像的第一关键点坐标，得到当前帧图像的第二关键点坐标，进而对该当前帧图像中的关键点进行精准、快速的定位(如以参考帧图像中目标对象所在的区域建立的上述坐标系和该第二关键点坐标为依据即可实现定位)，以尽量避免需要检测目标对象在当前帧图像中的位置区域，进而避免对象检测结果影响最终的第二关键点坐标，也可以尽量避免由于需要检测目标对象的位置区域而造成最终定位结果的不稳定和不连续。

另外，目标对象的至少一个关键点因目标对象而异，例如：当目标对象是人脸时，至少一个关键点可以是人脸的五官，当目标对象为某物体时，关键点可以是该物体的重要结构部位，当目标对象为某建筑时，该关键点可以是该建筑的标志性设计部位等。

进一步地，上述步骤S101可以重复执行，以分别获取视频数据中每帧图像中目标对象的第二关键点坐标，且如果该参考帧图像为该视频数据中的当前帧图像的前一帧图像，则在依次获取视频数据中每帧图像的第二关键点坐标后，每帧图像均将依次成为其紧邻的后一帧图像的参考帧图像(此时，每帧图像的第二关键点坐标将成为其紧邻的后一帧图像可以参考的第一关键点坐标)，这样，如果每帧图像的关键点坐标均不获取失败(即成功获取每帧图像的关键点坐标)，则在获取该视频数据中每帧图像中目标对象的关键点坐标并对每帧图像中的关键点进行定位的整个过程中，仅需要检测视频数据中初始帧图像中目标对象的位置区域而后续的其他所有帧图像均可实现在不需要检测目标对象的位置区域的基础上，直接根据前一帧图像的关键点坐标获取其第二关键点坐标，并根据初始帧图像中目标对象的位置区域和其第二关键点坐标进行定位。

最后，由于视频数据中每帧图像的尺寸大小均相同，因而，当前帧图像与参考帧图像(如当前帧图像的前一帧图像)的尺寸大小特相同，所以上述实施例中所描述的第一关键点坐标和第二关键点坐标也可以是以整个图像为准，即第一关键点坐标可以是以参考帧图像的左上角顶点为原点，以水平向右的方向为X轴正向，以竖直向下的方向为Y轴正向建立坐标系后，各关键点的坐标值，同样地，第二关键点坐标也可以是以该当前帧图像为坐标系得到的目标对象中各关键点的坐标值。

在步骤S102中，当获取参考帧图像中目标对象的第一关键点坐标失败时，根据预设帧中目标对象的关键点坐标确定当前帧图像中目标对象的第二关键点坐标。

当获取参考帧图像中目标对象的第一关键点坐标失败时，可以以该预设帧中目标对象的至少一个关键点各自的关键点坐标确定当前帧图像中目标对象的第二关键点坐标，从而根据预设帧图像中目标对象的关键点坐标实现对当前帧图像中目标对象的关键点的定位。

在一个实施例中，上述图1所示的步骤S101可被执行为：

获取当前帧图像中关键点的特征向量。

该关键点的特征向量可以是该关键点的HOG(Histogram of Oriented Gradient，方向梯度直方图)特征或者SIFT特征(Scale-invariant feature transform，尺度不变特征变换)的特征向量，上述特征向量可以通过SDM算法来获取。

根据关键点的特征向量，对第一关键点坐标进行调整，获得第二关键点坐标。

在获得该当前帧图像中关键点的特征向量之后，可以利用该特征向量对第一关键点坐标进行线性回归，以对该第一关键点坐标进行迭代求解、迭代更新，从而获得该第二关键点坐标。例如：可以使用SDM(supervised descent method，有监督的梯度下降方法)算法和该特征向量，对该第一关键点坐标进行多次调整，以获得该第二关键点坐标。

例如，可以使用SDM提供的线性回归函数y＝ax1+bx2+……+pxn对该第一关键点坐标进行调整，其中，x1、x2……xn分别是特征向量中每一纬度的值(即参考帧图像中该关键点的特征向量为x1x2…xi…xn，一共有n个纬度，长度为n，xi表示特征向量在第i个维度的值)，a、b……p分别是预设参数，y表示该第二关键点坐标与该第一关键点坐标之间的位置差，因而，对该第一关键点坐标进行调整时，可以将该第一关键点坐标与y进行求和即得到了第二关键点坐标，而为了使第二关键点坐标的结果更为准确，一般需要使用该线性回归函数对该第一关键点坐标回归4至6次，即可得到准确的第二关键点坐标。

图2是根据一示例性实施例示出的另一种视频数据中的关键点定位方法的流程图。

如图2所示，在一个实施例中，上述步骤S101可以包括步骤A1至步骤A3：

在步骤A1中，确定参考帧图像中目标对象与参考方向之间的角度。

其中，该参考方向可以是水平向右的方向，而在确定该角度时，可以以参考帧图像中目标对象中某目标关键点的第一关键点坐标来确定，或者依据目标关键点的显示方向等标准来确定，例如：如果目标对象为人脸，则该目标关键点可以是左右眼睛、嘴角、鼻子、人耳等，相应地，目标关键点所确定的目标对象与参考方向之间的角度分别为左右眼的中心所在的直线的方向与参考方向之间的角度，嘴角的两端所确定的直线的方向与参考方向之间的角度，鼻子的左右两端所确定的直线的方向与参考方向之间的角度，两只人耳上沿所确定的直线的方向与参考方向之间的角度。

在步骤A2中，将参考帧图像按照第一预设方向旋转角度，得到旋转后的第一关键点坐标(即旋转后的参考帧图像中各关键点的坐标)。

在将参考帧图像按照第一预设方向旋转该角度后，目标关键点所在的直线的方向与参考方向基本重合，使得参考帧图像处于摆正状态(如该目标对象为人脸时，人脸为正脸，几乎不偏不歪)。

在步骤A3中，根据旋转后的第一关键点坐标，确定第二关键点坐标。

由于关键点定位算法在训练时，所使用的样本图像中的目标对象大都是某种姿态(如目标关键点所确定的方向与参考方向重合使得图像中的目标对象看起来处于正放状态)，因而，在获取第二关键点坐标时，需要获取参考帧图像中目标关键点所确定的目标对象与参考方向之间的角度，然后将该参考帧图像按照第一预设方向在平面内(如以该前一帧图像中左上角为准)旋转该角度，使得参考帧图像中目标对象的姿态与样本图像中的目标对象的相近甚至相同(如参考帧图像中目标对象也处于正放状态)，从而得到旋转后的第一关键点坐标，进而根据该旋转后的第一关键点坐标即可获得更为准确的第二关键点坐标，从而避免目标对象的姿态变化而影响第二关键点坐标的准确性进而导致当前帧图像中的关键点的定位失败或不准确。

图3是根据一示例性实施例一示出的又一种视频数据中的关键点定位方法的流程图。

如图3所示，在一个实施例中，上述图2所示的步骤A3可以包括步骤B1至步骤B3：

在步骤B1中，将当前帧图像按照第一预设方向旋转角度。

在步骤B2中，根据旋转后的第一关键点坐标，确定旋转后的当前帧图像中目标对象的第三关键点的坐标。

在步骤B3中，根据第三关键点的坐标，确定第二关键点坐标。

在根据该旋转后的第一关键点坐标获取第二关键点坐标时，为了防止由于当前帧图像中目标对象的姿态不准确而影响第二关键点坐标的准确性进而导致当前帧图像中的关键点的定位失败或不准确，还需要将当前帧图像也按照该第一预设方向在平面内(如以该当前帧图像中左上角为准)旋转该角度，进而使得当前帧图像中目标关键点所确定的方向也基本与参考方向重合，然后根据该旋转后的第一关键点坐标，确定旋转后的当前帧图像的关键点的第三关键点坐标，然后以该第三关键点坐标为依据，还原出较为准确的该当前帧图像未被旋转时，当前帧图像中目标对象的各关键点的原始坐标即各关键点的第二关键点坐标。

例如：当目标对象为人脸，使用的关键点定位算法为SDM、目标关键点为左右眼睛时，如果人脸关键点定位算法大多是根据正脸来训练(即左右眼睛的中心所确定的直线的方向为水平方向)的，则得到前一帧图像(即参考帧图像)中的人脸关键点(如鼻子)的坐标P_t-1(即第一关键点坐标)后，为了得到当前帧图像的第二关键点坐标(即鼻子在当前帧图像中的坐标)，需要进行以下操作步骤：

<1>首先计算出前一帧图像中两个眼睛中心所确定直线的方向与水平方向(x轴)的夹角α。

<2>然后将当前帧图像F_t旋转α角度，得到旋转后的图像F′_t，使当前帧图像中两个眼睛中心所在的直线基本处于水平方向。相应的也将前一帧图像旋转α角度，得到旋转后的坐标P′_t-1(即旋转后的第一关键点坐标)。

<3>在旋转后的图像F′_t中进行人脸关键点的求解，具体步骤可以为：用旋转后的前一帧图像的人脸关键点坐标P′_t-1来做初始化，得到旋转后的图像F′_t(即旋转后的当前帧图像)中的人脸关键点坐标为(即第三关键点坐标)。

<4>以旋转后的图像F′_t(即旋转后的当前帧图像)中的人脸关键点坐标为(即第三关键点坐标)，还原出较为准确的该当前帧图像未被旋转时，当前帧图像中目标对象的各关键点的原始坐标即各关键点的第二关键点坐标。

图4是根据一示例性实施例一示出的再一种视频数据中的关键点定位方法的流程图。

如图4所示，在一个实施例中，上述图3中的步骤B3可以包括步骤C1和步骤C2：

在步骤C1中，将旋转后的当前帧图像按照与第一预设方向相反的第二预设方向旋转角度，得到旋转后的第三关键点的坐标，其中，如果第一预设方向为顺时针方向，则第二预设方向为逆时针方向，如果第一预设方向为逆时针方向，则第二预设方向为顺时针方向。

在步骤C2中，将旋转后的第三关键点的坐标确定为第二关键点坐标。

由于是为了获得未旋转的当前帧图像中关键点的第二关键点坐标，因而在获得旋转后的当前帧图像中关键点的第三关键点坐标后，可以将旋转后的当前帧图像按照与该第一预设方向相反的第二预设方向旋转该角度，以还原出旋转前当前帧图像的第二关键点坐标，即将旋转后的第三关键点的坐标直接确定为第二关键点坐标。

图5是根据一示例性实施例一示出的再一种视频数据中的关键点定位方法的流程图。

如图5所示，在一个实施例中，上述图1所示的步骤S102可以包括步骤D1和步骤D2：

在步骤D1中，当获取参考帧图像中目标对象的第一关键点坐标失败时，对当前帧图像中目标对象进行检测，获得当前帧图像中目标对象所在的目标区域。

其中，该目标区域指示了该目标对象在该当前帧图像中所占区域的位置信息，如该目标区域的四个顶点的位置和/或该目标区域的边长等。

参考帧图像中目标对象的第一关键点坐标失败可能表征：由参考帧图像之前的第M帧图像或者之后第N帧图像的关键点坐标为准得到该参考帧图像的第一关键点坐标与其第M帧图像或者第N帧图像中相同关键点的关键点坐标相差过大，如大于某个阈值(当然，第一关键点坐标失败的原因很多，可能是该参考帧图像与其第M帧图像或者第N帧图像中目标对象的姿态变化差异太大或者当前帧图像与其前第M帧图像或者第N帧图像中目标对象不同、或者该当前帧图像即为初始帧图像等)，例如：由参考帧图像的前一帧图像中的大部分关键点的关键点坐标为准得到的该参考帧图像中相同关键点的第一关键点坐标与该参考帧图像的前一帧图像中相应关键点的关键点坐标均大于该阈值，则可以说明参考帧图像中目标对象的第一关键点坐标失败。

另外，由于获取参考帧图像中目标对象的第一关键点坐标失败时，无法再以参考帧图像中目标对象所在的位置区域和相对于该位置区域的第一关键点坐标为参考而得到该第二关键点坐标，因而，需要重新检测目标对象在该当前帧图像中的位置区域，以尽可能地确保最终得到的第二关键点坐标和以此为依据定位出的关键点比较精准。

在步骤D2中，根据目标区域和预设帧中目标对象的关键点坐标，确定当前帧图像中目标对象中各关键点相对于该目标区域的第二关键点坐标，其中，目标对象包括人脸、宠物脸，而该预设帧可以是该视频数据中的初始帧图像(即该视频数据中的第一帧图像)或者是该视频数据中的某特定帧图像。

当获取参考帧图像中目标对象的第一关键点坐标失败时，为了避免当前帧图像中关键点定位失败，可以对该当前帧图像中的目标对象进行重新检测，以确定出该当前帧图像中目标对象的目标区域，进而根据该目标区域和预设帧中目标对象的关键点坐标，得到当前帧图像中目标对象中各关键点相对于该目标区域的第二关键点坐标，并实现通过该目标区域和第二关键点坐标对该当前帧图像中的关键点进行精准定位。

上述根据目标区域和预设帧中目标对象的关键点坐标，确定当前帧图像中目标对象的第二关键点坐标，以对当前帧图像中的关键点进行定位的具体实现过程可以是：

在该当前帧图像中确定出该目标区域后，以该目标区域的左上角为原点，以水平向右的方向为X轴正向，以竖直向下的方向为Y轴正向建立坐标系，进而根据该预设帧中目标对象的关键点坐标，得到当前帧图像中各关键在该目标区域所建立的坐标系中的第二关键点坐标，以便于根据以目标区域所建立的坐标系和该第二关键点坐标，即可定位出当前帧图像中目标对象的关键点。

在一个实施例中，第一关键点坐标包括：当前帧图像所在的视频数据中与当前帧图像相邻的前一帧图像中目标对象中各关键点的坐标。

由于视频具有连续性，相邻帧之间的变化较小，关联性较大，同一目标对象在参考帧图像和当前帧图像中的区域位置大概相同(可能只相差几个像素点)且每帧图像中目标对象的关键点的坐标也是相对于该目标对象在该帧图像中的区域位置而言的，因而，将视频数据中的该当前帧图像的前一帧图像中目标对象的关键点的第一关键点坐标作为该当前帧图像中相同关键点的参考坐标，可以省略对当前帧图像中的目标对象的检测步骤，从而实现在尽可能不需要对当前帧图像中的目标对象进行检测以确定出目标对象在该当前帧图像中的区域位置的基础上，可以直接根据前一帧图像的第一关键点坐标，得到当前帧图像的第二关键点坐标，进而根据该第二关键点坐标和参考帧图像中目标对象的位置区域对该当前帧图像中的关键点进行精准、快速的定位。

预设帧中目标对象的关键点坐标包括：目标对象中各关键点的平均坐标。

其中，目标对象中各关键点的平均坐标的获取方式可以如下：

对该目标对象进行拍摄得到的尺寸相同的海量图像；

根据每张图像中目标对象的各关键点在目标对象所在区域中的坐标值，得到目标对象的各关键点的平均坐标值，例如：当目标对象为人脸时，可以根据海量尺寸大小相同的人脸图像中关键点的(五官)坐标值，得到五官的平均坐标值(即分别得到鼻子的平均坐标值、眼睛的平均坐标值等)，从而得到预设帧中目标对象的关键点坐标。

最后，上述实施例可以单独实施，也可以相互结合后实施。

对应本公开实施例提供的上述视频数据中的关键点定位方法，本公开实施例还提供一种视频数据中的关键点定位装置，如图6所示，该装置包括第一确定模块601和第二确定模块602：

第一确定模块601，被配置为当获取到参考帧图像中目标对象的第一关键点坐标时，根据第一关键点坐标确定当前帧图像中目标对象的第二关键点坐标；

第二确定模块602，被配置为当获取参考帧图像中目标对象的第一关键点坐标失败时，根据预设帧中目标对象的关键点坐标确定当前帧图像中目标对象的第二关键点坐标。

图7是根据一示例性实施例示出的另一种视频数据中的关键点定位装置的框图。

如图7所示，在一个实施例中，上述图6所示的第一确定模块601可以包括第一确定子模块6011、旋转子模块6012和第二确定子模块6013：

第一确定子模块6011，被配置为确定参考帧图像中目标对象与参考方向之间的角度；

旋转子模块6012，被配置为将参考帧图像按照第一预设方向旋转角度，得到旋转后的第一关键点坐标；

第二确定子模块6013，被配置为根据旋转后的第一关键点坐标，确定第二关键点坐标。

图8是根据一示例性实施例示出的又一种视频数据中的关键点定位装置的框图。

如图8所示，在一个实施例中，第二确定子模块6013可以包括旋转单元60131、第一确定单元60132和第二确定单元60133：

旋转单元60131，被配置为将当前帧图像按照第一预设方向旋转角度；

第一确定单元60132，被配置为根据旋转后的第一关键点坐标，确定旋转后的当前帧图像中目标对象的第三关键点的坐标；

第二确定单元60133，被配置为根据第三关键点的坐标，确定第二关键点坐标。

图9是根据一示例性实施例示出的再一种视频数据中的关键点定位装置的框图。

如图9所示，在一个实施例中，上述图8所示的第二确定单元60133可以包括旋转子单元601331和确定子单元601332：

旋转子单元601331，被配置为将旋转后的当前帧图像按照与第一预设方向相反的第二预设方向旋转角度，得到旋转后的第三关键点的坐标；

确定子单元601332，被配置为将旋转后的第三关键点的坐标确定为第二关键点坐标。

图10是根据一示例性实施例示出的再一种视频数据中的关键点定位装置的框图。

如图10所示，在一个实施例中，上述图6所示的第二确定模块602可以包括：

检测子模块6021，被配置为当获取参考帧图像中目标对象的第一关键点坐标失败时，对当前帧图像中目标对象进行检测，获得当前帧图像中目标对象所在的目标区域；

第三确定子模块6022，被配置为根据目标区域和预设帧中目标对象的关键点坐标，确定当前帧图像中目标对象中各关键点相对于目标区域的第二关键点坐标，其中，目标对象包括人脸、宠物脸。

在一个实施例中，第一关键点坐标包括：当前帧图像所在的视频数据中与当前帧图像相邻的前一帧图像中目标对象中各关键点的坐标；

预设帧中目标对象的关键点坐标包括：目标对象中各关键点的平均坐标。

根据本公开实施例的第三方面，提供一种视频数据中的关键点定位装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器被配置为：

当获取到参考帧图像中目标对象的第一关键点坐标时，根据所述第一关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标；

当获取所述参考帧图像中所述目标对象的第一关键点坐标失败时，根据预设帧中所述目标对象的关键点坐标确定所述当前帧图像中所述目标对象的第二关键点坐标。

上述处理器还可被配置为：

所述根据所述第一关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标，包括：

确定所述参考帧图像中所述目标对象与参考方向之间的角度；

将所述参考帧图像按照所述第一预设方向旋转所述角度，得到旋转后的所述第一关键点坐标；

根据旋转后的所述第一关键点坐标，确定所述第二关键点坐标。

上述处理器还可被配置为：

所述根据旋转后的所述第一关键点坐标，确定所述第二关键点坐标，包括：

将所述当前帧图像按照所述第一预设方向旋转所述角度；

根据旋转后的所述第一关键点坐标，确定旋转后的所述当前帧图像中所述目标对象的第三关键点的坐标；

根据所述第三关键点的坐标，确定所述第二关键点坐标。

上述处理器还可被配置为：

所述根据所述第三关键点的坐标，确定所述第二关键点坐标，包括：

将旋转后的所述当前帧图像按照与所述第一预设方向相反的第二预设方向旋转所述角度，得到旋转后的所述第三关键点的坐标；

将旋转后的所述第三关键点的坐标确定为所述第二关键点坐标。

上述处理器还可被配置为：

所述当获取参考帧图像中所述目标对象的第一关键点坐标失败时，根据预设帧中所述目标对象的关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标，包括：

当获取参考帧图像中所述目标对象的第一关键点坐标失败时，对所述当前帧图像中所述目标对象进行检测，获得所述当前帧图像中所述目标对象所在的目标区域；

根据所述目标区域和所述预设帧中所述目标对象的关键点坐标，确定当前帧图像中目标对象中各关键点相对于目标区域的第二关键点坐标，其中，所述目标对象包括人脸、宠物脸。

上述处理器还可被配置为：

所述第一关键点坐标包括：所述当前帧图像所在的所述视频数据中与所述当前帧图像相邻的前一帧图像中所述目标对象中各关键点的坐标；

所述预设帧中所述目标对象的关键点坐标包括：所述目标对象中各关键点的平均坐标。

图11是根据一示例性实施例示出的一种用于视频数据中的关键点定位装置1100的框图，该装置适用于终端设备。例如，装置1100可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个用户数字助理等。

参照图11，装置1100可以包括以下一个或至少两个组件：处理组件1102，存储器1104，电源组件1106，多媒体组件1108，音频组件1110，输入/输出(I/O)接口1112，传感器组件1114，以及通信组件1116。

处理组件1102通常控制装置1100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1102可以包括一个或至少两个处理器1120来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1102可以包括一个或至少两个模块，便于处理组件1102和其他组件之间的交互。例如，处理组件1102可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。

存储器1104被配置为存储各种类型的数据以支持在装置1100的操作。这些数据的示例包括用于在装置1100上操作的任何存储对象或方法的指令，联系用户数据，电话簿数据，消息，图片，视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1106为装置1100的各种组件提供电源。电源组件1106可以包括电源管理系统，一个或至少两个电源，及其他与为装置1100生成、管理和分配电源相关联的组件。

多媒体组件1108包括在所述装置1100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或至少两个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括一个前置摄像头和/或后置摄像头。当装置1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括一个麦克风(MIC)，当装置1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括一个扬声器，用于输出音频信号。

I/O接口1112为处理组件1102和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1114包括一个或至少两个传感器，用于为装置1100提供各个方面的状态评估。例如，传感器组件1114可以检测到装置1100的打开/关闭状态，组件的相对定位，例如所述组件为装置1100的显示器和小键盘，传感器组件1114还可以检测装置1100或装置1100一个组件的位置改变，用户与装置1100接触的存在或不存在，装置1100方位或加速/减速和装置1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1116被配置为便于装置1100和其他设备之间有线或无线方式的通信。装置1100可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件1116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，装置1100可以被一个或至少两个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子组件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1104，上述指令可由装置1100的处理器1120执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当所述存储介质中的指令由上述装置1100的处理器执行时，使得上述装置1100能够执行一种视频数据中的关键点定位方法，包括：

当获取到参考帧图像中目标对象的第一关键点坐标时，根据所述第一关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标；

当获取所述参考帧图像中所述目标对象的第一关键点坐标失败时，根据预设帧中所述目标对象的关键点坐标确定所述当前帧图像中所述目标对象的第二关键点坐标。

在一个实施例中，所述根据所述第一关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标，包括：

确定所述参考帧图像中所述目标对象与参考方向之间的角度；

将所述参考帧图像按照所述第一预设方向旋转所述角度，得到旋转后的所述第一关键点坐标；

根据旋转后的所述第一关键点坐标，确定所述第二关键点坐标。

在一个实施例中，所述根据旋转后的所述第一关键点坐标，确定所述第二关键点坐标，包括：

将所述当前帧图像按照所述第一预设方向旋转所述角度；

根据旋转后的所述第一关键点坐标，确定旋转后的所述当前帧图像中所述目标对象的第三关键点的坐标；

根据所述第三关键点的坐标，确定所述第二关键点坐标。

在一个实施例中，所述根据所述第三关键点的坐标，确定所述第二关键点坐标，包括：

将旋转后的所述当前帧图像按照与所述第一预设方向相反的第二预设方向旋转所述角度，得到旋转后的所述第三关键点的坐标；

将旋转后的所述第三关键点的坐标确定为所述第二关键点坐标。

在一个实施例中，所述当获取参考帧图像中所述目标对象的第一关键点坐标失败时，根据预设帧中所述目标对象的关键点坐标确定当前帧图像中所述目标对象的第二关键点坐标，包括：

当获取参考帧图像中所述目标对象的第一关键点坐标失败时，对所述当前帧图像中所述目标对象进行检测，获得所述当前帧图像中所述目标对象所在的目标区域；

根据所述目标区域和所述预设帧中所述目标对象的关键点坐标，确定当前帧图像中目标对象中各关键点相对于目标区域的第二关键点坐标，其中，所述目标对象包括人脸、宠物脸。

在一个实施例中，所述第一关键点坐标包括：所述当前帧图像所在的所述视频数据中与所述当前帧图像相邻的前一帧图像中所述目标对象中各关键点的坐标；

所述预设帧中所述目标对象的关键点坐标包括：所述目标对象中各关键点的平均坐标。

本领域技术用户员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。