基于三维动画的视频对照方法、装置、设备及存储介质与流程

本发明涉及视频对照领域，特别是涉及一种基于三维动画的视频对照方法、装置、设备及存储介质。

背景技术：

模型动画是通过改变一个时间段各个模型在空间的位置及其旋转角度产生的。视频里的真人做的动作是在真实的环境里完成的，由于模型动画是虚拟的，和真人动作多少会有差异，为了让人更好的理解，需要真人动作视频作为辅助参考。

目前，模型动画的播放通常是通过引擎自带的接口控制模型动画的时间轴进行播放的。但是，由于时间轴为固定的，不能跳跃式地播放模型动画。另外，真人视频完成动作各个部分的时间点和模型完成动作各个部分的时间点不匹配，造成了实时对照的时候出现不同的画面，容易给人造成错误的理解。

因此，如何解决模型动画和真人视频不能同步问题，是本领域技术人员亟待解决的技术问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于三维动画的视频对照方法、装置、设备及存储介质，可以实现模型动画与视频人物动作实时同步。其具体方案如下：

一种基于三维动画的视频对照方法，包括：

读取真人运动的视频，并将所述视频根据帧率分割成多张图片；

在统一引擎中针对模型添加固定的虚拟摄像头，在模型运动的过程中对所述虚拟摄像头的画面进行实时提取；

对分割成的图片进行轮廓提取处理，获得第一轮廓图片，同时对实时提取出的画面进行轮廓提取处理，获得第二轮廓图片；

将所述第一轮廓图片与所述第二轮廓图片进行匹配，找出匹配度高的两张轮廓图片，并同步显现与匹配度高的两张轮廓图片对应的分割成的图片与实时提取出的画面。

优选地，在本发明实施例提供的上述基于三维动画的视频对照方法中，对分割成的图片进行轮廓提取处理，获得第一轮廓图片，具体包括：

将分割成的图片中的人物提取出来，得到人物图片；

对所述人物图片进行灰度处理，得到第一灰度图片；

通过所述第一灰度图片边界的围绕关系，确定第一外边界和第一孔边界；

根据所述第一外边界、所述第一孔边界，以及所述第一外边界和所述第一孔边界的层次关系，获得第一轮廓图片。

优选地，在本发明实施例提供的上述基于三维动画的视频对照方法中，对实时提取出的画面进行轮廓提取处理，获得第二轮廓图片，具体包括：

对实时提取出的画面进行灰度处理，得到第二灰度图片；

通过所述第二灰度图片边界的围绕关系，确定第二外边界和第二孔边界；

根据所述第二外边界、所述第二孔边界，以及所述第二外边界和所述第二孔边界的层次关系，获得第二轮廓图片。

优选地，在本发明实施例提供的上述基于三维动画的视频对照方法中，在将所述第一轮廓图片与所述第二轮廓图片进行匹配之前，还包括：

对所述第一轮廓图片与所述第二轮廓图片进行灰度处理。

优选地，在本发明实施例提供的上述基于三维动画的视频对照方法中，将所述第一轮廓图片与所述第二轮廓图片进行匹配，找出匹配度高的两张轮廓图片，具体包括：

将所述第一轮廓图片处理为第一直方图，同时将所述第二轮廓图片处理为第二直方图；

对所述第一直方图和所述第二直方图进行归一化处理；

将归一化处理后的所述第一直方图和所述第二直方图进行比较，找出匹配度高的两张轮廓图片。

优选地，在本发明实施例提供的上述基于三维动画的视频对照方法中，将归一化处理后的所述第一直方图和所述第二直方图进行比较，找出匹配度高的两张轮廓图片，具体包括：

计算归一化处理后的所述第一直方图和所述第二直方图之间的距离；

根据计算出的距离，得到一个比较数值；

选取出与所述比较数值最接近0对应的两张直方图，判定这两张直方图对应的两张轮廓图片的匹配度最高。

优选地，在本发明实施例提供的上述基于三维动画的视频对照方法中，所述虚拟摄像机的角度与拍摄视频人物的角度保持一致。

本发明实施例还提供了一种基于三维动画的视频对照装置，包括：

图片分割模块，用于读取真人运动的视频，并将所述视频根据帧率分割成多张图片；

画面提取模块，用于在统一引擎中针对模型添加固定的虚拟摄像头，在模型运动的过程中对所述虚拟摄像头的画面进行实时提取；

轮廓提取模块，用于对分割成的图片进行轮廓提取处理，获得第一轮廓图片，同时对实时提取出的画面进行轮廓提取处理，获得第二轮廓图片；

图片匹配模块，用于将所述第一轮廓图片与所述第二轮廓图片进行匹配，找出匹配度高的两张轮廓图片，并同步显现与匹配度高的两张轮廓图片对应的分割成的图片与实时提取出的画面。

本发明实施例还提供了一种基于三维动画的视频对照设备，包括处理器和存储器，其中，所述处理器执行所述存储器中保存的计算机程序时实现如本发明实施例提供的上述基于三维动画的视频对照方法。

本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述基于三维动画的视频对照方法。

从上述技术方案可以看出，本发明所提供的一种基于三维动画的视频对照方法，包括：读取真人运动的视频，并将视频根据帧率分割成多张图片；在统一引擎中针对模型添加固定的虚拟摄像头，在模型运动的过程中对虚拟摄像头的画面进行实时提取；对分割成的图片进行轮廓提取处理，获得第一轮廓图片，同时对实时提取出的画面进行轮廓提取处理，获得第二轮廓图片；将第一轮廓图片与第二轮廓图片进行匹配，找出匹配度高的两张轮廓图片，并同步显现与匹配度高的两张轮廓图片对应的分割成的图片与实时提取出的画面。

本发明首先通过在模型实时运动过程中对虚拟摄像头的画面提取出的轮廓图片与对视频分割的图片提取出的轮廓图片进行匹配，匹配完之后找出匹配度高的两张轮廓图片，最后同步显现了与匹配度高的两张轮廓图片对应的虚拟摄像头的画面与视频分割的图片，这样可以实现模型动画与视频人物动作实时同步，使模型动画可以和真人视频对照查看。此外，本发明还针对基于三维动画的视频对照方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。

附图说明

为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的基于三维动画的视频对照方法的流程图；

图2为本发明实施例提供的实时监测模型运动画面的示意图；

图3为本发明实施例提供的从虚拟摄像机中提取的一种画面；

图4为本发明实施例提供的从虚拟摄像机中提取的另一种画面；

图5为本发明实施例提供的第一灰度图片与第一轮廓图片的示意图；

图6为图3对应的第二灰度图片与第二轮廓图片的示意图；

图7为图4对应的第二灰度图片与第二轮廓图片的示意图；

图8为图5对应处理得到的第一直方图；

图9为图6对应处理得到的第二直方图；

图10为图7对应处理得到的第二直方图；

图11为本发明实施例提供的基于三维动画的视频对照装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种基于三维动画的视频对照方法，如图1所示，包括以下步骤：

s101、读取真人运动的视频，并将视频根据帧率分割成多张图片；

具体地，预先通过摄像头拍摄真人动作的视频，该摄像头用于真实的渲染现实中的物体，接下来可以采用视频处理工具读取该视频，把视频根据视频的帧率分割成一张一张的图片。分割成的图片可以按视频第一帧(即时间先后顺序)开始进行从小到大排序，图片的名称为视频的第几帧。

s102、在统一引擎中针对模型添加固定的虚拟摄像头，在模型运动的过程中对虚拟摄像头的画面进行实时提取；

需要说明的是，在统一引擎(unity)中对运动的模型添加一个固定的摄像机，此摄像机为虚拟摄像机，用于专门渲染虚拟模型。添加方式为通过引擎自带的功能把虚拟摄像机放到指定位置。优选地，如图2所示，将虚拟摄像机的角度与步骤s101摄像头拍摄视频人物的角度保持一致后，在模型运动的过程中对固定的虚拟摄像机的画面进行实时提取，以对模型进行实时监测。图3和图4示出了从虚拟摄像机中提取的不同画面。

s103、对分割成的图片进行轮廓提取处理，获得第一轮廓图片，同时对实时提取出的画面进行轮廓提取处理，获得第二轮廓图片；

s104、将第一轮廓图片与第二轮廓图片进行匹配，找出匹配度高的两张轮廓图片，并同步显现与匹配度高的两张轮廓图片对应的分割成的图片与实时提取出的画面。

在本发明实施例提供的上述基于三维动画的视频对照方法中，首先通过在模型实时运动过程中对虚拟摄像头的画面提取出的轮廓图片与对视频分割的图片提取出的轮廓图片进行匹配，然后找出匹配度高的两张轮廓图片，最后同步显现了与匹配度高的两张轮廓图片对应的虚拟摄像头的画面与视频分割的图片，这样可以实现模型动画与视频人物动作实时同步，使模型动画可以和真人视频对照查看。

进一步地，在具体实施时，在本发明实施例提供的上述基于三维动画的视频对照方法中，步骤s103对分割成的图片进行轮廓提取处理，获得第一轮廓图片，具体可以包括：首先将分割成的图片中的人物提取出来，得到人物图片；然后对人物图片进行灰度处理，得到第一灰度图片；之后通过第一灰度图片边界的围绕关系，确定第一外边界和第一孔边界；最后根据第一外边界、第一孔边界，以及第一外边界和第一孔边界的层次关系，获得第一轮廓图片。以图5为例，左侧示出了灰度处理得到的第一灰度图片，右侧示出了该第一灰度图片对应的第一轮廓图片。

同理，在具体实施时，在本发明实施例提供的上述基于三维动画的视频对照方法中，步骤s103对实时提取出的画面进行轮廓提取处理，获得第二轮廓图片，具体包括：首先对实时提取出的画面进行灰度处理，得到第二灰度图片；然后通过第二灰度图片边界的围绕关系，确定第二外边界和第二孔边界；最后根据第二外边界、第二孔边界，以及第二外边界和第二孔边界的层次关系，获得第二轮廓图片。以图6为例，左侧示出了将图3的画面经灰度处理得到的第二灰度图片，右侧示出了该第二灰度图片对应的第二轮廓图片。以图7为例，左侧示出了将图4的画面经灰度处理得到的第二灰度图片，右侧示出了该第二灰度图片对应的第二轮廓图片。

可以理解的是，由于边界和原图(即分割成的图片和实时提取出的画面)的区域具有一一对应关系：外边界对应像素值为1的连通区域，孔边界对应像素值为0的区域，因此本发明可以用边界计算出原图的轮廓。具体地，可以采用编码的思想进行理解，给不同的边界赋予不同的整数值，从而可以确定它是什么边界以及层次关系。输入的二值图像即为0和1的图像，用f(i,j)表示图像的像素值。每次行扫描，遇到以下两种情况终止：

第一种情况：f(i,j-1)＝0，f(i,j)＝1；//f(i,j)是外边界的起始点；

第二种情况：f(i,j)>＝1，f(i,j+1)＝0；//f(i,j)是孔边界的起始点。

然后从起始点开始，标记边界上的像素。在这里分配一个唯一的标示符给新发现的边界，叫做nbd。初始时nbd＝1，每次发现一个新边界加1。在这个过程中，遇到f(p,q)＝1,f(p,q+1)＝0时，将f(p,q)置为-nbd，即右边边界的终止点。

在具体实施时，在本发明实施例提供的上述基于三维动画的视频对照方法中，在执行步骤s104将第一轮廓图片与第二轮廓图片进行匹配之前，还可以包括：对第一轮廓图片与第二轮廓图片进行灰度处理。由于灰度处理算法和轮廓提取算法不一致，这里再次进行灰度处理可以避免轮廓提取之后其他因素的干扰。

接下来，在具体实施时，在本发明实施例提供的上述基于三维动画的视频对照方法中，步骤s104将第一轮廓图片与第二轮廓图片进行匹配，找出匹配度高的两张轮廓图片，具体可以包括：将第一轮廓图片处理为第一直方图h1，同时将第二轮廓图片处理为第二直方图h2；对第一直方图h1和第二直方图h2进行归一化处理；将归一化处理后的第一直方图h1和第二直方图h2进行比较，找出匹配度高的两张轮廓图片。图8示出了图5对应处理得到的第一直方图h1；图9示出了图6对应处理得到的第二直方图h2；图10示出了图7对应处理得到的第二直方图h2。

需要说明的是，上述直方图为一幅图像中灰度级与出现这种灰度的概率之间关系的图形，直方图是一种统计表达，反映了不同灰度级出现的统计概率(个数)，其横坐标是：灰度级，纵坐标是：出现的个数(概率)。

直方图的离散函数h(rk)＝nk；其中rk是第k级的灰度值，nk是图像中灰度为rk的像素的个数。归一化直方图p(rk)＝nk/mn；其中k＝0,1,2.....l-1(灰度级的范围是[0,l-1])，mn表示像素的总的个数。

对输入的两张轮廓图像计算得到直方图h1和h2，将直方图h1和h2进行归一化处理得到相同的尺度空间，让每个灰度比例之和为1，这样可以避免由图像大小不一造成误差。

进一步地，在具体实施时，上述步骤中将归一化处理后的第一直方图h1和第二直方图h2进行比较，找出匹配度高的两张轮廓图片，具体可以包括：首先计算归一化处理后的第一直方图h1和第二直方图h2之间的距离；然后根据计算出的距离，得到一个比较数值；最后选取出与比较数值最接近0对应的两张直方图h1和h2，判定这两张直方图h1和h2对应的两张轮廓图片的匹配度最高。

需要说明的是，通过对直方图数值(如第一直方图h1和第二直方图h2之间的距离)计算比较会得出一个比较数值，此数值的范围为0～1。比较数值越接近0的，两张图片的匹配度越高，说明这两张图片本身的相似程度越高，反之匹配度越低，相似程度越低。

经计算，图6的第二轮廓图片和图5的第一轮廓图片匹配得出来的比较数值为0.018559341148851，图7的第二轮廓图片和图5的第一轮廓图片匹配得出来的比较数值为0.137399333456828，由此可以得出图6和图5的匹配度是最接近。

在本实施例中，将从虚拟摄像机中实时提取出来的画面和从视频中分割成的图片进行一一比较，比较完之后会从分割成的图片中得到一张和从虚拟摄像机中实时提取出来的画面匹配度最近的一张图片，最后就可以从虚拟摄像机中实时提取出来的画面中同步显现得到的该图片。

在实际应用中，本发明实施例提供的上述基于三维动画的视频对照方法还可以适用于图像识别，例如车牌号识别等领域。

基于同一发明构思，本发明实施例还提供了一种基于三维动画的视频对照装置，由于该装置解决问题的原理与前述一种基于三维动画的视频对照方法相似，因此该装置的实施可以参见基于三维动画的视频对照方法的实施，重复之处不再赘述。

在具体实施时，本发明实施例提供的基于三维动画的视频对照装置，如图11所示，具体包括：

图片分割模块11，用于读取真人运动的视频，并将视频根据帧率分割成多张图片；

画面提取模块12，用于在统一引擎中针对模型添加固定的虚拟摄像头，在模型运动的过程中对虚拟摄像头的画面进行实时提取；

轮廓提取模块13，用于对分割成的图片进行轮廓提取处理，获得第一轮廓图片，同时对实时提取出的画面进行轮廓提取处理，获得第二轮廓图片；

图片匹配模块14，用于将第一轮廓图片与第二轮廓图片进行匹配，找出匹配度高的两张轮廓图片，并同步显现与匹配度高的两张轮廓图片对应的分割成的图片与实时提取出的画面。

在本发明实施例提供的上述基于三维动画的视频对照装置中，可以通过上述四个模块的相互作用，可以实现模型动画与视频人物动作实时同步，使模型动画可以和真人视频对照查看。

关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。

相应地，本发明实施例还公开了一种基于三维动画的视频对照设备，包括处理器和存储器；其中，处理器执行存储器中保存的计算机程序时实现前述实施例公开的基于三维动画的视频对照方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的基于三维动画的视频对照方法。

关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

本发明实施例提供的一种基于三维动画的视频对照方法，包括：读取真人运动的视频，并将视频根据帧率分割成多张图片；在统一引擎中针对模型添加固定的虚拟摄像头，在模型运动的过程中对虚拟摄像头的画面进行实时提取；对分割成的图片进行轮廓提取处理，获得第一轮廓图片，同时对实时提取出的画面进行轮廓提取处理，获得第二轮廓图片；将第一轮廓图片与第二轮廓图片进行匹配，找出匹配度高的两张轮廓图片，并同步显现与匹配度高的两张轮廓图片对应的分割成的图片与实时提取出的画面。这样通过在模型实时运动过程中对虚拟摄像头的画面提取出的轮廓图片与对视频分割的图片提取出的轮廓图片进行匹配，匹配完之后找出匹配度高的两张轮廓图片，之后同步显现与匹配度高的两张轮廓图片对应的虚拟摄像头的画面与视频分割的图片，可以实现模型动画与视频人物动作实时同步，使模型动画可以和真人视频对照查看。此外，本发明还针对基于三维动画的视频对照方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的基于三维动画的视频对照方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。