视频生成方法、装置和电子设备与流程

文档序号:14262246阅读:223来源:国知局
视频生成方法、装置和电子设备与流程

本发明涉及移动终端技术领域,尤其涉及一种视频生成方法、装置和电子设备。



背景技术:

体感跳舞游戏,通过互联网运营平台,进行人机互动。用户通过根据体感跳舞设备的提示,做出相应的身体的动作,从而使用户在跳舞的同时,能够达到健身的作用,享受体感互动的体验。

现有技术中,体感跳舞游戏主要应用于固定设备上,例如体感跳舞机、电脑等,便携性较差。此外,对用户身体动作的判断,是通过确定用户脚踩的箭头方向正确与否,跳舞的方式较为单一。



技术实现要素:

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此,本发明的第一个目的在于提出一种视频生成方法,由于标准动作为用户需要做出的人体动作,相比于现有技术中用户脚踩箭头的跳舞方式,能够有效丰富跳舞动作,提升用户体验。解决现有技术中体感跳舞游戏主要应用于固定设备上,例如体感跳舞机、电脑等,便携性较差。此外,对用户身体动作的判断,是通过确定用户脚踩的箭头方向正确与否,跳舞的方式较为单一的技术问题。

本发明的第二个目的在于提出一种视频生成装置。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的,本发明第一方面实施例提出了一种视频生成方法,包括:

获取选定的音频,以及所述音频中各时间节点对应的标准动作;

当开始播放所述音频时,开始采集视频画面帧;

根据预设的提前时长,在所述音频播放至每一个时间节点之前,开始展示对应的标准动作;

识别在所述标准动作的展示过程中采集到的视频画面帧中的人体动作;

若所述人体动作与所述标准动作匹配,结束所述标准动作的展示过程;

当所述音频播放结束时,根据采集的视频画面帧和所述音频生成目标视频。

可选地,作为第一方面的第一种可能的实现方式,所述根据预设的提前时长,在所述音频播放至每一个时间节点之前,开始展示对应的标准动作,包括:

针对每一个时间节点,将所述时间节点与所述提前时长之差,作为起始时刻;

从所述起始时刻开始,展示所述标准动作的示意图,并控制所述标准动作的示意图沿预设轨迹移动。

可选地,作为第一方面的第二种可能的实现方式,,所述控制所述标准动作的示意图沿预设轨迹移动之后,还包括:

当所述标准动作的示意图移动至所述预设轨迹终点时,若未识别到与所述标准动作匹配的人体动作,停止展示所述标准动作的示意图。

可选地,作为第一方面的第三种可能的实现方式,所述控制所述标准动作的示意图沿预设轨迹移动,包括:

从多个待选轨迹中,确定用于对所述标准动作的示意图进行展示的预设轨迹;所述预设轨迹不同于相邻时间节点对应标准动作的示意图进行展示的轨迹;

控制所述标准动作的示意图,以预设速度和方向,沿所述预设轨迹移动。

可选地,作为第一方面的第四种可能的实现方式,所述确定用于对所述标准动作的示意图进行展示的预设轨迹之后,还包括:

若所述预设轨迹存在正在展示的示意图;

根据所述预设轨迹中,正在展示的示意图的数量和预设轨迹的长度,缩小所述预设轨迹正在展示的示意图以及所述标准动作的示意图的尺寸,以使所述预设轨迹中相邻两示意图之间的距离大于或等于阈值距离。

可选地,作为第一方面的第五种可能的实现方式,所述获取选定的音频,以及所述音频中各时间节点对应的标准动作之后,还包括:

展示倒计时界面,并开始倒计时;

当倒计时结束时,开始播放所述音频。

可选地,作为第一方面的第六种可能的实现方式,所述识别在所述标准动作的展示过程中采集到的视频画面帧中的人体动作之后,还包括:

根据所述人体动作与所述标准动作之间的差异程度是否大于差异阈值,判断所述人体动作与所述标准动作是否匹配。

可选地,作为第一方面的第七种可能的实现方式,所述若所述人体动作与所述标准动作匹配之后,还包括:

根据所述人体动作与所述标准动作之间的差异程度,生成所述人体动作的动作评价信息。

本发明实施例的视频生成方法,通过获取选定的音频,以及音频中各时间节点对应的标准动作,当开始播放音频时,开始采集视频画面帧;根据预设的提前时长,在音频播放至每一个时间节点之前,开始展示对应的标准动作;识别在标准动作的展示过程中采集到的视频画面帧中的人体动作;在人体动作与标准动作匹配时,结束标准动作的展示过程;当音频播放结束时,根据采集的视频画面帧和音频生成目标视频。本实施例中,由于标准动作为用户需要做出的人体动作,相比于现有技术中用户脚踩箭头的跳舞方式,能够有效丰富跳舞动作,提升用户体验。此外,该视频生成方法可以应用于电子设备中,可以有效提升该方法的适用性。并且,在人体动作与标准动作匹配时,结束标准动作的展示过程,可以降低拍摄界面中展示的标准动作的示意图数量,便于用户进行观看,进一步提升用户的使用体验,用于解决现有体感跳舞游戏主要应用于固定设备上,例如体感跳舞机、电脑等,便携性较差。此外,对用户身体动作的判断,是通过确定用户脚踩的箭头方向正确与否,跳舞的方式较为单一的技术问题。

为达上述目的,本发明第二方面实施例提出了一种视频生成装置,包括:

选择模块,用于获取选定的音频,以及所述音频中各时间节点对应的标准动作;

采集模块,用于当开始播放所述音频时,开始采集视频画面帧;

展示模块,用于根据预设提前时长,在所述音频播放至每一个时间节点之前,开始展示对应的标准动作;

识别模块,用于识别在所述标准动作的展示过程中采集到的视频画面帧中的人体动作;

控制模块,用于在所述人体动作与所述标准动作匹配时,结束所述标准动作的展示过程;

生成模块,用于当所述音频播放结束时,根据采集的视频画面帧和所述音频生成目标视频。

可选地,作为第二方面的第一种可能的实现方式,所述展示模块,包括:

处理子模块,用于针对每一个时间节点,将所述时间节点与所述提前时长之差,作为起始时刻;

控制子模块,用于从所述起始时刻开始,展示所述标准动作的示意图,并控制所述标准动作的示意图沿预设轨迹移动。

可选地,作为第二方面的第二种可能的实现方式,所述展示模块,还包括:

停止子模块,用于当所述标准动作的示意图移动至所述预设轨迹终点时,若未识别到与所述标准动作匹配的人体动作,停止展示所述标准动作的示意图。

可选地,作为第二方面的第三种可能的实现方式,所述控制子模块,具体用于:

从多个待选轨迹中,确定用于对所述标准动作的示意图进行展示的预设轨迹;所述预设轨迹不同于相邻时间节点对应标准动作的示意图进行展示的轨迹;

控制所述标准动作的示意图,以预设速度和方向,沿所述预设轨迹移动。

可选地,作为第二方面的第四种可能的实现方式,所述控制子模块,还用于:

在所述预设轨迹存在正在展示的示意图时,根据所述预设轨迹中,正在展示的示意图的数量和预设轨迹的长度,缩小所述预设轨迹正在展示的示意图以及所述标准动作的示意图的尺寸,以使所述预设轨迹中相邻两示意图之间的距离大于或等于阈值距离。

可选地,作为第二方面的第五种可能的实现方式,所述装置还包括:

展示播放模块,用于在所述获取选定的音频,以及所述音频中各时间节点对应的标准动作之后,展示倒计时界面,并开始倒计时,当倒计时结束时,开始播放所述音频。

可选地,作为第二方面的第六种可能的实现方式,所述装置还包括:

判断模块,用于在所述识别在所述标准动作的展示过程中采集到的视频画面帧中的人体动作之后,根据所述人体动作与所述标准动作之间的差异程度是否大于差异阈值,判断所述人体动作与所述标准动作是否匹配。

可选地,作为第二方面的第七种可能的实现方式,所述装置还包括:

评价信息生成模块,用于在人体动作与所述标准动作匹配之后,根据所述人体动作与所述标准动作之间的差异程度,生成所述人体动作的动作评价信息。

本发明实施例的视频生成装置,通过获取选定的音频,以及音频中各时间节点对应的标准动作,当开始播放音频时,开始采集视频画面帧;根据预设的提前时长,在音频播放至每一个时间节点之前,开始展示对应的标准动作;识别在标准动作的展示过程中采集到的视频画面帧中的人体动作;在人体动作与标准动作匹配时,结束标准动作的展示过程;当音频播放结束时,根据采集的视频画面帧和音频生成目标视频。本实施例中,由于标准动作为用户需要做出的人体动作,相比于现有技术中用户脚踩箭头的跳舞方式,能够有效丰富跳舞动作,提升用户体验。此外,该视频生成方法可以应用于电子设备中,可以有效提升该方法的适用性。并且,在人体动作与标准动作匹配时,结束标准动作的展示过程,可以降低拍摄界面中展示的标准动作的示意图数量,便于用户进行观看,进一步提升用户的使用体验,用于解决现有体感跳舞游戏主要应用于固定设备上,例如体感跳舞机、电脑等,便携性较差。此外,对用户身体动作的判断,是通过确定用户脚踩的箭头方向正确与否,跳舞的方式较为单一的技术问题。

为达上述目的,本发明第三方面实施例提出了一种电子设备,包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行本发明第一方面实施例所述的视频生成方法。

为达上述目的,本发明第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如本发明第一方面实施例所述的视频生成方法。

本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明实施例所提供的第一种视频生成方法的流程示意图;

图2为本发明实施例所提供的第二种视频生成方法的流程示意图;

图3为本发明实施例所提供的第三种视频生成方法的流程示意图;

图4为本发明实施例提供的一种视频生成装置的结构示意图;

图5为本发明实施例提供的另一种视频生成装置的结构示意图;

图6为本发明电子设备一个实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。

针对现有体感跳舞游戏主要应用于固定设备上,例如体感跳舞机、电脑等,便携性较差。此外,对用户身体动作的判断,是通过确定用户脚踩的箭头方向正确与否,跳舞的方式较为单一的技术问题,本发明实施例中,通过获取选定的音频,以及音频中各时间节点对应的标准动作,当开始播放音频时,开始采集视频画面帧;根据预设的提前时长,在音频播放至每一个时间节点之前,开始展示对应的标准动作;识别在标准动作的展示过程中采集到的视频画面帧中的人体动作;在人体动作与标准动作匹配时,结束标准动作的展示过程;当音频播放结束时,根据采集的视频画面帧和音频生成目标视频。本实施例中,由于标准动作为用户需要做出的人体动作,相比于现有技术中用户脚踩箭头的跳舞方式,能够有效丰富跳舞动作,提升用户体验。此外,该视频生成方法可以应用于电子设备中,可以有效提升该方法的适用性。并且,在人体动作与标准动作匹配时,结束标准动作的展示过程,可以降低拍摄界面中展示的标准动作的示意图数量,便于用户进行观看,进一步提升用户的使用体验。

下面参考附图描述本发明实施例的视频生成方法、装置和电子设备。该视频生成方法可以应用于电子设备的应用程序中,其中,电子设备例如为个人电脑(personalcomputer,pc),云端设备或者移动设备,移动设备例如智能手机,或者平板电脑等。

图1为本发明实施例所提供的第一种视频生成方法的流程示意图。

如图1所示,该视频生成方法包括以下步骤:

步骤101,获取选定的音频,以及音频中各时间节点对应的标准动作。

作为一种可能的实现方式,电子设备的应用程序上可以设置一个音频选取的触发条件,例如,触发条件可以为一个音频选取控件,用户可以通过该音频选取控件触发选取音频。例如,当用户触发该音频选取控件时,可以调用歌曲选择界面,而后用户可以从歌曲选择界面任意选取一个音频,作为自身选定的音频。当用户选定音频后,应用程序可以获取用户选定的音频。

作为另一种可能的实现方式,电子设备的应用程序上可以设置一个拍摄控件,当应用程序探测到用户针对该拍摄控件的操作时,例如,当用户点击该拍摄控件时,该应用程序的界面可以自动展示歌曲选择界面,而后用户可以从歌曲选择界面任意选取一个音频,作为自身选定的音频。当用户选定音频后,应用程序可以获取用户选定的音频。

本实施例中,歌曲选择界面中的音频,可以预先导入对应的标准动作,具体地,音频中每个时间节点均具有对应的标准动作,因此,在应用程序获取选定的音频后,该应用程序可以从该音频中获取各时间节点对应的标准动作。

步骤102,当开始播放音频时,开始采集视频画面帧。

可选地,在拍摄界面,当用户选定音频后,电子设备可以根据用户的操作对该音频进行播放,例如,当电子设备监测到用户点击该音频时,电子设备可以播放该音频,同时打开摄像头,采集各视频画面帧。

步骤103,根据预设的提前时长,在音频播放至每一个时间节点之前,开始展示对应的标准动作。

可以理解的是,用户从看到标准动作到做出人体动作,大脑需要反应一段时间,因此,本发明实施例中,为了便于用户及时做出人体动作,可以在音频播放至每一个时间节点之前,提前预设的提前时长,展示对应的标准动作。其中,预设的提前时长可以由用户根据自身需求进行设置,或者,预设的提前时长可以由电子设备的内置程序预先设定,对此不作限制。应当理解的是,预设的提前时长不应设置的过长,例如预设的提前时长可以为0.2s。

具体地,可以针对每一个时间节点,将时间节点与提前时长作差,得到差值,而后将差值作为起始时刻,进而可以从起始时刻开始,展示标准动作的示意图。

作为一种可能的实现方式,可以在拍摄界面的任意区域展示标准动作的示意图,该标准动作的示意图可以是固定不动的,或者,该标准动作的示意图可以沿预设轨迹移动,对此不作限制。其中,预设轨迹可以为电子设备的内置程序预先设置的。

作为另一种可能的实现方式,为了不影响用户查看电子设备屏幕上内容的同时,用户又能观看标准动作,本实施例中,可以在拍摄界面,展示半透明蒙版,其中,蒙版具有镂空的关注区,关注区内展示有用于示意标准动作的图像,即在关注区内展示标准动作的示意图。或者,可以在拍摄界面以弹幕的形式展示对应的标准动作,对此不作限制。

当标准动作的示意图沿预设轨迹移动时,在拍摄界面展示标准动作的示意图的同时,可以控制该标准动作的示意图沿预设轨迹移动。

步骤104,识别在标准动作的展示过程中采集到的视频画面帧中的人体动作。

作为一种可能的实现方式,用于采集视频画面帧的摄像头可以为能够采集用户深度信息的摄像头,通过获取的深度信息,可以识别出视频画面帧中的人体动作。例如,该摄像头可以为深度摄像头(red-green-bluedepth,rgbd),成像的同时可以获取视频画面帧中人体的深度信息,从而根据深度信息可以识别视频画面帧中的人体动作。此外,还可以通过结构光或者tof镜头进行人体动作深度信息的获取,从而根据深度信息可以识别视频画面帧中的人体动作,对此不作限制。

作为另一种可能的实现方式,可以识别视频画面帧中人体的各关节,例如,可以根据人脸识别技术识别出视频画面帧中的人脸以及人脸的位置信息,而后根据人体解剖学中肢体与身高的比例关系,可计算得到人体各关节的位置信息。当然也可以通过其他算法确定视频画面帧中人体的各关节的位置信息,对此不作限制。

在识别各关节后,可以连接人体各关节相邻的两关节,得到相邻两关节之间的连线,最后根据相邻两关节之间的连线与预设参考方向之间的实际夹角,确定视频画面帧中的人体动作。其中,预设参考方向可以为水平方向或者垂直方向。

步骤105,若人体动作与标准动作匹配,结束标准动作的展示过程。

本发明实施例中,可以预先判断视频画面帧中的人体动作是否与标准动作匹配,当人体动作与标准动作匹配时,结束标准动作的展示过程。由此,可以降低拍摄界面中展示的标准动作示意图的数量,便于用户进行观看,提升用户的使用体验。

作为一种可能的实现方式,可以根据人体动作与标准动作之间的差异程度是否大于差异阈值,判断人体动作与标准动作是否匹配。具体地,可以确定在执行标准动作时,各相邻两关节之间的连线与参考方向之间的标准角度,针对每一条相邻两关节之间的连线,比较对应的标准角度与实际角度之间的差值。当每一条相邻两关节之间的连线计算出的差值均在误差范围内时,可以确定视频画面帧中的人体动作与标准动作匹配,而当存在至少一条相邻两关节之间的连线计算出的差值未处于误差范围内时,可以确定视频画面帧中的人体动作与标准动作不匹配。

可选地,在人体动作与标准动作匹配时,表明用户做出的人体动作与对应的标准动作之间的差异程度较小,此时,可以结束标准动作的展示过程,以进行下一个时间节点对应的标准动作的展示。

步骤106,当音频播放结束时,根据采集的视频画面帧和音频生成目标视频。

本发明实施例中,当拍摄界面的音频播放结束时,应用程序可以根据采集的全部视频画面帧和音频生成目标视频。具体地,当拍摄界面展示音频的最后一个时间节点对应的标准动作时,摄像头在该标准动作的展示过程中采集视频画面帧,若视频画面帧中的人体动作与该标准动作匹配,则可以结束该标准动作的展示过程,而后应用程序可以根据采集的全部视频画面帧和音频生成目标视频。

本实施例的视频生成方法,通过获取选定的音频,以及音频中各时间节点对应的标准动作,当开始播放音频时,开始采集视频画面帧;根据预设的提前时长,在音频播放至每一个时间节点之前,开始展示对应的标准动作;识别在标准动作的展示过程中采集到的视频画面帧中的人体动作;在人体动作与标准动作匹配时,结束标准动作的展示过程;当音频播放结束时,根据采集的视频画面帧和音频生成目标视频。本实施例中,由于标准动作为用户需要做出的人体动作,相比于现有技术中用户脚踩箭头的跳舞方式,能够有效丰富跳舞动作,提升用户体验。此外,该视频生成方法可以应用于电子设备中,可以有效提升该方法的适用性。并且,在人体动作与标准动作匹配时,结束标准动作的展示过程,可以降低拍摄界面中展示的标准动作的示意图数量,便于用户进行观看,进一步提升用户的使用体验,用于解决现有体感跳舞游戏主要应用于固定设备上,例如体感跳舞机、电脑等,便携性较差。此外,对用户身体动作的判断,是通过确定用户脚踩的箭头方向正确与否,跳舞的方式较为单一的技术问题。

为了清楚说明上一实施例,本实施例提供了另一种视频生成方法,图2为本发明实施例所提供的另一种视频生成方法的流程示意图。

如图2所示,该视频生成方法可以包括以下步骤:

步骤201,获取选定的音频,以及音频中各时间节点对应的标准动作。

步骤202,当开始播放音频时,开始采集视频画面帧。

步骤201~202的执行过程可以参见上述实施例中步骤101~102的执行过程,在此不做赘述。

步骤203,针对每一个时间节点,将时间节点与提前时长之差,作为起始时刻。

例如,当某个时间节点为a时,标记预设的提前时长为t,则该时间节点对应的起始时刻为a-t。

步骤204,从起始时刻开始,展示标准动作的示意图。

步骤204的执行过程可以参见上述实施例中步骤103的执行过程,在此不做赘述。

步骤205,从多个待选轨迹中,确定用于对标准动作的示意图进行展示的预设轨迹。

本发明实施例中,拍摄界面可以有多个待选轨迹,每个轨迹用于展示不同时间节点对应的标准动作的示意图,其中,预设轨迹不同于相邻时间节点对应标准动作的示意图进行展示的轨迹,由此可以实现在拍摄界面同时展示多个标准动作的示意图。

具体实现时,可以从多个待选轨迹中,确定用于对标准动作的示意图进行展示的预设轨迹。举例而言,当拍摄界面共有3个待选轨迹时,分别为:轨迹1、轨迹2以及轨迹3,轨迹1展示时间节点n对应的标准动作的示意图,轨迹2展示时间节点n+1对应的标准动作的示意图,若当前时间节点为时间节点n+2,则当前时间节点对应的标准动作的示意图可以展示在轨迹3,或者展示在轨迹1,即预设轨迹可以为轨迹1或者轨迹3,从而该预设轨迹可以不同于相邻时间节点,即节点n+1对应标准动作的示意图进行展示的轨迹可以不同于轨迹2。

步骤206,判断预设轨迹是否存在正在展示的示意图,若是,执行步骤207,否则,执行步骤208。

步骤207,当预设轨迹中相邻两示意图之间的距离小于阈值距离时,根据预设轨迹中,正在展示的示意图的数量和预设轨迹的长度,缩小预设轨迹正在展示的示意图以及标准动作的示意图的尺寸,以使预设轨迹中相邻两示意图之间的距离大于或等于阈值距离。

本发明实施例中,为了便于用户查看标准动作的示意图,保证标准动作的展示效果,预设轨迹中相邻两示意图之间的距离大于或等于阈值距离,其中,阈值距离可以由电子设备的内置程序预先设置。

可以理解的是,当拍摄界面上的预设轨迹存在正在展示的示意图时,为了便于展示标准动作的示意图,可以根据预设轨迹中,正在展示的示意图的数量和预设轨迹的长度,自动缩小预设轨迹正在展示的示意图以及标准动作的示意图的尺寸,以使预设轨迹中相邻两示意图之间的距离大于或等于阈值距离,从而可以实现在预设轨迹中,同时展示多张示意图,避免相邻两示意图交叠的情况出现,保证标准动作的展示效果。

步骤208,控制标准动作的示意图,以预设速度和方向,沿预设轨迹移动。

本发明实施例中,预设速度可以由电子设备的内置程序预先设置,例如预设速度可以为0.3像素每秒。

当确定用于对标准动作的示意图进行展示的预设轨迹时,可以控制标准动作的示意图,以预设速度和方向,沿预设轨迹移动。

步骤209,判断人体动作与标准动作是否匹配,若是,执行步骤210,否则,执行步骤211。

本发明实施例中,在标准动作的示意沿预设轨迹移动时,可以根据人体动作与标准动作之间的差异程度是否大于差异阈值,判断人体动作与标准动作是否匹配。具体地,可以参见上述实施例中步骤105的描述,在此不做赘述。

当人体动作与标准动作匹配时,可以触发步骤210,而当人体动作与标准动作不匹配时,可以执行步骤211。

步骤210,结束标准动作的展示过程。

可选地,在标准动作的示意图移动的过程中,若识别出人体动作与标准动作匹配,表明用户做出的人体动作与对应的标准动作之间的差异程度,此时,可以立即结束标准动作的展示过程,以进行下一个时间节点对应的标准动作的展示。

步骤211,当标准动作的示意图移动至预设轨迹终点时,判断是否识别到与标准动作匹配的人体动作,若是,执行步骤210,否则,执行步骤212。

步骤212,停止展示标准动作的示意图。

可选地,当标准动作的示意图移动至预设轨迹终点时,若未识别到与标准动作匹配的人体动作,此时,为了使用户及时做出下一个时间节点对应的标准动作,保证最终生成的视频的连续性,本发明实施例中,可以停止展示标准动作的示意图。

步骤213,根据人体动作与标准动作之间的差异程度,生成人体动作的动作评价信息。

本发明实施例中,人体动作的动作评价信息包括人体动作分值,用于指示人体动作与对应的标准动作之间的差异程度,具体地,人体动作分值越高,表明人体动作与对应的标准动作之间的差异程度越小,而人体动作分值越低,表明人体动作与对应的标准动作之间的差异程度越大。

具体地,当视频画面帧中的人体动作与标准动作不匹配时,可以将用户做出的人体动作得到的评分置0,而当视频画面帧中的人体动与标准动作匹配时,可以针对每一条相邻两关节之间的连线,根据对应的差值和误差范围,确定连线的评分系数,例如,标记误差范围为[a,b],误差为δ,可以根据公式p=1-[2δ/(a-b)],计算得到连线的评分系数p,或者可以根据其他算法计算连线的评分系数,对此不作限制。当得到连线的评分系数后,可以根据连线的评分系数和连线对应的分值,生成连线的评价信息,例如,连线的评价信息可以等于该连线的评分系数乘以连线对应的分值。最后,可以通过将各条相邻两关节之间的连线的评价信息相加,得到人体动作的动作评价信息。

进一步地,人体动作的动作评价信息还可以包括人体动作分值所属区间对应的动画效果。例如,当人体动作分值满分为100时,若人体动作分值所属的区间[90,100],动画效果可以为“完美或perfect”并搭配钻石闪烁,所属的区间[80,90),动画效果可以为“很好或good”并搭配鲜花闪烁。

举例而言,根据时间节点a的标准动作与人体动作之间的差异程度,生成的人体动作分值为94分,在拍摄界面生成的动画效果为“perfect”并搭配钻石闪烁。由此,可以使得用户及时了解自己做出的人体动作是否标准,从而提升了用户的代入感。

步骤214,当音频播放结束时,根据音频、各视频画面帧和各人体动作的动作评价信息,生成目标视频。

本发明实施例中,当音频播放结束时,可以获取不同时间节点对应的人体动作的动作评价信息,而后根据该音频、获取的各视频画面帧和对应的人体动作的动作评价信息,生成目标视频。

作为一种可能的实现方式,可以根据各视频画面帧所识别出的人体动作,在各视频画面帧中,添加相应人体动作的动作评价信息,而后根据所述音频和添加所述动作评价信息后的视频画面帧,生成所述目标视频。

本实施例的视频生成方法,通过获取选定的音频,以及音频中各时间节点对应的标准动作,当开始播放音频时,开始采集视频画面帧;根据预设的提前时长,在音频播放至每一个时间节点之前,开始展示对应的标准动作;识别在标准动作的展示过程中采集到的视频画面帧中的人体动作;在人体动作与标准动作匹配时,结束标准动作的展示过程;当音频播放结束时,根据采集的视频画面帧和音频生成目标视频。本实施例中,由于标准动作为用户需要做出的人体动作,相比于现有技术中用户脚踩箭头的跳舞方式,能够有效丰富跳舞动作,提升用户体验。此外,该视频生成方法可以应用于电子设备中,可以有效提升该方法的适用性。并且,在人体动作与标准动作匹配时,结束标准动作的展示过程,可以降低拍摄界面中展示的标准动作的示意图数量,便于用户进行观看,进一步提升用户的使用体验,用于解决现有体感跳舞游戏主要应用于固定设备上,例如体感跳舞机、电脑等,便携性较差。此外,对用户身体动作的判断,是通过确定用户脚踩的箭头方向正确与否,跳舞的方式较为单一的技术问题。

作为一种可能的实现方式,参见图3,在图1和图2所示实施例的基础上,在步骤101或者201之后,该视频生成方法还可以包括以下步骤:

步骤301,展示倒计时界面,并开始倒计时。

可选地,为了给用户留有准备时间,本发明实施例中,在用户选定音频后,电子设备的应用程序可以展示倒计时界面,并开始倒计时。其中,倒计时时间可以由用户根据自身需求进行设置,或者,倒计时时间可以由电子设备的内置程序预先设置,在此不做限制。例如,倒计时时间可以为3s。

步骤302,当倒计时结束时,开始播放音频。

可选地,当倒计时界面上倒计时结束时,可以播放音频。

本实施例的视频生成方法,通过展示倒计时界面,并开始倒计时,当倒计时结束时,开始播放音频。由此,可以实现在倒计时时间段内,用户可以调整自身的状态,从而更好地做出与标准动作匹配的人体动作。

为了实现上述实施例,本发明还提出一种视频生成装置。

图4为本发明实施例提供的一种视频生成装置的结构示意图。

如图4所示,该视频生成装置400包括:选择模块410、采集模块420、展示模块430、识别模块440、控制模块450,以及生成模块460。其中,

选择模块410,用于获取选定的音频,以及音频中各时间节点对应的标准动作。

采集模块420,用于当开始播放音频时,开始采集视频画面帧。

展示模块430,用于根据预设提前时长,在音频播放至每一个时间节点之前,开始展示对应的标准动作。

识别模块440,用于识别在标准动作的展示过程中采集到的视频画面帧中的人体动作。

控制模块450,用于在人体动作与标准动作匹配时,结束标准动作的展示过程。

生成模块460,用于当音频播放结束时,根据采集的视频画面帧和音频生成目标视频。

进一步地,作为本发明实施例的一种可能的实现方式,参见图5,在图4所示实施例的基础上,该视频生成装置400还可以包括:

展示播放模块470,用于在获取选定的音频,以及音频中各时间节点对应的标准动作之后,展示倒计时界面,并开始倒计时,当倒计时结束时,开始播放音频。

判断模块480,用于在识别在标准动作的展示过程中采集到的视频画面帧中的人体动作之后,根据人体动作与标准动作之间的差异程度是否大于差异阈值,判断人体动作与标准动作是否匹配。

评价信息生成模块490,用于在人体动作与标准动作匹配之后,根据人体动作与标准动作之间的差异程度,生成人体动作的动作评价信息。

本发明实施例中,展示模块430,包括:

处理子模块431,用于针对每一个时间节点,将时间节点与提前时长之差,作为起始时刻。

控制子模块432,用于从起始时刻开始,展示标准动作的示意图,并控制标准动作的示意图沿预设轨迹移动。

作为一种可能的实现方式,控制子模块432,具体用于从多个待选轨迹中,确定用于对标准动作的示意图进行展示的预设轨迹;预设轨迹不同于相邻时间节点对应标准动作的示意图进行展示的轨迹;控制标准动作的示意图,以预设速度和方向,沿预设轨迹移动。

可选地,控制子模块432,还用于在预设轨迹存在正在展示的示意图时,根据预设轨迹中,正在展示的示意图的数量和预设轨迹的长度,缩小预设轨迹正在展示的示意图以及标准动作的示意图的尺寸,以使预设轨迹中相邻两示意图之间的距离大于或等于阈值距离。

停止子模块433,用于当标准动作的示意图移动至预设轨迹终点时,若未识别到与标准动作匹配的人体动作,停止展示标准动作的示意图。

需要说明的是,前述对视频生成方法实施例的解释说明也适用于该实施例的视频生成装置400,此处不再赘述。

本实施例的视频生成装置,通过获取选定的音频,以及音频中各时间节点对应的标准动作,当开始播放音频时,开始采集视频画面帧;根据预设的提前时长,在音频播放至每一个时间节点之前,开始展示对应的标准动作;识别在标准动作的展示过程中采集到的视频画面帧中的人体动作;在人体动作与标准动作匹配时,结束标准动作的展示过程;当音频播放结束时,根据采集的视频画面帧和音频生成目标视频。本实施例中,由于标准动作为用户需要做出的人体动作,相比于现有技术中用户脚踩箭头的跳舞方式,能够有效丰富跳舞动作,提升用户体验。此外,该视频生成方法可以应用于电子设备中,可以有效提升该方法的适用性。并且,在人体动作与标准动作匹配时,结束标准动作的展示过程,可以降低拍摄界面中展示的标准动作的示意图数量,便于用户进行观看,进一步提升用户的使用体验,用于解决现有体感跳舞游戏主要应用于固定设备上,例如体感跳舞机、电脑等,便携性较差。此外,对用户身体动作的判断,是通过确定用户脚踩的箭头方向正确与否,跳舞的方式较为单一的技术问题。

本发明实施例还提供一种电子设备,电子设备包含前述任一实施例所述的装置。

图6为本发明电子设备一个实施例的结构示意图,可以实现本发明图1-5所示实施例的流程,如图6所示,上述电子设备可以包括:壳体41、处理器42、存储器43、电路板44和电源电路45,其中,电路板44安置在壳体41围成的空间内部,处理器42和存储器43设置在电路板44上;电源电路45,用于为上述电子设备的各个电路或器件供电;存储器43用于存储可执行程序代码;处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述任一实施例所述的视频生成方法。

处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤,可以参见本发明图1-5所示实施例的描述,在此不再赘述。

该电子设备以多种形式存在,包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机,以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等,例如ipad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子设备。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。

以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

为了实现上述实施例,本发明还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如前述实施例所述的视频生成方法。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。

应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。

此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1