互动配音方法、装置、电子设备及可读存储介质与流程

文档序号:19605617发布日期:2020-01-03 13:30阅读:148来源:国知局
互动配音方法、装置、电子设备及可读存储介质与流程

本申请涉及数据处理技术领域,具体而言,涉及一种互动配音方法、装置、电子设备及可读存储介质。



背景技术:

随着互联网技术的发展,用户所能接触到的数据也越来越多。视频作为生活中常见的一种数据形式,被人们在日常生活中广泛地运用。目前,市面上有许多软件可以让人们可以直接对视频进行配音改造,从而使得视频更符合用户需要。但是目前的配音方式都是由单个用户进行配音,不能实现多终端设备之间的配音互动,这就导致配音过程较为死板、枯燥。



技术实现要素:

本申请实施例的目的在于提供一种互动配音方法、装置、电子设备及可读存储介质,用以解决目前没有多用户之间的配音互动的相关技术的问题。

本申请实施例提供了一种互动配音方法,应用于第一用户的第一配音终端上,包括:在接收到配音请求时,获取不含音频数据的待配音视频;在接收到对端设备发来的配音指示信息时,显示配音触发信息;所述配音指示信息表征第二用户已对所述待配音视频中的当前待配音片段配音完毕;在所述配音触发信息被触发时,播放所述待配音视频中,所述当前待配音片段的下一待配音片段,并采集所述第一用户的配音数据;将所述配音数据发送给所述对端设备。

在上述实现过程中,第一配音终端在接收到表征第二用户已对待配音视频中的当前待配音片段配音完毕的配音指示信息后,即可显示配音触发信息以告知第一用户可以对下一待配音片段进行配音了。在第一用户触发了该配音触发信息后,即可播放所述待配音视频中,所述当前待配音片段的下一待配音片段,并采集配音数据。这样,对于同一视频,可以通过不同配音终端来相互配合进行配音,实现了多个用户之间的配音互动,提升了配音过程的趣味性。

此外,本申请实施例的方案可以应用于口语学习过程中,即提供外文视频供用户进行配音。此时可以实现多用户之间的学习互动,提升了口语学习的趣味性,从而在一定程度上提高了向用户的学习效果。

进一步地,在所述获取不含配音数据的待配音视频之前,还包括:接收角色选择指令;根据所述角色选择指令确定所述第一配音终端对应的待配音片段;所述下一待配音片段为所述第一配音终端对应的待配音片段中的一个片段。

在上述实现过程中,用户可以通过对第一配音终端下发角色选择指令,从而实现对视频中的角色的选择。而第一配音终端基于角色选择指令,即可从待配音视频中确定出自身所对应需要配音的片段有哪些,从而便于进行待配音片段的管理。

进一步地,所述对端设备发来的配音指示信息包括:所述待配音视频中,所述当前待配音片段的音频数据;所述在接收到对端设备发来的配音指示信息时,显示配音触发信息包括:播放所述当前待配音片段以及所述当前待配音片段的音频数据,并在播放完毕后显示所述配音触发信息。

在上述实现过程中,配音指示信息中可以包括第二配音终端采集的当前待配音片段的音频数据,并在显示配音触发信息之前,先播放当前待配音片段以及当前待配音片段的音频数据,从而使得第一用户得以知晓第二用户的配音效果,同时也能使得第一用户对下一待配音片段进行配音时,能够与之前的视频内容连贯起来,从而提升用户的配音体验。

进一步地,在接收对端设备发来的配音指示信息之前,还包括:获取所述待配音视频对应的原始音频数据;在所述采集第一用户的配音数据之后,将所述配音数据发送给所述对端设备之前,还包括:将采集到的所述配音数据与所述原始音频数据进行比对,根据比对结果确定所述配音数据的评分,并显示所述评分。

在实际应用中,本申请实施例的方案可以用于口语学习。在上述实现过程中,可以将用户的配音数据与原始音频数据进行比对,并给出评分,从而可以让用户了解到自己本次配音的口语水平,从而进行相应的调整,达到提升自己口语水平的效果。

本申请实施例还提供了一种互动配音方法,应用于配音服务器上,包括:在接收到第一配音终端发来的待配音视频中当前待配音片段的配音数据,且所述待配音视频中存在下一待配音片段时,确定所述下一待配音片段所对应的第二配音终端;所述第一配音终端和所述第二配音终端为配音任务中的配音终端;所述配音任务是为所述待配音视频进行配音的任务;向所述第二配音终端发送配音指示信息,以使所述第二配音终端采集所述下一待配音片段的配音数据。

在上述实现过程中,配音服务器在接收到第一配音终端发来的待配音视频中当前待配音片段的配音数据,且待配音视频中存在下一待配音片段时,即可确定下一待配音片段所对应的第二配音终端,并向第二配音终端发送配音指示信息,以使第二配音终端采集下一待配音片段的配音数据。这样,通过配音服务器的不断中转协调,即可使得待配音视频成功的被多个配音终端协同完成配音,实现了多个用户之间的配音互动,提升了配音过程的趣味性。

此外,本申请实施例的方案可以应用于口语学习过程中,即提供外文视频供用户进行配音。此时可以实现多用户之间的学习互动,提升了口语学习的趣味性,从而在一定程度上提高了向用户的学习效果。

进一步的,在接收到所述第一配音终端发来的所述待配音视频中当前待配音片段的配音数据时,还包括:向所述配音任务中除所述第一配音终端外的所有配音终端发送所述当前待配音片段的配音数据。

在上述实现过程中,通过向配音任务中除第一配音终端外的所有配音终端发送当前待配音片段的配音数据,可以使得配音任务中的所有配音终端都能获取到第一配音终端对当前待配音片段的配音数据,从而使得所有参与配音任务的配音终端的用户都能知道第一用户的配音效果,从而提升方案的互动性和趣味性,在一定程度上提升配音效果。

进一步的,在接收到所述第一配音终端发来的所述待配音视频中当前待配音片段的配音数据,且所述待配音视频中不存在下一待配音片段时,所述互动配音方法还包括:通知所述配音任务中的所有配音终端配音完成,以使所述配音任务中的所有配音终端各自将所述待配音视频和获取到的配音数据进行合成,得到目标配音视频;或,通知所述配音任务中的第三配音终端配音完成,以使所述第三配音终端将所述待配音视频和获取到的配音数据进行合成,得到目标配音视频;接收所述第三配音终端上报的目标配音视频,并向所述配音任务中除所述第三配音终端外的所有配音终端发送所述目标配音视频。

在上述实现过程中,可以将待配音视频与各个配音终端采集到的配音数据合成,从而得到目标配音视频。这样,通过目标配音视频可以很直观的体现出各个配音参与者的配音水平,同时也可以供用户自己回顾和分享,从而进一步提升本申请方案的趣味性。

进一步的,在接收到所述第一配音终端发来的所述待配音视频中当前待配音片段的配音数据,且所述待配音视频中不存在下一待配音片段时,所述互动配音方法还包括:将所述待配音视频和所述配音数据进行合成,得到目标配音视频;向所述配音任务中的所有配音终端发送所述目标配音视频。

在上述实现过程中,配音服务器可以将待配音视频与各个配音终端采集到的配音数据合成,从而得到目标配音视频并发送给配音任务中的所有配音终端。这样,通过目标配音视频可以很直观的体现出各个配音参与者的配音水平,同时也可以供用户自己回顾和分享,从而进一步提升本申请方案的趣味性。

进一步的,所述将所述待配音视频和所述配音数据进行合成之前,还包括:通知所述配音任务中的所有配音终端配音完成,并确定接收到所述配音任务中的任一配音终端发来的视频合成请求。

在上述实现过程中,在对所有待配音片段都进行了配音后,可以通知所有配音终端配音完成,并在接收到配音任务中的任一配音终端发来的视频合成请求后,才进行视频合成请求得到目标配音视频,从而提升了本申请方案的可管控性。

进一步的,在接收到所述第一配音终端发来的所述待配音视频中当前待配音片段的配音数据时,还包括:将所述当前待配音片段的配音数据与预存的所述待配音视频的原始音频数据进行比对,根据比对结果确定所述配音数据的评分,并向所述第一配音终端发送所述评分。

在实际应用中,本申请实施例的方案可以用于口语学习。在上述实现过程中,可以将第一配音终端的配音数据与原始音频数据进行比对,并返回评分,从而可以让用户了解到自己本次配音的口语水平,从而进行相应的调整,达到提升自己口语水平的效果。

进一步的,在确定所述当前待配音片段的下一待配音片段所对应的第二配音终端之前,还包括:确定接收到所述第一配音终端发来的评分接受指令。

在上述实现过程中,可以使得在用户认可本次配音效果后,才进行后续片段的配音,从而提升了配音效果。

本申请实施例还提供了一种互动配音装置,应用于第一用户的第一配音终端上,包括:第一接收模块、获取模块、显示模块、播放模块、采集处理模块和第一发送模块;所述第一接收模块用于接收配音请求,以及用于接收对端设备发来的配音指示信息;所述获取模块用于在接收到配音请求时,获取不含音频数据的待配音视频;所述显示模块用于在接收到所述对端设备发来的配音指示信息时,显示配音触发信息;所述配音指示信息表征第二用户已对所述待配音视频中的当前待配音片段配音完毕;所述播放模块用于在所述配音触发信息被触发时,播放所述待配音视频中,所述当前待配音片段的下一待配音片段;所述采集处理模块用于采集所述第一用户的配音数据;所述第一发送模块用于将所述配音数据发送给所述对端设备。

在上述实现过程中,在接收到表征第二用户已对待配音视频中的当前待配音片段配音完毕的配音指示信息后,即可显示配音触发信息以告知第一用户可以对下一待配音片段进行配音了。在第一用户触发了该配音触发信息后,即可播放所述待配音视频中,所述当前待配音片段的下一待配音片段,并采集第一用户的配音数据。这样,对于同一视频,可以通过不同配音终端来相互配合进行配音,实现了多个用户之间的配音互动,提升了配音过程的趣味性。

此外,本申请实施例的方案可以应用于口语学习过程中,即提供外文视频供用户进行配音。此时可以实现多用户之间的学习互动,提升了口语学习的趣味性,从而在一定程度上提高了向用户的学习效果。

本申请实施例还提供了一种互动配音装置,应用于配音服务器上,包括:第二接收模块、第二发送模块和处理模块;所述第二接收模块用于接收第一配音终端发来的待配音视频中当前待配音片段的配音数据;所述处理模块用于在接收到第一配音终端发来的待配音视频中当前待配音片段的配音数据,且所述待配音视频中存在下一待配音片段时,确定所述下一待配音片段所对应的第二配音终端;所述第一配音终端和所述第二配音终端为配音任务中的配音终端;所述配音任务是为所述待配音视频进行配音的任务;所述第二发送模块用于向所述第二配音终端发送配音指示信息,以使所述第二配音终端采集所述下一待配音片段的配音数据。

在上述实现过程中,在接收到第一配音终端发来的待配音视频中当前待配音片段的配音数据,且待配音视频中存在下一待配音片段时,即可确定下一待配音片段所对应的第二配音终端,并向第二配音终端发送配音指示信息,以使第二配音终端采集下一待配音片段的配音数据。这样,通过配音服务器的不断中转协调,即可使得待配音视频成功的被多个配音终端协同完成配音,实现了多个用户之间的配音互动,提升了配音过程的趣味性。

此外,本申请实施例的方案可以应用于口语学习过程中,即提供外文视频供用户进行配音。此时可以实现多用户之间的学习互动,提升了口语学习的趣味性,从而在一定程度上提高了向用户的学习效果。

本申请实施例还提供了一种电子设备,包括处理器、存储器及通信总线;所述通信总线用于实现处理器和存储器之间的连接通信;所述处理器用于执行存储器中存储的一个或者多个第一程序,以实现上述应用于配音终端上的任一种的互动配音方法;或所述处理器用于执行存储器中存储的一个或者多个第二程序,以实现上述应用于配音服务器上的任一种互动配音方法。

本申请实施例中还提供了一种可读存储介质,所述可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述应用于配音终端上的任一种的互动配音方法;或实现上述应用于配音服务器上的任一种的互动配音方法。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种具有音频服务器的互动配音的流程交互示意图;

图2为本申请实施例提供的一种不具有音频服务器的互动配音的流程交互示意图;

图3为本申请实施例提供的一种角色选择界面示意图;

图4为本申请实施例提供的一种配音触发信息显示界面示意图;

图5为本申请实施例提供的一种评分显示界面示意图;

图6为本申请实施例提供的一种应用于配音终端上的互动配音装置的结构示意图;

图7为本申请实施例提供的一种应用于配音服务器上的互动配音装置的结构示意图;

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。

实施例一:

为了解决目前没有多终端设备之间的配音互动的相关技术的问题,本申请实施例中提供了一种互动配音方法。可以参见图1和图2所示,图1为第一配音终端、第二配音终端、配音服务器三者之间协同实现互动配音的流程示意图;图2为第一配音终端和第二配音终端两者之间协同实现互动配音的流程示意图。

s101:第一配音终端在接收到配音请求时,获取不含音频数据的待配音视频。

在本申请实施例中,第一配音终端在接收到配音请求时,可以邀请相关的配音终端来共同对待配音视频进行配音,从而生成相应的配音任务并通知配音服务器,以使配音服务器知晓本次配音任务的待配音视频具体为哪一个视频以及对应参与本次配音任务的配音终端有哪些。在本申请实施例中,可以通过二维码等方式邀请相关的用户参与本次配音任务。在本申请实施例图1的示例过程中,所邀请的相关用户的配音终端为第二配音终端。

在本申请实施例中,配音请求可以由用户下发,其内包含有被选中的本次用来进行配音的视频标识等信息。在本申请实施例中,待配音视频可以是已存在于第一配音终端本地的视频,但也可以是存在于配音服务器中的视频。对于待配音视频是已存在于第一配音终端本地的视频时,可以在邀请到第二配音终端后,将待配音视频发送给第二配音终端。值得注意的是,本申请实施例的方案可以通过相应的应用程序来实现,而应用程序在下载时可以预先下载一定的视频。对于此种情况,本申请实施例中,第一配音终端只需要将选定的待配音视频的视频标识发送给第二配音终端即可。而对于待配音视频是存在于配音服务器中的视频时,本申请实施例中,第一配音终端可以在生成相应的配音任务后,向配音服务器发送包含该配音任务的视频获取请求,在配音任务中包含有参与配音任务的所有配音终端的信息(如配音终端的ip地址、配音终端对应的用户名等),以及所请求的待配音视频的标识信息。配音服务器在接收到该视频获取请求后,即可根据待配音视频的标识信息查找出所需的待配音视频,并返回给参与配音任务的所有配音终端。值得注意的是,配音服务器返回的待配音视频可以是已经去除音频数据的视频,但也可以是含有音频数据的视频,此时由配音终端对视频进行音频数据的去除处理。

在本申请实施例中,在获取不含配音数据的待配音视频之前,还可以先提供相应的选项接口,以让用户选择配音角色。如参见图3所示的,用户可以通过点击相应的选项从而下发角色选择指令,进而根据角色选择指令确定各配音终端对应的待配音片段。

在本申请实施例中,在确定出各配音终端对应的待配音片段后,需要通知配音服务器,以使得配音服务器能知晓给配音终端所对应的待配音片段。

s102:显示配音触发信息。

s103:在配音触发信息被触发时,播放待配音视频中的当前待配音片段,并采集配音数据。

本申请实施例中会显示配音触发信息,配音触发信息可以是一个触发接口,其被触发后配音终端可以进行配音。例如,参见图4所示,图4中麦克风即为配音触发信息,用户在触击该麦克风后,配音终端即可播放当前待配音片段,并采集配音数据。

值得注意的是,在本申请实施例中,除了在当前待配音片段为待配音视频中的第一个待配音片段时,配音终端会直接显示配音触发信息外,其余情况下,需要在接收到配音服务器发来的配音指示信息才会显示配音触发信息。

在本申请实施例图1的示例中,配音指示信息是配音服务器在接收到某一配音终端上报的配音数据后才下发的指示信息,其可以表征当前待配音片段的上一待配音片段被配音完毕。

在本申请实施例中,配音指示信息可以包含有待配音视频中,当前待配音片段的前一待配音片段的音频数据。从而可以在显示配音触发信息之前,先播放前一待配音片段以及前一待配音片段的音频数据,使得用户对当前待配音片段进行配音时,有更好的剧情代入感。

s104:将采集到的配音数据发送给配音服务器。

s105:配音服务器判断待配音视频中是否存在下一待配音片段;若是,转至步骤s106;否则,转至步骤s111。

s106:确定下一待配音片段所对应的配音终端。

在本申请实施例中,配音服务器会预先收到配音终端发来的配音任务,配音任务中包含有参与配音任务的所有配音终端的信息,以及所请求的待配音视频的标识信息。同时,配音服务器还会获取到各配音终端对应的待配音片段。基于此配音服务器可以查找出下一待配音片段所对应的配音终端。在本申请实施例图1的示例中,设步骤s106确定出的配音终端为第二配音终端。若下一待配音片段所对应的配音终端仍为第一配音终端,则向第一配音终端发送配音指示信息,并转至步骤s102。

s107:向第二配音终端发送配音指示信息。

s108:第二配音终端显示配音触发信息。

s109:在配音触发信息被触发时,播放待配音视频中的当前待配音片段,并采集配音数据。

s110:将采集到的配音数据发送给配音服务器。

在本申请实施例中,配音终端和配音服务器会不断执行上述步骤,直到待配音视频中的所有待配音片段都被配音完毕。

s111:配音服务器生成目标配音视频。

在本申请实施例中,在待配音视频中的所有待配音片段都配音完毕后,配音服务器可以将待配音视频和配音数据进行合成,得到目标配音视频,并向配音任务中的所有配音终端发送目标配音视频。

在本申请实施例的一种可行实施方式中,可以在生成目标配音视频之前,先通知配音任务中的所有配音终端配音完成,同时配音终端中可以提供相应的视频合成与否的确定接口,从而在用户通过该接口确定需要进行视频合成时,音频终端向配音服务器发送来视频合成请求。配音服务器在接收到视频合成请求后再生成目标配音视频。

值得注意的是,在本申请实施例中,对于目标配音视频的合成也可以由配音终端来实现。具体而言,在本申请实施例中,配音服务器在接收到某一配音终端发来的配音数据时,可以向配音任务中除发来该配音数据的配音终端外的所有配音终端发送该配音数据。

此时,可以通知配音任务中的所有配音终端配音完成,各个配音终端在接收到通知后,各自将待配音视频和获取到的配音数据进行合成,得到目标配音视频。

或者,可以通知配音任务中的任意一个配音终端(如可以是通知的第一配音终端)配音完成,该配音终端收到通知后可以将待配音视频和获取到的配音数据进行合成,得到目标配音视频并发送给配音服务器。配音服务器在接收到该配音终端上报的目标配音视频后,可以向配音任务中除该配音终端外的所有配音终端发送目标配音视频。

值得注意的是,在本申请实施例中,除了通过音频服务器来实现互动配音外,还可以通过如wifi等局域网实现无音频服务器参与的多音频终端的互动配音。以图2所示的第一配音终端和第二配音终端实现互动配音的过程为例:

s201:第一配音终端在接收到配音请求时,获取不含音频数据的待配音视频。

与对于图1中的描述类似,第一配音终端在接收到配音请求时,可以邀请相关的配音终端来共同对待配音视频进行配音,从而生成相应的配音任务。配音任务可以通告给参与本次配音任务的所有配音终端,从而使得各配音终端能够知晓本次配音任务的待配音视频具体为哪一个视频以及对应参与本次配音任务的配音终端有哪些。

在无音频服务器参与的多音频终端的互动配音的过程中,待配音视频是已存在参与本次配音任务的至少一个配音终端本地的视频。该视频可以通过所建立的局域网发送给参与本次配音任务的配音终端。值得注意的是,所发送的视频可以是已经去除音频数据的视频,但也可以是含有音频数据的视频,此时由接收端的配音终端对视频进行音频数据的去除处理。

与对于图1中的描述类似,本申请实施例中,在获取不含配音数据的待配音视频之前,配音终端还可以先提供相应的选项接口,以让用户选择配音角色,进而根据角色选择指令确定各配音终端对应的待配音片段。在本申请实施例中,各配音终端对应的待配音片段会通告给配音任务中的所有配音终端。

在本申请实施例中,在提供相应的选项接口以供用户选择角色之前,可以先播放完整的具有原始音频数据的待配音视频以供用户了解视频情况,从而更好的做出角色选择。

s202:显示配音触发信息。

s203:在配音触发信息被触发时,播放待配音视频中的当前待配音片段,并采集配音数据。

配音触发信息可以是一个触发接口,其被触发后配音终端可以进行配音。在本申请实施例中,除了在当前待配音片段为待配音视频中的第一个待配音片段时,配音终端会直接显示配音触发信息外,其余情况下,需要在接收到配音任务中其余配音终端发来的配音指示信息才会显示配音触发信息。

s204:判断是否存在下一待配音片段;若是,转至步骤s205;否则,转至步骤s214。

s205:确定下一待配音片段所对应的配音终端。

s206:在下一待配音片段所对应的配音终端为第一配音终端时,转至步骤s202。

需要说明的是,此时转至步骤s202后,再次执行s202之后的步骤时,随着时间的推移,步骤s206中的下一待配音片段即变成了步骤s203中的当前待配音片段。

s207:在下一待配音片段所对应的配音终端为第二配音终端时,向第二配音终端发送配音指示信息。

在本申请实施例中,第一配音终端可以将采集到的配音数据发送给配音任务中的所有配音终端,从而使得各配音终端可以播放当前待配音片段以及当前待配音片段的音频数据,使得待配音视频随着配音的进行而连贯性的播放出来,使得参与配音的用户有更好的剧情代入感。同时也可以使得参与配音的用户可以更好的了解其余参与者的配音情况,从而增强互动感。

s208:第二配音终端显示配音触发信息。

s209:在配音触发信息被触发时,播放待配音视频中的当前待配音片段,并采集配音数据。

s210:判断是否存在下一待配音片段。若是,转至步骤s211;否则,转至步骤s215。

s211:确定下一待配音片段所对应的配音终端。

s212:在下一待配音片段所对应的配音终端为第二配音终端时,转至步骤s208。

s213:在下一待配音片段所对应的配音终端为第一配音终端时,向第二配音终端发送配音指示信息,转至步骤s202。

s214:第一配音终端生成目标配音视频。

s215:第二配音终端生成目标配音视频。

值得注意的是,在本申请实施例中,在判断出不存在下一待配音片段时,也可以不是由执行该判断操作的配音终端来生成目标配音视频,而是通知其余配音终端来生成目标配音视频。

还值得注意的是,在本申请实施例中,在无音频服务器参与的多音频终端的互动配音的过程中,也可以通过选定一个配音终端来同时实现上述图1的方案中配音服务器的功能,从而实现无音频服务器参与的多音频终端的互动配音,其过程可以参考上述对图1的描述,将管理服务器所执行的操作替换为所选定的配音终端来执行即可。

需要说明的是,本申请实施例中为了便于表述,图1和图2都是以通过两个配音终端来实现互动配音的过程为例进行的描述,但应当理解,本申请实施例中也可以采用更多数量的配音终端来实现互动配音,其实现原理与图1和图2所示的原理一致,故不再详细说明。

在本申请实施例中,配音终端在采集到配音数据之后,还可以在发送该配音数据之前,先对该配音数据进行评分,并显示评分给用户,从而使得用户能够很直观的对本次配音的效果进行确认。在本申请实施例中,在显示评分后,界面中可以提供相应的确认接口,例如参见图5所示,用户通过该接口可以选择重新进行本段待配音片段的配音,也可以选择接受本次配音,从而发送该配音数据。

需要说明的是,在通过音频服务器来实现互动配音的方案中,除了可以由配音终端来实现对配音数据的评分外,还可以由配音服务器来进行评分。具体而言,配音服务器可以在接收到配音终端上报的配音数据后,对其进行评分并将评分结果返回给该配音终端。该配音终端显示该评分,同时在界面中可以提供相应的确认接口,用户通过该接口可以选择重新进行本段待配音片段的配音,也可以选择接受本次配音。如果用户选择的是接收本次配音,配音终端会发送评分接受指令,此时配音服务器即可进入判断是否存在下一待配音片段的步骤。

需要说明的是,本申请实施例中对配音数据的评分可以通过将当前待配音片段的配音数据与待配音视频中当前待配音片段的原始音频数据进行比对,根据比对结果(如语速、发音等方面与原始音频的相似度)确定出评分。

在本申请实施例中,将待配音视频和配音数据进行合成,得到目标配音视频的方式可以通过以下方式来实现:

配音服务器或配音终端可以将具有原始音频数据的待配音视频的语音channel抽取出来并解码成原始pcm语音文件;然后计算配音终端采集到的每一个pcm配音数据应该在整个视频pcm语音文件中的位置并且将对应的pcm片段替换成配音终端采集到的语音pcm数据;将待配音视频的视频部分使用源文件已经编码过的h264视频帧,语音部分使用替换后的pcm文件重新编码为aac音频帧,最后将视频帧和语音帧合成为新的mp4文件。

综上,本申请实施例所提供的互动配音方法,对于同一视频,可以通过不同配音终端来相互配合进行配音,实现了多个用户之间的配音互动,提升了配音过程的趣味性。

此外,本申请实施例的方案可以应用于口语学习过程中,即提供外文视频供用户进行配音。此时可以实现多用户之间的学习互动,由多个用户相互配合来实现对同一视频的配音,可以实现各个用户的角色扮演,提升了口语学习的趣味性,从而在一定程度上提高了向用户的学习效果。

实施例二:

本实施例在实施例一的基础上,以应用于英语口语学习场景中的一种两人角色扮演配音的过程为例,为本申请做进一步示例说明。

在本申请实施例中,用户可以通过配音终端发起配音任务。在发起配音任务时,发起者可以通过二维码等形式邀请另一用户参与配音任务,用户间可以选择不同的角色进行配音。

示例性的,假设用户1发起针对一段视频的配音任务,并邀请了用户2参与,并向配音服务器通知该配音任务,配音任务中标示由该视频以及参与的配音终端。在开始配音任务后,用户1和用户2的配音终端上播放该视频,在本申请实施例中可以允许用户选择播放模式,所述播放模式包括英文字幕播放、英汉双语字幕播放、无字幕播放等。在视频播放完毕之后,提供如图3所示的角色选项框,以供用户1和用户2分别选择所要配音的角色。角色选取完毕之后,向配音服务器提交选取结果,以使得服务器明确两配音终端对应待配音片段分别是哪些。

假设该视频包括ab两个角色,每个角色共有3句话,每句话分别有对应的编号a1、a2、a3;b1、b2、b3;视频中的顺序为a1、b1、a2、b2、a3、b3。假设用户1选择的角色为a,用户b选择的角色为b,配音时,首先用户1的配音终端显示图4所示的界面,用户1触击该麦克风后,配音终端开始播放a1对应的画面,并采集用户1的配音数据。采集完毕后,用户1的配音终端对a1句的配音数据按照准确度、流利度和完整度进行评分,并显示评分结果,例如图5所示。用户1若对结果不满意,这可以选择重新进行配音,从而重新播放a1对应的画面,并采集用户1的配音数据,再次进入图5所示界面。用户1若对结果满意,这可以选择接受本次配音,配音终端将a1句的配音数据上传至配音服务器,配音服务器接收到a角色的a1句音频后,会将数据库中该视频a角色a1句的状态由解锁更新为已录,将该视频b角色a1句的状态由待解锁更新为已解锁,并通知用户2的配音终端进行配音。用户2的配音终端按照上述用户1的配音终端对a1句的执行操作,采集b1句的配音数据,并在用户2选择接受本次配音上传至配音服务器。如此依次执行,直至将a1、b1、a2、b2、a3、b3对应的配音数据全部采集完毕。

在a1、b1、a2、b2、a3、b3对应的配音数据全部采集完毕后,配音服务器通知用户1的配音终端,并将a1、b1、a2、b2、a3、b3对应的配音数据发送给用户1的配音终端,用户1可以选择进行视频合成,得到配音为用户1和用户2的配音的目标配音视频,并上传给配音服务器。配音服务器会将该目标配音视频发送给参与该配音任务的所有用户,供其回顾、分享等。

此外,在本申请实施例中,还提供了一种非实时配音的方案,可以由配音发起者先选择角色并完成该角色所有句子配音。每句配音完成后,与前述方案类似,配音终端可进行评分并显示,用户可选择重新进行配音或者接受本次配音,从而进行下一句的配音。当所选角色的所有句子均配音完成后,可以将其分享给另一用户,以供其为该视频中的其他角色配音。所有角色的配音数据均采集完成后,可按照上述方式中的操作进行执行,此处不再赘述。

通过上述方案,用户配音与视频原型合成完整作品不仅能让用户及时听音对口型,锻炼语感,还能使用户拥有极大的成就感,激励用户不断学习。

实施例三:

基于同一发明构思,本申请实施例中还提供互动配音装置100和互动配音装置200。请参阅图6和图7所示,图6示出了采用图1或图2所示的方法中,与配音终端所执行的步骤一一对应的互动配音装置,图7示出了采用图1所示的方法中,与配音服务器所执行的步骤一一对应的互动配音装置。应理解,装置100、装置200和装置300具体的功能可以参见上文中的描述,为避免重复,此处适当省略详细描述。装置100、装置200包括至少一个能以软件或固件的形式存储于存储器中或固化在装置100、装置200的操作系统中的软件功能模块。具体地:

参见图6所示,装置100应用于第一用户的第一配音终端上,包括:第一接收模块101、获取模块102、显示模块103、播放模块104、采集处理模块105和第一发送模块106;

第一接收模块101用于接收配音请求,以及用于接收对端设备发来的配音指示信息;

获取模块102用于在接收到配音请求时,获取不含音频数据的待配音视频;

显示模块103用于在接收到对端设备发来的配音指示信息时,显示配音触发信息;配音指示信息表征第二用户已对待配音视频中的当前待配音片段配音完毕;

播放模块104用于在配音触发信息被触发时,播放待配音视频中,当前待配音片段的下一待配音片段;采集处理模块105用于采集第一用户的配音数据;第一发送模块106用于将配音数据发送给对端设备。

在本申请实施例中,第一接收模块101还用于接收角色选择指令;采集处理模块105用于根据角色选择指令确定第一配音终端对应的待配音片段;下一待配音片段为第一配音终端对应的待配音片段中的一个片段。

在本申请实施例中,对端设备发来的配音指示信息包括:待配音视频中,当前待配音片段的音频数据;播放模块104还用于播放当前待配音片段以及当前待配音片段的音频数据,显示模块103用于在播放完毕后显示配音触发信息。

在本申请实施例中,获取模块102还用于在接收对端设备发来的配音指示信息之前获取待配音视频对应的原始音频数据;

采集处理模块105还用于在采集配音数据之后,在第一发送模块106将配音数据发送给对端设备之前,将采集到的配音数据与原始音频数据进行比对,根据比对结果确定配音数据的评分。显示模块103还用于并显示评分。

参见图7所示,装置200应用于配音服务器上,包括:第二接收模块201、第二发送模块202和处理模块203;

第二接收模块201用于接收第一配音终端发来的待配音视频中当前待配音片段的配音数据;

处理模块203用于在接收到第一配音终端发来的待配音视频中当前待配音片段的配音数据,且待配音视频中存在下一待配音片段时,确定下一待配音片段所对应的第二配音终端;第一配音终端和第二配音终端为配音任务中的配音终端;配音任务是为待配音视频进行配音的任务;

第二发送模块202用于向第二配音终端发送配音指示信息,以使第二配音终端采集下一待配音片段的配音数据。

在本申请实施例中,第二发送模块202还用于在第二接收模块201接收到第一配音终端发来的待配音视频中当前待配音片段的配音数据时,向配音任务中除第一配音终端外的所有配音终端发送当前待配音片段的配音数据。

在本申请实施例中,在第二接收模块201接收到第一配音终端发来的待配音视频中当前待配音片段的配音数据,且待配音视频中不存在下一待配音片段时,处理模块203还用于:

通知配音任务中的所有配音终端配音完成,以使配音任务中的所有配音终端各自将待配音视频和获取到的配音数据进行合成,得到目标配音视频;

或,通知配音任务中的第三配音终端配音完成,以使第三配音终端将待配音视频和获取到的配音数据进行合成,得到目标配音视频。此时第二接收模块201还用于接收第三配音终端上报的目标配音视频,第二发送模块202还用于向配音任务中除第三配音终端外的所有配音终端发送目标配音视频。

在本申请实施例中,在第二接收模块201接收到第一配音终端发来的待配音视频中当前待配音片段的配音数据,且待配音视频中不存在下一待配音片段时,处理模块203还用于将待配音视频和配音数据进行合成,得到目标配音视频;第二发送模块202还用于向配音任务中的所有配音终端发送目标配音视频。

在本申请实施例中,处理模块203还用于在将待配音视频和配音数据进行合成之前,通知配音任务中的所有配音终端配音完成,并确定接收到配音任务中的任一配音终端发来的视频合成请求。

在本申请实施例中,处理模块203还用于在第二接收模块201接收到第一配音终端发来的待配音视频中当前待配音片段的配音数据时,将当前待配音片段的配音数据与预存的待配音视频的原始音频数据进行比对,根据比对结果确定配音数据的评分。第二发送模块202还用于向第一配音终端发送评分。

在本申请实施例中,处理模块203还用于在确定当前待配音片段的下一待配音片段所对应的第二配音终端之前,确定接收到第一配音终端发来的评分接受指令。

需要理解的是,出于描述简洁的考量,部分实施例一中描述过的内容在本实施例中不再赘述。

实施例四:

本实施例提供了一种电子设备,参见图8所示,其包括处理器801、存储器802以及通信总线803。其中:

通信总线803用于实现处理器801和存储器802之间的连接通信。

处理器801用于执行存储器802中存储的一个或多个第一程序,以实现上述实施例一和/或实施例二配音终端所执行的各步骤;

或,处理器801用于执行存储器802中存储的一个或多个第二程序,以实现上述实施例一和/或实施例二配音服务器所执行的各步骤。

可以理解,图8所示的结构仅为示意,电子设备还可包括比图8中所示更多或者更少的组件,或者具有与图8所示不同的配置。例如,在电子设备为配音终端时,其还具有麦克风等音频数据采集装置,以实现对音频数据的采集。此外,还具有显示屏等显示装置,以实现对视频的播放显示以及对评分的显示。而在电子设备为配音服务器时,其具有通信模块,从而实现与配音终端之间的通信。

本实施例还提供了一种可读存储介质,如软盘、光盘、硬盘、闪存、u盘、sd(securedigitalmemorycard,安全数码卡)卡、mmc(multimediacard,多媒体卡)卡等,在该可读存储介质中存储有实现上述各个步骤的一个或者多个程序,这一个或者多个程序可被一个或者多个处理器执行,以实现上述实施例一和/或实施例二配音终端所执行的各步骤,或实现上述实施例一和/或实施例二配音服务器所执行的各步骤。在此不再赘述。

在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。

在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

在本文中,多个是指两个或两个以上。

以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1