视频播放方法、装置及计算机可读存储介质与流程

文档序号:22685602发布日期:2020-10-28 12:52阅读:121来源:国知局
视频播放方法、装置及计算机可读存储介质与流程

本公开涉及视频技术领域,尤其涉及视频播放方法、装置及计算机可读存储介质。



背景技术:

现今,各类视频播放软件广泛应用,用户制作视频上传共享也逐渐增多。而针对此类视频数据通常都需要经过审核才能够播出给其他用户观看。相关技术中,针对用户直播视频通常需要先审核延迟一段时间之后,才能够播放给其他用户观看。对于直播视频审核的时间过长,用户观看的延迟较大。



技术实现要素:

为克服相关技术中存在的问题,本公开提供一种视频播放方法、装置及计算机可读存储介质。

根据本公开实施例的第一方面,提供一种视频播放方法,包括:

对实时接收到的流媒体数据进行缓存;

从缓存的流媒体数据中获取待审核的第一目标流媒体数据;

对待审核数据进行审核,得到经审核后的第二目标流媒体数据,其中,所述待审核数据包括所述第一目标流媒体数据中的音频数据和/或图像数据;

确定所述第二目标流媒体数据对应的时间轴信息;

按照所述时间轴信息播放所述第二目标流媒体数据。

可选地,所述对待审核数据进行审核,得到经审核后的第二目标流媒体数据,包括:

确定所述待审核数据中的待调整数据;

对所述待调整数据执行调整操作,以得到所述第二目标流媒体数据,其中,所述调整操作包括将所述待调整数据替换为目标数据或删除所述待调整数据。

可选地,所述待审核数据包括所述第一目标流媒体数据中的音频数据;

所述确定所述待审核数据中的待调整数据,包括:

对所述音频数据进行语音识别,获得所述音频数据对应的文本信息;

将所述文本信息中符合预设文本内容的文本片段对应的音频数据确定为所述待调整数据。

可选地,所述待审核数据包括所述第一目标流媒体数据中的图像数据;

所述确定所述待审核数据中的待调整数据,包括:

将图像数据输入画面检测模型,并根据所述画面检测模型的检测结果确定所述待调整数据,其中所述画面检测模型用于检测所述图像数据中是否存在预设画面内容。

可选地,所述调整操作包括删除所述待调整数据;

所述确定所述第二目标流媒体数据对应的时间轴信息,包括:

删除所述第二目标流媒体数据中与所述文本片段的音频数据对应的图像数据,并根据所述文本片段的音频数据对应的时段信息确定所述第二目标流媒体数据中剩余的音频数据和图像数据的时间轴信息。

可选地,所述调整操作包括删除所述待调整数据;

所述确定所述第二目标流媒体数据对应的时间轴信息,包括:

若所述文本片段为完整语句中的一部分内容,在所述语句存在对应的图像数据的情况下,确定所述语句的音频数据在删除所述待调整数据后所包含的音频帧;

根据每一所述音频帧对应的时段信息确定每一所述音频帧的时间轴信息;

根据所述语句的时段信息、与所述第二目标流媒体数据中所述语句的音频数据对应的图像数据中的视频帧的个数,确定所述每一所述视频帧的时间轴信息,其中,所述语句的时段信息为每一所述音频帧对应的时段信息之和。

可选地,所述方法还包括:

接收用户设置的审核设置指令,所述审核设置指令用于指示用户设置的审核规则;

所述对待审核数据进行审核,包括:

根据所述审核规则对所述待审核数据进行审核。

可选地,所述方法还包括:

获取观看视频的用户的用户图像;

对所述用户图像进行人脸识别,获得所述用户的特征信息;

根据所述用户的特征信息确定审核规则;

所述对待审核数据进行审核,包括:

根据所述审核规则对所述待审核数据进行审核。

可选地,所述方法还包括:

存储所述第一目标流媒体数据对应的进度信息,以表示所述第一目标流媒体数据已被审核。

根据本公开实施例的第二方面,提供一种视频播放装置,包括:

缓存模块,被配置为对实时接收到的流媒体数据进行缓存;

第一获取模块,被配置为从缓存的流媒体数据中获取待审核的第一目标流媒体数据;

审核模块,被配置为对待审核数据进行审核,得到经审核后的第二目标流媒体数据,其中,所述待审核数据包括所述第一目标流媒体数据中的音频数据和/或图像数据;

第一确定模块,被配置为确定所述第二目标流媒体数据对应的时间轴信息;

播放模块,被配置为按照所述时间轴信息播放所述第二目标流媒体数据。

可选地,所述审核模块包括:

第一确定子模块,被配置为确定所述待审核数据中的待调整数据;

执行子模块,被配置为对所述待调整数据执行调整操作,以得到所述第二目标流媒体数据,其中,所述调整操作包括将所述待调整数据替换为目标数据或删除所述待调整数据。

可选地,所述待审核数据包括所述第一目标流媒体数据中的音频数据;

所述第一确定子模块包括:

识别子模块,被配置为对所述音频数据进行语音识别,获得所述音频数据对应的文本信息;

第二确定子模块,被配置为将所述文本信息中符合预设文本内容的文本片段对应的音频数据确定为所述待调整数据。

可选地,所述待审核数据包括所述第一目标流媒体数据中的图像数据;

所述第一确定子模块包括:

输入子模块,被配置为将图像数据输入画面检测模型,并根据所述画面检测模型的检测结果确定所述待调整数据,其中所述画面检测模型用于检测所述图像数据中是否存在预设画面内容。

可选地,所述调整操作包括删除所述待调整数据;

所述第一确定模块包括:

第三确定子模块,被配置为删除所述第二目标流媒体数据中与所述文本片段的音频数据对应的图像数据,并根据所述文本片段的音频数据对应的时段信息确定所述第二目标流媒体数据中剩余的音频数据和图像数据的时间轴信息。

可选地,所述调整操作包括删除所述待调整数据;

所述第一确定模块包括:

第四确定子模块,被配置为在所述文本片段为完整语句中的一部分内容,且所述语句存在对应的图像数据的情况下,确定所述语句的音频数据在删除所述待调整数据后所包含的音频帧;

第五确定子模块,被配置为根据每一所述音频帧对应的时段信息确定每一所述音频帧的时间轴信息;

第六确定子模块,被配置为根据所述语句的时段信息、与所述第二目标流媒体数据中所述语句的音频数据对应的图像数据中的视频帧的个数,确定所述每一所述视频帧的时间轴信息,其中,所述语句的时段信息为每一所述音频帧对应的时段信息之和。

可选地,所述装置还包括:

接收模块,被配置为接收用户设置的审核设置指令,所述审核设置指令用于指示用户设置的审核规则;

所述审核模块包括:

第一审核子模块,被配置为根据所述审核规则对所述待审核数据进行审核。

可选地,所述装置还包括:

第二获取模块,被配置为获取观看视频的用户的用户图像;

识别模块,被配置为对所述用户图像进行人脸识别,获得所述用户的特征信息;

第二确定模块,被配置为根据所述用户的特征信息确定审核规则;

所述审核模块包括:

第二审核子模块,被配置为根据所述审核规则对所述待审核数据进行审核。

可选地,所述装置还包括:

存储模块,被配置为存储所述第一目标流媒体数据对应的进度信息,以表示所述第一目标流媒体数据已被审核。

根据本公开实施例的第三方面,提供一种视频播放装置,包括:

处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为:

对实时接收到的流媒体数据进行缓存;

从缓存的流媒体数据中获取待审核的第一目标流媒体数据;

对待审核数据进行审核,得到经审核后的第二目标流媒体数据,其中,所述待审核数据包括所述第一目标流媒体数据中的音频数据和/或图像数据;

确定所述第二目标流媒体数据对应的时间轴信息;

按照所述时间轴信息播放所述第二目标流媒体数据。

根据本公开实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的视频播放方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果:

在上述技术方案中,对实时接收到的流媒体数据进行缓存;从缓存的流媒体数据中获取待审核的第一目标流媒体数据;对待审核数据进行审核,得到经审核后的第二目标流媒体数据,其中,所述待审核数据包括所述第一目标流媒体数据中的音频数据和/或图像数据。之后,确定所述第二目标流媒体数据对应的时间轴信息,并按照所述时间轴信息播放所述第二目标流媒体数据。由此,通过上述技术方案,通过对缓存的流媒体数据中的第一目标流媒体数据进行审核,从而可以在视频实时播放的过程中完成视频的审核,提高视频审核的实时性和效率,从而提高视频播放的实时性和效率,并且有效简化视频上传审核的流程。同时,通过对第一目标流媒体数据中的音频数据、图像数据等进行审核,可以有效保证视频审核的全面性。另外,重新确定审核后的第二目标流媒体数据对应的时间轴信息,既可以保证播放的视频的内容合理性和安全性,同时可以保证播放的视频的音画同步和流畅性,贴合用户的使用需求。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种视频播放方法的流程图。

图2是根据一示例性实施例示出的对待审核数据进行审核,得到经审核后的第二目标流媒体数据的示例性实现方式的流程图。

图3是根据一示例性实施例示出的一种视频播放装置的框图。

图4是根据一示例性实施例示出的一种视频播放装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种视频播放方法的流程图,如图1所示,所述方法可以包括以下步骤。

在步骤11中,对实时接收到的流媒体数据进行缓存。

作为示例,在直播场景下,该流媒体数据可以为终端从服务器加载的视频数据,终端可以对接收到的该流媒体数据在终端进行缓存,从而可以在终端对该缓存的流媒体数据进行处理。

在步骤12中,从缓存的流媒体数据中获取待审核的第一目标流媒体数据。

可选地,在流媒体数据加载的初始情况下,流媒体数据中不存在已审核流媒体数据,可以实时或定期确定缓存的流媒体数据对应的数据量,在该数据量大于或等于目标阈值时,将缓存的流媒体数据确定为该第一目标流媒体数据。其中,该目标阈值可以根据实际使用场景进行设置,本公开对此不进行限定。示例地,该目标阈值可以设置为100m。

在一种可能的实施例中,可以实时确定缓存的流媒体数据对应的数据量,在确定该数据量达到目标阈值时,将该数据量对应的流媒体数据确定为第一目标流媒体数据。例如,在对实时接收到的流媒体数据进行缓存时,同时确定该流媒体数据对应的数据量。示例地,该目标阈值为100m时,则每确定该数据量达到100m时,便将缓存中的该数据量对应的流媒体数据确定为第一目标流媒体数据。其中,需要进行说明的是,实时确定出的流媒体数据的数据量可以超过100m,如数据量为110m,则此时将该110m对应的流媒体数据部分确定为第一目标流媒体数据。其中,需要进行说明的是,需要保证在确定该待审核的第一目标流媒体数据时,之前已审核的流媒体数据尚未完全播放,即该待审核的第一目标流媒体数据是从已缓存且尚未播放的流媒体数据中确定出的。

在另一种可能的实施例中,所述方法还可以包括:存储所述第一目标流媒体数据对应的进度信息,以表示所述第一目标流媒体数据已被审核。示例地,可以将确定出的第一目标流媒体数据的数据量作为第一目标流媒体数据对应的进度信息并存储。例如,可以每间隔目标时间,确定缓存的流媒体数据中该进度信息之后的流媒体数据的数据量是否达到目标阈值,若该数据量达到目标阈值,则可以将缓存的流媒体数据中该进度信息之后的流媒体数据确定为所述第一目标流媒体数据。若初始情况下,确定出的第一目标流媒体数据对应的数据量为100m,则可以确定该第一目标流媒体数据对应的进度信息为100m。作为示例,之后可以每间隔5秒确定该进度信息之后的流媒体数据的数据量是否达到100m,例如可以通过流媒体数据对应的总数据量和该进度信息的差值进行确定。示例地,确定出流媒体数据对应的总数据量为230m,则表示该进度信息之后的流媒体数据的数据量(130m)达到目标阈值,此时可以将该进度信息之后的流媒体数据的确定为第一目标流媒体数据。

由此,通过上述方式既可以快速确定出第一目标流媒体数据,从而便于后续对第一目标流媒体数据的分段审核处理。同时可以保证对流媒体数据审核处理的完整性和准确性。

在步骤13中,对待审核数据进行审核,得到经审核后的第二目标流媒体数据,其中,所述待审核数据包括所述第一目标流媒体数据中的音频数据和/或图像数据。

其中,该流媒体数据可以包括音频数据和图像数据,其中,所述音频数据用于播放音频,所述图像数据用于播放图像,从而根据该流媒体数据实现视频的播放。

因此,在该实施例中,可以针对音频数据进行审核,从而可以实现对播放的视频的语音进行审核;对图像数据进行审核,从而可以实现对视频中显示的画面进行审核。示例地,本公开的实施例中是对实时播放的流媒体数据进行审核,因此,为了保证视频的正常播放,则可以在审核过程对第一目标流媒体数据进行修改,从而获得审核后的第二目标流媒体数据,既可以保证视频的播放,又可以避免播放的视频中出现不合适的内容。

在步骤14中,确定第二目标流媒体数据对应的时间轴信息。示例地,可以确定该第二目标流媒体数据中的音频数据和图像数据对应的时间轴信息,从而可以保证视频播放时的音画同步。

在步骤15中,按照所述时间轴信息播放所述第二目标流媒体数据。

其中,可以按照时间轴信息,播放第二目标流媒体数据中每一时刻分别对应的音频数据和图像数据,从而对第二目标流媒体数据进行播放,实现视频播放。

在上述技术方案中,对实时接收到的流媒体数据进行缓存;从缓存的流媒体数据中获取待审核的第一目标流媒体数据;对待审核数据进行审核,得到经审核后的第二目标流媒体数据,其中,所述待审核数据包括所述第一目标流媒体数据中的音频数据和/或图像数据。之后,确定所述第二目标流媒体数据对应的时间轴信息,并按照所述时间轴信息播放所述第二目标流媒体数据。由此,通过上述技术方案,通过对缓存的流媒体数据中的第一目标流媒体数据进行审核,从而可以在视频实时播放的过程中完成视频的审核,提高视频审核的实时性和效率,从而提高视频播放的实时性和效率,并且有效简化视频上传审核的流程。同时,通过对第一目标流媒体数据中的音频数据、图像数据等进行审核,可以有效保证视频审核的全面性。另外,重新确定审核后的第二目标流媒体数据对应的时间轴信息,既可以保证播放的视频的内容合理性和安全性,同时可以保证播放的视频的音画同步和流畅性,贴合用户的使用需求。

为了使本领域技术人员更容易理解本发明实施例提供的技术方案,以下对本公开提供的方法中的各个步骤进行详细说明。

可选地,在步骤13中,对待审核数据进行审核,得到经审核后的第二目标流媒体数据的示例性实现方式如下,如图2所示,该步骤可以包括:

在步骤21中,确定待审核数据中的待调整数据。其中,所述待调整数据为对待审核数据进行审核的过程中确定出的不能直接播放,需要进行调整的数据。

在一种可能的实施例中,所述待审核数据包括所述第一目标流媒体数据中的音频数据;

相应地,在步骤21中,确定待审核数据中的待调整数据的示例性实现方式如下,该步骤可以包括:

对所述音频数据进行语音识别,获得所述音频数据对应的文本信息。

示例地,可以通过自动语音识别(automaticspeechrecognition,asr)技术和自然语言处理(nlp,naturallanguageprocessing)技术对该音频数据进行语音识别,从而可以获得该音频数据对应的文本信息。

将所述文本信息中符合预设文本内容的文本片段对应的音频数据确定为所述待调整数据。

示例地,该预设文本内容可以根据音频数据的审核标准进行预先设置。例如,需要对视频中的脏话进行审核时,则可以针对需要审核的脏话预先设置对应的模板,该模板中可以包括关键词或者表达式。之后在对音频数据进行审核时,可以将该音频数据对应的文本信息与模板进行匹配,将与该模板匹配的文本片段确定为该待调整数据。

在一种可能的实施例中,可以直接将与模板匹配到的文本信息确定为该文本片段。在另一种可能的实施例中,在确定出与模板匹配到的文本信息后,将该文本信息所属的语句确定为该文本片段。

由此,通过上述技术方案,通过将音频数据转化成文本信息,从而可以基于该文本信息快速且准确地确定出音频数据中的待调整数据,为对音频数据进行审核提供准确地数据支持。

示例地,所述待审核数据包括所述第一目标流媒体数据中的图像数据;

则在步骤21中,确定待审核数据中的待调整数据的示例性实现方式可以如下,该步骤可以包括:

将图像数据输入画面检测模型,并根据所述画面检测模型的检测结果确定所述待调整数据,其中所述画面检测模型用于检测所述图像数据中是否存在预设画面内容。

示例地,可以基于对视频画面的审核标准,预先训练一画面检测模型。例如,预设画面内容为视频中的暴力、血腥画面,则可以预先获取部分视频中的暴力、血腥的画面作为训练数据,通过训练一神经网络模型获得该画面检测模型。因此,将图像数据输入该画面检测模型中,则可以通过该画面检测模型快速确定出该图像数据对应的各个视频帧中是否包含暴力、血腥的画面,从而确定出该待调整数据。其中,上述预设画面内容仅为示例性说明,可以根据实际应用场景中的审核需求进行设置,本公开对此不进行限定。

由此,通过上述技术方案,可以通过画面检测模型直接确定出图像数据中是否包含预设画面内容,从而快速且准确地确定出图像数据中的待调整数据,为对图像数据进行审核提供准确地数据支持。

在步骤22中,对待调整数据执行调整操作,以得到第二目标流媒体数据,其中,所述调整操作包括将所述待调整数据替换为目标数据或删除所述待调整数据。

在一种可能的实施例中,待调整数据为音频数据,如通过上述方式匹配到的预设文本内容对应的文本片段的音频数据。一种情况下可以将该音频数据替换为目标音频数据,如对该音频数据进行消音处理,统一替换为目标音频数据。其中,若目标音频数据对应的时长与该文本片段的音频数据对应的时长不同,可以通过对目标音频数据进行截取或者循环播放的方式,以将文本片段的音频数据替换为目标音频数据,从而获得审核后该第二目标流媒体数据中的音频数据。另一种情况下,可以直接将第一目标流媒体数据的音频数据中、该文本片段的音频数据删除,从而获得该第二目标流媒体数据中的音频数据。

在另一可能的实施例中,待调整数据为图像数据,如通过上述方式确定出的存在预设画面内容的图像数据,一种情况下可以将该图像数据替换为目标图像数据,该目标图像数据可以是用户预先设置的图像数据。可选地,为了保证视频画面的播放连续性,该目标图像数据可以为该待调整数据之前的最后一个视频帧的图像,从而在将待调整数据替换该为视频帧的图像时,对于用户而言,其观看到的仍是视频中的画面,从而可以保证视频播放的流畅性。另一种情况下,可以直接将第一目标流媒体数据的图像数据中该待调整数据删除,从而获得该第二目标流媒体数据中的图像数据。

由此,通过上述技术方案,可以通过确定第一目标流媒体数据中的待调整数据,从而对该待调整数据执行调整操作,以使得审核后的第二目标流媒体数据中不包含所述待调整数据,实现对审核过程中确定出的待调整数据的屏蔽或者删除,从而使得播放的视频中不会出现该待调整数据对应的内容,保证播放的视频的安全性和审核过滤准确性,提升用户使用体验。

示例地,在所述调整操作包括将所述待调整数据替换为目标数据时,在该实施例中是针对图像数据中的部分视频帧的内容进行更改,或者针对音频数据中的部分音频帧的内容进行更改,并未修改图像数据中的视频帧的数量以及音频数据中的音频帧的数量。因此,在该实施例中,第二目标流媒体数据中的图像数据的每一视频帧的时间轴信息可以与第一目标流媒体数据中的图像数据的每一视频帧的时间轴信息一一对应,第二目标流媒体数据中的音频数据的每一音频帧的时间轴信息可以与第一目标流媒体数据中的音频数据的每一音频帧的时间轴信息一一对应,从而可以确定出第二目标流媒体数据对应的时间轴信息。

可选地,所述调整操作包括删除所述待调整数据,在实施例中,在获得第二目标流媒体数据的图像数据时,可能会减少第一目标流媒体数据的图像数据中视频帧的数量,或者在获得第二目标流媒体数据的音频数据时,减少第一目标流媒体数据的音频数据中音频帧的数量,或者该视频帧的数量和音频帧的数量均会减少。因此,在该实施例中,审核后获得的第二目标流媒体数据中的图像数据的视频帧和音频数据的视频帧可能出现不对应的情况,因此,本公开提供以下实施例,以确定所述第二目标流媒体数据对应的时间轴信息,从而实现第二目标流媒体数据的音频数据和图像数据的同步。

相应地,所述确定所述第二目标流媒体数据对应的时间轴信息的示例性实现方式如下,该步骤可以包括:

删除所述第二目标流媒体数据中与所述文本片段的音频数据对应的图像数据,并根据所述文本片段的音频数据对应的时段信息确定所述第二目标流媒体数据中剩余的音频数据和图像数据的时间轴信息。

示例地,可以根据第二目标流媒体数据的音频数据对应的各个待调整数据的时间由早至晚的顺序进行分别确定。在该实施例中,删除文本片段的音频数据后,为保证画面与音频的同步,可以直接删除与所述文本片段的音频数据对应的图像数据。由此,在基于上述方式获得的流媒体数据进行视频播放时,既不会播放该文本片段对应的音频,也不会播放该文本片段对应的画面。

其中,所述文本片段的音频数据对应的时段信息为该音频数据从起始时间至结束时间对应的时段,其可以通过第一目标流媒体数据中该音频数据的时间轴信息确定。示例地,该文本片段的音频数据的起始时间为第1s,结束时间为第3s,则该文本片段的音频数据对应的时段信息则为(1,3)。

在一种可能的实施例中,在根据所述文本片段的音频数据对应的时段信息确定所述第二目标流媒体数据中剩余的音频数据和图像数据的时间轴信息时,第二目标流媒体数据中剩余的音频数据和图像数据的时间轴信息可以前移该时段信息对应的时长,即第二目标流媒体数据中剩余的音频数据和图像数据的时间轴信息变为(ti-2,ti+t-2),其中,ti为剩余的音频数据中第i个音频帧的当前起始时间,t为第i个音频帧的持续时间。其中,视频帧的时间轴信息的确定方式与上文所述类似,在此不再赘述。

若所述第二目标流媒体数据对应有未调整时间轴信息的文本片段,则可以将上文确定出的第二目标流媒体数据中剩余的音频数据和图像数据的时间轴信息作为当前时间轴信息,并重新执行上述过程,直至第二目标流媒体数据不存在对应的未调整时间轴信息的文本片段。

以下以音频帧为例,具体说明上述过程。第一目标流媒体数据中的音频数据包含5段音频数据t1,t2,t3,t4,t5,其对应的时间轴信息分别为(0,1),(1,3),(3,5),(5,6),(6,8),通过上述实施例,确定出待调整数据为t2和t4,即在第二目标流媒体数据中t2和t4的音频数据已删除,则按照时间由早至晚的顺序,首先根据t2对应的时段信息确定第二目标流媒体数据对应的时间轴信息。

示例地,在将t2删除后,可以将第二目标流媒体数据中剩余的音频数据的时间轴信息可以前移该t2的时段信息对应的时长(2s),此时当前时间轴信息即为第一目标流媒体数据的音频数据对应的时间轴信息,则执行调整操作后的第二目标流媒体数据中包含3段音频数据t1,t3,t5,其对应的时间轴信息分别为(0,1),(1,3),(4,6)。此时,第二目标流媒体数据还对应有未调整时间轴信息的文本片段t4,则可以将确定出的上述3段音频数据t1,t3,t5分别的时间轴信息0,1),(1,3),(4,6)作为当前时间轴信息,重新执行上述过程,则调整后的第二目标流媒体数据中包含的3段音频数据t1,t3,t5对应的时间轴信息分别为(0,1),(1,3),(3,5)。此时,第二目标流媒体数据不存在对应的未调整时间轴信息的文本片段,则确定出最终的第二目标流媒体数据对应的时间轴信息。其中,图像帧的时间轴信息确定方式上文所述类似,在此不再赘述。

其中,在确定出该第二目标流媒体数据的时间轴信息后,可以直接将该第二前目标流媒体数据对应的结束时间作为下一第二目标流媒体数据对应的起始时间,从而确定下一第二目标流媒体数据的时间轴信息。具体确定方式与上文所述类似,在此不再赘述。

由此,通过上述技术方案可以在一定程度上保证第二目标流媒体数据中图像数据和音频数据的同步性,在实现视频内容审核过滤的同时,保证视频播放的流畅性。

其中,在确定出的文本片段为完整语句时,通过上述实施例可以保证第二目标流媒体数据中删除该完整语句对应的音频数据和图像数据后剩余数据的同步性,在确定出的文本片段为完整语句的一部分内容时,则在该语句中删除文本片段的音频数据后,该语句的音频数据中的音频帧和图像数据中的视频帧可能会出现不对应的情况,此时可能会对该语句之后的音频和画面的同步播放产生影响。因此,本公开还提供以下实施例,在文本片段为完整语句中的一部分内容时,以语句为基本单位分别确定其对应的音频帧和视频帧的时间轴信息,以保证每一语句对应的音频数据和视频数据同步,从而保证播放的视频的整体音画同步。

可选地,在所述调整操作包括删除所述待调整数据的情况下,作为另一示例,所述确定所述第二目标流媒体数据对应的时间轴信息的示例性实现方式如下,该步骤可以包括:

若所述文本片段为完整语句中的一部分内容,在所述语句存在对应的图像数据的情况下,确定所述语句的音频数据在删除所述待调整数据后所包含的音频帧。

示例地,音频帧p1,p2,p3,p4,p5对应于一句完整语句,其对应的时间轴信息分别为(0,1),(1,3),(3,5),(5,6),(6,8),其中,该p2和p4音频帧为待调整数据,则该语句的音频数据在删除所述待调整数据后所包含的音频帧为p1,p3,p5。

之后,根据每一所述音频帧对应的时段信息确定每一所述音频帧的时间轴信息。

其中,该确定音频帧的时间轴信息的方式与上文所述类似,则确定出的每一音频帧的时间轴信息分别为(0,1),(1,3),(3,5)。

根据所述语句的时段信息、与所述第二目标流媒体数据中所述语句的音频数据对应的图像数据中的视频帧的个数,确定所述每一所述视频帧的时间轴信息,其中,所述语句的时段信息为每一所述音频帧对应的时段信息之和,则在该示例中,语句的时段信息则为音频帧p1,p3,p5对应的时段信息之和,即为5s(1+2+2)。

在该实施例中,若确定出第二目标流媒体数据中所述语句的音频数据对应的图像数据中的视频帧的个数为5时,则可以将该时段信息平均分配每一视频帧,以确定每一视频帧对应的持续时长,即1s。由于需要保证语句对应的音频数据与图像数据的同步,则可以根据语句对应的音频帧的起始时间确定每一图像帧的时间轴信息,分别为(0,1),(1,2),(2,3),(3,4),(4,5)。

由此,通过上述技术方案可以更加细粒度地保证第二目标流媒体数据中每一语句的图像数据和音频数据的同步性,在实现视频内容审核过滤的同时,保证视频播放的流畅性。

可选地,在语句对应的音频数据未删减,但语句对应的视频数据删减的情况下,可以通过上述确定语句的时段信息,并根据所述语句的时段信息、与所述第二目标流媒体数据中所述语句的音频数据对应的图像数据中的视频帧的个数,确定所述每一所述视频帧的时间轴信息,以保证基于该第二目标流媒体数据进行视频播放时的音画同步。其具体实现方式已在上文进行详述,在此不再赘述。

可选地,若所述文本片段为完整语句中的一部分内容,且所述语句不存在对应的图像数据,则可以直接删除该语句对应的音频数据,根据该语句的音频数据对应的时段信息确定所述第二目标流媒体数据中剩余的音频数据和图像数据的时间轴信息。其中,时间轴信息的具体确定方式已在上文进行详述,在此不再赘述。

在实际使用场景中,针对某些电影或者用户剪辑原创的视频,通常是需要上传至共享平台(如各类视频app),然后在共享平台中工作人员在该上传的视频数据进行审核,在审核通过之后才能够使该视频上线,使得其他用户可以观看该视频。虽然该视频通过了共享平台的审核,但可能其中仍然包含部分不适合未成年人观看的部分。因此,本公开还提供以下实施例。

可选地,所述方法还包括:

接收用户设置的审核设置指令,所述审核设置指令用于指示用户设置的审核规则。

示例地,用户可以在规则设置界面中设置需要审核的语音规则和/或画面规则。

相应地,对待审核数据进行审核的示例性实现方式如下,该步骤可以包括:

根据所述审核规则对所述待审核数据进行审核。其中可以根据该审核规则确定对应的审核文本内容和/或审核画面内容,从而可以将该审核文本内容作为上文所述的预设文本内容,将审核画面内容确定作为上文所述的预设画面内容,从而实现对待审核数据的审核。其中对待审核数据进行审核的具体实施例已在上文进行详述。

由此,通过上述技术方案,用户可以自行设置对应的审核规则,在用户终端设备中进行视频的内容审核和过滤,从而可以针对视频内容进行二次审核,满足用户的个性化需求,同时可以拓宽该视频播放方法的适用范围。

可选地,所述方法还可以包括:

获取观看视频的用户的用户图像,其中可以通过终端上的摄像装置进行获取。

对所述用户图像进行人脸识别,获得所述用户的特征信息,示例地该特征信息可以为年龄信息。

其中,可以基于现有的人脸检测算法,如可以通过seetaface、mtcnn等人脸检测算法进行检测,从而可以提取出用户图像中的人脸图像。之后可以基于现有的关键点检测算法进行关键点提取,例如,ert(ensembleofregressiontress)算法、mdm(mnemonicdescentmethod)等人脸关键点检测方法,从而可以获得人脸图像对应的关键点,之后则可以通过该关键点确定该人俩图像对应的年龄信息。作为另一示例,可以通过终端上的指纹获取装置获取指纹信息,从而通过对指纹信息进行分析确定该年龄信信息。其中,确定年龄信息的方式为现有技术,在此不再赘述。

根据所述用户的特征信息确定审核规则。

示例地,可以根据视频审核要求,针对不同年龄的用户设置对应的审核规则,例如,针对5-14岁的用户设置规则r1,针对15-18岁的用户设置规则r2,针对18岁以上的用户设置规则r3,其中,年龄信息对应的具体审核规则可以根据实际使用场景进行设置,本公开对此不进行限定。因此,在确定出用户的特征信息后,则可以根据该特征信息确定对应的审核规则。示例地,确定出的用户的年龄信息指示为13岁,则可以将规则r2确定该审核规则。

相应地,对待审核数据进行审核的示例性实现方式如下,该步骤可以包括:根据所述审核规则对所述待审核数据进行审核。其中,根据审核规则对所述待审核数据进行审核的具体实施方式已在上文进行详述,在此不再赘述。

由此,通过上述技术方案,可以通过获取用户的特征信息,自动确定出为该用户播放的视频时对应的审核规则,由此可以实现针对不同用户自动确定该用户对应的审核规则,从而可以有效保证未成年人观看视频的安全性,贴合用户的使用需求,进一步提升用户使用体验。

可选地,所述方法还可以包括:接收用户的颜色区分指令,其中,该颜色区分指令用于指示用户难以区分的颜色,如该颜色区分指令指示用户难以区分的颜色为红色和绿色,则响应于该颜色区分指令可以对缓存的流媒体数据的图像数据进行颜色提取,并将靠近红色的绿色替换为目标颜色,示例地,该目标颜色为蓝色,从而在进行视频播放时,通过红色和蓝色的对比,可以使得用户区分其中不同物体或者人物的轮廓。

又如,该颜色区分指令指示用户难以区分的颜色为蓝色和紫色,同样的可以将图像数据中靠近蓝色的紫色替换为其他颜色,以便于用户区分其中不同物体或者人物的轮廓。

由此,通过上述技术方案可以针对不同的用户,通过将终端缓存的流媒体数据中的图像数据进行颜色修改,从而播放适用于该用户观看的视频,可以针对用户的个体差异在终端实现视频的色弱优化,便于存在色弱的用户观看视频,进一步提升用户使用体验,并可以有效拓宽该视频播放方法的适用范围。

本公开还提供一种视频播放装置,如图3所示,所述装置10包括:

缓存模块100,被配置为对实时接收到的流媒体数据进行缓存;

第一获取模块200,被配置为从缓存的流媒体数据中获取待审核的第一目标流媒体数据;

审核模块300,被配置为对待审核数据进行审核,得到经审核后的第二目标流媒体数据,其中,所述待审核数据包括所述第一目标流媒体数据中的音频数据和/或图像数据;

第一确定模块400,被配置为确定所述第二目标流媒体数据对应的时间轴信息;

播放模块500,被配置为按照所述时间轴信息播放所述第二目标流媒体数据。

可选地,所述审核模块包括:

第一确定子模块,被配置为确定所述待审核数据中的待调整数据;

执行子模块,被配置为对所述待调整数据执行调整操作,以得到所述第二目标流媒体数据,其中,所述调整操作包括将所述待调整数据替换为目标数据或删除所述待调整数据。

可选地,所述待审核数据包括所述第一目标流媒体数据中的音频数据;

所述第一确定子模块包括:

识别子模块,被配置为对所述音频数据进行语音识别,获得所述音频数据对应的文本信息;

第二确定子模块,被配置为将所述文本信息中符合预设文本内容的文本片段对应的音频数据确定为所述待调整数据。

可选地,所述待审核数据包括所述第一目标流媒体数据中的图像数据;

所述第一确定子模块包括:

输入子模块,被配置为将图像数据输入画面检测模型,并根据所述画面检测模型的检测结果确定所述待调整数据,其中所述画面检测模型用于检测所述图像数据中是否存在预设画面内容。

可选地,所述调整操作包括删除所述待调整数据;

所述第一确定模块包括:

第三确定子模块,被配置为删除所述第二目标流媒体数据中与所述文本片段的音频数据对应的图像数据,并根据所述文本片段的音频数据对应的时段信息确定所述第二目标流媒体数据中剩余的音频数据和图像数据的时间轴信息。

可选地,所述调整操作包括删除所述待调整数据;

所述第一确定模块包括:

第四确定子模块,被配置为在所述文本片段为完整语句中的一部分内容,且所述语句存在对应的图像数据的情况下,确定所述语句的音频数据在删除所述待调整数据后所包含的音频帧;

第五确定子模块,被配置为根据每一所述音频帧对应的时段信息确定每一所述音频帧的时间轴信息;

第六确定子模块,被配置为根据所述语句的时段信息、与所述第二目标流媒体数据中所述语句的音频数据对应的图像数据中的视频帧的个数,确定所述每一所述视频帧的时间轴信息,其中,所述语句的时段信息为每一所述音频帧对应的时段信息之和。

可选地,所述装置还包括:

接收模块,被配置为接收用户设置的审核设置指令,所述审核设置指令用于指示用户设置的审核规则;

所述审核模块包括:

第一审核子模块,被配置为根据所述审核规则对所述待审核数据进行审核。

可选地,所述装置还包括:

第二获取模块,被配置为获取观看视频的用户的用户图像;

识别模块,被配置为对所述用户图像进行人脸识别,获得所述用户的特征信息;

第二确定模块,被配置为根据所述用户的特征信息确定审核规则;

所述审核模块包括:

第二审核子模块,被配置为根据所述审核规则对所述待审核数据进行审核。

可选地,所述装置还包括:

存储模块,被配置为存储所述第一目标流媒体数据对应的进度信息,以表示所述第一目标流媒体数据已被审核。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的视频播放方法的步骤。

图4是根据一示例性实施例示出的一种视频播放装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。

参照图4,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(i/o)的接口812,传感器组件814,以及通信组件816。

处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的视频播放方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。

电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(mic),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。

i/o接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。

在示例性实施例中,装置800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述视频播放方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述视频播放方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的视频播放方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1