视频处理方法、装置、电子设备及存储介质与流程

文档序号:16901628发布日期:2019-02-19 18:03阅读:140来源:国知局
视频处理方法、装置、电子设备及存储介质与流程

本申请涉及电子设备技术领域,更具体地,涉及一种视频处理方法、装置、电子设备及存储介质。



背景技术:

电子设备,例如电脑、手机等,已经成为人们日常生活中最常用的消费型电子产品之一。随着电子设备的发展,越来越多的用户利用电子设备进行视频的播放,但在利用电子设备进行视频播放时,可能会出现显示卡顿。



技术实现要素:

鉴于上述问题,本申请提出了一种视频处理方法、装置、电子设备及计算机可读取存储介质,以降低视频播放时的卡顿。

第一方面,本申请实施例提供了一种视频处理方法,所述方法包括:在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,所述显示增强处理通过优化参数处理所述播放视频中的图像提高所述播放视频的画质;比较所述剩余资源与资源阈值;如果所述剩余资源小于所述资源阈值时,仅对播放视频的部分内容进行所述显示增强处理。

第二方面,本申请实施例提供了一种视频处理装置,所述装置包括:资源检测模块、资源比较模块以及显示增强模块,其中,所述资源检测模块用于在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,所述显示增强处理通过优化参数处理所述播放视频中的图像提高所述播放视频的画质;所述资源比较模块用于比较所述剩余资源与资源阈值;所述显示增强模块用于如果所述剩余资源小于所述资源阈值时,仅对播放视频的部分内容进行所述显示增强处理。

第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的视频处理方法。

第四方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的视频处理方法。

本申请提供的方案,通过在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,然后比较剩余资源与资源阈值,如果剩余资源小于资源阈值时,仅对播放视频的部分内容进行显示增强处理。由于处理器的剩余资源小于资源阈值时,仅对播放视频的部分内容进行显示增强处理,因此可以避免显示增强处理所占用的资源过多,从而降低视频播放时的卡顿。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1示出了根据本申请实施例提供的视频播放架构的框图。

图2示出了根据本申请一个实施例的视频处理方法流程图。

图3示出了根据本申请另一个实施例的视频处理方法流程图。

图4示出了根据本申请又一个实施例的视频处理方法流程图。

图5示出了根据本申请一个实施例的视频处理装置的一种框图。

图6示出了根据本申请一个实施例的视频处理装置中显示增强模块的框图。

图7是本申请实施例的用于执行根据本申请实施例的视频处理方法的电子设备的框图。

图8是本申请实施例的用于保存或者携带实现根据本申请实施例的视频处理方法的程序代码的存储单元。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

目前,大多电子设备,例如电脑、手机、平板电脑等,可实现对视频的播放。在电子设备进行视频的播放时,电子设备的操作系统在获取到待播放的视频数据后,可以解析音视频数据。通常视频文件由视频流和音频流两部分组成,不同的视频格式音视频的封装格式将会不同。将音频流和视频流合成文件的过程称为muxer(合并文件)。muxer对应的逆过程,则是从媒体文件中分离音频流和视频流的过程称为demuxer(分离文件)。播放视频文件时,需要从文件流中分离出音频流和视频流,分别对其进行解码,解码后的视频帧可以直接渲染,音频帧可以送到音频输出设备的缓冲区进行播放,当然,视频渲染和音频播放的时间戳一定要控制同步。

其中,视频解码可以包括硬解码和软解码,硬件解码是将原来全部交由中央处理器(centralprocessingunit,cpu)来处理的视频数据的一部分交由图像处理器(graphicsprocessingunit,gpu)来做,而gpu的并行运算能力要远远高于cpu,这样可以大大的降低对cpu的负载,cpu的占用率较低了之后就可以同时运行一些其他的程序了。当然,对于性能较好的处理器而言,也可以使用软件解码,即由cpu中的解码软件程序进行解码。

请参阅图1,示出了电子设备的视频播放架构的框图。当播放器为采用硬解码的播放器时,mediaframework(多媒体框架)通过与播放器的客户端的api接口获取客户端待播放的视频文件,并交由videodecode(视频解码器)进行解码,以获得解码后的视频数据,即待渲染的图像数据。其中,mediaframework为android系统中多媒体框架,mediaframework可以包括mediaplayer(媒体播放器)、mediaplayerservice(媒体播放器服务)和stagefrightplayer三个部分。具体的,多媒体框架部分采用c/s的结构,mediaplayer作为c/s结构的client(客户)端,mediaplayerservice和stagefrightplayer作为c/s结构server(服务)端,承担着播放多媒体文件的责任,通过stagefrightplayer,server端完成client端的请求并作出响应。videodecode为可以解码音频数据以及视频数据的解码器,用于将视频数据解码。在videodecode对上述的视频文件进行解码后,则可以通过视频驱动程序将解码后的视频数据传输至surfaceflinger(图层传递模块)进行渲染以及在屏幕中的显示。surfaceflinger是一个独立的service(服务),它接收所有window(窗口)的surface(表层)作为输入,根据zorder(节点排序)、透明度、大小、位置等参数,计算出每个surface在最终合成图像中的位置,然后交由hwcomposer或opengl(opengraphicslibrary,开放图形库)生成最终的显示buffer(缓冲),然后显示到特定的显示设备上。

当播放器为采用软解码的播放器时,即通过软件让cpu来对视频进行解码处理,解码之后再调用gpu对视频渲染合并之后在屏幕上显示。而硬解码,指不借助于cpu,而通过专用的子卡设备来独立完成视频解码任务。

在本申请实施例中,电子设备在视频播放过程中可以进行视频播放的显示增强处理。具体的,在通过硬解码或者软解码获得解码后的视频数据之后,解码后的视频数据作为待渲染的图像数据,将待渲染的图像数据发送至surfaceflinger的时候,可以被hqv(hollywoodqualityvideo,好莱坞品质影像)算法模块拦截并优化之后再发送给surfaceflinger做渲染以及后续在屏幕上的显示操作。hqv算法模块用于将上述待渲染的图像数据存储至离屏渲染缓冲区之后,对离屏渲染缓冲区内的多帧图像数据的图像,通过曝光度增强、去噪、边缘锐化、对比度增加以及饱和度增加等优化参数,进行显示增强处理之后,再传输至surfaceflinger进行渲染以及后续在屏幕上的优化操作。其中,上述显示增强处理可以提高播放视频的画质,画质包括清晰度、锐度、镜头畸变、色彩、解析度、色域范围、纯度等,通过其不同的组合方式可以有不同的显示增强效果。达到上述画质中不同的组合方式可以通过控制上述优化参数实现。其中,需要说明的是,对播放视频的显示增强处理还可以理解为在对播放视频进行正式处理之前所做的一系列操作,包括图像增强和图像复原等,图像增强是通过一定手段对原图像附加一些信息或者变换数据,有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征,使图像与优化参数相匹配,从而改善图像质量,加强视觉效果,以使显示的视频图像达到超清视效的效果。具体的,surfaceflinger可以调用gpu实现上述图像数据进行渲染和合成后将渲染结果放入帧缓冲区,随后视频控制器读取帧缓冲区的数据,经过数模转换传递给显示器显示,从而可以实现视频显示的显示增强。

但是,发明人经过研究发现,在开启显示增强处理的功能时,会使视频播放时所占用的处理器的资源增加,而在处理器的剩余资源较少时,可能会导致视频播放时的卡顿。因此,针对该技术问题,发明人经过长时间的研究并提出了本申请实施例提供的视频处理方法、装置、电子设备以及计算机可读取存储介质,通过在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,当剩余资源小于资源阈值时,仅对播放视频的部分内容进行显示增强处理,避免显示增强处理所占用的资源过多,从而降低视频播放时的卡顿。

下面对本申请实施例的视频处理方法进行详细介绍。

请参阅图2,本申请实施例提供了一种视频处理方法,可应用于电子设备,该视频处理方法可以包括:

步骤s110:在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,所述显示增强处理通过优化参数处理所述播放视频中的图像提高所述播放视频的画质。

在电子设备进行视频播放时,为提升播放视频的显示效果,会对播放视频进行显示增强处理。而在进行显示增强处理时,会使视频播放时所占用的处理器的资源增加,当处理器的剩余资源较少时,可能会导致视频播放时的卡顿。显示增强处理通过优化参数处理播放视频中的图像提高播放视频的画质,具体的显示增强处理可以参阅上述对显示增强处理的描述。

在本申请实施例中,可以在确定出视频播放时,显示增强处理的模式开启时,对处理器的剩余资源进行检测,以便后续跟进处理器的剩余资源,对显示增强处理的操作进行控制。其中,处理器可以包括中央处理器和/或图像处理器。剩余资源为,处理器的总资源减去运行中的程序所占用的资源后剩余的资源。

在一些实施方式中,可以通过检测电子设备的视频播放架构工作时,确定电子设备在进行视频播放。另外,也可以检测视频播放时所使用的相关模块是否工作,以确定电子设备在进行视频播放,例如,当检测到视频解码器、图层传递模块及视频播放器等处于工作状态时,检测出电子设备在进行视频播放。当然,具体检测电子设备当前在进行视频播放的方式在本申请实施例中并不作为限定。

在一些实施方式中,电子设备的系统界面中可以设置有用于进行显示增强处理的模式的开关按钮,用户可通过该开关按钮开启或者关闭视频播放的显示增强处理的模式。通过检测上述用于开关按钮是否开启,当该开关按钮开启时,则显示增强处理的模式开启;当该开关按钮关闭时,则显示增强处理的模式关闭。当然,具体的确定当前电子设备的显示增强处理的模式是否开启的方式在本申请实施例中并不作为限定。

在本申请实施例中,电子设备在进行视频播放时,显示增强处理的模式开启时,可以对处理器的剩余资源进行检测,以便后续跟进处理器的剩余资源,对显示增强处理的操作进行控制。在一些方式中,可以检测中央处理器的使用情况,以获得中央处理器的剩余资源。例如,终端设备的操作系统为android系统时,可以通过android系统中的processstats类,获取系统的使用情况及进程时间。其具体实现原理是读取/proc目录下的文件,系统运行时,内核会去更新/proc目录下的文件,将pid的运行情况写入相应的文件中,根据上述运行情况即可获取到中央处理器的剩余资源。在一些方式中,电子设备的操作系统为安卓系统时,可以通过adb命令获取gpu的使用情况,例如通过adbshellcat/sys/class/kgsl/kgsl-3d0/gpubusy获取gpu的使用情况,以得到gpu的剩余资源。当然,以上获取处理器的剩余资源的方式仅为举例,具体检测处理器的剩余资源的方式在本申请实施例中可以不作为限定。

从而,可以获取到处理器的剩余资源,以便对显示增强处理的操作进行控制。

步骤s120:比较所述剩余资源与资源阈值。

在本申请实施例中,在检测得到处理器的剩余资源之后,则可以将剩余资源与资源阈值进行比较,以根据剩余资源与资源阈值的比较结果,对显示增强处理的操作进行控制。其中,资源阈值可以是表示处理器的剩余资源的高低水平的临界值,当处理器的剩余资源小于上述资源阈值时,处理器的剩余资源较少,此时可能不能顺畅的执行显示增强处理的优化操作,当处理器的剩余资源大于或者等于上述资源阈值时,处理器的剩余资源较多,此时可以顺畅的处理显示增强处理的优化操作。例如,处理器的剩余资源以处理器的最大资源的百分比进行表示时,资源阈值可以为60%-80%,当然,以上资源阈值仅为举例,具体的资源阈值在本申请实施例中可以不作为限定,可以根据实际需求以及处理器的性能确定,也就是说,在处理器的性能强时,由于其剩余资源低于一定水平时,其依然可以顺畅处理显示增强处理所对应的操作,因此其对应的资源阈值,可以相对处理器性能弱的资源阈值低。例如,两个处理器的最大工作频率分别为2ghz和4ghz,如果最大工作频率为2ghz的处理器对应的资源阈值为20%,则最大工作频率为4ghz的处理器对应的资源阈值可以为30%。

步骤s130:如果所述剩余资源小于所述资源阈值时,仅对播放视频的部分内容进行所述显示增强处理。

在本申请实施例中,当上述比较出处理器的剩余资源小于资源阈值时,处理器的剩余资源较少,此时可能不能顺畅的执行显示增强处理的操作,因此可以仅对播放视频的部分内容进行显示增强处理,而不对播放视频的全部内容进行显示增强处理,从而减少显示增强处理所占用处理器的资源。其中,播放视频的部分内容可以是播放视频的视频图像的部分区域,也可以是播放视频的部分视频图像,还可以是播放视频的部分视频图像的指定区域,具体需要进行显示增强处理的播放视频的部分内容可以不作为限定。

在对播放视频的部分内容进行显示增强处理时,将该部分内容对应的被解码后的视频数据作为待渲染的图像数据,上述hqv算法模块将其拦截,hqv算法模块将上述待渲染的图像数据存储至离屏渲染缓冲区之后,对离屏渲染缓冲区内的多帧图像数据的图像进行曝光度增强、去噪、边缘锐化、对比度增加以及饱和度增加等优化操作的显示增强处理之后,再传输至surfaceflinger进行渲染以及后续在屏幕上的优化操作,以使显示的视频图像达到超清视效的效果。例如,部分内容为播放视频的视频图像中的部分区域时,则对离屏渲染缓冲区内的多帧图像数据的图像中的部分区域进行曝光度增强、去噪、边缘锐化、对比度增加以及饱和度增加等优化操作的显示增强处理之后,再进行后续显示,从而提高播放视频的画质,画质包括清晰度、锐度、镜头畸变、色彩、解析度、色域范围、纯度等,使上述图像中的部分区域达到超清视效的效果。

在本申请实施例中,当比较出处理器的剩余资源大于或者等于资源阈值时,由于处理器的剩余资源较多,此时可以顺畅的处理显示增强处理的优化操作,因此可以对播放视频的全部内容进行显示增强处理,或者可以对播放视频的部分内容进行显示增强处理。

本申请实施例提供的视频处理方法,通过当视频播放的显示增强处理的模式时,检测处理器的剩余资源,当剩余资源小于资源阈值时,仅对播放视频的部分内容进行显示增强处理,而不对播放视频的所有内容进行显示增强处理,避免显示增强处理所占用的资源过多,从而降低视频播放时的卡顿。

请参阅图3,本申请另一个实施例提供了一种视频处理方法,可应用于电子设备,该视频处理方法可以包括:

步骤s210:在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,所述显示增强处理通过优化参数处理所述播放视频中的图像提高所述播放视频的画质。

步骤s220:比较所述剩余资源与资源阈值。

在本申请实施例中,步骤s210以及步骤s220可以参阅上述实施例的内容,在此不再赘述。

步骤s230:如果所述剩余资源小于所述资源阈值时,判断所述剩余资源是否大于设定阈值,所述设定阈值小于所述资源阈值。

在本申请实施例中,如果上述比较出处理器的剩余资源小于资源阈值时,表示处理器的剩余资源较少,此时可能不能顺畅的执行对播放视频的所有内容的显示增强处理的优化操作。如果此时依然对播放视频的所有内容进行显示增强处理,则可能导致视频播放的卡顿,因此可以对处理器不能顺畅执行对播放视频的所有内容进行显示增强处理的情况进行处理,以避免处理器负担过大,而导致视频播放时出现卡顿。

当处理器的剩余资源小于资源阈值时,由于图像处理器剩下的可用资源较少,处理器可能当前还可以顺畅处理对播放视频的部分内容的显示增强处理,也可能不可以顺畅的对播放视频的任一内容的显示增强处理操作。因此,在本申请实施例中,当处理器的剩余资源小于资源阈值时,可以确定处理器是否还能顺畅的对播放视频的部分内容进行显示增强处理。

进一步的,可以当比较出处理器的剩余资源小于资源阈值时,判断剩余资源是否大于设定阈值,其中,该设定阈值大于资源阈值,以确定当处理器的剩余资源小于资源阈值时,是否对播放视频的部分内容进行显示增强处理。

在本申请实施例中,设定阈值可以是处理器不能顺畅的对播放视频的任何内容进行显示增强处理时的剩余资源,与处理器还能顺畅的对播放视频的部分内容时的剩余资源的临界值。也就是说,当处理器的剩余资源大于设定阈值时,其剩余资源较少但还可以支持顺畅的对播放视频的部分内容进行显示增强处理;当处理器的剩余资源不大于设定阈值时,其剩余资源已经不足以支持顺畅的对播放视频的部分内容进行显示增强处理。

在本申请实施例中,设定阈值可以根据处理器的性能等确定。作为一种实施方式,在处理器的性能强时,由于其剩余资源低于一定水平时,其依然可以顺畅的对播放视频的部分内容进行显示增强处理,因此其对应的设定阈值,可以相对处理器性能弱的设定阈值低。例如,两个处理器的最大工作频率分别为2ghz和4ghz,如果最大工作频率为2ghz的处理器对应的设定阈值为15%,则最大工作频率为4ghz的处理器对应的设定阈值可以为20%。当然,以上设定阈值仅为举例,并不代表对本申请实施例中具体的设定阈值的限定。

步骤s240:如果大于所述设定阈值,仅对播放视频的部分内容进行所述显示增强处理。

在本申请实施例中,当处理器的剩余资源小于资源阈值,但是大于设定阈值时,则表示此其还可以支持顺畅的对播放视频的部分内容进行显示增强处理。因此,可以在步骤s230中判断出处理器的剩余资源大于设定阈值时,仅对播放视频的部分内容进行显示增强处理。

进一步的,在仅对播放视频的部分内容进行显示增强处理时,可以对播放视频的每帧图像的目标区域进行显示增强处理,其中,每帧图像中的目标区域可以是每帧图像中的部分区域。作为一种方式,可以选取播放视频的视频帧图像中的中心位置,将中心位置所在的目标大小的区域作为目标区域。并且中心位置所在的目标大小的区域,可以是圆形区域,也可以是方形区域,具体形状可以不作为限定。后续在将播放视频的每帧图像的目标区域进行显示增强处理后,可以使显示的视频图像的中间区域的内容得到增强,提升显示效果。作为另一种方式,可以将播放视频的视频帧图像划分为多个相同大小的区域,然后从多个相同大小的区域中,选取出一定个数且均匀分布的区域,作为目标区域,后续在将播放视频的每帧图像的目标区域进行显示增强处理后,可以使显示的视频图像中被增强的图像部分均匀分布,提升显示效果。作为又一种实施方式,也可以是将播放视频的视频帧图像中的左半部分中的部分区域、右半部分中的部分区域、上半部分中的部分区域、或者下半部分中的部分区域,作为目标区域,以便对目标区域进行显示增强处理后,提升显示效果。当然,具体的目标区域在本申请实施例中并不作为限定。

也就是说,hqv算法模块用于将对播放视频进行解码后的,待渲染的图像数据存储至离屏渲染缓冲区之后,对多帧图像数据中每帧图像数据的图像中的目标区域,进行曝光度增强、去噪、边缘锐化、对比度增加以及饱和度增加等优化操作的显示增强处理之后,再传输至surfaceflinger进行渲染以及后续在屏幕上的优化操作,以使显示的视频图像中的目标区域达到超清视效的效果。

在本申请实施例中,在仅对播放视频的部分内容进行显示增强处理时,也可以是仅对播放视频的部分帧图像进行显示增强处理。作为一种方式,可以将每间隔目标帧数的图像后的帧图像作为部分帧图像,例如,部分帧图像为播放视频的第n帧,第n+3帧,第n+6帧,第n+9帧,…,第n+n帧,第n+n+3帧图像,即对播放视频种每间隔目标帧数的图像后的帧图像进行显示增强处理,又例如,可以将播放视频的奇数帧图像作为部分帧图像,进行显示增强处理,或者将播放视频的偶数帧图像作为部分帧图像,进行显示增强处理。作为另一种实施方式,也可以将每间隔设定时间的设定时间段内的帧图像作为部分帧图像,例如,将时间t起的x时间段的部分帧图像后,时间t+x+t起的x时间段的部分帧图像,时间t+2x+2t起的x时间段的部分帧图像,…,时间t+nx+nt起的x时间段的部分帧图像,作为部分帧图像,进行显示增强处理,其中,x为是上述设定时间段,t为设定时间,t为任意时间。当然,具体的播放视频的部分帧图像可以在本申请实施例中并不作为限定。

步骤s250:如果不大于所述设定阈值,禁止对播放视频进行所述显示增强处理。

在本申请实施例中,当处理器的剩余资源不大于设定阈值时,表示处理器剩余的资源已经不足以支持顺畅的对播放视频的任一内容进行显示增强处理。因此,可以在判断出处理器的剩余资源不大于设定阈值时,禁止对播放视频进行显示增强处理,以避免处理器的负担过大,而使处理器不能流畅处理显示增强处理的操作,导致视频播放时的卡顿。

步骤s260:如果所述剩余资源大于或者等于所述资源阈值时,对播放视频的全部内容进行所述显示增强处理。

在本申请实施例中,当步骤s220中比较出处理器的剩余资源大于或者等于资源阈值时,由于处理器的剩余资源较多,此时可以顺畅的处理显示增强处理的优化操作,因此可以对播放视频的全部内容进行显示增强处理。

本申请实施例提供的视频处理方法,通过在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,当剩余阈值小于资源阈值但是大于设定阈值时,对播放视频的每帧图像中的目标区域进行显示增强处理,或者对播放视频的部分帧图像进行显示增强处理。当剩余阈值不大于设定阈值时,禁止对播放视频进行显示增强处理,并且当剩余资源大于或者等于资源阈值时,对播放视频的全部内容进行显示增强处理。从而实现,根据处理器的剩余资源,确定对播放视频进行部分内容的显示增强处理、全部内容的显示增强处理、或者不进行显示增强处理,避免处理器的负担过大,不能流畅处理显示增强处理的操作,而导致视频播放时的卡顿。

请参阅图4,本申请又一个实施例提供了一种视频处理方法,可应用于电子设备,该视频处理方法可以包括:

步骤s310:在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,所述显示增强处理通过优化参数处理所述播放视频中的图像提高所述播放视频的画质。

步骤s320:比较所述剩余资源与资源阈值。

步骤s330:如果所述剩余资源小于所述资源阈值时,判断所述剩余资源是否大于设定阈值,所述设定阈值小于所述资源阈值。

在本申请实施例中,步骤s310至步骤s330的内容,可以参阅上述实施例的内容,在此不再赘述。

步骤s340:如果大于所述设定阈值,将所述播放视频的每帧图像进行缩小。

在本申请实施例中,当处理器的剩余资源小于资源阈值,但是大于设定阈值时,则表示此其还可以支持顺畅的对播放视频的部分内容进行显示增强处理。因此,可以在判断出处理器的剩余资源大于设定阈值时,对播放视频的每帧图像的目标区域进行显示增强处理。

在一些实施方式中,在对播放视频的每帧图像的目标区域进行显示增强处理之前,可以将播放视频的每帧图像进行缩小,缩小图像为将图像的尺寸进行缩小,在将图像缩小后,可以使图像的平滑度和清晰度增加。由于将视频帧图像进行缩小后,其寸尺变小,因此可以使后续在视频帧图像进行显示增强处理时,处理器的处理量减小,减少显示增强处理占用处理器的资源。作为一种方式,可以将播放视频的每帧图像按照设定缩小比例进行缩小,也就是说,缩小后的图像的尺寸大小与缩小后的图像尺寸大小之比为上述缩小比例。例如,将播放视频的每帧图像按照0.6的缩小比例进行缩小,则缩小后的图像的尺寸大小与缩小后的图像尺寸大小之比为0.6。其中,具体对播放视频的视频帧图像进行缩小时,其具体缩小的尺寸在本申请实施例中可以不作为限定。

步骤s350:仅对缩小后的每帧图像的目标区域进行所述显示增强处理。

在本申请实施例中,在对播放视频的每帧图像进行缩小后,则可以对缩小后的视频帧图像进行显示增强处理。

进一步的,可以是仅对缩小后的每帧图像的目标区域进行显示增强处理。同样的,目标区域可以是每帧图像中的中心位置所在的目标大小的区域,也可以是一定个数且均匀分布的同大小区域,还可以是任意半区的区域中的部分区域,当然,具体的目标区域在本申请实施例中并不作为限定。

在对上述缩小后的每帧图像的目标区域进行显示增强处理时,hqv算法模块将对播放视频进行解码后的,待渲染的图像数据存储至离屏渲染缓冲区之后,对多帧图像数据中每帧图像数据的图像中的目标区域,进行曝光度增强、去噪、边缘锐化、对比度增加以及饱和度增加等优化操作的显示增强处理之后,再传输至surfaceflinger进行渲染以及后续在屏幕上的优化操作,提高播放视频的画质,以使显示的视频图像中的目标区域达到超清视效的效果。

从而通过在处理器的剩余资源大于资源阈值,但是不大于设定阈值时,对播放视频的每帧图像进行缩小后,再对缩小后的图像中的目标区域进行显示增强处理,减少显示增强处理占用处理器的资源,避免处理器的负担过大导致视频播放时的卡顿。另外,由于对播放视频的视频图像进行了缩小,可以使图像的质量增加。

步骤s360:如果不大于所述设定阈值,禁止对播放视频进行所述显示增强处理。

在本申请实施例中,当处理器的剩余资源不大于设定阈值时,表示处理器剩余的资源已经不足以支持顺畅的对播放视频的任一内容进行显示增强处理。因此,可以在判断出处理器的剩余资源不大于设定阈值时,禁止对播放视频进行显示增强处理,以避免处理器的负担过大,而使处理器不能流畅处理显示增强处理的操作,导致视频播放时的卡顿。

步骤s370:如果所述剩余资源大于或者等于所述资源阈值时,对播放视频的全部内容进行所述显示增强处理。

在本申请实施例中,当步骤s320中比较出处理器的剩余资源大于或者等于资源阈值时,由于处理器的剩余资源较多,此时可以顺畅的处理显示增强处理的优化操作,因此可以对播放视频的全部内容进行显示增强处理。

在本申请实施中,当处理器的剩余资源小于资源阈值,但是大于设定阈值时,也可以是对播放视频的部分帧图像进行显示增强处理,其中,可以将每间隔目标帧数的图像后的帧图像作为部分帧图像,进行显示增强处理。具体的,可以在对播放视频的部分帧图像进行显示增强处理之前,可以将播放视频的每帧图像进行上述的缩小,然后将缩小后的图像中的部分帧图像进行显示增强处理。从而实现在处理器的剩余资源大于资源阈值,但是不大于设定阈值时,对播放视频的每帧图像进行缩小后,再对缩小后的图像中部分帧图像进行显示增强处理,减少显示增强处理占用处理器的资源,避免处理器的负担过大导致视频播放时的卡顿。

在本申请实施例中,当处理器的剩余资源小于资源阈值,但是大于设定阈值时,可以根据从所有优化参数中获取的部分优化参数,对播放视频的部分内容进行显示增强处理。其中,所有优化参数可以包括:曝光度增强、去噪、边缘锐化、对比度增加以及饱和度增加等优化参数。当然,具体对视频进行显示增强处理的优化参数在本申请实施例中可以不作为限定。可以理解的,在利用上述所有优化参数进行显示增强处理时,即对视频进行优化时,每种优化参数对应的优化处理均会占用图像处理器的资源,优化参数的数量会影响显示增强处理所占用处理器的资源,因此可以通过选取部分优化参数,以对播放视频进行显示增强处理。

进一步的,上述选取部分优化参数,可以是根据每个优化参数的优化优先级,对优化参数进行选取。其中,优化优先级可以包括:根据优化参数对应的画面优化质量从高到低的顺序建立的优先级。具体的,可以在获取到每个优化参数的优化优先级之后,则可以根据每个优化参数的优化优先级,对优化参数进行选取。作为一种实施方式,可以根据每个优化参数的优化优先级,选取目标个数的优化参数,例如,根据优化参数的优化优先级从高到低的排序结果,从排序结果中选取前目标个数优化参数,也就是说,选取出的目标个数的优化参数的优先级,均大于其他优化参数的优先级。其中,目标个数的具体数值可以不作为限定。从而,可以使后对播放的视频进行显示增强处理时,可以根据优先级高的优化参数进行处理。

在本申请实施例中,上述不同参数的优化优先级,可以是根据优化参数对应的画面优化质量从高到低的顺序,对每种优化参数的优化优先级进行建立,也就是说,优化参数所对应的画面优化质量越高,则其对应的优化优先级越高。当然,具体的优化优先级可以在本申请实施例中不作为限定,例如,优化优先级也可以通过用户设定,即用户可以对所有优化参数的优化优先级进行设定。上述优化优先级可以存储于电子设备中,在需要从所有优化参数中获取部分优化参数时,则可以对优化优先级进行读取。从而,当优化优先级为上述根据优化参数对应的画面优化质量从高到低的顺序建立的优先级时,则选取的优化参数对应的画面优化质量高于其他优化参数对应的画面优化质量。从而,可以使后续根据目标优化参数对播放的视频进行显示增强处理时,减少显示增强处理占用处理器的资源,并且使视频画面的质量较高。

在本申请实施例中,当检测出处理器的剩余资源小于资源阈值时,还可以进行相关处理,以减少其他进程所占用处理器的资源,提升处理器进行显示增强处理时的效率,减少视频播放时的卡顿。因此,在处理器的剩余资源小于资源阈值时,该视频处理方法还可以包括:

检测当前播放视频的应用的弹幕功能是否开启;如果开启,则关闭当前播放视频的应用的弹幕功能。

可以理解的是,在应用播放视频时,由于播放视频的应用具有弹幕功能,因此可以将弹幕与视频图像一起显示。而在需要将视频图像与弹幕一起显示时,中央处理器需要对弹幕数据处理后,利用图像处理器将弹幕与视频图像渲染为同一图像后在屏幕进行显示,因此实现弹幕显示需要占用图像处理器的资源。其中,弹幕数据为播放应用程序从视频源服务器或者弹幕服务器获取的用于渲染为显示的弹幕的数据,电子设备的播放应用程序在得到弹幕数据后,可以利用弹幕数据进行弹幕的绘制,最后与视频图像合成为同一图像进行显示。

由于在实现弹幕显示时,会占用图像处理器的资源,而弹幕功能为视频播放时非必须的功能,因此,可以对弹幕功能是否开启进行检测,以在弹幕功能开启时,关闭弹幕功能。其中,检测应用的弹幕功能是否开启,可以通过检测该应用的弹幕功能的标识是否为表征弹幕功能开启的标识,以确定出当前播放视频的应用程序的弹幕功能是否开启。例如,上述播放视频的应用的弹幕功能的标识为0时,则表征该应用的弹幕功能未开启,上述播放视频的应用的弹幕功能的标识为1时,则表征该应用的弹幕功能开启。当然,也还可以通过检测当前播放应用的弹幕功能对应的从弹幕服务器获取弹幕数据的数据接口是否开启,以确定该应用的弹幕功能是否开启。具体检测当前播放视频的应用的弹幕功能的方法在本申请实施例中可以不作为限定。

当检测出当前播放视频的应用的弹幕功能开启时,则可以将其弹幕功能关闭,以在处理器的剩余资源小于资源阈值时,释放处理器的资源用于显示增强处理,避免视频播放时的卡顿。

本申请实施例提供的视频处理方法,通过在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,当剩余阈值小于资源阈值但是大于设定阈值时,对播放视频的每帧图像进行缩小后,再对缩放后的每帧图像的目标区域进行显示增强处理,或者对缩放后的图像中的部分帧图像进行显示增强处理。当剩余阈值不大于设定阈值时,禁止对播放视频进行显示增强处理。另外,当剩余资源大于或者等于资源阈值时,对播放视频的全部内容进行显示增强处理。从而实现,根据处理器的剩余资源,确定对播放视频进行部分内容的显示增强处理、全部内容的显示增强处理、或者不进行显示增强处理,避免处理器的负担过大,不能流畅处理显示增强处理的操作,而导致视频播放时的卡顿。

请参阅图5,其示出了本申请实施例提供的一种视频处理装置的框图。该视频处理装置400可以包括:资源检测模块410、资源比较模块420以及显示增强模块430。其中,所述资源检测模块410用于在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,所述显示增强处理通过优化参数处理所述播放视频中的图像提高所述播放视频的画质;所述资源比较模块420用于比较所述剩余资源与资源阈值;所述显示增强模块430用于如果所述剩余资源小于所述资源阈值时,仅对播放视频的部分内容进行所述显示增强处理。

在本申请实施例中,请参见图6,显示增强模块430可以包括:资源判断单元431以及增强执行单元432。资源判断单元431用于如果所述剩余资源小于所述资源阈值时,判断所述剩余资源是否大于设定阈值,所述设定阈值小于所述资源阈值;增强执行单元432用于如果大于所述设定阈值,仅对播放视频的部分内容进行所述显示增强处理。

作为一种实施方式,增强执行单元432可以具体用于:仅对播放视频的每帧图像的目标区域进行所述显示增强处理,所述目标区域为所述每帧图像中的部分区域。

进一步的,增强执行单元432仅对播放视频的每帧图像的目标区域进行所述显示增强处理,可以包括:将所述播放视频的每帧图像进行缩小;仅对缩小后的每帧图像的目标区域进行所述显示增强处理。

作为另一种实施方式,增强执行单元432可以具体用于:仅对播放视频的部分帧图像进行所述显示增强处理。

在本申请实施例中,该视频处理装置400还可以包括:增强禁止模块。增强禁止模块用于:如果不大于所述设定阈值,禁止对播放视频进行所述显示增强处理。

在本申请实施例中,该视频处理装置400还可以包括:全内容增强模块。全内容增强模块用于如果所述剩余资源大于或者等于所述资源阈值时,对播放视频的全部内容进行所述显示增强处理。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。

另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

综上所述,本申请提供的方案,通过在开启视频播放的显示增强处理的模式时,检测处理器的剩余资源,然后比较剩余资源与资源阈值,如果剩余资源小于资源阈值时,仅对播放视频的部分内容进行显示增强处理。由于处理器的剩余资源小于资源阈值时,仅对播放视频的部分内容进行显示增强处理,因此可以避免显示增强处理所占用的资源过多,从而降低视频播放时的卡顿。

请参考图7,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备100可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备。本申请中的电子设备100可以包括一个或多个如下部件:处理器110、存储器120、屏幕130以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个电子设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行电子设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(digitalsignalprocessing,dsp)、现场可编程门阵列(field-programmablegatearray,fpga)、可编程逻辑阵列(programmablelogicarray,pla)中的至少一种硬件形式来实现。

处理器110可集成中央处理器111(centralprocessingunit,cpu)、图像处理器112(graphicsprocessingunit,gpu)和调制解调器等中的一种或几种的组合。其中,cpu主要处理操作系统、用户界面和应用程序等;gpu用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。

存储器120可以包括随机存储器(randomaccessmemory,ram),也可以包括只读存储器(read-onlymemory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

屏幕130用于显示由用户输入的信息、提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、数字、视频和其任意组合来构成,在一个实例中,触摸屏可设置于所述显示面板上从而与所述显示面板构成一个整体。

请参考图8,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质800可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。

最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1