终端和视频图像压缩方法与流程

文档序号:15752198发布日期:2018-10-26 17:59阅读:182来源:国知局
终端和视频图像压缩方法与流程

本发明涉及视频图像处理技术领域,具体而言,涉及一种终端和一种视频图像压缩方法。



背景技术:

在流媒体、可视电话、视频会议等视频应用中,在通过网络传输视频数据的过程中,由于受到网络带宽的限制或其他不稳定因素的影响,视频将无法流畅观看。现有技术可通过两种方案保证视频数据的正常传输及播放。

方案1:在不改变图像分辨率的情况下,提高压缩比以降低视频压缩的码率,保证视频码率能够在带宽允许范围内进行传输。例如,原有分辨率为800×600的高清晰度画质的视频,受到网络干扰后调整为800×600的低清晰度画质的视频。

这种方法在保证图像分辨率的同时提高了压缩比,即牺牲图像质量以降低码率,这使得更多的图像细节部分被忽略,视频接收端的解码器将无法真实还原图像的细节,造成接收端观看的视频画质清晰度整体变低。在严重的情况下会出现大量的马赛克现象。

方案2:在不改变图像画质的情况下,改变视频的分辨率,这样随着分辨率的降低,视频数据量将减少,在相同压缩比下,码率也会随之降低,以保证视频码率能够在带宽允许范围内进行传输。例如原有分辨率为800×600的高清晰度画质的视频,受到网络干扰后调整为320×240的相同清晰度画质的视频。

这种方法虽然可以保证画质的清晰度,但是可见视频画面整体缩小了,势必会影响接收端的整体观看效果。

方案1和方案2存在一个共同的缺点:视频画面针对带宽变化所做的调整都是对整个画面进行变换,以达到降低视频码率的目的。该方法对视频画面中的所有元素都同等对待,没有区分视频画面中的重要元素和次要元素。

因此,需要一种新的视频压缩方法,能够针对视频图像的不同区域采取不同的压缩策略,既保证了传输带宽要求,又可以区分视频画面中的重要元素和次要元素。



技术实现要素:

本发明正是基于上述问题,提出了一种终端,能够针对视频图像的不同区域采取不同的压缩策略,既保证了传输带宽要求,又可以区分视频画面中的重要元素和次要元素。

有鉴于此,根据本发明的一个方面,提出了一种终端,包括:识别单元,根据接收的选择信号,识别在当前显示的视频图像中选择的目标区域;压缩单元,连接至所述识别单元,增加所述目标区域所分配到的第一码流,根据所述第一码流对所述目标区域进行压缩,和/或用于减少所述视频图像中的非目标区域所分配到的第二码流,根据所述第二码流对所述非目标区域进行压缩。

该终端的视频图像压缩方式包括以下三种压缩方式:第一种:当用户选择了目标区域之后,可以增加该目标区域所分配到的码流,非目标区域所分配到的码流不变,即目标区域的图像变清晰了,而非目标区域的图像清晰度不变;第二种:当用户选择了目标区域之后,不仅增加了该目标区域所分配到的码流,也减少了非目标区域所分配到的码流,即目标区域的图像变清晰了,而非目标区域的图像清晰度降低了;第三种:当用户选择了目标区域之后,该目标区域所分配到的码流不变,但减少了非目标区域所分配到的码流,即目标区域的图像的清晰度不变,而非目标区域的图像清晰度降低了。这些方式均可以改变部分图像的清晰度,来区分重要元素和次要元素。当然还可以采用与上述压缩方式相反的压缩方式,例如:当用户选择了目标区域之后,可以减少该目标区域所分配到的码流,非目标区域所分配到的码流增加或保持不变,即目标区域的图像变模糊了,而非目标区域的图像变清晰了或者保持不变等等。

在上述技术方案中,优选的,还可以包括:计算单元,连接至所述识别单元,根据分配算法计算出所述目标区域所分配到的第一码流和所述非目标区域所分配到的第二码流;获取单元,连接至所述计算单元,根据所述第一码流获取与所述目标区域对应的第一量化值,以及根据所述第二码流获取与所述非目标区域对应的第二量化值;压缩单元还用于根据所述第一量化值对所述目标区域进行压缩以及根据所述第二量化值对所述非目标区域进行压缩。

在该技术方案中,通过分配算法得到视频图像中不同区域的码流,再根据码流计算得到视频图像中不同区域的量化值,最后根据不同的量化值对视频图像中不同区域进行压缩处理,这种方法能够区分视频画面中的重要元素(即目标区域)和次要元素(除去目标区域的其他区域即非目标区域),使得在不改变分辨率和不降低重要元素画质的前提下,保证总的比特流满足带宽的要求,既没有影响用户的观看效果,又达到了压缩视频的目的。

在上述技术方案中,优选的,所述计算单元所采用的所述分配算法包括:根据识别出的所述目标区域的面积和所述非目标区域的面积、选择所述目标区域时的操作次数以及当前网络带宽的码流限定值,计算出所述目标区域所分配到的第一码流和所述非目标区域所分配到的第二码流。

在上述技术方案中,优选的,所述计算单元所采用的所述分配算法包括:BRH=n×SH/(n×SH+SL)×BRlimit,

BRL=SL/(n×SH+SL)×BRlimit,其中,BRH为所述目标区域的所分配到的码流,BRL为所述非目标区域的所分配到的码流,n为选择所述目标区域时的操作次数,SH为所述识别单元识别出的所述目标区域的面积,SL为所述识别单元识别出的所述非目标区域的面积,BRlimit为当前网络带宽的码流限定值。

在上述技术方案中,优选的,还可以包括:还原单元,连接至所述识别单元,在接收到预设操作信号时,所述目标区域与所述非目标区域的码流分配比为1∶1。

在该技术方案中,可以根据用户的操作,将目标区域与非目标区域的清晰度还原为相同的状态,以便用户重新选择目标区域或重新对视频图像进行操作。

在上述技术方案中,优选的,所述识别单元包括检测子单元,在所述目标区域发生移动时,检测所述目标区域的位移变化状态,根据所述位移变化状态调整所述目标区域和所述非目标区域的划分。

在该技术方案中,当视频图像中的目标区域发生移动时,那么目标区域将调整到目标区域的位置,异于目标区域的其他区域自动划分为非目标区域,即可动态划分出目标区域。

在上述任一技术方案中,优选的,所述获取单元包括记录子单元,将所述第一量化值记录在所述第一码流,所述第二量化值记录在所述第二码流中;所述终端还包括解压单元,在对所述视频图像进行解压时,根据所述第一量化值对所述目标区域进行反量化计算,以及根据所述第二量化值对所述非目标区域进行反量化计算。解压是压缩的逆过程,将量化值记录在码流中,就可以进行反量化操作。

在上述任一技术方案中,优选的,还包括:发送单元,连接至所述识别单元,将识别出的目标区域信息发送至所述其他终端,其中,所述其他终端与所述终端同时处理所述视频图像;所述终端还包括:接收单元,接收其他终端识别出的目标区域信息,根据所述目标区域信息获取所述视频图像中被选择的目标区域,所述压缩单元增加所述目标区域所分配到的第一码流,根据所述第一码流对所述目标区域进行压缩,和/或减少所述视频图像中的非目标区域所分配到的第二码流,根据所述第二码流对所述非目标区域进行压缩。

当本地终端与其他终端进行视频通信时,可将在本地终端选择的目标区域的信息发送至其他终端,供其他终端增加选择的目标区域的清晰度,这样,在本地终端凸显的目标区域也能够在其他终端上进行凸显。

在上述任一技术方案中,优选的,所述发送单元还用于将选择所述目标区域时的操作信息发送至所述其他终端;所述接收单元还接收所述其他终端发送的选择所述目标区域时的操作信息,根据所述操作信息获取本地终端选择所述目标区域时的操作次数;所述计算单元根据所述目标区域的面积、选择所述目标区域时的操作次数以及所述其他终端的当前网络带宽的码流限定值,计算出所述目标区域所分配到的第一码流和所述非目标区域所分配到的第二码流。

因此,本地终端也可以将对目标区域的操作信息发送至其他终端,使本地终端对视频图像的操作信息同时能够反映到其他终端上,例如,对目标区域的操作次数、切换目标区域等操作信息均可以反映到其他终端上。其他终端根据这些操作信息对视频图像进行操作,对需增加清晰度的目标区域进行凸显,或者重新选择目标区域。

根据本发明的又一方面,还提出了一种视频图像压缩方法,包括:识别在视频图像中选择的目标区域;增加所述目标区域所分配到的第一码流,根据所述第一码流对所述目标区域进行压缩,和/或减少所述视频图像中的非目标区域所分配到的第二码流,根据所述第二码流对所述非目标区域进行压缩。

在上述技术方案中,优选的,根据分配算法计算出所述目标区域所分配到的第一码流和所述非目标区域所分配到的第二码流;根据所述第一码流获取与所述目标区域对应的第一量化值,以及根据所述第二码流获取与所述非目标区域对应的第二量化值;根据所述第一量化值对所述目标区域进行压缩以及根据所述第二量化值对所述非目标区域进行压缩。

在该技术方案中,通过分配算法得到视频图像中不同区域的码流,再根据码流计算得到视频图像中不同区域的量化值,最后根据不同的量化值对视频图像中不同区域进行压缩处理,这种方法能够区分视频画面中的重要元素和次要元素,使得在不改变分辨率和不降低重要元素画质的前提下保证总的比特流满足带宽的要求,既没有影响用户的观看效果,又达到了压缩视频的目的。

在上述技术方案中,优选的,所述分配算法包括:根据识别出的所述目标区域的面积和所述非目标区域的面积、选择所述目标区域时的操作次数以及当前网络带宽的码流限定值,计算出所述目标区域所分配到的第一码流和所述非目标区域所分配到的第二码流。

在上述技术方案中,优选的,所述分配算法包括:

BRH=n×SH/(n×SH+SL)×BRlimit,

BRL=SL/(n×SH+SL)×BRlimit,其中,BRH为所述目标区域的所分配到的码流,BRL为所述非目标区域的所分配到的码流,n为选择所述目标区域时的操作次数,SH为识别出的所述目标区域的面积,SL为识别出的所述非目标区域的面积,BRlimit为当前网络带宽的码流限定值。

在上述技术方案中,优选的,还包括:在接收到预设操作信号时,所述目标区域与所述非目标区域的码流分配比为1∶1。

在该技术方案中,在该技术方案中,可以根据用户操作将目标区域与非目标区域的清晰度还原为相同的状态,以便用户重新选择目标区域或重新对视频图像进行操作。

在上述技术方案中,优选的,在所述目标区域发生移动时,检测所述目标区域的位移变化状态,根据所述位移变化状态调整所述目标区域和所述非目标区域的划分。

在该技术方案中,当视频图像中的目标区域发生移动时,那么目标区域将调整到目标区域的位置,异于目标区域的其他区域自动划分为非目标区域。

在上述任一技术方案中,优选的,还包括:将所述第一量化值记录在所述第一码流,所述第二量化值记录在所述第二码流中;在对所述视频图像进行解码时,根据所述第一量化值对所述目标区域进行反量化计算,以及根据所述第二量化值对所述非目标区域进行反量化计算。

在上述任一技术方案中,优选的,还可以包括以下步骤:在其他终端与本地终端同时处理所述视频图像时,所述本地终端将识别出的目标区域信息发送至所述其他终端;所述其他终端根据所述目标区域信息获取所述视频图像中被选择的目标区域,增加所述目标区域所分配到的第一码流,根据所述第一码流对所述目标区域进行压缩,和/或减少所述视频图像中的非目标区域所分配到的第二码流,根据所述第二码流对所述非目标区域进行压缩。

当本地终端与其他终端进行视频通信时,可将在本地终端选择的目标区域的信息发送至其他终端,供其他终端增加选择的目标区域的清晰度,这样,在本地终端凸显的目标区域也能够在其他终端上进行凸显。

在上述任一技术方案中,优选的,还可以包括以下步骤:所述本地终端将选择所述目标区域时的操作信息发送至所述其他终端,所述其他终端根据所述操作信息获取本地终端选择所述目标区域时的操作次数;所述其他终端根据所述目标区域的面积、选择所述目标区域时的操作次数以及所述其他终端的当前网络带宽的码流限定值,计算出所述目标区域所分配到的第一码流和所述非目标区域所分配到的第二码流。

因此,本地终端也可以将对目标区域的操作信息发送至其他终端,使本地终端对视频图像的操作信息同时能够反映到其他终端上,例如,对目标区域的操作次数、切换目标区域等操作信息均可以反映到其他终端上。其他终端根据这些操作信息对视频图像进行操作,对需增加清晰度的目标区域进行凸显,或者重新选择目标区域。

通过以上技术方案,针对视频图像的不同区域采取不同的压缩策略,既保证了传输带宽要求,又可以区分视频画面中的重要元素和次要元素。

附图说明

图1示出了根据本发明的实施例的终端的框图;

图2示出了根据本发明的一个实施例的视频图像压缩方法的流程图;

图3示出了根据本发明的又一实施例的视频图像压缩方法的流程图;

图4A至图4E示出了根据本发明的实施例的操作视频图像的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的终端的框图。

如图1所示,根据本发明的实施例的终端100可以包括:识别单元102,根据接收的选择信号,识别在当前显示的视频图像中选择的目标区域;压缩单元108,连接至识别单元102,增加目标区域所分配到的第一码流,根据第一码流对目标区域进行压缩,和/或用于减少视频图像中的非目标区域所分配到的第二码流,根据第二码流对非目标区域进行压缩。

该终端100的视频图像压缩方式包括以下三种压缩方式:第一种:当用户选择了目标区域之后,可以增加该目标区域所分配到的码流,非目标区域所分配到的码流不变,即目标区域的图像变清晰了,而非目标区域的图像清晰度不变;第二种:当用户选择了目标区域之后,不仅增加了该目标区域所分配到的码流,也减少了非目标区域所分配到的码流,即目标区域的图像变清晰了,而非目标区域的图像清晰度降低了;第三种:当用户选择了目标区域之后,该目标区域所分配到的码流不变,但减少了非目标区域所分配到的码流,即目标区域的图像的清晰度不变,而非目标区域的图像清晰度降低了。这些方式均可以改变部分图像的清晰度,来区分重要元素和次要元素。当然还可以采用与上述压缩方式相反的压缩方式,例如:当用户选择了目标区域之后,可以减少该目标区域所分配到的码流,非目标区域所分配到的码流增加或保持不变,即目标区域的图像变模糊了,而非目标区域的图像变清晰了或者保持不变等等。

该终端100还可以包括:计算单元104,根据分配算法计算出目标区域所分配到的第一码流和非目标区域所分配到的第二码流;获取单元106,根据第一码流获取与目标区域对应的第一量化值,以及根据第二码流获取与非目标区域对应的第二量化值;压缩单元108还用于根据第一量化值对目标区域进行压缩以及根据第二量化值对非目标区域进行压缩。

在该技术方案中,通过分配算法得到视频图像中不同区域的码流,再根据码流计算得到视频图像中不同区域的量化值,最后根据不同的量化值对视频图像中不同区域进行压缩处理,这种方法能够区分视频画面中的重要元素和次要元素,使得在不改变分辨率和不降低重要元素画质的前提下,保证总的比特流满足带宽的要求,既不影响用户的观看效果,又达到了压缩视频的目的。

优选的,该计算单元104所采用的分配算法包括:根据识别出的目标区域的面积和非目标区域的面积、选择目标区域时的操作次数以及当前网络带宽的码流限定值,计算出目标区域所分配到的第一码流和非目标区域所分配到的第二码流。

在上述技术方案中,计算单元104所采用的分配算法包括:

BRH=n×SH/(n×SH+SL)×BRlimit,

BRL=SL/(n×SH+SL)×BRlimit,其中,BRH为目标区域的所分配到的码流,BRL为非目标区域的所分配到的码流,n为选择目标区域时的操作次数,SH为识别单元102识别出的目标区域的面积,SL为识别单元102识别出的非目标区域的面积,BRlimit为当前网络带宽的码流限定值。

可见,BRH与选择目标区域时的操作次数成正比,BRL与选择目标区域时的操作次数成反比,也就是说,对目标区域操作次数越多,目标区域的所分配到的码流就越大,非目标区域的所分配到的码流就越小,目标区域的画质就越清晰,非目标区域的画质就越模糊,目标区域与非目标区域的清晰度差异也就越明显。

优选的,该终端100还可以包括:检测单元118,用于检测所述当前网络带宽的码流限定值的变化情况;所述计算单元104还用于在所述码流限定值变化时,根据所述分配算法和重新获取的码流限定值,重新分配所述目标区域的第一码流和所述非目标区域的第二码流。

这样,当带宽码流限定值受网络环境影响发生变化时,可重新计算目标区域所分配的码流和非目标区域所分配的码流,凸显的图像不会因为带宽的限制而受影响。

在上述技术方案中,优选的,还可以包括:还原单元110,连接至识别单元102,在接收到预设操作信号时,目标区域与非目标区域的码流分配比为1∶1。

在该技术方案中,可以根据用户操作将目标区域与非目标区域的清晰度还原为相同的状态,以便用户重新选择目标区域或重新对视频图像进行操作。

在上述任一技术方案中,识别单元102可包括检测子单元1022,在目标区域发生移动时,检测目标区域的位移变化状态,根据位移变化状态调整目标区域和非目标区域的划分。

在该技术方案中,当视频图像中的目标区域发生移动时,那么目标区域将调整到目标区域的位置,异于目标区域的其他区域自动划分为非目标区域,即可动态调整目标区域。

在上述任一技术方案中,获取单元106包括记录子单元1062,将第一量化值记录在第一码流,第二量化值记录在第二码流中;终端100还包括解压单元112,在对视频图像进行解压时,根据第一量化值对目标区域进行反量化计算,以及根据第二量化值对非目标区域进行反量化计算。解压是压缩的逆过程,将量化值记录在码流中,就可以进行反量化操作。

例如,终端A和终端B进行视频通话,在终端A和终端B中都显示了两个终端的实时图像。在终端A中,用户S对自己的头像进行了选择操作,那么终端A根据分配算法对该头像视频数据进行了压缩处理,并将量化值记录在压缩输出的码流中,然后将该码流传输至终端B,终端B对该码流进行解码,获取压缩时采用的量化值,根据该量化值便可以对视频图像进行反量化计算,得到清晰度更高的图像。在终端B中的显示效果就是用户S的头像更清晰了。

在一种实施方式中,该终端100还可以包括:发送单元114,连接至识别单元102,将识别出的目标区域信息发送至其他终端,其中,其他终端与终端同时处理上述视频图像;终端100还包括:接收单元116,接收其他终端识别出的目标区域信息,根据目标区域信息获取视频图像中被选择的目标区域,压缩单元108增加视频图像中目标区域所分配到的第一码流,根据第一码流对目标区域进行压缩,和/或减少视频图像中的非目标区域所分配到的第二码流,根据第二码流对非目标区域进行压缩。

当本地终端与其他终端进行视频通信时,可将在本地终端选择的目标区域的信息发送至其他终端,供其他终端增加选择的目标区域的清晰度,这样,在本地终端凸显的目标区域也能够在其他终端上进行凸显。

优选的,发送单元114还用于将选择目标区域时的操作信息发送至其他终端;接收单元116还接收其他终端发送的选择目标区域时的操作信息,根据操作信息获取本地终端选择目标区域时的操作次数;计算单元104根据目标区域的面积、选择目标区域时的操作次数以及其他终端的当前网络带宽的码流限定值,计算出目标区域所分配到的第一码流和非目标区域所分配到的第二码流。

因此,本地终端也可以将对目标区域的操作信息发送至其他终端,使本地终端对视频图像的操作信息同时能够反映到其他终端上,例如,对目标区域的操作次数、切换目标区域等操作信息均可以反映到其他终端上。其他终端根据这些操作信息对视频图像进行操作,对需增加清晰度的目标区域进行凸显,或者重新选择目标区域。

继续以上一示例进行说明,终端A和终端B进行视频通话,在终端A和终端B中都显示了两个终端的实时图像。终端A用户觉得终端B传过来的图像中终端B用户的头像不清晰,于是在终端A上对终端B的用户头像进行了选择操作,将选择的目标区域的信息以及选择次数传输至终端B。终端B接收到选择的目标区域的信息以及选择次数之后,根据分配算法对采集的本地终端的视频进行压缩处理,凸显终端B用户的头像,并将压缩处理后的视频数据传输至终端A,终端A对该视频数据进行解压并显示,显示效果就是终端B用户的头像更清晰了。

图2示出了根据本发明的一个实施例的视频图像压缩方法的流程图。

如图2所示,视频图像压缩方法包括:步骤202,识别在视频图像中选择的目标区域;步骤204,增加目标区域所分配到的第一码流,根据第一码流对目标区域进行压缩,和/或减少视频图像中的非目标区域所分配到的第二码流,根据第二码流对非目标区域进行压缩。

该视频图像压缩方法包括以下三种压缩方式:第一种:当用户选择了目标区域之后,可以增加该目标区域所分配到的码流,非目标区域所分配到的码流不变,即目标区域的图像变清晰了,而非目标区域的图像清晰度不变;第二种:当用户选择了目标区域之后,不仅增加了该目标区域所分配到的码流,也减少了非目标区域所分配到的码流,即目标区域的图像变清晰了,而非目标区域的图像清晰度降低了;第三种:当用户选择了目标区域之后,该目标区域所分配到的码流不变,但减少了非目标区域所分配到的码流,即目标区域的图像的清晰度不变,而非目标区域的图像清晰度降低了。当然还可以采用与上述压缩方式相反的压缩方式,例如:当用户选择了目标区域之后,可以减少该目标区域所分配到的码流,非目标区域所分配到的码流增加或保持不变,即目标区域的图像变模糊了,而非目标区域的图像变清晰了或者保持不变等等。这些方式均可以改变部分图像的清晰度,来区分重要元素和次要元素。

在采用第二种方式时,当用户希望增加视频图像中某个区域的清晰度时,只需要按照某种方式选择该区域,便可以增加该区域图像的清晰度,凸显视频图像中的重要元素。在凸显用户选择的目标区域时,考虑到网络带宽等因素的限制,可以降低非目标区域的码流,降低非目标区域的清晰度,从而区别视频图像中的重要元素和次要元素。

优选的,还可以包括:根据分配算法计算出目标区域所分配到的第一码流和非目标区域所分配到的第二码流;根据第一码流获取与目标区域对应的第一量化值,以及根据第二码流获取与非目标区域对应的第二量化值;根据第一量化值对目标区域进行压缩以及根据第二量化值对非目标区域进行压缩。

在该技术方案中,通过分配算法得到视频图像中不同区域的码流,再根据码流计算得到视频图像中不同区域的量化值,最后根据不同的量化值对视频图像中不同区域进行压缩处理,这种方法能够区分视频画面中的重要元素和次要元素,使得在不改变分辨率和不降低重要元素画质的前提下保证总的比特流满足带宽的要求,既不影响用户的观看效果,又达到了压缩视频的目的。

优选的,分配算法包括:根据识别出的目标区域的面积和非目标区域的面积、选择目标区域时的操作次数以及当前网络带宽的码流限定值,计算出目标区域所分配到的第一码流和非目标区域所分配到的第二码流。

其中,分配算法可以包括:BRH=n×SH/(n×SH+SL)×BRlimit,

BRL=SL/(n×SH+SL)×BRlimit,其中,BRH为目标区域的所分配到的码流,BRL为非目标区域的所分配到的码流,n为选择目标区域时的操作次数,SH为识别出的目标区域的面积,SL为识别出的非目标区域的面积,BRlimit为当前网络带宽的码流限定值。

可见,BRH与选择目标区域时的操作次数成正比,BRL与选择目标区域时的操作次数成反比,也就是说,对目标区域操作次数越多,目标区域的所分配到的码流就越大,非目标区域的所分配到的码流就越小,目标区域的画质就越清晰,非目标区域的画质就越模糊,目标区域与非目标区域的清晰图差异也就越明显。

在一种具体实施方式中,该视频图像压缩方法还可以包括:检测所述当前网络带宽的码流限定值的变化情况;在所述码流限定值变化时,根据所述分配算法和重新获取的码流限定值,重新分配所述目标区域的第一码流和所述非目标区域的第二码流。

这样,当带宽码流限定值受网络环境影响发生变化时,可重新计算目标区域所分配的码流和非目标区域所分配的码流,凸显的图像不会因为带宽的限制而受影响。

在上述技术方案中,优选的,还可以包括:在接收到预设操作信号时,目标区域与非目标区域的码流分配比为1∶1。

在该技术方案中,可以根据用户操作将目标区域与非目标区域的清晰度还原为相同的状态,以便用户重新选择目标区域或重新对视频图像进行操作。

在上述技术方案中,优选的,在目标区域发生移动时,检测目标区域的位移变化状态,根据位移变化状态调整目标区域和非目标区域的划分。

在该技术方案中,当视频图像中的目标区域放生发生移动时,那么目标区域将调整到目标区域的位置,异于目标区域的其他区域自动划分为非目标区域。

在上述任一技术方案中,还可以包括:将第一量化值记录在第一码流,第二量化值记录在第二码流中;在对视频图像进行解码时,根据第一量化值对目标区域进行反量化计算,以及根据第二量化值对非目标区域进行反量化计算。

这样,当其他终端接收到该视频并进行解码时,就可以根据这些量化值进行解压,真实还原视频图像,区分凸显图像和弱化图像。

优选的,还可以包括以下步骤:在其他终端与本地终端同时处理视频图像时,本地终端将识别出的目标区域信息发送至其他终端;其他终端根据目标区域信息获取视频图像中被选择的目标区域,增加目标区域所分配到的第一码流,根据第一码流对目标区域进行压缩,和/或减少视频图像中的非目标区域所分配到的第二码流,根据第二码流对非目标区域进行压缩。

当本地终端与其他终端进行视频通信时,可将在本地终端选择的目标区域的信息发送至其他终端,供其他终端增加选择的目标区域的清晰度,这样,在本地终端凸显的目标区域也能够在其他终端上进行凸显。

优选的,还可以包括以下步骤:本地终端将选择目标区域时的操作信息发送至其他终端,其他终端根据操作信息获取本地终端选择目标区域时的操作次数;其他终端根据目标区域的面积、选择目标区域时的操作次数以及其他终端的当前网络带宽的码流限定值,计算出目标区域所分配到的第一码流和非目标区域所分配到的第二码流。

因此,本地终端也可以将对目标区域的操作信息发送至其他终端,使本地终端对视频图像的操作信息同时能够反映到其他终端上,例如,对目标区域的操作次数、切换目标区域等操作信息均可以反映到其他终端上。其他终端根据这些操作信息对视频图像进行操作,对需增加清晰度的目标区域进行凸显,或者重新选择目标区域。然后其他终端将按照压缩策略压缩处理后的视频传输至本地终端,使本地终端用户选择的目标区域被凸显。因此,根据不同的应用场景,可以改变压缩方案,在本地终端压缩视频图像,然后经压缩后的视频图像传送至其他终端,或将本地的操作指令给其他终端,其他终端根据该操作指令压缩视频图像,将压缩后的视频图像传送至本地终端。

图3示出了根据本发明的又一实施例的调整视频图像压缩方法的流程图。

如图3所示,在步骤302,用户在触摸屏上点击需要进行凸显的目标区域。在步骤304,检测并识别用户选择的目标区域(例如人脸)。在步骤306,计算凸显区域和弱化区域的面积,凸显区域即选择的目标区域,弱化区域即视频图像中除去该目标区域的剩余区域(每个区域包括多个宏块)。

在步骤308按照分配策略分配划分的区域所对应的码流,并根据分配的码流获取相应的量化值。在步骤310,根据相应的量化值对相应的宏块进行编码。

在步骤312,在对视频图像进行压缩时,需要根据实时条件调整压缩策略,实时条件例如目标运动、目标切换、带宽变化、操作次数、长按键等。

当检测到在视频图像中的目标发生运动时,则回到步骤302,需要用户重新点击屏幕选择检测和识别目标;当用户对视频图像中的目标进行切换时,则回到步骤304,需要重新对目标进行检测和识别以重新划分目标区域与非目标区域;当传输带宽发生变化或对目标的操作次数发生变化时,则回到步骤308,需要根据分配算法重新分配码流并计算量化值;可以设置长按键操作为还原操作,当用户进行长按键操作时,目标区域与非目标区域的码流分配比为1∶1,及视频图像还原为初始状态,所有区域清晰度一致。

当然,用户也可以根据具体需要设置调整压缩策略的条件。

因此,根据上述流程,首先由触屏点击确定需要凸显的对象所在的图像区域,然后对该区域内的宏块进行视频压缩时分配更高的码率,其它区域则为弱化区域,针对弱化显示区域的宏块进行视频压缩时分配较低的码率。凸显区域和弱化显示区域的码率分配,根据触屏的点击次数可以进一步调整,平均码流(每个像素分配的比特数)分配比,随点击次数的增加而逐渐增加,清晰度和对比度也越来越明显。例如,点击一次,凸显区域和弱化显示区域将有一个较明显的清晰度的差别;点击两次,凸显区域的清晰度进一步提高,弱化显示区域的清晰度则越来越低;若点击三次,则几乎看不到弱化显示区域的图像。

另外,凸显区域和弱化显示区域可根据点击对象的不同进行切换。该方案能保证视频图像压缩后,码率在带宽允许范围内,并且能保证图像大小即分辨率不变,而且可以凸显图像中的重要元素而弱化次要元素,因此凸显的图像部分的画质不会因为受带宽的限制而受到影响。

为便于理解本发明,下面继续结合图4A至图4D进一步说明根据本发明的技术方案。

如图4A所示,在屏幕的视频图像中,点击所需目标,则识别目标区域402。

如图4B所示,在识别出目标区域402后,视频图像中异于目标区域402的区域为非目标区域404。

如图4C所示,在对目标区域402进行操作后(例如点击一次),根据分配算法分配给目标区域402对应的码流将会增加,且分配给非目标区域404的码流将会减小,显示效果上就是目标区域402的清晰度上升,且非目标区域404的清晰度降低。

如图4D所示,当对目标区域402再次进行操作后,目标区域402的码流将会进一步增加,且非目标区域404的码流将会进一步减小,显示效果上就是目标区域402的清晰度进一步上升,且非目标区域404的清晰度进一步降低。

例如手机视频电话应用中,手机终端可以同时看到对方和用户自己的头像画面,这些头像画面中一般都包含背景画面,背景画面可能是住所、办公室或教室等,也可能包含用户身边的其他人。当带宽受限制或对方看不清用户的头像,或用户想有意屏蔽掉背景画面,则用户可以通过点击自己的头像,使头像以较高的清晰度凸显出来,而背景画面中的人或物就会被弱化显示。如果对方觉得头像画面还不够清晰,则可以继续点击头像,以更高清晰度的画质发送给对方。

如图4E所示,当用户进行目标切换时,被重新选择的区域将变为目标区域402,其他区域自动划分为非目标区域404。

例如若本地的多个人与异地的某个人进行视频电话时,只凸显本地的正在讲话的人的头像,而使其他人的头像被弱化显示,当讲话的人需要更换时,则可以点击头像进行切换。当本地有两人在和异地的某个人同时通话时,该异地的某个人也可以同时选中本地的这两个人,将其划分到目标区域。这样正在讲话的人就会被凸显出来,而其他没有讲话的人被弱化显示。

通过这种压缩方法,在视频会议应用中,可以凸显主讲人,使对方可以更加清晰的看到主讲人的表情和动作。在视频聊天、流媒体播放等视频类通信应用中也可以采用此图像压缩方法凸显视频图像中的重要元素,弱化次要元素。用户不用再担心所关注的画面会随网络带宽的变化而影响观看效果。

以上结合附图详细说明了本发明的技术方案,针对视频图像的不同区域采取不同的压缩策略,既保证了传输带宽要求,又可以区分视频画面中重要元素和次要元素。

以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1