视频增强的方法和装置制造方法
【专利摘要】本发明公开了一种视频增强的方法和装置，属于图像处理领域。所述方法包括：依次获取视频中的各个帧；对每一个当前帧，确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与所述属性信息对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作。所述装置包括：获取模块和增强模块。本发明解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
【专利说明】视频增强的方法和装置
【技术领域】
[0001]本发明涉及图像处理领域，特别涉及一种视频增强的方法和装置。
【背景技术】
[0002]视频在传输和存储的过程中，如果受到某种程度的破坏和各种各样的噪声污染，则会导致视频丧失了本质或者偏离了人们的需求。因此，对视频进行预处理就成了消除不良影响的必不可少的手段。
[0003]视频的预处理技术是指在对视频进行正式处理前所做的一系列操作，包括图像增强和图像复原等等。其中，图像增强是通过一定手段对原图像附加一些信息或者变换数据，有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征，使图像与视觉响应特性相匹配，从而改善图像质量、加强视觉效果。
[0004]根据增强处理过程所在的空间不同，图像增强可以分为基于频域的算法和基于空域的算法两大类。基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法，如把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。基于空域的算法分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换和直方图修正等，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。邻域去噪算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但是也容易引起边缘的模糊，常用的平滑算法有均值滤波、中值滤波等。锐化的目的在于突出物体的边缘轮廓，便于目标识别，常用的锐化算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。
[0005]但是，上述各种图像增强技术都具有一个共同的特点，就是对视频中的每一帧都执行相同的增强操作，采用的图像增强算法适用于视频中的所有帧，手段比较单一、处理不够灵活，增强的效果无法满足各种场景的帧，尤其是当视频中的各帧内容变化较大时，会导致视频质量下降。
【发明内容】
[0006]有鉴于此，本发明实施例提供了一种视频增强的方法和装置，以提高视频增强的灵活性和视频质量。所述技术方案如下:
[0007]—方面，提供了一种视频增强的方法，包括:
[0008]依次获取视频中的各个帧；
[0009]对每一个当前帧，确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与所述属性信息对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作。
[0010]另一方面，提供了一种视频增强的装置，包括:
[0011]获取模块，用于依次获取视频中的各个帧；
[0012]增强模块，用于对每一个当前帧，确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与所述属性信息对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作。
[0013]本发明实施例提供的技术方案带来的有益效果是:
[0014]依次获取视频中的各个帧；对每一个当前帧，确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与所述属性信息对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作；解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧区别对待，依据各帧中的运动状态或明暗来确定不同的控制参数，以此进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
【专利附图】
【附图说明】
[0015]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本发明一实施例提供的视频增强的方法流程图；
[0017]图2是本发明另一实施例提供的视频巾贞序列的不意图；
[0018]图3是本发明另一实施例提供的视频增强的方法流程图；
[0019]图4是本发明另一实施例提供的视频增强的方法流程图；
[0020]图5是本发明另一实施例提供的视频各处理环节的不意图；
[0021]图6是本发明另一实施例提供的视频发送前各处理环节的示意图；
[0022]图7是本发明另一实施例提供的视频增强的方法流程图；
[0023]图8是本发明另一实施例提供的接收视频后各处理环节的示意图；
[0024]图9是本发明另一实施例提供的视频增强的方法流程图；
[0025]图10是本发明另一实施例提供的将帧划分为多个区域的示意图；
[0026]图11是本发明另一实施例提供的视频增强的方法流程图；
[0027]图12是本发明另一实施例提供的视频增强的方法流程图；
[0028]图13是本发明另一实施例提供的视频增强的方法流程图；
[0029]图14是本发明另一实施例提供的视频增强的方法流程图；
[0030]图15是本发明另一实施例提供的视频增强的方法流程图；
[0031]图16是本发明另一实施例提供的视频增强的方法流程图；
[0032]图17是本发明另一实施例提供的视频增强的方法流程图；
[0033]图18是本发明另一实施例提供的视频增强的方法流程图；
[0034]图19是本发明另一实施例提供的对帧划分区域的示意图；
[0035]图20是本发明另一实施例提供的相邻区域亮度值的示意图；
[0036]图21是本发明另一实施例提供的相邻区域对比度控制参数的示意图；
[0037]图22是本发明另一实施例提供的平滑处理的结果示意图；
[0038]图23是本发明另一实施例提供的视频增强的效果对比图；
[0039]图24是本发明另一实施例提供的视频增强的装置结构图；
[0040]图25是本发明另一实施例提供的终端结构图；
[0041]图26是本发明另一实施例提供的服务器结构图。
【具体实施方式】
[0042]为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0043]参见图1，本发明一实施例提供了一种视频增强的方法，包括:
[0044]101:依次获取视频中的各个帧。
[0045]本实施例中，依次获取视频中的各个帧是指按照帧的排列顺序来获取视频序列中的各个帧。参见图2，为本发明另一实施例提供的视频帧序列的示意图。其中，一个视频包括若干个帧:第I帧、第2帧……第1-Ι帧、第i帧、第i+Ι帧……第η-1帧、第η帧等等。
[0046]102:对每一个当前帧，确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与该属性信息对应的控制参数，用该控制参数对该当前帧执行视频增强操作。
[0047]本实施例中，视频中的帧所包含的内容通常可以从多个角度来描述其属性。运动状态可以反映帧内的人、物体或景物是处于静止状态还是运动状态。明暗可以反映帧的亮度。根据人眼的感官特性，对于不同属性的帧人眼的要求通常都是不同的。对于静止状态或较亮的场景，人眼通常都要求清晰度较高，对于运动状态或较暗的场景，人眼会适当降低对清晰度的要求。
[0048]本实施例中，可选的，所述确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与该属性信息对应的控制参数，用该控制参数对该当前帧执行视频增强操作，可以包括:
[0049]确定反映运动状态或明暗的该当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到该当前帧的控制参数，用该当前帧的控制参数对该当前帧执行视频增强操作；或，
[0050]将该当前帧划分为多个区域，确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到该每一个区域的控制参数，用该当前帧内所有区域的控制参数对该当前帧执行视频增强操作。
[0051 ] 本实施例中，可选的，所述确定反映运动状态或明暗的该当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到该当前帧的控制参数，可以包括:
[0052]计算该当前巾贞的量化参数QP (Quantizat1n Parameter,量化参数),查找预设的映射关系得到与该QP对应的控制参数；或，
[0053]确定该当前帧的场景类别，查找预设的映射关系得到与该场景类别对应的控制参数；或，
[0054]计算该当前帧的亮度值，查找预设的映射关系得到与该亮度值对应的控制参数；
[0055]其中，所述控制参数包括以下至少一种:对比度控制参数、清晰度控制参数或降噪控制参数。
[0056]本实施例中，可选的，所述确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到该每一个区域的控制参数，可以包括:
[0057]计算每一个区域的QP，查找预设的QP与控制参数的映射关系，得到该每一个区域的控制参数；或，
[0058]确定每一个区域的场景类别，查找预设的场景类别与控制参数的映射关系，得到该每一个区域的控制参数；或，
[0059]计算每一个区域的亮度值，查找预设的亮度值与控制参数的映射关系，得到该每一个区域的控制参数；
[0060]其中，所述控制参数包括以下至少一种:对比度控制参数、清晰度控制参数或降噪控制参数。
[0061]本实施例中，可选的，所述用该当前帧的控制参数对该当前帧执行视频增强操作，可以包括:
[0062]计算该当前帧的控制参数与上一帧的控制参数的差值，判断该差值的绝对值是否超过指定的阈值；
[0063]如果超过该指定的阈值，则根据该上一帧的控制参数和该阈值计算得到新控制参数，用该新控制参数对该当前帧执行视频增强操作；
[0064]如果未超过该指定的阈值，则用该当前帧的控制参数对该当前帧执行视频增强操作。
[0065]本实施例中，可选的，所述用该当前帧内所有区域的控制参数对该当前帧执行视频增强操作之前，还包括:
[0066]对该当前帧内的每一个区域i，判断相邻区域的控制参数与该区域i的控制参数的差值的绝对值是否超过指定的阈值；
[0067]如果至少有一个相邻区域的控制参数与该区域i的控制参数的差值的绝对值超过该指定的阈值，则按照预设的算法计算得到新控制参数，将该新控制参数作为该区域i的控制参数；
[0068]如果所有相邻区域的控制参数与该区域i的控制参数的差值的绝对值均未超过该指定的阈值，则保留该区域i的控制参数不变。
[0069]本实施例中，可选的，所述按照预设的算法计算得到新控制参数，可以包括:
[0070]按照与每一个相邻区域的控制参数的差值的绝对值不超过该指定的阈值的原则，根据相邻区域的控制参数计算得到新控制参数；或，
[0071]为每一个相邻区域指定权重，根据相邻区域的控制参数和权重计算得到新控制参数。
[0072]本实施例中，可选的，所述映射关系可以为以下三种中的任一种:
[0073]所述映射关系中QP越大对应的对比度控制参数越小，和/或，QP越大对应的清晰度控制参数越小，和/或，QP越大对应的降噪控制参数越大；或，
[0074]所述映射关系中场景类别代表的运动程度越强对应的对比度控制参数越小，和/或，场景类别代表的运动程度越强对应的清晰度控制参数越小，和/或，场景类别代表的运动程度越强对应的降噪控制参数越大；或，
[0075]所述映射关系中亮度值越大对应的对比度控制参数越大，和/或，亮度值越大对应的清晰度控制参数越大，和/或，亮度值越大对应的降噪控制参数越小。
[0076]本实施例中，可选的，所述场景类别至少包括静止场景和运动场景；
[0077]所述静止场景包括:桌面或文档分享场景和/或静止人物场景；
[0078]所述运动场景包括:小运动场景、一般运动场景、大运动场景和剧烈运动场景中的至少一种。
[0079]本实施例中，可选的，所述用该控制参数对该当前帧执行视频增强操作之后，还可以包括:
[0080]对执行该视频增强操作之后的视频进行编码并发送。
[0081]本实施例中，可选的，所述依次获取视频中的各个帧，可以包括:
[0082]接收视频并进行解码，依次获取解码后的视频中的各个帧。
[0083]本实施例提供的上述方法，依次获取视频中的各个帧；对每一个当前帧，确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与所述属性信息对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作；解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧区别对待，依据各帧中的运动状态或明暗来确定不同的控制参数，以此进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
[0084]参见图3，本发明另一实施例提供了一种视频增强的方法，包括:
[0085]301:依次获取视频中的各个帧。
[0086]302:对每一个当前帧，确定反映运动状态或明暗的该当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到该当前帧的控制参数。
[0087]本步骤可以具体包括:
[0088]计算该当前帧的QP，查找预设的映射关系得到与该QP对应的控制参数；或，
[0089]确定该当前帧的场景类别，查找预设的映射关系得到与该场景类别对应的控制参数；或，
[0090]计算该当前帧的亮度值，查找预设的映射关系得到与该亮度值对应的控制参数；
[0091]其中，所述控制参数包括以下至少一种:对比度控制参数、清晰度控制参数或降噪控制参数。
[0092]其中，所述映射关系可以为如下任一种:
[0093]第一种:所述映射关系中QP越大对应的对比度控制参数越小，和/或，
[0094]QP越大对应的清晰度控制参数越小，和/或，
[0095]QP越大对应的降噪控制参数越大。
[0096]或者，第二种:
[0097]所述映射关系中场景类别代表的运动程度越强对应的对比度控制参数越小，和/或，
[0098]场景类别代表的运动程度越强对应的清晰度控制参数越小，和/或，
[0099]场景类别代表的运动程度越强对应的降噪控制参数越大。
[0100]或者，第三种:
[0101]所述映射关系中亮度值越大对应的对比度控制参数越大,和/或，
[0102]亮度值越大对应的清晰度控制参数越大，和/或，
[0103]亮度值越大对应的降噪控制参数越小。
[0104]本实施例中，所述场景类别至少包括静止场景和运动场景；
[0105]该静止场景包括:桌面或文档分享场景和/或静止人物场景；
[0106]该运动场景包括:小运动场景、一般运动场景、大运动场景和剧烈运动场景中的至少一种。
[0107]303:用该当前帧的控制参数对该当前帧执行视频增强操作。
[0108]本步骤可以具体包括:
[0109]计算该当前帧的控制参数与上一帧的控制参数的差值，判断该差值的绝对值是否超过指定的阈值；
[0110]如果超过该指定的阈值，则根据该上一帧的控制参数和该阈值计算得到新控制参数，用该新控制参数对该当前帧执行视频增强操作；
[0111]如果未超过该指定的阈值，则用该当前帧的控制参数对该当前帧执行视频增强操作。
[0112]本实施例提供的上述方法，依次获取视频中的各个帧；对每一个当前帧，确定反映运动状态或明暗的该当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到该当前帧的控制参数，用该当前帧的控制参数对该当前帧执行视频增强操作；解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧区别对待，依据各帧中的运动状态或明暗来确定不同的控制参数，以此进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
[0113]参见图4，本发明另一实施例提供了一种视频增强的方法，包括:
[0114]401:依次获取视频中的各个帧。
[0115]402:对每一个当前帧，确定反映运动状态或明暗的该当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到该当前帧的控制参数。
[0116]403:用该当前帧的控制参数对该当前帧执行视频增强操作。
[0117]404:对执行该视频增强操作之后的视频进行编码。
[0118]其中，对视频进行编码可以采用各种编码方法，本实施例对此不做具体限定。
[0119]405:发送该编码后的视频。
[0120]参见图5，为本发明另一实施例提供的视频各处理环节的示意图。其中，摄像头采集单元采集得到视频，一电子设备在对该视频进行编码后，可以发送该视频给。该摄像头采集单元可以位于该电子设备中，也可以位于其它设备中，本实施例对此不做具体限定。具体地，该视频可以通过本地网络发送至近端的另一电子设备，或者也可以通过互联网发送至远端的另一电子设备。该另一电子设备接收到该视频后，先对视频进行解码，然后显示该视频。图中所示的SI为编码前的环节，S2为解码后的环节。本发明中，可以仅在环节SI处执行上述视频增强的方法，或者仅在环节S2处执行上述视频增强的方法，或者也可以二者结合既在环节SI又在环节S2处执行上述视频增强的方法。在本实施例中，是在环节SI即编码之前执行视频增强操作的。
[0121]值得一提的是，在视频编码之前通常也会存在视频缩放或跳帧等操作。参见图6，为本发明另一实施例提供的视频发送前各处理环节的示意图。其中，在视频进行编码之前，还可以对视频进行缩放处理以及跳帧处理。缩放处理是指为了适应电子设备的处理能力对视频进行放大或缩小的处理。如将800*600的视频缩小为400*300的视频，或者将400*300的视频放大为800*600的视频等等。另外，有些电子设备本身具备固有视频增强的功能，如利用均值滤波进行增强处理，该处理可以在编码前进行，如缩放之前或之后，或者跳帧之前或之后等等。跳帧又可以称为丢帧，跳帧处理是指将视频序列中的某些帧丢弃的处理。如图所示，本实施例中，所述用当前帧的控制参数对当前帧执行视频增强操作，可以在环节A即缩放之前进行，或者在环节B即跳帧之前进行，或者在环节C即编码之前进行。当然，如果编码前还有固有的增强处理，也可以在该固有的增强处理之前或之后进行，本实施例对此不做具体限定。
[0122]本实施例提供的上述方法，依次获取视频中的各个帧；对每一个当前帧，确定反映运动状态或明暗的该当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到该当前帧的控制参数，用该当前帧的控制参数对该当前帧执行视频增强操作；解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧区别对待，依据各帧中的运动状态或明暗来确定不同的控制参数，以此进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
[0123]参见图7，本发明另一实施例提供了一种视频增强的方法，包括:
[0124]701:接收视频。
[0125]702:对接收到的视频进行解码。
[0126]703:依次获取解码后的视频中的各个帧。
[0127]704:对每一个当前帧，确定反映运动状态或明暗的该当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到该当前帧的控制参数。
[0128]705:用该当前帧的控制参数对该当前帧执行视频增强操作。
[0129]参见图5，本实施例中所述用该当前帧的控制参数对该当前帧执行视频增强操作，可以在环节S2即解码操作之后进行。上述方法可以应用于电子设备，该电子设备在对接收到的视频进行解码后，对解码后的视频执行上述视频增强操作，然后可以在本地显示执行视频增强操作后的视频。
[0130]值得一提的是，在视频解码之后通常也会存在视频缩放或固有的增强处理等操作。参见图8，为本发明另一实施例提供的接收视频后各处理环节的示意图。电子设备在接收到视频后，可以进行解码处理、固有的增强处理或缩放处理等等。其中，固有的增强处理是指电子设备本身具备的视频增强功能，如利用统计差值法进行视频增强处理等。如图所示，本实施例中，所述用当前帧的控制参数对当前帧执行视频增强操作，可以在环节D即固有增强处理之前进行，或者在环节E即缩放之前进行，或者在环节F即缩放之后进行，本实施例对此不做具体限定。
[0131]本实施例提供的上述方法，接收视频；对接收到的视频进行解码；依次获取解码后的视频中的各个帧；对每一个当前帧，确定反映运动状态或明暗的该当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到该当前帧的控制参数；用该当前帧的控制参数对该当前帧执行视频增强操作；解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧区别对待，依据各帧中的运动状态或明暗来确定不同的控制参数，以此进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
[0132]参见图9，本发明另一实施例提供了一种视频增强的方法，包括:
[0133]901:依次获取视频中的各个帧。
[0134]902:对每一个当前帧，将该当前帧划分为多个区域。
[0135]本实施例中，划分区域的方式有多种，具体不限定。划分出来的各个区域的形状也有多种，如长方形、正方形等等，各个区域的大小可以相同，也可以不同，本实施例对此不做具体限定。例如，将一个帧划分为4*4个区域，横向包括4个区域，纵向包括4个区域，或者划分为16*16个区域，横向包括16个区域，纵向包括16个区域等等。
[0136]例如，参见图10，对一个帧进行区域划分，可以划分成如左图所示的n*n个区域，或者，也可以划分成如右图所示的4*4个区域。该4*4个区域横向包括4行，每行4个区域，为均分，因此划分后的各个区域大小均相同。其中，第一行包括区域a、b、c和d，第二行包括区域e、f、g和h,第三行包括区域1、j、k和I,第四行包括区域m、η、ο和ρ。
[0137]903:确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到该每一个区域的控制参数。
[0138]本步骤可以具体包括:
[0139]计算每一个区域的QP，查找预设的QP与控制参数的映射关系，得到该每一个区域的控制参数；或，
[0140]确定每一个区域的场景类别，查找预设的场景类别与控制参数的映射关系，得到该每一个区域的控制参数；或，
[0141]计算每一个区域的亮度值，查找预设的亮度值与控制参数的映射关系，得到该每一个区域的控制参数；
[0142]其中，所述控制参数包括以下至少一种:对比度控制参数、清晰度控制参数或降噪控制参数。
[0143]其中，所述映射关系可以为以下任一种:
[0144]第一种:所述映射关系中QP越大对应的对比度控制参数越小，和/或，
[0145]QP越大对应的清晰度控制参数越小，和/或，
[0146]QP越大对应的降噪控制参数越大。
[0147]或者，第二种:
[0148]所述映射关系中场景类别代表的运动程度越强对应的对比度控制参数越小，和/或，
[0149]场景类别代表的运动程度越强对应的清晰度控制参数越小，和/或，
[0150]场景类别代表的运动程度越强对应的降噪控制参数越大。
[0151]或者，第三种:
[0152]所述映射关系中亮度值越大对应的对比度控制参数越大,和/或，
[0153]亮度值越大对应的清晰度控制参数越大，和/或，
[0154]亮度值越大对应的降噪控制参数越小。
[0155]本实施例中，所述场景类别至少包括静止场景和运动场景；
[0156]该静止场景包括:桌面或文档分享场景和/或静止人物场景；
[0157]该运动场景包括:小运动场景、一般运动场景、大运动场景和剧烈运动场景中的至少一种。
[0158]904:用该当前帧内所有区域的控制参数对该当前帧执行视频增强操作。
[0159]本实施例中，可选的，所述用该当前帧内所有区域的控制参数对该当前帧执行视频增强操作之前，还可以包括:
[0160]对该当前帧内的每一个区域i，判断相邻区域的控制参数与该区域i的控制参数的差值的绝对值是否超过指定的阈值；
[0161]如果至少有一个相邻区域的控制参数与该区域i的控制参数的差值的绝对值超过该指定的阈值，则按照预设的算法计算得到新控制参数，将该新控制参数作为该区域i的控制参数；
[0162]如果所有相邻区域的控制参数与该区域i的控制参数的差值的绝对值均未超过该指定的阈值，则保留该区域i的控制参数不变。
[0163]其中，所述按照预设的算法计算得到新控制参数，可以包括:
[0164]按照与每一个相邻区域的控制参数的差值的绝对值不超过该指定的阈值的原则，根据相邻区域的控制参数计算得到新控制参数；或，
[0165]为每一个相邻区域指定权重，根据相邻区域的控制参数和权重计算得到新控制参数。
[0166]本实施例提供的上述方法，依次获取视频中的各个帧；对每一个当前帧，将该当前帧划分为多个区域；确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到该每一个区域的控制参数；用该当前帧内所有区域的控制参数对该当前帧执行视频增强操作；解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧区别对待，依据各帧中的运动状态或明暗来确定不同的控制参数，以此进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
[0167]参见图11，本发明另一实施例提供了一种视频增强的方法，包括:
[0168]1101:依次获取视频中的各个帧。
[0169]1102:对每一个当前帧，将该当前帧划分为多个区域。
[0170]1103:确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到该每一个区域的控制参数。
[0171]1104:用该当前帧内所有区域的控制参数对该当前帧执行视频增强操作。
[0172]1105:对执行该视频增强操作之后的视频进行编码。
[0173]1106:发送该编码后的视频。
[0174]本实施例提供的上述方法，依次获取视频中的各个帧；对每一个当前帧，将该当前帧划分为多个区域；确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到该每一个区域的控制参数；用该当前帧内所有区域的控制参数对该当前帧执行视频增强操作；对执行该视频增强操作之后的视频进行编码；发送该编码后的视频；解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧区别对待，依据各帧中的运动状态或明暗来确定不同的控制参数，以此进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
[0175]参见图12，本发明另一实施例提供了一种视频增强的方法，包括:
[0176]1201:接收视频。
[0177]1202:对接收到的视频进行解码。
[0178]1203:依次获取解码后的视频中的各个帧。
[0179]1204:对每一个当前帧，将该当前帧划分为多个区域。
[0180]1205:确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到该每一个区域的控制参数。
[0181]1206:用该当前帧内所有区域的控制参数对该当前帧执行视频增强操作。
[0182]本实施例提供的上述方法，接收视频；对接收到的视频进行解码；依次获取解码后的视频中的各个帧；对每一个当前帧，将该当前帧划分为多个区域；确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到该每一个区域的控制参数；用该当前帧内所有区域的控制参数对该当前帧执行视频增强操作；解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧区别对待，依据各帧中的运动状态或明暗来确定不同的控制参数，以此进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
[0183]参见图13，本发明另一实施例提供了一种视频增强的方法，对整帧进行处理，包括:
[0184]1301:依次获取视频中的各个帧。
[0185]1302:对每一个当前帧，计算该当前帧的QP，查找预设的映射关系得到与该QP对应的控制参数。
[0186]本实施例中，QP的值能够反映视频内容处于运动状态的程度。QP值越大,代表视频内容的运动程度越大，如处于剧烈运动状态。QP值越小，代表视频内容的运动程度越小。对于运动程度较大的场景，通常人眼想看清运动物体中的某个部分几乎是不可能的，因此，这种场景无需对视频内容进行增强，或者可以进行较弱的视频增强。相反地，对于运动程度较小的场景，通常人眼对视频内容的清晰度要求较高，希望能够看清楚每个部分，因此，这种场景下需要进行较强的视频增强。
[0187]本实施例中，计算QP的方法很多，如可以采用将前一帧的QP作为当前帧的QP值的方法，当然也可以采用其它方法，本实施例对此不做具体限定。
[0188]所述预设的映射关系中，QP对应的控制参数可以为一个或者也可以为多个。该控制参数包括但不限于:对比度控制参数、清晰度控制参数或降噪控制参数等等，本实施例对此不做具体限定。下面以这三个参数为例进行说明，其中，QP可以对应这三个参数中的任一个或任意几个，优选地，QP对应该三个参数。
[0189]可选的，所述映射关系可以具体如下:
[0190]QP越大对应的对比度控制参数越小，和/或，
[0191]QP越大对应的清晰度控制参数越小，和/或，
[0192]QP越大对应的降噪控制参数越大。
[0193]本实施例中，所述对比度控制参数用于调节视频内容的对比度。可选的，可以设置对比度控制参数的取值为多个等级，如0、1、2、3……或者为0、2、4、6、8、10等等。其中，每一个等级对应有具体的对比度取值，当对比度控制参数调整到某个等级时，视频内容就按照该等级对应的对比度取值进行调节。可选的，可以设置对比度控制参数的值越大，代表进行视频增强的效果越强；对比度控制参数的值越小，代表进行视频增强的效果越弱。
[0194]所述清晰度控制参数用于调节视频内容的清晰度。可选的，可以设置清晰度控制参数的取值为多个等级，如0、1、2、3……或者为0、2、4、6、8、10等等。其中，每一个等级对应有具体的清晰度取值，当清晰度控制参数调整到某个等级时，视频内容就按照该等级对应的清晰度取值进行调节。可选的，可以设置清晰度控制参数的值越大，代表进行视频增强的效果越强；清晰度控制参数的值越小，代表进行视频增强的效果越弱。
[0195]所述降噪控制参数用于降低视频内容的噪声。可选的，可以设置降噪控制参数的取值为多个等级，如0、1、2、3……或者为0、2、4、6、8、10等等。其中，每一个等级对应有具体的降噪取值，当降噪控制参数调整到某个等级时，视频内容就按照该等级对应的降噪取值进行降噪调节。可选的，可以设置降噪控制参数的值越大，代表对视频内容降噪的程度越强；降噪控制参数的值越小，代表对视频内容降噪的程度越弱。
[0196]另外，值得一提的是，该映射关系中可以是一个QP值对应控制参数；或者，也可以是一个QP范围对应控制参数,本实施例对此不做具体限定。优选地，可以选择一个QP范围对应控制参数的形式，以提高控制效果。
[0197]例如，参见表1，为本实施例提供的整帧QP范围与对比度控制参数、清晰度控制参数和降噪控制参数的映射关系。
[0198]表I
[0199]
QPi 1(0, 20]~1(20,25] 1(25,30] 1(30,35] 1(35,40] 1(40, ]
~ 108642O
~ 108642O
~ O246810
[0200]
[0201]其中，α I为对比度控制参数，α 2为清晰度控制参数，α 3为降噪控制参数。QPi为当前帧第i帧的量化参数，有6个取值范围，分别对应了对比度控制参数α I的6个不同的值、清晰度控制参数α 2的6个不同的值、以及降噪控制参数α 3的6个不同的值。如表中所示:当 QPi 彡 20 时，α I = 10，α 2 = 10，α 3 = O ;当 20 < QPi 彡 25 时，α I = 8，α 2
=8，α 3 = 2......当 35 < QPi 彡 40 时，α I = 2，α 2 = 2，α 3 = 8 ;当 40 < QPi 时，α I
=0，α2 = O, α3 = 10。当然，也可以采用其它方式或其它数值来设置QP与各个控制参数的映射关系，本实施例对此不做具体限定。
[0202]本实施例中，划分QP值为不同的区间段，间隔的长短可以根据需要设置，如:以5个QP值为间隔，20，25，30，35，40……或者，以2个QP值为间隔细分等等，本实施例对此不做具体限定。
[0203]1303:用该当前帧的控制参数对该当前帧执行视频增强操作。
[0204]进一步地，为了避免相邻帧的增强效果变化较大，可以进行平滑处理，步骤1303可以具体如下:
[0205]计算该当前帧的控制参数与上一帧的控制参数的差值，判断该差值的绝对值是否超过指定的阈值；
[0206]如果超过该指定的阈值，则根据该上一帧的控制参数和该阈值计算得到新控制参数，用该新控制参数对该当前帧执行视频增强操作；
[0207]如果未超过该指定的阈值，则用该当前帧的控制参数对该当前帧执行视频增强操作。
[0208]例如，当前帧的对比度控制参数α I = 6，上一帧的对比度控制参数α I = 2，指定的阈值为3，则差值为6-2 = 4且4 > 3，因此，可以根据当前帧的α I >上一帧的α 1，来用上一帧的α I与所述阈值求和计算得到当前帧的α I = 2+3 = 5，从而保证了相邻两帧的对比度控制参数的差值不超过该指定的阈值。
[0209]例如，当前帧的清晰度控制参数α 2 = 4，上一帧的清晰度控制参数α I = 8，指定的阈值为2,则差值为8-4 = 4且4 > 2,因此,可以根据当前巾贞的α 2 <上一巾贞的α2,来用上一帧的α 2与所述阈值相减计算得到当前帧的α 2 = 8-2 = 6，从而保证了相邻两帧的清晰度控制参数的差值不超过该指定的阈值。
[0210]通过上述平滑处理，可以保证视频增强时，相邻两帧即使内容变化较大，也不会出现突变的效果，而是平滑过渡，过渡更自然，提升了用户体验。
[0211]本实施例提供的上述方法可以在视频帧的任一个处理环节中执行，如图6中的环节Α、环节B或环节C,以及图8中的环节D、环节E或环节F等等,本实施例对此不做具体限定。
[0212]本实施例提供的上述方法，依次获取视频中的各个帧；对每一个当前帧，计算该当前帧的QP，查找预设的映射关系得到与该QP对应的控制参数，用该当前帧的控制参数对该当前帧执行视频增强操作；解决了由于视频中各帧进行相同的增强而导致处理不灵活的问题，能够对视频中的各帧区别对待，依据各帧中的运动状态或明暗来确定不同的控制参数，以此进行不同的增强，实现了基于帧的视频增强，有效地提高了视频增强效果，提升了视频质量。
[0213]参见图14，本发明另一实施例提供了一种视频增强的方法，对整帧进行处理，包括:
[0214]1401:依次获取视频中的各个帧。
[0215]1402:对每一个当前帧，确定当前帧的场景类别，查找预设的映射关系得到与该场景类别对应的控制参数。
[0216]本实施例中，场景类别能够反映视频内容处于运动状态或静止状态的程度。所述场景类别至少包括静止场景和运动场景；所述静止场景包括:桌面或文档分享场景和/或静止人物场景。所述运动场景包括:小运动场景、一般运动场景、大运动场景和剧烈运动场景中的至少一种。其中，桌面或文档分享场景是指一个终端将自己当前的桌面内容或者文档分享给另一个终端的场景，该场景属于静止物体的场景。静止人物场景是指视频内容中有人物且该人物处于静止状态。
[0217]对于运动程度较大的场景，通常人眼想看清运动物体中的某个部分几乎是不可能的，因此，这种场景无需对视频内容进行增强，或者可以进行较弱的视频增强。相反地，对于运动程度较小或者静止的场景，通常人眼对视频内容的清晰度要求较高，希望能够看清楚每个部分，因此，这种场景下需要进行较强的视频增强。
[0218]所述预设的映射关系中，场景类别对应的控制参数可以为一个或者也可以为多个。该控制参数包括但不限于:对比度控制参数、清晰度控制参数或降噪控制参数等等，本实施例对此不做具体限定。下面以这三个参数为例进行说明，其中，场景类别可以对应这三个参数中的任一个或任意几个，优选地，场景类别对应该三个参数。
[0219]可选的，所述映射关系可以具体如下:
[0220]场景类别代表的运动程度越强对应的对比度控制参数越小；和/或，
[0221]场景类别代表的运动程度越强对应的清晰度控制参数越小；和/或，
[0222]场景类别代表的运动程度越强对应的降噪控制参数越大。
[0223]本实施例中，所述对比度控制参数用于调节视频内容的对比度。可选的，可以设置对比度控制参数的取值为多个等级。所述清晰度控制参数用于调节视频内容的清晰度。可选的，可以设置清晰度控制参数的取值为多个等级。所述降噪控制参数用于降低视频内容的噪声。可选的，可以设置降噪控制参数的取值为多个等级。这些参数的说明详见上述实施例中的描述，此处不赘述。
[0224]例如，参见表2，为本实施例提供的场景类别与对比度控制参数、清晰度控制参数和降噪控制参数的映射关系。
[0225]表2
[0226]
【权利要求】
1.一种视频增强的方法，其特征在于，所述方法包括: 依次获取视频中的各个帧； 对每一个当前帧，确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与所述属性信息对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作。
2.根据权利要求1所述的方法，其特征在于，所述确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与所述属性信息对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作，包括: 确定反映运动状态或明暗的所述当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到所述当前帧的控制参数，用所述当前帧的控制参数对所述当前帧执行视频增强操作；或， 将所述当前帧划分为多个区域，确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到所述每一个区域的控制参数，用所述当前帧内所有区域的控制参数对所述当前帧执行视频增强操作。
3.根据权利要求2所述的方法，其特征在于，所述确定反映运动状态或明暗的所述当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到所述当前帧的控制参数，包括: 计算所述当前帧的量化参数QP，查找预设的映射关系得到与所述QP对应的控制参数；或， 确定所述当前帧的场景类别，查找预设的映射关系得到与所述场景类别对应的控制参数；或， 计算所述当前帧的亮度值，查找预设的映射关系得到与所述亮度值对应的控制参数； 其中，所述控制参数包括以下至少一种:对比度控制参数、清晰度控制参数或降噪控制参数。
4.根据权利要求2所述的方法，其特征在于，所述确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到所述每一个区域的控制参数，包括: 计算每一个区域的QP，查找预设的QP与控制参数的映射关系，得到所述每一个区域的控制参数；或， 确定每一个区域的场景类别，查找预设的场景类别与控制参数的映射关系，得到所述每一个区域的控制参数；或， 计算每一个区域的亮度值，查找预设的亮度值与控制参数的映射关系，得到所述每一个区域的控制参数； 其中，所述控制参数包括以下至少一种:对比度控制参数、清晰度控制参数或降噪控制参数。
5.根据权利要求2所述的方法，其特征在于，所述用所述当前帧的控制参数对所述当前帧执行视频增强操作，包括: 计算所述当前帧的控制参数与上一帧的控制参数的差值，判断所述差值的绝对值是否超过指定的阈值； 如果超过所述指定的阈值，则根据所述上一帧的控制参数和所述阈值计算得到新控制参数，用所述新控制参数对所述当前帧执行视频增强操作； 如果未超过所述指定的阈值，则用所述当前帧的控制参数对所述当前帧执行视频增强操作。
6.根据权利要求2所述的方法，其特征在于，所述用所述当前帧内所有区域的控制参数对所述当前帧执行视频增强操作之前，还包括: 对所述当前帧内的每一个区域i，判断相邻区域的控制参数与所述区域i的控制参数的差值的绝对值是否超过指定的阈值； 如果至少有一个相邻区域的控制参数与所述区域i的控制参数的差值的绝对值超过所述指定的阈值，则按照预设的算法计算得到新控制参数，将所述新控制参数作为所述区域i的控制参数； 如果所有相邻区域的控制参数与所述区域i的控制参数的差值的绝对值均未超过所述指定的阈值，则保留所述区域i的控制参数不变。
7.根据权利要求6所述的方法，其特征在于，所述按照预设的算法计算得到新控制参数，包括: 按照与每一个相邻区域的控制参数的差值的绝对值不超过所述指定的阈值的原则，根据相邻区域的控制参数计算得到新控制参数；或， 为每一个相邻区域指定权重，根据相邻区域的控制参数和权重计算得到新控制参数。
8.根据权利要求3或4所述的方法，其特征在于， 所述映射关系中QP越大对应的对比度控制参数越小，和/或，QP越大对应的清晰度控制参数越小，和/或，QP越大对应的降噪控制参数越大；或， 所述映射关系中场景类别代表的运动程度越强对应的对比度控制参数越小，和/或，场景类别代表的运动程度越强对应的清晰度控制参数越小，和/或，场景类别代表的运动程度越强对应的降噪控制参数越大；或， 所述映射关系中亮度值越大对应的对比度控制参数越大，和/或，亮度值越大对应的清晰度控制参数越大，和/或，亮度值越大对应的降噪控制参数越小。
9.根据权利要求3、4或8所述的方法，其特征在于， 所述场景类别至少包括静止场景和运动场景； 所述静止场景包括:桌面或文档分享场景和/或静止人物场景； 所述运动场景包括:小运动场景、一般运动场景、大运动场景和剧烈运动场景中的至少一种。
10.根据权利要求1所述的方法，其特征在于，所述用所述控制参数对所述当前帧执行视频增强操作之后，还包括: 对执行所述视频增强操作之后的视频进行编码并发送。
11.根据权利要求1所述的方法，其特征在于，所述依次获取视频中的各个帧，包括: 接收视频并进行解码，依次获取解码后的视频中的各个帧。
12.一种视频增强的装置，其特征在于，所述装置包括: 获取模块，用于依次获取视频中的各个帧； 增强模块，用于对每一个当前帧，确定反映运动状态或明暗的属性信息，查找预设的映射关系得到与所述属性信息对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作。
13.根据权利要求12所述的装置，其特征在于，所述增强模块包括: 第一增强子模块，用于对每一个当前帧，确定反映运动状态或明暗的所述当前帧的属性信息，查找预设的属性信息与控制参数的映射关系得到所述当前帧的控制参数，用所述当前帧的控制参数对所述当前帧执行视频增强操作；或， 第二增强子模块，用于对每一个当前帧，将所述当前帧划分为多个区域，确定反映运动状态或明暗的每一个区域的属性信息，查找预设的属性信息与控制参数的映射关系得到所述每一个区域的控制参数，用所述当前帧内所有区域的控制参数对所述当前帧执行视频增强操作。
14.根据权利要求13所述的装置，其特征在于，所述第一增强子模块用于: 对每一个当前帧，计算所述当前帧的量化参数QP，查找预设的映射关系得到与所述QP对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作；或， 对每一个当前帧，确定所述当前帧的场景类别，查找预设的映射关系得到与所述场景类别对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作；或， 对每一个当前帧，计算所述当前帧的亮度值，查找预设的映射关系得到与所述亮度值对应的控制参数，用所述控制参数对所述当前帧执行视频增强操作； 其中，所述控制参数包括以下至少一种:对比度控制参数、清晰度控制参数或降噪控制参数。
15.根据权利要求13所述的装置，其特征在于，所述第二增强子模块用于: 对每一个当前帧，将所述当前帧划分为多个区域，计算每一个区域的QP，查找预设的QP与控制参数的映射关系，得到所述每一个区域的控制参数，用所述当前帧内所有区域的控制参数对所述当前帧执行视频增强操作；或， 对每一个当前帧，将所述当前帧划分为多个区域，确定每一个区域的场景类别，查找预设的场景类别与控制参数的映射关系，得到所述每一个区域的控制参数，用所述当前帧内所有区域的控制参数对所述当前帧执行视频增强操作；或， 对每一个当前帧，将所述当前帧划分为多个区域，计算每一个区域的亮度值，查找预设的亮度值与控制参数的映射关系，得到所述每一个区域的控制参数，用所述当前帧内所有区域的控制参数对所述当前帧执行视频增强操作； 其中，所述控制参数包括以下至少一种:对比度控制参数、清晰度控制参数或降噪控制参数。
16.根据权利要求13所述的装置，其特征在于，所述第一增强子模块包括: 帧平滑处理单元，用于计算所述当前帧的控制参数与上一帧的控制参数的差值，判断所述差值的绝对值是否超过指定的阈值；如果超过所述指定的阈值，则根据所述上一帧的控制参数和所述阈值计算得到新控制参数，用所述新控制参数对所述当前帧执行视频增强操作；如果未超过所述指定的阈值，则用所述当前帧的控制参数对所述当前帧执行视频增强操作。
17.根据权利要求13所述的装置，其特征在于，所述第二增强子模块包括: 区域平滑处理单元，用于在用所述当前帧内所有区域的控制参数对所述当前帧执行视频增强操作之前，对所述当前帧内的每一个区域i，判断相邻区域的控制参数与所述区域i的控制参数的差值的绝对值是否超过指定的阈值；如果至少有一个相邻区域的控制参数与所述区域i的控制参数的差值的绝对值超过所述指定的阈值，则按照预设的算法计算得到新控制参数，将所述新控制参数作为所述区域i的控制参数；如果所有相邻区域的控制参数与所述区域i的控制参数的差值的绝对值均未超过所述指定的阈值，则保留所述区域i的控制参数不变。
18.根据权利要求17所述的装置，其特征在于，所述区域平滑处理单元包括: 计算子单元，用于按照与每一个相邻区域的控制参数的差值的绝对值不超过所述指定的阈值的原则，根据相邻区域的控制参数计算得到新控制参数；或，为每一个相邻区域指定权重，根据相邻区域的控制参数和权重计算得到新控制参数。
19.根据权利要求14或15所述的装置，其特征在于， 所述映射关系中QP越大对应的对比度控制参数越小，和/或，QP越大对应的清晰度控制参数越小，和/或，QP越大对应的降噪控制参数越大；或， 所述映射关系中场景类别代表的运动程度越强对应的对比度控制参数越小，和/或，场景类别代表的运动程度越强对应的清晰度控制参数越小，和/或，场景类别代表的运动程度越强对应的降噪控制参数越大；或， 所述映射关系中亮度值越大对应的对比度控制参数越大，和/或，亮度值越大对应的清晰度控制参数越大，和/或，亮度值越大对应的降噪控制参数越小。
20.根据权利要求14、15或19所述的装置，其特征在于， 所述场景类别至少包括静止场景和运动场景； 所述静止场景包括:桌面或文档分享场景和/或静止人物场景； 所述运动场景包括:小运动场景、一般运动场景、大运动场景和剧烈运动场景中的至少一种。
21.根据权利要求12所述的装置，其特征在于，所述装置还包括: 编码模块，用于对执行所述视频增强操作之后的视频进行编码； 发送模块，用于发送所述编码模块编码后的视频。
22.根据权利要求12所述的装置，其特征在于，所述装置还包括: 接收模块，用于接收视频； 解码模块，用于解码所述接收模块收到的视频； 所述获取模块用于依次获取所述解码模块解码后的视频中的各个帧。
【文档编号】H04N19/33GK104202604SQ201410401578
【公开日】2014年12月10日 申请日期:2014年8月14日 优先权日:2014年8月14日
【发明者】李凯, 王浦林, 姬晓翠 申请人:腾讯科技（深圳）有限公司