专利名称：多画面视频图像处理方法和装置的制作方法
技术领域：
本发明涉及视频图像处理领域，具体涉及多画面视频图像处理方法和装置。
背景技术：
随着编码和信息压縮技术的发展以及数字网络的高速发展，视频会议系统开始步 入市场。基于H. 323视频会议标准的视频会议系统，正在随着IP网络的迅速发展，得到日 益广泛的应用。政府、军队、企业等部门基本都部署了自己的视频会议系统，以提高开会效 率，降低开会成本。 视频会议的模式从单一的点对点通话、单屏幕显示对方视频的模式，发展为目前 的多个会场同时开展会议、同时多画面显示或者同时多个屏幕显示的会议模式。当来自不 同的会场画面组成一个多画面显示，或者同时输出多个会场到多个显示设备显示时，由于 不同的会场，受现场环境及灯光、摄像头等会场设备的影响，会导致视频的氛围不尽相同， 特别是色度、亮度等都会表现出一定的差异，此时，如果将不同的会场画面组成一个多画 面，或者通过多个显示设备输出显示时，就会给与会者一种不统一、不协调的感觉，造成视 觉体验的降低。 为了减小上述影响，提升与会者的视觉体验，现有技术提供了如下两种解决方案。
方案一 源端画面调整，S卩，在会场的画面输出到目的会场之前调整会场输入端的效果。例 如，对于会场A、 B、 C和D，每个会场独自调整各自视频采集设备的参数，比如调整摄像头的 颜色、亮度参数，或者，通过摄像头支持的自动调整功能，对各自会场画面的效果进行改善， 以确保各自会场的效果达到最佳后再输出到目的会场拼接成多画面。 由于各个会场在视频采集装置上存在一定的差别，并且，受光线强弱和灯光色彩 等影响，会场环境也不尽相同，例如，有的会场为冷色调的灯光，整个会场的光线都呈冷色 调；有的会场为暖色调的灯光，整个会场的光线都呈暖色调。按照上述方案一提供的技术手 段，将造成各个会场在独自调整画面效果时，并不能够充分考虑到与其他会场的环境差异， 如此，当各个会场的画面汇总到一起拼接成多画面时，就会出现多画面中各个子画面的亮 度和色彩特性有明显的差别，使得视觉体验变差。
方案二 输出画面调整，S卩，调整会场输出端的效果。例如，在一个多画面会议中，当接收到 一个多画面的时候，通过调整显示设备的输出模式(例如，色彩、亮度等参数)，使各个子画 面同时变化，统一调整整个多画面的输出效果。 由于多画面输出的各个子画面的图像特点都已经固定，上述通过调整显示设备的 输出模式统一调整整个多画面的输出效果不是一种差异调节，往往在满足了其中一个子画 面的效果时会影响其他子画面的效果，无法做到所有的子画面都同时能够获得良好的视觉 体验。
发明内容
本发明实施例提供涉及多画面视频图像处理方法和装置，解决现有技术方案在调 整多画面时由于不能同时满足各个子画面的特性而造成与会者视觉体验变差的问题。
—种多画面视频图像处理方法，包括接收多路子画面视频图像的数据码流，根据 子画面视频图像的图像特征，使用控制参数分别均衡所述多路子画面视频图像的效果；将 所述经过均衡的多路子画面视频图像合成多画面视频图。 —种多画面视频图像处理装置，包括均衡模块，用于接收多路子画面视频图像的 数据码流，根据子画面视频图像的图像特征，使用控制参数分别均衡所述多路子画面视频 图像的效果；合成模块，用于将所述经过均衡模块均衡的子画面视频图像合成多画面视频 图像。 本发明实施例通过获取多路子画面视频图像的图像特征，根据获取的子画面视频 图像的图像特征独立计算调整系数，采用相同的控制参数和独立计算出来的调整系数对来 自各单个会场的子画面视频图像在形成多画面视频图像之前进行均衡。由于本发明是根 据相同的控制参数，针对各个独立的子画面视频图像单独计算调整系数，因此，经过调整系 数和同一控制参数均衡后，能够将各个子画面视频图像统一调整到具有相同图像特征的效 果，使子画面视频图像在显示时表现出相同的画面特点，从而使得由子画面视频图像构成 的多画面视频图像的显示达到整体风格和谐并提升与会者的视觉体验。
图1是本发明实施例一提供的一种多画面视频图像处理方法基本流程示意图；
图2是本发明实施例二提供的使用控制参数分别均衡多路子画面视频图像的效 果方法基本流程示意图； 图3是本发明实施例三提供的一种多画面视频图像处理方法基本流程示意图；
图4是本发明实施例四提供的使用控制参数分别均衡多路子画面视频图像的效 果方法基本流程示意图； 图5是本发明实施例五提供的一种多画面视频图像处理装置基本逻辑结构示意
图；
图；
图；
图；
图；
图；
意图6是本发明实施例六提供的-图7是本发明实施例七提供的-图8是本发明实施例八提供的-图9是本发明实施例九提供的-图10是本发明实施例十提供的-
-种多画面视频图像处理装置基本逻辑结构示意 -种多画面视频图像处理装置基本逻辑结构示意 -种多画面视频图像处理装置基本逻辑结构示意 -种多画面视频图像处理装置基本逻辑结构示意 -种多画面视频图像处理装置基本逻辑结构示意
图11是本发明实施例十一提供的一种多画面视频图像处理装置基本逻辑结构示
意图；
意图；
意图；
意图；
意图；
意图；
意图；
意图；
图12是本发明实施例十二提供的一种多画面视频图像处理装置基本逻辑结构示
图13是本发明实施例十三提供的一种多画面视频图像处理装置基本逻辑结构示
图14是本发明实施例十四提供的一种多画面视频图像处理装置基本逻辑结构示
图15是本发明实施例十五提供的一种多画面视频图像处理装置基本逻辑结构示
图16是本发明实施例十六提供的一种多画面视频图像处理装置基本逻辑结构示
图17是本发明实施例十七提供的一种多画面视频图像处理装置基本逻辑结构示
图18是本发明实施例十八提供的一种多画面视频图像处理装置基本逻辑结构示
图19是本发明实施例十九提供的一种多画面视频图像处理装置基本逻辑结构示
图20是本发明实施例二十提供的一种多画面视频图像处理装置基本逻辑结构示
具体实施例方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。 与现有技术不同，在本发明实施例中，对来自各单个会场的子画面视频图像在形 多画面视频图像之前，采用相同的控制参数和独立计算出来的调整系数进行均衡，使最终 形成的多画面视频图像的效果都能够体现相同的特征。 请参考图l，本发明实施例一提供的一种多画面视频图像处理方法基本流程示意 图，主要包括步骤 S101，接收多路子画面视频图像的数据码流，根据子画面视频图像的图像特征，使 用控制参数分别均衡该多路子画面视频图像的效果； 在本实施例中，多路子画面视频图像指在视频会议中来自单个会场(或会场单 元)的各路子画面视频图像的集合。 S102，将经过均衡的多路子画面视频图像合成多画面视频图像。 以下以针对一路子画面视频图像，使用控制参数进行均衡为例对本发明实施以进
行说明。 请参阅图2，本发明实施例二提供的使用控制参数分别均衡多路子画面视频图像
的效果方法基本流程示意图，主要包括步骤 S201，获取当前子画面视频图像的图像特征。
在本发明实施例中，虽然子画面视频图像的整体效果是子画面中所有像素点 (pixel)共同作用的结果，但获取子画面视频图像的图像特征并不需要所有像素点的参数， 即，对于一帧子画面视频图像，只需要统计有限个像素点即可确定该图像的图像特征。
从简单且容易实现的角度考虑，在本发明实施例中，可以采用直方图统计方法统 计一帧子画面视频图像中亮度(Luminance)值在区间[Alum， Blum]上的像素点，这里，Alum大 于或等于0， B1Uffl小于或等于Lm，而Lm为描述亮度标准时所使用的最大值。例如，对于通常 采用8比特(Bit)对应的十进制来描述亮度值的表示方法，Lm可以取255，与描述亮度标准 时所使用的最大值对应；若是16比特对应的十进制来描述亮度值的表示方法，Lm取65535， 与描述亮度标准时所使用的最大值对应，本发明对此并不加限制。 之后，可以由亮度值在区间[Almi， BlmJ上的像素点和该范围像素点对应的亮度值 构造当前子画面视频图像的像素点使用控制参数和所述调整系数均衡所述当前子画面视 频图像的效果_亮度值统计图，由像素点_亮度值统计图就可以确定当前子画面视频图像 的亮度特征。例如，假设在像素点-亮度值统计图中大量的像素点(例如，超过80%的像素 点)的亮度值都小于一帧图像具有正常亮度时的亮度值(例如，亮度值为100)，则可以确定 当前子画面视频图像的亮度特征是"图像偏暗"，需要通过某种手段适当增大当前子画面视 频图像的亮度；反之，若在像素点-亮度值统计图中大量的像素点(例如，超过80%的像素
点)的亮度值都大于一帧图像具有正常亮度时的亮度值(例如，亮度值为ioo)，则可以确定
当前子画面视频图像的亮度特征是"图像偏亮"，需要通过某种手段适当减小当前子画面视 频图像的亮度。 同样地，也可以采用直方图统计方法统计一帧子画面视频图像中色度(Chroma) 值在一定范围内的像素点以判断子画面视频图像的色度特征，例如，通过统计一帧子画面 视频图像中红色度(CR， Chroma Red)值或蓝色度(CB， Chroma Blue)值在一定范围内的像 素点以判断子画面视频图像的色度特征。由于白色是基础颜色，且亮度值较大，例如，通常 达到200(采用8比特对应的十进制表示色度值时的值)以上，因此，与图像亮度值的统计 不同，在本发明实施例中，对于CR值或CB值的统计，通过统计当前子画面视频图像中色度 值与白色区域色度值接近的像素点，由与白色区域色度值接近的像素点和其对应的色度值 构造像素点_色度值统计图，再由该像素点_色度值统计图确定当前子画面视频图像的色 度特征。 例如，对于白色区域，CR值或CB值都接近于128 (采用8比特对应的十进制表示 色度值时的值)，鉴于此，在本发明实施例中，可以将色度值在[128-T2，128+T2]内的像素点 统计出来。由于L是一个较小值(例如，小于或等于IO)，色度值在[128-T2，128+T2]内的 像素点就是与白色区域色度值接近的像素点，因此，若通过统计当前子画面视频图像中色 度值与白色区域色度值接近的像素点构造出的像素点-色度值统计图中，大部分像素点的 色度值(CR值或CB值)都比128小或者比128大，则可以确定当前子画面视频图像的色度 特征是有色度偏移，比如偏蓝色、绿色或者偏红色等，需要通过某种手段适当调整当前子画 面视频图像的色度。 S202，根据控制参数和当前子画面视频图像的图像特征计算调整系数。 如前所述，接收的子画面视频图像可能有亮度偏移或亮度偏移。 在本发明实施例中，可以根据控制参数和当前子画面视频图像的图像特征计算一个调整系数，利用该调整系数以及控制参数来修正子画面视频图像的色度偏移或亮度偏 移，以均衡子画面视频图像的效果。 例如，对于当前子画面视频图像的亮度，可以根据该当前子画面视频图像的图像 特征以及预定或设定的一个控制参数计算当前子画面视频图像的第一亮度调整系数Cu和 第二亮度调整系数C『其中，该控制参数可以是将当前子画面视频图像均衡到目标亮度值 时使用的基准值，在本实施例中，用L。表示。使用基准值L。，可以保证当前子画面视频图像 经过修正后既不偏亮也不偏暗。计算当前子画面视频图像的第一亮度调整系数Cu和第二 亮度调整系数C^具体可以是 S2021，对像素点-亮度值统计图中像素值在区间[Apix，Bpix]上的像素点从像素值 为Apix的像素点开始计数，当计数到第K个像素点时，得到第K个像素点的像素值P。，其中， Apix、 Bpix在数值上分别与A1Uffl、 B1Uffl相等； 优选地，对于区间[Apix，Bpix]上的像素点，可以通过计数到像素点-亮度值统计图 中像素点的一半时，即，当计数到第N/2个(当N/2不为整数时，可以将N/2取一个与之最 接近的整数)像素点时，得到第N/2个像素点的像素值P0，其中，N为当前子画面视频图像 的像素点_亮度值统计图中像素点个数，即像素点_亮度值统计图中统计出来的像素点样 点个数。 S2022,由Apix、 Bpix、 P。和L。，计算得到第一亮度调整系数Cu和第二亮度调整系数 C^，其中，第一亮度调整系数Cu和第二亮度调整系数Q均与L。呈线性关系。
例如，可以由Apix、 Bpix、 P。和L。，得到第一亮度调整系数Cu为L。/(P。_Apix)和第二 亮度调整系数为L。/ (Bpix-P。)，显然Cu和均是与L。呈线性关系的。以下举一个更为 具体的例子 例如，若将当前子画面视频图像均衡到目标亮度值时使用的基准值L。为128，该当 前子画面视频图像的像素点-亮度值统计图中有N个像素点，其像素值在
内(255 为采用8比特对应的十进制表示像素值时的最大像素值)，从像素值为0的像素点开始计 数。当计数到第N/2个像素点时，得到第N/2个像素点的像素值PO，此处，像素值PO在区 间
上。分别计算128/P。的值得到当前子画面视频图像的第一亮度调整系数Cu = 128/P。，计算128/(255-P。)的值得到当前子画面视频图像的第二亮度调整系数Q = 128/ (255-P0)。 对于当前子画面视频图像的色度，也可以根据该当前子画面视频图像的图像特征 以及一个预定或设定的控制参数计算当前子画面视频图像的第一色度调整系数Cei和第二 色度调整系数&2，其中，该控制参数可以是将当前子画面视频图像均衡到目标色度值时使 用的基准值，在本实施例中，用C。表示。使用基准值C。，可以保证当前子画面视频图像经过 修正后色彩不偏移。计算当前子画面视频图像的第一色度调整系数Cd和第二色度调整系 数Q具体可以是 S' 2021，对像素点-色度值统计图中像素值在区间[Jpix， Kpix]上的像素点从像素
值为Jpix的像素点开始计数，当计数到第J个像素点时，得到第J个像素点的像素值P"其 中，J^大于或等于0， K^小于或等于Y，而Y为描述像素值标准时所使用的最大值，例如， 255或65535等； 优选地，对于区间[Jpix，Kpix]上的像素点，可以通过计数到像素点-色度值统计图中像素点的一半时，即，当计数到第M/2个(当M/2不为整数时，可以将M/2取一个与之最 接近的整数)像素点时，得到第M/2个像素点的像素值Pp其中，M为当前子画面视频图像 的像素点_色度值统计图中像素点个数，即像素点_色度值统计图中统计出来的像素点样 点个数。 S' 2022，由Jpi"K^、P工和C。，计算得到第一色度调整系数Cei和第二色度调整系数 &2，此处，第一色度调整系数Ca和第二色度调整系数Ce2均与基准值C。呈线性关系。
例如，可以由Jpix、 Kpix、 P工和C。，得到第一亮度调整系数CC1为C。/(P「J一)和第二 亮度调整系数Ce2为C。/ (K^-P》，显然Cei和Ce2均是与C。呈线性关系的。
以下举一个具体的例子加以说明 若当前子画面视频图像均衡到目标色度值时使用的基准值C。为128，该当前子画
面视频图像的像素点-色度值统计图中有N个像素点，其像素值在
内(255为采用8
比特对应的十进制表示像素值时的最大像素值)，从像素值为0的像素点开始计数。当计数
到第N/2个像素点时，得到第N/2个像素点的像素值Pp此处，像素值P工在
内。分
别计算128/^的值得到当前子画面视频图像的第一亮度调整系数Cu = 128AV计算128/
(255-P》的值得到当前子画面视频图像的第二亮度调整系数&2 = 128/(255-P》。 由于对于每一帧子画面视频图像，都是根据图像特征计算出不同亮度调整系数或
色度调整系数和采用相同控制参数均衡每一帧子画面视频图像，因此，与现有技术相比，本
实施例的调整方式能够使子画面视频图像在显示时表现出相同的画面特点。 S203，使用控制参数和调整系数均衡当前子画面视频图像的效果。 对于当前子画面视频图像亮度效果的均衡，可以使用基准值L。和S202中计算出
的第一亮度调整系数Cu对像素值在区间[Apix， P。]上的像素点的亮度值进行线性修正，得
到[Apix， P。]区间上的当前子画面视频图像的亮度值L1 ;使用基准值L。和第二亮度调整系
数C^对像素值在[P。， Bpix]区间上的像素点的亮度值进行线性修正，得到[P。，Bpix]区间上
的当前子画面视频图像的亮度值L2。所谓线性修正，是指对区间[Apix，P。]上的像素点的亮
度值按照同一比例进行增大或减小，由于每个像素点都是根据同一个比例进行增大或减小
的，所以，整个子画面图像经过线性修正的视觉效果就是协调的，不会出现一部分偏暗，一
部分偏亮。 例如，对于前述实施例中，若计算得到的第一亮度调整系数Cu为L。/(P。_Apix)，在 对当前子画面视频图像的亮度效果进行均衡时，可以将当前子画面视频图像中像素点在区 间[Apix，P。]上的亮度值修正为CuX(P-Apix)后输出，将当前子画面视频图像中像素点在区 间[P。，Bpix]上的亮度值修正为B^-(C^X(B一-P))后输出，此处，P为当前子画面视频图像 中像素点在被均衡之前的像素值。 对于当前子画面视频图像色度(包括CB或CR)效果的均衡，可以使用基准值C。和 在S202中计算出的第一色度调整系数Cd对像素值在区间[Jpix， PJ上的像素点的色度值 进行线性修正，得到[Jpix，Pj区间上的当前子画面视频图像的色度值C1 ;使用基准值C。和 在S202中计算出的第二色度调整系数Cc2对像素值在区间Kpix]上的像素点的色度值 进行线性修正，得到[Pi，KpiJ区间上的当前子画面视频图像的色度值C2。
例如，对于前述实施例中，若计算得到的第一亮度调整系数Cd为C。/(P「Jpi》和第 二亮度调整系数CC2为C。/(Kp^-P》，在对当前子画面视频图像的色度效果进行均衡时，可以将当前子画面视频图像中像素点在区间[Jpix， PJ上的色度值修正为CaX (P-Jpix)后输出， 将当前子画面视频图像中像素点在区间[PpKpiJ上的色度值修正为K^-(C^X (Kpix_P))后 输出，此处，P为当前子画面视频图像中像素点在被均衡之前的像素值，K^为像素值在区间 [Jpix， Kpix]上的像素点的色度值，其在数值上与Kpix相等。 需要说明的是，对于控制参数(即基准值L。或基准值C。)并非总是固定不变。如
果控制参数固定不变，则表明在一段较长时间内对子画面视频图像处理过程中，控制参数
都固定。例如，在本发明实施例中，可以将当前子画面视频图像均衡到目标色度值时使用的
基准值L。或C。都固定在128。如果修正本实施例处理流程，即，如图3所示本发明实施例
三，在使用控制参数和调整系数均衡当前子画面视频图像的效果后，执行更新控制参数的
操作，则表明在一段较长时间内对子画面视频图像处理过程中，控制参数可以通过检测子
画面视频图像的整体特征得到，比如可以将控制参数控制在和多个子画面视频图像相接近
的范围，即，如果输入的子画面视频图像都表现相似的Lum/CB/CR特征(例如多个输入的子
画面视频图像都表现为偏暗)，长时间的都处于100左右，那么可以统一将控制参数中的基
准值L。控制在100左右，从而达到保持多数风格类似的子画面视频图像的图像特征，只将
少数风格不一致的子画面视频图像的图像特征统一适配到整体画面特征之中。 从上述本发明实施例可以得知，由于本发明是根据相同的控制参数，针对各个独
立的子画面视频图像单独计算调整系数，因此，经过调整系数和同一控制参数均衡后，能够
将各个子画面视频图像统一调整到具有相同图像特征的效果，使子画面视频图像在显示时
表现出相同的画面特点，从而使得由子画面视频图像构成的多画面视频图像的显示达到整
体风格和谐并提升与会者的视觉体验。 请参阅图4，本发明实施例四提供的使用控制参数分别均衡多路子画面视频图像 的效果方法基本流程示意图，主要包括步骤 S401，接收当前子画面视频图像Fn，使用控制参数和当前子画面视频图像Fn之前 m帧子画面视频图像的加权调整系数均衡接收的当前子画面视频图像Fn的效果并同时获取 所述当前子画面视频图像Fn的图像特征。 由于视频图像在时间上往往呈现一种时间相似性，特别是对于视频会议，输入的 视频图像的环境基本上是固定的，时间上的相似性非常高，即，当前帧子画面视频图像的图 像特征与紧跟其后一帧子画面视频图像的图像特征非常相似。因此，与本发明实施例二提 供的使用控制参数均衡当前子画面视频图像不同，在本实施例中，可以使用控制参数和当 前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数均衡所述接收的当前子画 面视频图像Fn的效果并同时获取所述当前子画面视频图像Fn的图像特征。
当前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数计算时，需要每 一帧子画面视频图像的图像特征作为基础，对Fn之前m(m是大于或等于1的自然数)帧子 画面视频图像的每一帧子画面视频图像的调整系数进行加权。当前子画面视频图像Fn之 前m帧子画面视频图像的加权调整系数的获取步骤包括 S4011，获取当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视 频图像的图像特征； 在本实施例中，获取当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子 画面视频图像的图像特征与本发明实施例一获取当前子画面视频图像Fn的图像特征类似，例如，从简单且容易实现的角度考虑，也可以采用直方图统计方法统计当前子画面视频图 像Fn之前m帧子画面视频图像中每一帧子画面视频图像亮度值在区间[S1Uffl，TluJ上的像素 点，期中，Sluffl大于或等于0， Tlmi小于或等于Lm，而Lm的定义与前述实施例相同，为描述亮度 标准时所使用的最大值。例如，对于通常采用8比特(Bit)对应的十进制来描述亮度值的 表示方法，Lm取255，与描述亮度标准时所使用的最大值对应；若是16比特对应的十进制来 描述亮度值的表示方法，Lm取，65535与描述亮度标准时所使用的最大值对应，本发明对此 并不加限制。 之后，可以由亮度值在区间[Slmi， TlmJ上的像素点和像素点对应的亮度值构造当 前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的像素点-亮度 值统计图，由该像素点_亮度值统计图就可以确定当前子画面视频图像Fn之前m帧子画面 视频图像中每一帧子画面视频图像的亮度特征。例如，假设在像素点-亮度值统计图中大 量的像素点(例如，超过80%的像素点)的亮度值都小于一帧视频图像具有正常亮度时的 亮度值(例如，亮度值为lOO)，则可以确定当前子画面视频图像Fn之前m帧子画面视频图 像中每一帧子画面视频图像的亮度特征是"图像偏暗"，需要通过某种手段适当增大子画面 视频图像的亮度；反之，若在像素点-亮度值统计图中大量的像素点(例如，超过80%的像 素点)的亮度值都大于一帧视频图像具有正常亮度时的亮度值(例如，亮度值为100)，则可 以确定子画面视频图像的亮度特征是"图像偏亮"，需要通过某种手段适当减小子画面视频 图像的亮度。 同样地，也可以采用直方图统计方法统计当前子画面视频图像Fn之前m帧子画面 视频图像中每一帧子画面视频图像中色度(Chroma)值在一定范围内的像素点以判断当前 子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度特征，例如， 通过统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像中红 色度(CR， Chroma Red)值或蓝色度(CB， Chroma Blue)值在一定范围内的像素点以判断子 画面视频图像的色度特征。由于白色是基础颜色，且亮度值较大，例如，通常达到200(采用 8比特对应的十进制表示色度值时的值)以上，因此，与图像亮度值的统计不同，在本发明 实施例中，对于CR值或CB值的统计，通过统计当前子画面视频图像Fn之前m帧子画面视 频图像中每一帧子画面视频图像中色度值与白色区域色度值接近的像素点，由与白色区域 色度值接近的像素点和其对应的色度值构造像素点_色度值统计图，再由该像素点_色度 值统计图确定当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像 的色度特征。 例如，对于白色区域，CR值或CB值都接近于128(采用8比特对应的十进制表示色 度值时的值)，鉴于此，在本发明实施例中，可以将色度值在区间[128-T2，128+T2]上的像素 点统计出来。由于L是一个较小值(例如，小于或等于IO)，色度值在区间[128-T2，128+T2] 上的像素点就是与白色区域色度值接近的像素点，因此，若通过统计当前子画面视频图像 Fn之前m帧子画面视频图像中每一帧子画面视频图像中色度值与白色区域色度值接近的像 素点构造出的像素点/色度值统计图中，大部分像素点的色度值(CR值或CB值)都比128 小或者比128大，则可以确定当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子 画面视频图像的色度特征是有色度偏移，比如偏蓝色、绿色或者偏红色等，需要通过某种手 段适当调整当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度。 S4012,根据控制参数和当前子画面视频图像Fn之前m帧子画面视频图像中每一 帧子画面视频图像的图像特征，计算当前子画面视频图像Fn之前m帧子画面视频图像的加 权调整系数。 在本实施例中，计算当前子画面视频图像Fn之前m帧子画面视频图像的加权调整 系数是通过对当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像 的调整系数进行加权后得到。 例如，可以根据控制参数和当前子画面视频图像Fn之前m帧子画面视频图像中每 一帧子画面视频图像的图像特征计算当前子画面视频图像Fn之前m帧子画面视频图像的 第一亮度加权调整系数C' u和第二亮度加权调整系数C' w其中，控制参数可以将当前子 画面视频图像Fn前m帧中每一帧子画面视频图像均衡到目标亮度值时使用的基准值L'。， 用于保证当前子画面视频图像Fn经过修正后既不偏亮也不偏暗。计算当前子画面视频图像 Fn之前m帧子画面视频图像的第一亮度加权调整系数C' u和第二亮度加权调整系数C' ^ 包括 S40121，对当前子画面视频图像Fn前m帧中每一帧子画面视频图像的像素点-亮 度值统计图中像素值在区间[S^，TpiJ上的像素点从像素值为S^的像素点开始计数，Sph、 Tpix在数值上分别与前述Slum、 Tlum相等； S40122，对于该m帧子画面视频图像中第j帧子画面视频图像，当计数到第Q个像 素点时，得到第Q个像素点的像素值P。j'，所述j取l、2、…、m; 优选地，对于该m帧子画面视频图像中第j帧子画面视频图像，可以通过计数到第 j帧子画面视频图像像素点-亮度值统计图中像素点的一半时，即，当计数到第Nj/2个(当 Nj/2不为整数时，可以将Nj/2取一个与之最接近的整数)像素点时，得到第Nj/2个像素点 的像素值P。/ ，其中，Nj为第j帧子画面视频图像的像素点-亮度值统计图中像素点个数， 即像素点_亮度值统计图中统计出来的像素点样点个数。
w /*。 S40123，对P。/求和，得到p，o = .^!""^; S40124,由所述Spix、Tpix、P'。和L'。，计算得到第一亮度加权调整系数C' u和第二 亮度加权调整系数C' w其中，第一亮度加权调整系数C' ^和第二亮度加权调整系数C' ^ 均与L'。呈线性关系。 例如，可以由Spix、 Tpix、 P'。和L'。，计算得到第一亮度加权调整系数C' u为L' 。/
(P，o-S一)其中，<formula>formula see original document page 18</formula> 计算得到第二亮度加权调整系数C' ^为L' 。/(Tpix_P'。)，同样地，P，o -显然，C' u 和C' ^均是与L'。呈线性关系的。 例如，若将当前子画面视频图像Fn前m帧中每一帧子画面视频图像均衡到目标亮 度值时使用的基准值L'。为128，当前子画面视频图像Fn之前m帧子画面视频图像中第j 帧子画面视频图像的像素点-亮度值统计图中有N/个像素点，其像素值在区间
上 (255为采用8比特对应的十进制表示像素值时的最大像素值)，对于第j帧子画面视频图 像，从 素值为0的像素点开始计数。当计数到第N//2个像素点(即，第j帧子画面视频图像的像素点-亮度值统计图中像素点的一半)时，得到第Nj'/2个像素点的像素值P。/ ，
此处，像素值P。/在区间
上。
附尸'. 附 p' ■ 计算Z f ，得p，o = Z ^计算128/P'。，得到当前子画面视频图像Fn之
w P。
前m帧子画面视频图像的第一亮度加权调整系数c，u- 128/ ( S f ),计算128/ (255-P'。)的值得到当前子画面视频图像Fn之前m帧子画面视频图像的第二亮度加权调整
系数C，L2^28/ (255 -())。 同样地，对于当前子画面视频图像Fn的色度，也可以根据当前子画面视频图像Fn 之前m帧子画面视频图像中每一帧子画面视频图像的图像特征以及一个预定或设定的控 制参数计算当前子画面视频图像Fn的第一色度加权调整系数C' a和第二色度加权调整系 数C' ^其中，控制参数可以是将所述当前子画面视频图像均衡到目标色度值时使用的基 准值C'。，用于保证当前子画面视频图像Fn经过修正后色彩不偏移。计算当前子画面视频 图像Fn之前m帧子画面视频图像的第一色度加权调整系数C' a和第二色度加权调整系数 C' C2包括 S' 40121 ，对m帧子画面视频图像中每一帧子画面视频图像像素点-色度值统计图 中像素值在区间[Upix， Vpix]上的像素点从像素值为U^的像素点开始计数，此处，Upk大于 或等于0， Vpix小于或等于Y， Y为描述像素值标准时所使用的最大值； S' 40122，对于m帧子画面视频图像中第k帧子画面视频图像，当计数到第W个像 素点时，得到第W个像素点的像素值PJ ，所述k取l、2、…、m; 优选地，对于该m帧子画面视频图像中第k帧子画面视频图像，可以通过计数到 第k帧子画面视频图像像素点_亮度值统计图中像素点的一半时，即，当计数到第Nk/2个 (当Nk/2不为整数时，可以将Nk/2取一个与之最接近的整数)像素点时，得到第Nk/2个像 素点的像素值PJ ，其中，Nk为第k帧子画面视频图像的像素点-亮度值统计图中像素点 个数，即像素点-亮度值统计图中统计出来的像素点样点个数。S' 40123，对P/求和，得
到Ph = S' 40124，由Upix、Vpix、P' !和C'。，计算得到第一色度加权调整系数C' C1和第二色 度加权调整系数C' a，其中，第一色度加权调整系数C' a和第二色度加权调整系数C' C2均 与C'。呈线性关系。 例如，对于S' 40122中采用优选实施方式时，可以由Upi"Vpi"P':和C'。计算得 到第一色度加权调整系数c' a为C' 。/(P' 「Upix)，其中，ph = Z ~f ;计算得到第二色 度加权调整系数c' C2为C' 。/(Vpix-P'》，同样地，P，i 二显然，c' a和c' C2均是与c'。呈线
性关系的。 例如，若将当前子画面视频图像Fn前m帧中每一帧子画面视频图像均衡到目标色 度值时使用的基准值C'。为128，当前子画面视频图像Fn之前m帧子画面视频图像中第k帧子画面视频图像的像素点-色度值统计图中有Nk'个像素点，其像素值在
内(255
为采用8比特对应的十进制表示像素值时的最大像素值)。对于第k帧子画面视频图像，从
像素值为0的像素点开始计数。当计数到第Nk' /2个像素点时，得到第Nk' /2个像素点的
m p 柳 p'
像素值P/ ，此处，像素值P/在
内。计算^ f ,得P，i = Z f ，计算128/
P， p得到当前子画面视频图像Fn的第一色度加权调整系数c，d二〗28/( Z )，计算
A 二 1附
128/(255-P'。)的值得到当前子画面视频图像Fn之前m帧子画面视频图像的第二亮度加权
w 尸'
调整系数C，u- 128/ (255 - (,^i ))。 与本发明实施例二采用当前子画面视频图像Fn的调整系数均衡当前子画面视频
图像Fn的效果不同，本实施例是采用当前子画面视频图像Fn前m帧子画面视频图像Fn—工的 调整系数均衡当前子画面视频图像Fn的效果，例如，对于均衡当前子画面视频图像Fn的亮 度，包括如下步骤 Sll，统计当前子画面视频图像Fn中亮度值在区间[Mluffl， NlmJ上的像素点，其中， M1Uffl大于或等于0， N1Uffl小于或等于Lm， Lm为描述亮度标准时所使用的最大值；
S12，由区间[M^，KJ上的像素点和像素点对应的亮度值构造当前子画面视频图 像Fn像素点-亮度值统计图； S13，对当前子画面视频图像Fn像素点-亮度值统计图中像素值在区间[Mpix，Npix] 上的像素点从像素值为Mpix的像素点开始计数，当计数到第P个像素点时，得到第P个像素 点的像素值P2， Mpix、 Npix在数值上分别与上述Mlmi、 Nlmi相等； 优选地，对于区间[Mpix，Npix]上的像素点，可以通过计数到像素点-亮度值统计图 中像素点的一半时，即，当计数到第N/2个(当N/2不为整数时，可以将N/2取一个与之最 接近的整数)像素点时，得到第N/2个像素点的像素值&，其中，N为当前子画面视频图像 的像素点_亮度值统计图中像素点个数，即像素点_亮度值统计图中统计出来的像素点样 点个数。 S14，使用基准值L。和第一亮度加权调整系数C'u对像素值在[Mpix，P2]内的像素 点的亮度值进行线性修正，得到[Mpix，P2]区间上的当前子画面视频图像的亮度值1A ;使用 基准值L。和第二亮度加权调整系数C'^对像素值在[P2，Npix]内的像素点的亮度值进行线 性修正，得到[P2，Npix]区间上的当前子画面视频图像的亮度值L' 2。 例如，对于前述实施例中，若计算得到的第一亮度加权调整系数C' u为L' 。/
(P' 。-Spi》，在对当前子画面视频图像的亮度效果进行均衡时，可以将当前子画面视频图像
中像素点在区间[Mpix， P2]上的亮度值修正为C' UX (P-Mpix)后输出，将当前子画面视频图 像中像素点在区间[P2， Npix]上的亮度值修正为N1Uffl-(C' (Npix-P))后输出，此处，P为当 前子画面视频图像中像素点在被均衡之前的像素值。
对于均衡当前子画面视频图像Fn的色度，包括如下步骤 S' ll，统计当前子画面视频图像Fn中色度值与白色区域色度值接近的像素点；
S' 12，由与白色区域色度值接近的像素点和其对应的色度值构造当前子画面视频 图像Fn像素点-色度值统计 S'13，对当前子画面视频图像Fn像素点-色度值统计图中像素值在区间[Xpix，Ypix] 上的像素点从像素值为Xpix的像素点开始计数，当计数到第T个像素点时，得到第T个像素 点的像素值P^此处，Xpix大于或等于0， Ypix小于或等于Y， Y为描述像素值标准时所使用的 最大值； 优选地，对于区间[Xpix，Ypix]上的像素点，可以通过计数到像素点-色度值统计图 中像素点的一半时，即，当计数到第M/2个(当M/2不为整数时，可以将M/2取一个与之最 接近的整数)像素点时，得到第M/2个像素点的像素值P3，其中，M为当前子画面视频图像 的像素点_色度值统计图中像素点个数，即像素点_色度值统计图中统计出来的像素点样 点个数。 S' 14，使用基准值C'。和第一色度加权调整系数C' d对像素值在[Xpix， P3]内的 像素点的色度值进行线性修正，得到[Xpix，P3]区间上的当前子画面视频图像的色度值C^ ; 使用基准值C'。和第二色度加权调整系数C' ^对像素值在[P3， Ypix]内的像素点的色度值 进行线性修正，得到[P3，Ypix]区间上的当前子画面视频图像的色度值C' 2。
例如，对于前述实施例中，若计算得到的第一色度加权调整系数C' ei为C' 。/ (P' 「Upix)和第二亮度调整系数CC2为C' 。/(Vpix_P'》，在对当前子画面视频图像的色度效 果进行均衡时，可以将当前子画面视频图像中像素点在区间[Xpix， P3]上的色度值修正为 C' C1X (P-Xpix)后输出，将当前子画面视频图像中像素点在区间[P3， Ypix]上的色度值修正 为Y。to-(C' C2X (Ypix-P))后输出，此处，P为当前子画面视频图像中像素点在被均衡之前的 像素值，Y^为像素值在区间[Xpix，Ypix]上的像素点的色度值，其在数值上与Yph相等。
需要说明的是，在本实施例中，获取当前子画面视频图像Fn的图像特征与本发明 实施例一获取当前子画面视频图像Fn的图像特征是类似的，例如，对于获取当前子画面视 频图像Fn的亮度特征包括 统计当前子画面视频图像Fn中亮度值在区间[Aluffl， BlmJ上的像素点，Aluffl大于或 等于O，此处，B1Uffl小于或等于Lm， Lm为描述亮度标准时所使用的最大值；
由区间[A1Uffl，BluJ上的像素点和像素点对应的亮度值构造Fn的像素点-亮度值统 计图； 从像素点-亮度值统计图确定当前子画面视频图像Fn的亮度特征。
对于获取当前子画面视频图像Fn的色度特征包括 统计当前子画面视频图像Fn中色度值与白色区域色度值接近的像素点； 由与白色区域色度值接近的像素点和其对应的色度值构造Fn的像素点-色度值
统计图； 从像素点_色度值统计图确定当前子画面视频图像Fn的色度特征。 S402，根据当前子画面视频图像Fn被均衡之前的图像特征计算当前子画面视频图
像Fn被均衡之前的调整系数。 计算当前子画面视频图像Fn被均衡之前的调整系数是为了将该调整系数和当前 子画面视频图像Fn之前子画面视频图像的调整系数进行加权后用于当前子画面视频图像 Fn的下一帧子画面视频图像Fn+1，从而使得步骤S401和步骤S402能够得以循环执行下去。
计算当前子画面视频图像Fn被均衡之前的亮度调整系数和色度调整系数与本发 明实施例二完全相同，请参阅前述实施例，此处不再赘述。
从上述本发明实施例四提供的使用控制参数分别均衡多路子画面视频图像的效果可以得知，由于本发明是根据相同的控制参数，针对各个独立的子画面视频图像单独计算调整系数，因此，经过调整系数和同一控制参数均衡后，能够将各个子画面视频图像统一调整到具有相同图像特征的效果，使子画面视频图像在显示时表现出相同的画面特点，从而使得由子画面视频图像构成的多画面视频图像的显示达到整体风格和谐并提升与会者的视觉体验。 需要说明的是，虽然上述各实施例都是针对一路子画面视频图像，说明如何使用控制参数均衡其效果，但本领域技术人员可以理解在不做任何创造性劳动的前提下，本发明每一实施例提供的方法可以单独用于均衡多路子画面视频图像，也可以将各个实施例提供的方法结合起来用于均衡多路子画面视频图像。 请参阅图5，本发明实施例五提供的一种多画面视频图像处理装置基本逻辑结构示意图。为了便于说明，仅示出了与本发明实施例相关部分。该装置包含的功能模块可以为软件模块、硬件模块或软硬件结合模块。 均衡模块51，用于接收多路子画面视频图像的数据码流，根据子画面视频图像的图像特征，使用控制参数分别均衡该多路子画面视频图像的效果； 合成模块52，用于将经过均衡模块51均衡的子画面视频图像合成多画面视频图像。 均衡模块51可以进一步包括第一图像特征获取子模块61、第一计算子模块62和第一均衡子模块63，如图6所示，本发明实施例六提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 第一图像特征获取子模块61，用于获取当前子画面视频图像的图像特征； 第一计算子模块62，用于根据控制参数和第一图像特征获取子模块61获取的当
前子画面视频图像的图像特征计算调整系数； 第一均衡子模块63，用于使用控制参数和第一计算子模块62计算所得调整系数均衡当前子画面视频图像的效果。 第一图像特征获取子模块61可以进一步包括第一统计单元71、第一统计图构造单元72和亮度特征确定单元73，如图7所示，本发明实施例七提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 第一统计单元71，用于统计当前子画面视频图像中亮度值在区间[Almi， BlmJ上的像素点，此处，A1Uffl大于或等于0， B1Uffl小于或等于Lm， Lm与描述亮度标准时所使用的最大值对应； 第一统计图构造单元72，用于由区间[Almi， BlM]内的像素点和像素点对应的亮度值构造像素点_亮度值统计图； 亮度特征确定单元73，用于从像素点-亮度值统计图确定当前子画面视频图像的亮度特征。 第一计算子模块62可以进一步包括第一计数单元81和亮度调整系数计算单元82，如图8所示，本发明实施例八提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 第一计数单元81，用于对像素点-亮度值统计图中像素值在区间[Apix， Bpix]上的像素点从像素值为Apix的像素点开始计数，当计数到第K个像素点时，得到第K个像素点的像素值P。，其中，Apix、 Bpix在数值上分别与AlM、 BlM相等； 亮度调整系数计算单元82，用于由Apix、 Bpix、 P。和L。，计算得到第一亮度调整系数Cu和第二亮度调整系数C^，其中，第一亮度调整系数Cu和第二亮度调整系数均与L。呈线性关系。 第一均衡子模块63可以进一步包括第一亮度均衡子单元91和第二亮度均衡子单元92，如图9所示，本发明实施例九提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 第一亮度均衡子单元91，使用基准值L。和第一亮度调整系数Cu对像素值在区间[Apix，P。]上的像素点的亮度值进行线性修正，得到[Apix，P。]区间上的当前子画面视频图像的亮度值LI ; 第二亮度均衡子单元92，使用所述基准值L。和第二亮度调整系数Q对像素值在[P。，Bpix]区间上的像素点的亮度值进行线性修正，得到[P。，Bpix]区间上的当前子画面视频图像的亮度值L2。 第一图像特征获取子模块61可以进一步包括第二统计单元101、第二统计图构造单元102和色度特征确定单元103，如图10所示，本发明实施例十提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 第二统计单元IOI，用于统计当前子画面视频图像中色度值与白色区域色度值接近的像素点； 第二统计图构造单元102，用于由与白色区域色度值接近的像素点和其对应的色度值构造像素点-色度值统计图； 色度特征确定单元103，用于从像素点-色度值统计图确定当前子画面视频图像的色度特征。 第一计算子模块62可以进一步包括第二计数单元111和色度调整系数计算单元112，如图11所示，本发明实施例十一提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 第二计数单元lll，用于对像素点-色度值统计图中像素值在区间[Jpix，Kpix]上的像素点从像素值为Jpix的像素点开始计数，当计数到第J个像素点时，得到第J个像素点的像素值Pi，其中，Jpix大于或等于0， Kpix小于或等于Y， Y为描述像素值标准时所使用的最大值； 色度调整系数计算单元112，用于根据J^、Kp^、P工和C。，计算得到第一色度调整系数Ca和第二色度调整系数Ce2，其中，第一色度调整系数Ca和所述第二色度调整系数CC2均与C。呈线性关系。 第一均衡子模块63可以进一步包括第一色度均衡子单元121和第二色度均衡子单元122，如图12所示，本发明实施例十二提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 第一色度均衡子单元121 ，使用所述基准值C。和所述第一色度调整系数Cei对像素值在区间[JpwPj上的像素点的色度值进行线性修正，得到[Jpix，Pj区间上的当前子画面视频图像的色度值C1 ;
第二色度均衡子单元122，使用所述基准值C。和所述第二色度调整系数Ce2对像素 值在区间R，KpiJ上的像素点的色度值进行线性修正，得到[P"KpiJ区间上的当前子画面 视频图像的色度值C2。 均衡模块51可以进一步包括第二图像特征获取子模块131和第二计算子模块 132，如图13所示，本发明实施例十三提供的一种多画面视频图像处理装置基本逻辑结构 示意图，其中 第二图像特征获取子模块131，用于接收当前子画面视频图像Fn时使用控制参数 和当前子画面视频图像Fn之前m帧子画面视频图像的加权调整系数均衡接收的当前子画 面视频图像Fn的效果并同时获取当前子画面视频图像Fn的图像特征；
第二计算子模块132，用于根据第二图像特征获取子模块131获取的当前子画面 视频图像Fn被均衡之前的图像特征计算当前子画面视频图像Fn被均衡之前的调整系数，m 为大于或等于l的自然数。 第二图像特征获取子模块131可以进一步包括前m帧图像特征获取子模块141和 前m帧加权调整系数计算子模块142，如图14所示，本发明实施例十四提供的一种多画面视 频图像处理装置基本逻辑结构示意图，其中 前m帧图像特征获取子模块141，用于获取当前子画面视频图像Fn之前m帧子画 面视频图像中每一帧子画面视频图像的图像特征； 前m帧加权调整系数计算子模块142，用于根据控制参数和当前子画面视频图像 Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特征计算Fn之前m帧子画面 视频图像的加权调整系数。 前m帧图像特征获取子模块141可以进一步包括前m帧第一统计单元151、前m帧 第一统计图构造单元152和前m帧亮度特征确定单元153，如图15所示，本发明实施例十五 提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 前m帧第一统计单元151，用于统计当前子画面视频图像Fn之前m帧子画面视频 图像中每一帧子画面视频图像亮度值在区间[SlM， TluJ上的像素点，所述S^大于或等于 O，其中，TlM小于或等于Lm， Lm为描述亮度标准时所使用的最大值； 前m帧第一统计图构造单元152，用于由亮度值在区间[S1Uffl，TluJ上的像素点和像 素点对应的亮度值构造当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面 视频图像的像素点_亮度值统计图； 前m帧亮度特征确定单元153，用于从像素点-亮度值统计图确定当前子画面视频
图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的亮度特征。 前m帧加权调整系数计算子模块142可以进一步包括前m帧第一计数子单元161、
前m帧第一求和子单元162和前m帧亮度加权调整系数计算单元163，如图16所示，本发明
实施例十六提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 前m帧第一计数子单元161，用于对当前子画面视频图像之前m帧中每一帧子画面
视频图像的像素点-亮度值统计图中像素值在区间[Spix， Tpix]上的像素点从像素值为Spix
的像素点开始计数，对于当前子画面视频图像之前m帧子画面视频图像中第j帧子画面视
频图像，当计数到第Q个像素点时，得到第Q个像素点的像素值P。j'，其中，j取l、2、…、
m， SDix、 TDix在数值上分别与S1Uffl、 T1Uffl相等；附 />。 前m帧第一求和子单元162，用于对P。/求和，得到p，o = f ; 前m帧亮度加权调整系数计算单元163，用于根据Spi"T^、P'。和L'。，计算得到 第一亮度加权调整系数C' u和第二亮度加权调整系数C' ^其中，第一亮度加权调整系数 C' ^和第二亮度加权调整系数C' ^均与L'。呈线性关系。 第二图像特征获取子模块131可以包括当前子画面视频图像第一统计单元171、
当前子画面视频图像第一统计图构造单元172、当前子画面视频图像第一计数单元173、前
m帧第一亮度均衡子单元174和前m帧第二亮度均衡子单元175，如图17所示，本发明实施
例十七提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中 当前子画面视频图像第一统计单元171，用于统计当前子画面视频图像Fn中亮度
值在区间[Mlmi， NluJ上的像素点，其中，Mlmi大于或等于0， N1Uffl小于或等于Lm， Lm为描述亮
度标准时所使用的最大值； 当前子画面视频图像第一统计图构造单元172，用于根据区间[M1Uffl，NlmJ上的像素 点和像素点对应的亮度值构造当前子画面视频图像Fn像素点-亮度值统计图；
当前子画面视频图像第一计数单元173，用于对当前子画面视频图像Fn像素 点_亮度值统计图中像素值在区间[Mpix， Npix]上的像素点从像素值为Mpix的像素点开始计 数，当计数到第P个像素点时，得到第P个像素点的像素值&，其中，Mpix、Npix在数值上分别
与M^、N^相等； 前m帧第一亮度均衡子单元174，使用基准值L。和第一亮度加权调整系数C' u对 像素值在区间[Mpix，P2]上的像素点的亮度值进行线性修正，得到[Mpix，P2]区间上的当前子 画面视频图像的亮度值L' 1 ; 前m帧第二亮度均衡子单元175，使用基准值L。和第二亮度加权调整系数C' ^对 像素值在区间[P2，Npix]上的像素点的亮度值进行线性修正，得到[P2，Npix]区间上的当前子 画面视频图像的亮度值L' 2。 前m帧图像特征获取子模块141可以包括前m帧第二统计单元181、前m帧第二统 计图构造单元182和前m帧色度特征确定单元183，如图18所示，本发明实施例十八提供的 一种多画面视频图像处理装置基本逻辑结构示意图，其中 前m帧第二统计单元181，用于统计当前子画面视频图像Fn之前m帧子画面视频
图像中每一帧子画面视频图像的色度值与白色区域色度值接近的像素点； 前m帧第二统计图构造单元182，用于根据与白色区域色度值接近的像素点和其
对应的色度值构造当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频
图像的像素点-色度值统计图； 前m帧色度特征确定单元183，用于从当前子画面视频图像Fn之前m帧子画面视 频图像中每一帧子画面视频图像的像素点-色度值统计图确定当前子画面视频图像Fn之 前m帧子画面视频图像中每一帧子画面视频图像的色度特征。 前m帧加权调整系数计算子模块142可以进一步包括前m帧第二计数子单元191、 前m帧第二求和子单元192和前m帧色度加权调整系数计算单元193，如图19所示，本发明 实施例十九提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中
前m帧第二计数子单元191 ，用于对当前子画面视频图像之前m帧子画面视频图像中每一帧子画面视频图像像素点-色度值统计图中像素值在区间[upix，vpix]上的像素点从
像素值为Upix的像素点开始计数，对于前m帧子画面视频图像中第k帧子画面视频图像，当 计数到第W个像素点时，得到第W个像素点的像素值P/ ，其中，k取l、2、…、m，Upix大于 或等于0， Vpix小于或等于Y， Y为描述像素值标准时所使用的最大值； 前m帧第二求和子单元192，用于对P/求和，得到p，t = 前m帧色度加权调整系数计算单元193，用于根据Upi"V^、P'工和C'。，计算得到 第一色度加权调整系数C' a和第二色度加权调整系数C' ^其中，第二色度加权调整系数 C' C2和第二色度加权调整系数C' e2均与C'。呈线性关系。 第二图像特征获取子模块131可以包括当前子画面视频图像第二统计单元201、 当前子画面视频图像第二统计图构造单元202、当前子画面视频图像第二计数单元203、前 m帧第一色度均衡子单元204和前m帧第二色度均衡子单元205，如图20所示，本发明实施 例二十提供的一种多画面视频图像处理装置基本逻辑结构示意图，其中
当前子画面视频图像第二统计单元201，用于统计当前子画面视频图像Fn中色度 值与白色区域色度值接近的像素点； 当前子画面视频图像第二统计图构造单元202，用于根据与白色区域色度值接近 的像素点和其对应的色度值构造当前子画面视频图像Fn像素点-色度值统计图；
当前子画面视频图像第二计数单元203，用于对当前子画面视频图像Fn像素 点_色度值统计图中像素值在区间[Xpix， Ypix]上的像素点从像素值为Xpix的像素点开始计 数，当计数到第T个像素点时，得到第T个像素点的像素值P3，其中，X^大于或等于0， Ypix 小于或等于Y， Y为描述像素值标准时所使用的最大值； 前m帧第一色度均衡子单元204，使用基准值C'。和第一色度加权调整系数C' C1 对像素值在[Xpix，P3]内的像素点的色度值进行线性修正，得到[Xpix，P3]区间上的当前子画 面视频图像的色度值C' 1 ; 前m帧第二色度均衡子单元205，使用基准值C'。和第二色度加权调整系数C' C2 对像素值在区间[P3，Ypix]上的像素点的色度值进行线性修正，得到[P3，Ypix]区间上的当前 子画面视频图像的色度值C' 2。 需要说明的是，上述设备各模块/单元之间的信息交互、执行过程以及技术效果 等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的 说明，此处不再赘述。 为了更加清楚地说明上述本发明实施例，以下给出本发明实施例多画面视频图像 处理装置的应用场景。 应用场景一 在一次视频会议的召开过程中，同时有多个终端会场入会，如图中 的会场A、 B、 C和D，每个终端会场都会将本会场的视频图像使用一种视频压縮协议进行压 縮，并将压縮后的视频码流通过网络传递给多点控制单元(MCU， Multipoint Controlling Unit)。多点控制单元在接收到各个会场终端的视频压縮码流之后，解码模块使用对应的视 频压縮协议对各个码流进行解码，得到重建多画面视频图像所需的子画面视频图像(相对 于重组形成的多画面视频图像而言)。子画面视频图像输入多画面视频图像处理装置。经 过多画面视频图像处理装置处理后，多点控制单元再对多画面视频图像处理装置输出的各子画面视频图像重新进行多画面的组合，合成一个多画面视频图像。该多画面视频图像的 每个子画面视频图像对应一个会场画面。编码模块对该多画面视频图像进行重新编码，将 编码后的码流发给接收端，由接收端完成解码并输出到显示设备上，实现多画面的会议过 程。 应用场景二 在一次视频会议的召开过程中，同时有多个终端会场入会，如图中的 会场A、B、C和D，每个终端会场都会将本会场的视频图像使用一种视频压縮协议进行压縮， 并将压縮后的视频码流通过网络传递给多点控制单元。多点控制单元在接收到各个会场 终端的视频压縮码流之后，解码模块使用对应的视频压縮协议对各个视频压縮码流进行解 码，得到重建多画面视频图像所需的子画面视频图像(相对于重组形成的多画面视频图像 而言)。子画面视频图像输入多画面视频图像处理装置，经过多画面视频图像处理装置处理 后，编码模块再使用视频压縮协议对各个子画面视频图像进行编码，将编码后的码流发给 不同的接收端，由接收端完成解码并输出到显示设备上，实现一次多点的会议过程。
应用场景三在一次视频会议的召开过程中，同时有多个终端会场入会，如图中的 会场A、B、C和D，每个终端会场都会将本会场的视频图像使用一种视频压縮协议进行压縮， 并将压縮后的视频码流通过网络传递给多点控制单元。MCU在接收到各个会场终端的视频 压縮码流之后，根据会议的格式，解码模块使用对应的视频压縮协议对各个视频压縮码流 进行解码，得到重建多画面视频图像所需的子画面视频图像(相对于重组形成的多画面视 频图像而言)，然后，编码模块再对各个子画面视频图像重新使用视频压縮协议进行编码， 将编码后的码流发送至接收端，接收端包含多画面视频图像处理装置。子画面视频图像经 过多画面视频图像处理装置处理和接收端的解码后，输出到不同的显示设备上，实现一次 多点的会议过程。对于本应用场景，也可以不需要编码模块，在解码模块解码后直接转发给 接收端，由接收端在接收到多路码流后，经过解码和其中多画面视频图像处理装置处理后 输出到不同的显示设备上，实现一次多点的会议过程。 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可 以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存 储介质可以包括只读存储器(ROM, Read Only Memory)、随机存取存储器(RAM, Random Access Memory)、磁盘或光盘等。 以上对本发明实施例所提供的多画面视频图像处理方法和装置进行了详细介绍， 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用 于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的 思想，在具体实施方式
及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为 对本发明的限制。
权利要求
一种多画面视频图像处理方法，其特征在于，包括接收多路子画面视频图像的数据码流，根据子画面视频图像的图像特征，使用控制参数分别均衡所述多路子画面视频图像的效果；将所述经过均衡的多路子画面视频图像合成多画面视频图像。
2. 如权利要求1所述的方法，其特征在于，所述根据子画面视频图像的图像特征，使用 控制参数分别均衡多路子画面视频图像的效果包括获取当前子画面视频图像的图像特征；根据控制参数和所述当前子画面视频图像的图像特征计算调整系数； 使用控制参数和所述调整系数均衡所述当前子画面视频图像的效果。
3. 如权利要求2所述的方法，其他特征在于，所述获取当前子画面视频图像的图像特 征包括统计所述当前子画面视频图像中亮度值在区间[A^，B^J上的像素点，所述A^大于或 等于O，所述B1Uffl小于或等于Lm，所述Lm为描述亮度标准时所使用的最大值；由所述区间[A1Uffl，BlmJ上的像素点和所述像素点对应的亮度值构造像素点-亮度值统 计图；从所述像素点_亮度值统计图确定所述当前子画面视频图像的亮度特征。
4. 如权利要求3所述的方法，其他特征在于，所述控制参数为将所述当前子画面视频 图像均衡到目标亮度值时使用的基准值L。，根据控制参数和所述当前子画面视频图像的图 像特征计算调整系数为根据所述当前子画面视频图像的图像特征计算当前子画面视频图 像的第一亮度调整系数Cu和第二亮度调整系数C^，包括对所述像素点-亮度值统计图中像素值在区间[Apix， Bpix]上的像素点从像素值为Ap^ 的像素点开始计数，当计数到第K个像素点时，得到第K个像素点的像素值P。，所述Apix、Bpix 在数值上分别与所述Aluffl、 Bluffl相等；由所述Apix、 Bpix、 P。和L。，计算得到所述第一亮度调整系数Cu和所述第二亮度调整系 数C^，其中，所述第一亮度调整系数Cu和所述第二亮度调整系数均与L。呈线性关系。
5. 如权利要求4所述的方法，其他特征在于，所述使用控制参数和所述调整系数均衡 所述当前子画面视频图像的效果包括使用所述基准值L。和所述第一亮度调整系数Cu对像素值在区间[Apix，P。]上的像素点 的亮度值进行线性修正，得到[Apix，P。]区间上的当前子画面视频图像的亮度值L1 ;使用所述基准值L。和所述第二亮度调整系数C^对像素值在[P。，Bpix]区间上的像素点 的亮度值进行线性修正，得到[P。，Bpix]区间上的当前子画面视频图像的亮度值L2。
6. 如权利要求2所述的方法，其他特征在于，所述获取当前子画面视频图像的图像特 征包括统计所述当前子画面视频图像中色度值与白色区域色度值接近的像素点；由所述与白色区域色度值接近的像素点和其对应的色度值构造像素点_色度值统计图；从所述像素点_色度值统计图确定所述当前子画面视频图像的色度特征。
7. 如权利要求6所述的方法，其他特征在于，所述控制参数为将所述当前子画面视频 图像均衡到目标色度值时使用的基准值C。，根据控制参数和所述当前子画面视频图像的图像特征计算调整系数为根据所述当前子画面视频图像的图像特征计算当前子画面视频图 像的第一色度调整系数Cei和第二色度调整系数C^，包括对所述像素点-色度值统计图中像素值在区间[Jpix， Kpix]上的像素点从像素值为Jpix 的像素点开始计数，当计数到第J个像素点时，得到第J个像素点的像素值所述Jpix大 于或等于O，所述Kpix小于或等于Y，所述Y为描述像素值标准时所使用的最大值；由所述Jpix、 Kpix、 P工和C。，计算得到所述第一色度调整系数Cei和所述第二色度调整系 数&2，其中，所述第一色度调整系数Cei和所述第二色度调整系数Ce2均与C。呈线性关系。
8. 如权利要求7所述的方法，其他特征在于，所述使用控制参数和图像调整系数均衡 所述当前子画面视频图像的效果包括使用所述基准值C。和所述第一色度调整系数Ca对像素值在区间[Jpk，Pj上的像素点 的色度值进行线性修正，得到[Jpix，Pj区间上的当前子画面视频图像的色度值C1 ;使用所述基准值C。和所述第二色度调整系数C^对像素值在区间[P"KpiJ上的像素点 的色度值进行线性修正，得到[Pi，KpiJ区间上的当前子画面视频图像的色度值C2。
9. 如权利要求1所述的方法，其特征在于，所述根据子画面视频图像的图像特征，使用 控制参数分别均衡所述多路子画面视频图像的效果包括接收当前子画面视频图像Fn，使用控制参数和当前子画面视频图像Fn之前m帧子画面 视频图像的加权调整系数均衡所述接收的当前子画面视频图像Fn的效果并同时获取所述 当前子画面视频图像Fn的图像特征；根据所述当前子画面视频图像Fn被均衡之前的图像特征计算当前子画面视频图像Fn 被均衡之前的调整系数，m为大于或等于1的自然数。
10. 如权利要求如权利要求9所述的方法，其特征在于，所述当前子画面视频图像Fn之 前m帧子画面视频图像的加权调整系数的获取步骤包括获取Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特征； 根据控制参数和所述Fn之前m帧子画面视频图像中每一帧子画面视频图像的图像特 征计算所述Fn之前m帧子画面视频图像的加权调整系数。
11. 如权利要求lO所述的方法，其特征在于，所述获取当前子画面视频图像Fn之前m 帧子画面视频图像的图像特征包括统计所述Fn之前m帧子画面视频图像中每一帧子画面视频图像亮度值在区间[Sluffl， TluJ上的像素点，所述SlM大于或等于0，所述TlM小于或等于Lm，所述Lm为描述亮度标准 时所使用的最大值；由亮度值在所述区间[Slmi，TluJ上的像素点和所述像素点对应的亮度值构造所述Fn之 前m帧子画面视频图像中每一帧子画面视频图像的像素点-亮度值统计图；从所述像素点_亮度值统计图确定所述Fn之前m帧子画面视频图像中每一帧子画面 视频图像的亮度特征。
12. 如权利要求ll所述的方法，其特征在于，所述控制参数为将所述m帧中每一帧子画 面视频图像均衡到目标亮度值时使用的基准值L'。，所述根据控制参数和所述Fn之前m帧 子画面视频图像中每一帧子画面视频图像的图像特征计算所述Fn之前m帧子画面视频图 像的加权调整系数为根据控制参数和所述Fn之前m帧子画面视频图像中每一帧子画面视 频图像的图像特征计算所述Fn之前m帧子画面视频图像的第一亮度加权调整系数C' u和第二亮度加权调整系数C' w包括对所述前m帧中每一帧子画面视频图像的像素点-亮度值统计图中像素值在区间 [Spix， Tpix]上的像素点从像素值为Spix的像素点开始计数，所述Spix、Tpix在数值上分别与所述S^、T^相等;对于m帧子画面视频图像中第j帧子画面视频图像，当计数到第Q个像素点时，得到第 Q个像素点的像素值P。/ ，所述j取l、2、…、m;附 / n对P。/求和，得到p，o = ;由所述Spix、 Tpix、 P'。和L'。，计算得到所述第一亮度加权调整系数C' u和所述第二亮 度加权调整系数C' u，其中，所述第一亮度加权调整系数C' ^和所述第二亮度加权调整系 数C'^均与L'。呈线性关系。
13. 如权利要求12所述的方法，其特征在于，所述使用控制参数和当前子画面视频图 像Fn之前m帧子画面视频图像的加权调整系数均衡所述接收的当前子画面视频图像Fn的 效果包括统计当前子画面视频图像Fn中亮度值在区间[M1Uffl， NlmJ上的像素点，所述M^大于或 等于O，所述N1Uffl小于或等于Lm，所述Lm为描述亮度标准时所使用的最大值；由所述区间[Mlmi，NlmJ上的像素点和所述像素点对应的亮度值构造当前子画面视频图 像Fn像素点-亮度值统计图；对所述当前子画面视频图像Fn像素点-亮度值统计图中像素值在区间[Mpix，Npix]上的 像素点从像素值为Mpix的像素点开始计数，当计数到第P个像素点时，得到第P个像素点的 像素值P2，所述Mpix、 Npix在数值上分别与所述Mlum、 Nlum相等；使用所述基准值L。和所述第一亮度加权调整系数C'u对像素值在[Mpix，P2]内的像素 点的亮度值进行线性修正，得到[Mpix，P2]区间上的当前子画面视频图像的亮度值L' 1 ;使用所述基准值L。和所述第二亮度加权调整系数C'^对像素值在[P2，Npix]内的像素 点的亮度值进行线性修正，得到[P2，Npix]区间上的当前子画面视频图像的亮度值L' 2。
14. 如权利要求lO所述的方法，其特征在于，所述获取Fn之前m帧子画面视频图像中 每一帧子画面视频图像的图像特征包括统计所述Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度值与白色区域 色度值接近的像素点；由所述与白色区域色度值接近的像素点和其对应的色度值构造Fn之前m帧子画面视 频图像中每一帧子画面视频图像的像素点-色度值统计图；从所述Fn之前m帧子画面视频图像中每一帧子画面视频图像的像素点_色度值统计 图确定所述Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度特征。
15. 如权利要求14所述的方法，其特征在于，所述控制参数为将所述当前子画面视频 图像均衡到目标色度值时使用的基准值C'。，所述根据控制参数和所述Fn之前m帧子画面 视频图像中每一帧子画面视频图像的图像特征计算所述Fn之前m帧子画面视频图像的加 权调整系数为根据控制参数和所述Fn之前m帧子画面视频图像中每一帧子画面视频图像 的图像特征计算所述Fn之前m帧子画面视频图像的第一色度加权调整系数C' C1和第二色 度加权调整系数C' 。2，包括对所述前m帧子画面视频图像中每一帧子画面视频图像像素点-色度值统计图中像素值在区间[upix，vpix]上的像素点从像素值为u^的像素点开始计数，所述u^大于或等于o，所述Vpix小于或等于Y，所述Y为描述像素值标准时所使用的最大值；对于m帧子画面视频图像中第k帧子画面视频图像，当计数到第W个像素点时，得到第W个像素点的像素值P/ ，所述k取l、2、…、m; 对P/求和，得到<formula>formula see original document page 5</formula>由所述upix、 Vpix、 P'工和c'。，计算得到所述第一色度加权调整系数c' a和所述第二色 度加权调整系数c' ^其中，所述第二色度加权调整系数c' e2和所述第二色度加权调整系 数c'^均与c'。呈线性关系。
16. 如权利要求15所述的方法，其特征在于，所述使用控制参数和当前子画面视频图 像Fn之前m帧子画面视频图像的加权调整系数均衡所述接收的当前子画面视频图像Fn的 效果包括统计所述当前子画面视频图像Fn中色度值与白色区域色度值接近的像素点； 由所述与白色区域色度值接近的像素点和其对应的色度值构造当前子画面视频图像Fn像素点-色度值统计图；对所述当前子画面视频图像Fn像素点-色度值统计图中像素值在区间[Xpix，Ypix]上的像素点从像素值为Xpix的像素点开始计数，当计数到第T个像素点时，得到第T个像素点的像素值P3，所述Xpix大于或等于0，所述Ypix小于或等于Y，所述Y为描述像素值标准时所使用的最大值；使用所述基准值C'。和所述第一色度加权调整系数C' a对像素值在[Xpix， P3]内的像 素点的色度值进行线性修正，得到[Xpix，P3]区间上的当前子画面视频图像的色度值C' 1 ;使用所述基准值C'。和所述第二色度加权调整系数C' ^对像素值在[P3， Ypix]内的像 素点的色度值进行线性修正，得到[P3，Ypix]区间上的当前子画面视频图像的色度值C' 2。
17. —种多画面视频图像处理装置，其特征在于，包括均衡模块，用于接收多路子画面视频图像的数据码流，根据子画面视频图像的图像特 征，使用控制参数分别均衡所述多路子画面视频图像的效果；合成模块，用于将所述经过均衡模块均衡的子画面视频图像合成多画面视频图像。
18. 如权利要求17所述的装置，其特征在于，所述均衡模块包括 第一图像特征获取子模块，用于获取当前子画面视频图像的图像特征； 第一计算子模块，用于根据控制参数和所述第一图像特征获取子模块获取的当前子画面视频图像的图像特征计算调整系数；第一均衡子模块，用于使用控制参数和所述第一计算子模块计算所得调整系数均衡所 述当前子画面视频图像的效果。
19. 如权利要求18所述的装置，其特征在于，所述第一图像特征获取子模块包括 第一统计单元，用于统计所述当前子画面视频图像中亮度值在区间[A1Uffl， BluJ上的像素点，所述A1Uffl大于或等于O，所述BlM小于或等于Lm，所述Lm为描述亮度标准时所使用的 最大值；第一统计图构造单元，用于由所述区间[Almi， BlmJ上的像素点和所述像素点对应的亮度值构造像素点_亮度值统计图；亮度特征确定单元，用于从所述像素点-亮度值统计图确定所述当前子画面视频图像 的亮度特征。
20. 如权利要求19所述的装置，其特征在于，所述第一计算子模块包括 第一计数单元，用于对所述像素点-亮度值统计图中像素值在区间[Apix， Bpix]上的像素点从像素值为Apix的像素点开始计数，当计数到第K个像素点时，得到第K个像素点的像 素值P。，所述Apix、 Bpix在数值上分别与所述Almi、 Blmi相等；亮度调整系数计算单元，用于由所述Aph、 Bpix、 P。和L。，计算得到所述第一亮度调整系 数Cu和所述第二亮度调整系数C^，其中，所述第一亮度调整系数Cu和所述第二亮度调整 系数Q均与L。呈线性关系。
21. 如权利要求20所述的装置，其特征在于，所述第一均衡子模块包括 第一亮度均衡子单元，使用基准值L。和所述第一亮度调整系数Cu对像素值在区间[Apix，P。]上的像素点的亮度值进行线性修正，得到[Apix，P。]区间上的当前子画面视频图像 的亮度值LI ;第二亮度均衡子单元，使用所述基准值L。和所述第二亮度调整系数Q对像素值在 [P。，Bpix]区间上的像素点的亮度值进行线性修正，得到[P。，Bpix]区间上的当前子画面视频 图像的亮度值L2。
22. 如权利要求18所述的装置，其特征在于，所述第一图像特征获取子模块包括 第二统计单元，用于统计所述当前子画面视频图像中色度值与白色区域色度值接近的像素点；第二统计图构造单元，用于由所述与白色区域色度值接近的像素点和其对应的色度值 构造像素点-色度值统计图；色度特征确定单元，用于从所述像素点-色度值统计图确定所述当前子画面视频图像 的色度特征。
23. 如权利要求18所述的装置，其特征在于，所述第一计算子模块包括 第二计数单元，用于对所述像素点-色度值统计图中像素值在区间[Jpix， Kpix]上的像素点从像素值为Jpix的像素点开始计数，当计数到第J个像素点时，得到第J个像素点的像 素值所述Jpix大于或等于0，所述Kpix小于或等于Y，所述Y为描述像素值标准时所使用 的最大值；色度调整系数计算单元，用于根据所述Jpix、 Kpix、 P工和C。，计算得到所述第一色度调整 系数Ca和所述第二色度调整系数Ce2，所述第一色度调整系数Cei和所述第二色度调整系数 Q均与C。呈线性关系。
24. 如权利要求23所述的装置，其特征在于，所述第一均衡子模块包括 第一色度均衡子单元，使用所述基准值C。和所述第一色度调整系数Cei对像素值在区间[JpwPj上的像素点的色度值进行线性修正，得到[Jpix，Pj区间上的当前子画面视频图 像的色度值C1 ;第二色度均衡子单元，使用所述基准值C。和所述第二色度调整系数Ce2对像素值在区 间[Pi，KpiJ上的像素点的色度值进行线性修正，得到[PpKpiJ区间上的当前子画面视频图 像的色度值C2。
25. 如权利要求17所述的装置，其特征在于，所述均衡模块包括第二图像特征获取子模块，用于接收当前子画面视频图像Fn时使用控制参数和当前子 画面视频图像Fn之前m帧子画面视频图像的加权调整系数均衡所述接收的当前子画面视 频图像Fn的效果并同时获取所述当前子画面视频图像Fn的图像特征；第二计算子模块，用于根据所述第二图像特征获取子模块获取的当前子画面视频图像 Fn被均衡之前的图像特征计算当前子画面视频图像Fn被均衡之前的调整系数，m为大于或等于l的自然数。
26. 如权利要求25所述的装置，其特征在于，所述第二图像特征获取子模块包括前m帧图像特征获取子模块，用于获取当前子画面视频图像Fn之前m帧子画面视频图 像中每一帧子画面视频图像的图像特征；前m帧加权调整系数计算子模块，用于根据控制参数和当前子画面视频图像Fn之前m 帧子画面视频图像中每一帧子画面视频图像的图像特征计算所述当前子画面视频图像Fn 之前m帧子画面视频图像的加权调整系数。
27. 如权利要求26所述的装置，其特征在于，所述前m帧图像特征获取子模块包括 前m帧第一统计单元，用于统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像亮度值在区间[Slmi，TlmJ上的像素点，所述S^大于或等于0，所述T^ 小于或等于Lm，所述Lm为描述亮度标准时所使用的最大值；前m帧第一统计图构造单元，用于由亮度值在所述区间[S1Uffl， 1\J上的像素点和所述 像素点对应的亮度值构造当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画 面视频图像的像素点_亮度值统计图；前m帧亮度特征确定单元，用于从所述像素点_亮度值统计图确定当前子画面视频图 像Fn之前m帧子画面视频图像中每一帧子画面视频图像的亮度特征。
28. 如权利要求27所述的装置，其特征在于，所述前m帧加权调整系数计算子模块包括前m帧第一计数子单元，用于对当前子画面视频图像之前m帧中每一帧子画面视频图 像的像素点-亮度值统计图中像素值在区间[Spix， Tpix]上的像素点从像素值为Spix的像素 点开始计数，对于当前子画面视频图像之前m帧子画面视频图像中第j帧子画面视频图像， 当计数到第Q个像素点时，得到第Q个像素点的像素值P。j'，所述j取l、2、…、m，所述S^、 Tpix在数值上分别与所述Slum、 Tlum相等；附 K前m帧第一求和子单元，用于对P。j'求和，得到p，o = y^〗f ;前m帧亮度加权调整系数计算单元，用于根据所述Spix、Tpix、P'。和L'。，计算得到所述 第一亮度加权调整系数C' u和所述第二亮度加权调整系数C' ^其中，所述第一亮度加权 调整系数C' ^和所述第二亮度加权调整系数C' ^均与L'。呈线性关系。
29. 如权利要求26至28任意一项所述的装置，其特征在于，所述第二图像特征获取子 模块包括当前子画面视频图像第一统计单元，用于统计当前子画面视频图像Fn中亮度值在区间 [Mluffl， NluJ上的像素点，所述Mluffl大于或等于0，所述Nlmi小于当前子画面视频图像第一统计图构造单元，用于根据所述区间[Mlmi， NlmJ上的像素点 和所述像素点对应的亮度值构造当前子画面视频图像Fn像素点-亮度值统计图；当前子画面视频图像第一计数单元，用于对所述当前子画面视频图像Fn像素点-亮度 值统计图中像素值在区间[Mpix，Npix]上的像素点从像素值为Mph的像素点开始计数，当计数 到第P个像素点时，得到第P个像素点的像素值P2，所述Mpix、Npix在数值上分别与所述M1Uffl、 N^相等；前m帧第一亮度均衡子单元，使用所述基准值L。和所述第一亮度加权调整系数C'u对 像素值在[Mpix，P2]内的像素点的亮度值进行线性修正，得到[Mpix，P2]区间上的当前子画面 视频图像的亮度值L' 1 ;前m帧第二亮度均衡子单元，使用所述基准值L。和所述第二亮度加权调整系数C\2对 像素值在[P2，Npix]内的像素点的亮度值进行线性修正，得到[P2，Npix]区间上的当前子画面 视频图像的亮度值L' 2。
30. 如权利要求26所述的装置，其特征在于，所述前m帧图像特征获取子模块包括 前m帧第二统计单元，用于统计当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的色度值与白色区域色度值接近的像素点；前m帧第二统计图构造单元，由所述与白色区域色度值接近的像素点和其对应的色度 值构造当前子画面视频图像Fn之前m帧子画面视频图像中每一帧子画面视频图像的像素 点-色度值统计图；前m帧色度特征确定单元，用于从当前子画面视频图像Fn之前m帧子画面视频图像中 每一帧子画面视频图像的像素点-色度值统计图确定当前子画面视频图像Fn之前m帧子 画面视频图像中每一帧子画面视频图像的色度特征。
31. 如权利要求30所述的装置，其特征在于，所述前m帧加权调整系数计算子模块包括前m帧第二计数子单元，用于对当前子画面视频图像之前m帧子画面视频图像中每一 帧子画面视频图像像素点-色度值统计图中像素值在区间[Upix，Vpix]上的像素点从像素值 为Upix的像素点开始计数，对于前m帧子画面视频图像中第k帧子画面视频图像，当计数到 第W个像素点时，得到第W个像素点的像素值P/ ，所述k取l、2、…、m，所述U^大于或 等于O，所述Vpix小于或等于Y，所述Y为描述像素值标准时所使用的最大值；前m帧第二求和子单元，用于对P/求和，得到p、 = ;前m帧色度加权调整系数计算单元，用于根据所述U^、Vp^、P'工和C'。，计算得到所述 第一色度加权调整系数C' a和所述第二色度加权调整系数C' ^其中，所述第二色度加权 调整系数C' e2和所述第二色度加权调整系数C' e2均与C'。呈线性关系。
32. 如权利要求30或31所述的装置，其特征在于，所述第二图像特征获取子模块包括当前子画面视频图像第二统计单元，用于统计所述当前子画面视频图像Fn中色度值与 白色区域色度值接近的像素点；当前子画面视频图像第二统计图构造单元，用于根据所述与白色区域色度值接近的像素点和其对应的色度值构造当前子画面视频图像Fn像素点-色度值统计图；当前子画面视频图像第二计数单元，用于对所述当前子画面视频图像Fn像素点_色度 值统计图中像素值在区间[Xpix，Ypix]上的像素点从像素值为U勺像素点开始计数，当计数 到第T个像素点时，得到第T个像素点的像素值P3，所述Xpix大于或等于0，所述Ypix小于或 等于Y，所述Y为描述像素值标准时所使用的最大值；前m帧第一色度均衡子单元，使用所述基准值C'。和所述第一色度加权调整系数C' C1 对像素值在区间[Xpix，P3]上的像素点的色度值进行线性修正，得到[Xpix，P3]区间上的当前 子画面视频图像的色度值C' 1 ;前m帧第二色度均衡子单元，使用所述基准值C'。和所述第二色度加权调整系数C' C2 对像素值在区间[P3，Ypix]上的像素点的色度值进行线性修正，得到[P3，Ypix]区间上的当前 子画面视频图像的色度值C' 2。
全文摘要
本发明实施例提供涉及多画面视频图像处理方法和装置，解决现有技术方案在调整多画面时由于不能同时满足各个子画面的特性而造成与会者视觉体验变差的问题。所述方法包括接收多路子画面视频图像的数据码流，根据子画面视频图像的图像特征，使用控制参数分别均衡所述多路子画面视频图像的效果；将所述经过均衡的多路子画面视频图像合成多画面视频图。本发明能够将各个子画面视频图像统一调整到具有相同图像特征的效果，使子画面视频图像在显示时表现出相同的画面特点，从而使得由子画面视频图像构成的多画面视频图像的显示达到整体风格和谐并提升与会者的视觉体验。
文档编号H04N7/15GK101778246SQ201010104939
公开日2010年7月14日 申请日期2010年1月29日 优先权日2010年1月29日
发明者王浦林 申请人:华为终端有限公司