一种用于全景视频拼接的颜色在线校正方法
【专利摘要】本发明公开了一种用于全景视频拼接的颜色在线校正方法，包括以下步骤：S1.重叠区域颜色校正：求得当前帧全景图像中重叠区域颜色校正的转换关系矩阵，利用连续三帧全景图像信息对其进行修正后，再利用修正后的转换关系矩阵对重叠区域进行颜色校正；S2.整幅图像的颜色校正：分别统计当前帧全景图像中三原色通道图像的直方图,并对每个原色通道分别进行颜色校正。本发明提供了一种用于全景视频拼接的颜色在线校正方法；在进行重叠区域的颜色校正时，利用三帧连续间的图像信息对转换关系矩阵进行修正，使得视频中全景图像帧与帧之间的颜色变换更加平滑和流畅。
【专利说明】
-种用于全景视频拼接的颜色在线校正方法
技术领域
[0001 ]本发明设及一种用于全景视频拼接的颜色在线校正方法。
【背景技术】
[0002] 目前，大量摄像机被安装在政府大楼、军事基地、银行、学校、商场、赛场，随着视频 会议、远程教育、机器人导航等领域的兴起，单一相机由于视角限制不能记录下大场景下的 所有目标，全景拼接技术的出现满足了各个领域对大视场的需求;当今社会激烈的竞争，人 们平时都忙于工作，所W假日选择出游地点大部分依靠的是旅游景点的宣传，但传统的图 片不能向游客全方位的展示景点，已经不能满足游客的需求，从而无法吸引游客的眼球;汽 车展览时间往往是有限的，人们在网上查询时仅仅能获得汽车局部的图片展示，无法全方 位的让人提前全面的了解，而要依靠汽车销售现场不停的解说;买房子时，人们除了要到销 售中屯、看小区的整体布局之外，还要去看房子的内部构造，同时还需要销售人员不停的解 说，所W如何全方位的展示目标场景是众多技术研究人员的研究热点。
[0003] 虽然目前已经具有较为成熟的图片拼接技术，但是一张张独立的拼接图片仍然不 能够满足人们的需求，相比之下，人们更倾向于汇聚声，乐，图等的高清全景视频;譬如汽车 外部的全景展示，可W从每个角度观看汽车外观，可W在网上构建不落幕的车展;汽车内部 的全景展示，可W展示汽车内饰和局部细节;可W让人实现轻松看车、买车。同时高清全景 视频在监控领域也具有重要作用;众所周知，监控的运用是十分广泛的，例如交通、银行、企 业、小区、地铁、火车和商店等;如果将高清全景视频的技术运动到球赛直播，那么就可W实 现实时全景转播，让用户可W在有限的屏幕内一览广阔球场的每一个角落，运提高用户体 验感。
[0004] 但是传统的全景视频拼接技术通常会有光照引起的同一帖内和帖间的色差问题； 因此在拼接过程中我们需要对待拼接图像进行颜色校正;传统的颜色校正采用的自动场景 平衡算法倾向于调整曝光，W使得图像的平均颜色是中性灰色，运对于许多安防用途的消 费者来说是可W接受的，但是对于球赛直播，看房和旅游类具有特定场景或者较高色彩保 真要求的用户是不可接受的；例如，简单的平衡摄影ID图像W使得背景成为白色通常会使 得对象的脸、头发和眼睛着色失真，会使得脸变亮，从而冲去特征;可替换地，在运样的场景 中朝着中性灰色平衡可能会受对象衣服的着色的影响，并且产生有色背景；相似地，从天 空、雪或冰场景中去掉了蓝色调，导致超出可接受水平的着色改变，对于具有暗阴影的图像 也是如此;使阴影变亮或者改变阴影颜色可能会影响整个图像，因为使得阴影太亮或者因 为不可接受地移动了图像的其它区域颜色；当进行颜色平衡W校正其它颜色的倾斜 (skewing)时，会发生类似的不可接受的结果;并且，对于视频来说，传统的颜色校正只是对 同一时刻的图像进行了颜色校正，但帖间图像由于拍摄时角度变化和光照不均匀会出现较 大的颜色差异。
【发明内容】
[0005] 本发明的目的在于克服现有技术的不足，提供一种用于全景视频拼接的颜色在线 校正方法;在进行重叠区域的颜色校正时，利用连续=帖间的图像信息对转换关系矩阵进 行修正，使得视频中全景图像帖与帖之间的颜色变换更加平滑和流杨。
[0006] 本发明的目的是通过W下技术方案来实现的：一种用于全景视频拼接的颜色在线 校正方法，包括W下步骤：
[0007] SI.重叠区域颜色校正:求得当前帖全景图像中重叠区域颜色校正的转换关系矩 阵，利用连续=帖全景图像信息对其进行修正后，再利用修正后的转换关系矩阵对重叠区 域进行颜色校正；
[000引S2.整幅图像的颜色校正:分别统计当前帖全景图像中R，G，BS原色通道图像的直 方图，并对每个原色通道分别进行颜色校正。
[0009] 所述的步骤Sl中，当前帖全景图像由多幅局部图像拼接而成，任意两幅待拼接局 部图像重叠区域的颜色校正包括W下子步骤：
[0010] S11.求解两幅待拼接局部图像A、B之间的单应矩阵H;
[0011] 进一步地;一般情况下先将局部图像A的坐标系投影到世界坐标系得到单应矩阵 Hi;再将局部图像B的坐标系投影到世界坐标系，得到单应矩阵此;计算得到从局部图像A到 局部图像B的单应矩阵：
进一步可对单应矩阵H进行修正；
[0012] S12.根据单应矩阵的十算局部图像A和局部图像B之间的重叠区域的范围；
[0013] S13.提取局部图像A中重叠区域的色彩直方图Gi和局部图像B中重叠区域的第二 直方图G2，并进行直方图规定化得到直方图G3 ;
[0014] S14.利用直方图G3对局部图像A中的重叠区域进行校正，得到校正后的局部图像 Al;颜色校正的转换关系矩阵R为：
[0015]
[0016] 式中，I读示局部图像B的像素信息；12表示图像Al的像素信息；其中Ii、l2分别是 [n 3]的矩阵，n是图像的像素点个数，3即为S原色通道R，G，B，也就是说，Ii、l2均为n行3列 的矩阵。
[0017] S15.融入时间信息对转换矩阵R进行修正：
[0018] S151.定义当前帖为T，T-l、T-2分别为前2帖;对转换矩阵R中的Ii进行修正得到I / 1：
[0019] 1'1= [Iti I(T-I)I I(t-2)i]t
[0020] Iti表示当前帖局部图像B的像素信息，I(T-I)I和I(T-2)i分别表示前两帖局部图像B的 像素信息；
[0021] Sl52.同时对转换矩阵R中的12进行修正得到2:
[0022] I'2=[It2 I(T-1)2 I(T-2)2]T，
[0023] 式中，It2表示当前帖校正后的图像Al的像素信息；I(T-2)2和I(T-1)2分别表示前两帖 校正后的图像Al的像素信息;其中和1^2为[3n，3]的矩阵；
[0024] S153,计算修正后的转换矩阵R/为：
[0025]
[00%] S16.利用修正后的矩阵R/对重叠区域进行颜色校正。
[0027] 由于融入了时间信息，采用=帖连续间的图像信息对转换关系矩阵进行修正，在 对重叠区域进行颜色校正，使得视频中全景图像帖与帖之间的颜色变换更加平滑和流杨。
[0028] 步骤S2中对每个原色通道的校正均对包括W下子步骤：
[0029] S21.在当前通道的图像中，建立直方图：对于每个像素值XI，统计其像素点个数为 S(Xi),并计算该像素值在图像中出现的概率h(xi):
[0030]
[00川得到直方图H(R):
[0032] H(R)=比(Xi) ,h(X2), ...h(xi)，... ,h(Xs)]，
[0033] 式中，n为图像中像素点总数;S为图像中像素值的个数，在H(R)中，横坐标为像素 值，纵坐标为该像素值在图像中出现的概率；
[0034] S22.定义当前通道图像的偏暗阔值为A，偏亮阔值为1-A，求偏暗阔值A对应的像素 值Xb:
[0035]
[0036] --A对应的像素值Xw:
[0037]
[0038] S23.定义当前帖图像为第T帖的图像，T>2，T-l、T-2帖的图像为前2帖图像，对Xb 的值进行修正，得到修正后的偏暗阔值A对应的像素值:
[0039]
[0040] :正，得到修正后的偏亮阔值I-A对应的像素值x/ :
[0041]
[0042] S24.对整幅图像中的每一个像素点的像素值X进行校正：
[0043] (1)如果像素点的像素值X满足则进行线性校正，该像素点校正后的 像素值F(X)为：
[0044] F(x)=a+bx,
[0045] (2)如果当前像素点的像素值X满足0《x<x/b或者x\<x《255,则该像素点校正后 的像素值F(X)为：
[0046] F(X) =c+t(x/t)d;
[0047] 式中，a,b,c,d为设定的校正参数，t = 255。
[004引本发明的有益效果是：（1)在进行重叠区域的颜色校正时，利用连续=帖间的图像 信息对转换关系矩阵进行修正，使得视频中全景图像帖与帖之间的颜色变换更加平滑和流 杨。
[0049] (2)在进行整幅图像的颜色校正时，分别统计当前帖全景图像中=原色通道图像 的直方图，并对每个原色通道分别进行颜色校正，且在校正过程中，采用连续=帖图像对偏 暗阔值对应的像素值和偏亮阔值对应的像素值进行修正;保持了同帖图像颜色的一致性， 进一步加强了帖与帖间颜色变化的流杨性。
【附图说明】
[0050] 图1为本发明的方法流程图。
[0051] 图2为重叠区域颜色校正的流程图。
[0052] 图3为整幅图像中每个像素点的像素值校正示意图。
【具体实施方式】
[0053] 下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于 W下所述。
[0054] 如图1所示，一种用于全景视频拼接的颜色在线校正方法，包括W下步骤：
[0055] SI.重叠区域颜色校正:求得当前帖全景图像中重叠区域颜色校正的转换关系矩 阵，利用连续=帖全景图像信息对其进行修正后，再利用修正后的转换关系矩阵对重叠区 域进行颜色校正；
[0056] S2.整幅图像的颜色校正:分别统计当前帖全景图像中R，G，BS原色通道图像的直 方图，并对每个原色通道分别进行颜色校正。
[0057] 如图2所示，所述的步骤Sl中，当前帖全景图像由多幅局部图像拼接而成，任意两 幅待拼接局部图像重叠区域的颜色校正包括W下子步骤：
[005引S11.求解两幅待拼接局部图像A、B之间的单应矩阵H;
[0059] 进一步地;一般情况下先将局部图像A的坐标系投影到世界坐标系得到单应矩阵 Hi;再将局部图像B的坐标系投影到世界坐标系，得到单应矩阵此;计算得到从局部图像A到 局部图像B的单应矩阵：H二//| ?八,1，
[0060] 进一步地，得到单应矩阵H后可对其进行修正，利用修正得到的进行后续计算： 根据初始单应矩阵H进行坐标系变换，求出局部图像A和局部图像B的重叠区域;将重叠区域 缩放到统一高度，扩大重叠区域范围；从而使得重叠区域能完全重合，矫正后的图像平面能 够准确的成对出现在输入图像中；根据特征匹配算法将局部图像A和局部图像B的重叠区域 进行特征阳配:得到准确的参数tx、ty、Sx、Sy;根据匹配结果求偏移矩阵M和缩放矩阵N:
[0061]
[0062]
[0063]式中，tx表示重叠图像在X轴平移的坐标;ty表示重叠图像在y轴平移的坐标;Sx表 示重叠图像在X轴的缩放比例；Sy表示重叠图像在y轴的缩放比例;具体地，运里采用SURF特 征点匹配算法对局部图像A和局部图像B的重叠区域进行特征匹配，然后再利用匹配结果计 算偏移矩阵和缩放矩阵。对初始单应矩阵H进行修正，得到修正后的单应矩阵IT :
[0064] H' =M ? H ? N。
[0065] S12.根据单应矩阵的十算局部图像A和局部图像B之间的重叠区域的范围；
[0066] S13.提取局部图像A中重叠区域的色彩直方图Gi和局部图像B中重叠区域的第二 直方图G2，并进行直方图规定化得到直方图G3 ;
[0067] S14.利用直方图G3对局部图像A中的重叠区域进行校正，得到校正后的局部图像 Al;颜色巧巿的掉換关系巧降R为：
[006引
[0069] 式中，I读示局部图像B的像素信息；12表示图像Al的像素信息；其中Ii、l2分别是 [n 3]的矩阵，n是图像的像素点个数;3即为S原色通道R，G，B。
[0070] S15.融入时间信息对转换矩阵R进行修正：
[0071] S151.定义当前帖为1'，1'>2，1'-1、1'-2分别为前2帖；对转换矩阵1?中的11进行修正 得到1^1:
[007^ 1'1= [Iti I(T-I)I I(t-2)i]t
[0073] Iti表示当前帖局部图像B的像素信息，I(T-I)I和I(T-2)i分别表示前两帖局部图像B的 像素信息；
[0074] S152.同时对转换矩阵R中的12进行修正得到2:
[0075] I/2=Ut2 I(T-1)2 I(T-!?)2]T，
[0076] 式中，It2表示当前帖校正后的图像Al的像素信息；I(T-2)2和I(T-1)2分别表示前两帖 校正后的图像Al的像素信息;其中和1^2为[3n，3]的矩阵；
[0077] S153.计算修正后的转换矩阵R/为：
[007引
[0079] 进一步地，如果当前帖为第一帖，则不进行转换矩阵的修正，如果当前帖为第二 帖，则只结合前一帖的图像进行修正；
[0080] S16.利用修正后的矩阵R/对重叠区域进行颜色校正。
[0081] 由于融入了时间信息，采用=帖连续间的图像信息对转换关系矩阵进行修正，再 对重叠区域进行颜色校正，使得视频中全景图像帖与帖之间的颜色变换更加平滑和流杨。
[0082] 步骤S2中对每个原色通道的校正均对包括W下子步骤：
[0083] S21.在当前通道的图像中，建立直方图：对于每个像素值XI，统计其像素点个数为 S(Xi),并计算该像素值在图像中出现的概率h(xi):
[0084]
[00化]得到直方图H(R):
[0086] H(R)=比(Xi) ,h(X2), ...h(xi)，... ,h(Xs)]，
[0087] 式中，n为图像中像素点总数;S为图像中像素值的个数，在H(R)中，横坐标为像素 值，纵坐标为该像素值在图像中出现的概率；
[0088] S22.定义当前通道图像的偏暗阔值为A，偏亮阔值为1-A，求偏暗阔值A对应的像素 值Xb:
[0089]
[0090] 进一步地，A可W认为是已知量，一般情况下，偏暗阔值A = 0.01，偏亮阔值I -入= 0.99。
[0091] 进一步地，如果计算得到的Xb不是整数，则对Xb取整；
[0092] 求得偏亮阔值I-A对应的像素值Xw:
[0093]
[0094] 进一步地，如果计算得到的Xw不是整数，则对Xw取整。
[00M] S23.定义当前帖图像为第T帖的图像，T>2，T-l、T-2帖的图像为前2帖图像，对Xb 的值进行修正，得到修正后的偏暗阔值A对应的像素值:
[0096]
[0097] 正，得到修正后的偏亮阔值I-A对应的像素值x/ :
[009引
[0099] 进一步地，如果当前帖为第二帖，则和x/的修正只对第二帖和前一帖求均值， 如果当前帖为第一帖，则不需要进行修正。
[0100] S24.如图3所示，对整幅图像中的每一个像素点的像素值X进行校正：
[0101] (1)如果像素点的像素值X满足则进行线性校正，该像素点校正后的 像素值F(X)为：
[0102] F(x)=a+bx,
[0103] (2)如果当前像素点的像素值X满足0《x<x/b或者x\<x《255,则该像素点校正后 的像素值F(X)为：
[0104] F(X) =c+t(x/t)d;
[0105]式中，a，b，c，d为设定的校正参数，t = 255。
[0106] 进一步地，X' W时，a和b由（X' b，人巧55)和(X' w，255( 1-人））两个点带入F(X) = a+bx来确定；
[0107] 在0《x<x' b时，C和d由（0,0)和(X' b，人*255)带入F(X) = c+t(x/t)d来确定，且d小 于1;
[010引在x'w<x《255时，C和d由（又\，255(1-人））和（255,255)带入尸(又）=。+1(又八)3来确 定，且d大于1。
[0109]进一步地，在进行全景视频拼接的过程中，一般采用=台不同方位的摄像机进行 图像数据采集，=台摄像机分别输入每一帖全景图像待拼接的左图、中图和右图；每一帖全 景图像的拼接过程，实际上就是将左图、右图分别与中图拼接;本申请中，左图与中图可W 看作是相邻两幅待拼接局部图像，即将左图看作上述的局部图像A，中图看作上述的局部图 像B，按照步骤Sl进行重叠区域颜色校正即可；右图与中图之间的重叠区域颜色校正同理， 将其分别当作局部图像A和局部图像B进行校正即可，重叠区域校正后，将左图，中图，右图 拼接成的全景图像再按照步骤S2的方法进行整幅图像颜色校正。
【主权项】
1. 一种用于全景视频拼接的颜色在线校正方法，其特征在于:包括以下步骤：51. 重叠区域颜色校正:求得当前帧全景图像中重叠区域颜色校正的转换关系矩阵，利 用连续三帧全景图像信息对其进行修正后，再利用修正后的转换关系矩阵对重叠区域进行 颜色校正；52. 整幅图像的颜色校正：分别统计当前帧全景图像中R，G，B三原色通道图像的直方 图，并对每个原色通道分别进行颜色校正。2. 根据权利要求1所述的一种用于全景视频拼接的颜色在线校正方法，其特征在于:所 述的步骤S1中，当前帧全景图像由多幅局部图像拼接而成，任意两幅待拼接局部图像重叠 区域的颜色校正包括以下子步骤：511. 求解两幅待拼接局部图像A、B之间的单应矩阵H;512. 根据单应矩阵Η计算局部图像A和局部图像B之间的重叠区域的范围；513. 提取局部图像A中重叠区域的色彩直方图Gi和局部图像B中重叠区域的第二直方图 G2，并进行直方图规定化得到直方图G3;514. 利用直方图G3对局部图像A中的重叠区域进行校正，得到校正后的局部图像A1;其 颜色校正的转换关系矩阵R为：式中，h表示局部图像B的像素信息；12表示图像A1的像素信息；515. 融入时间信息对转换矩阵R进行修正： 5151. 定义当前帧为Τ，Τ-1、Τ-2分别为前2帧;对转换矩阵R中的h进行修正得到疒1: ^^[Ιτι I(T-1)1 I(T-2)l]T IT1表示当前帧局部图像Β的像素信息，i(T-m和Ι(τ-2)1分别表示前两帧局部图像Β的像素 信息； 5152. 对转换矩阵R中的12进行修正得到IS: Ι'2=[Ιτ2 Ι(Τ-1)2 Ι(Τ-2)2]丁， 式中，ΙΤ2表示当前帧校正后的图像Α1的像素信息；Ι(τ-2)2和Ι(τ- 1)2分别表示前两帧校正 后的图像A1的像素信息； 5153. 计算修正后的转换矩阵V :516. 利用修正后的矩阵V对重叠区域进行颜色校正。3. 根据权利要求1所述的一种用于全景视频拼接的颜色在线校正方法，其特征在于:步 骤S2中对每个原色通道的校正均对包括以下子步骤： S21.在当前通道的图像中，建立直方图：对于每个像素值^，统计其像素点个数为S (Xl)，并计算该像素值在图像中出现的概率hUO: 得到直方图H(R):H(R) = [h(xi)，h(X2)，."h(xi)，···，h(xs)]， 式中，n为图像中像素点总数;s为图像中像素值的个数，在H(R)中，横坐标为像素值，纵 坐标为该像素值在图像中出现的概率；522. 定义当前通道图像的偏暗阈值为λ，偏亮阈值为1 -λ，求偏暗阈值λ对应的像素值Xb:求得偏亮阈值1 -λ对应的像素值Xw:523. 定义当前帧图像为第T帧的图像，2，T-1、T-2帧的图像为前2帧图像，对Xb的值进 行修正，得到修正后的偏暗阈值λ对应的像素值X，：对的值进行修正，得到修正后的偏亮阈值l-λ对应的像素值χ/ :524. 对整幅图像中的每一个像素点的像素值X进行校正： (1) 如果像素点的像素值X满足X' bSxSx' w，则进行线性校正，该像素点校正后的像素 值F(x)为： F(x) =a+bx， (2) 如果当前像素点的像素值x满足0<x<X' b或者X' w〈x<255，则该像素点校正后的像 素值F(x)为： F(x) = c+t(x/t)d； 式中，a，b，c，d为设定的校正参数，t = 255。
【文档编号】H04N9/04GK105827975SQ201610265931
【公开日】2016年8月3日
【申请日】2016年4月26日
【发明人】程洪, 林枝叶, 杨路, 白欣逸
【申请人】电子科技大学