一种全景图像的光照补偿方法和系统与流程

本发明涉及图像光照补偿技术领域，尤其涉及一种全景图像的光照补偿方法和系统。

背景技术：

全景图像因其水平视角可包含360度画面范围信息，从而有着更广泛的应用领域，如全景视频监控、虚拟环境构建、航空拍摄、商业展示等。获取全景图像，目前常用的方法有两种方法:一类是直接利用特殊光学设备来采集全景图像；另一类是由多个普通镜头采集多视点的图像,然后通过算法合成。第一类方法所获取的全景图像的分辨率相对较低，且成本高，第二类方法因其便于实施、成本低廉，而被许多地方采用。但不论何种方法，受制于光照条件的问题，全景图像中总会出现順光逆光同时存在的现象、雾天、阴雨天光照下图像辨识度低等问题。这对于实际监控或者用户希望获取完整显示信息的时候，常规的图像拼接算法没有考虑这些问题，从而使得直接拼接后的降低全景图的呈现效果。

技术实现要素：

本发明实施例的目的在于提出一种全景图像的光照补偿方法，旨在解决现有技术全景图像中出现順光逆光同时存在时图像辨识度低问题。

本发明实施例是这样实现的，一种全景图像的光照补偿方法，所述方法包括以下步骤：

步骤J1：计算拼接全景图像序列的判断统计量，所述判断统计量包括peak(Pic_n)、disa(Pic_n)、disb(Pic_n)、disc(Pic_n)；

步骤J2:将peak(Pic_n)降序排列，记为peak₁、peak₂、…、peak_n…、peak_N，其对应第一、第二、第三分布参数记为disa₁、disa₂、…、disa_N，disb₁、disb₂、…、disb_N，disc₁、disc₂、…、disc_N，其对应的图像记为img₁、img₂、…、img_N；

步骤J3：判断如果disc₁<Thres₁，则进入全局光照补偿模式；否则进入局部光照补偿模式；Thres₁为第一判定阈值；

步骤J4：对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。

其中，表示第n个图像亮度k分布值，k表示亮度值；disa(Pic_n)、disb(Pic_n)、disc(Pic_n)分别表示Pic_n的第一、第二、第三分布参数；Pic_n表示图像序列中的第n个图像；peak(Pic_n)表示Pic_n的峰值参数；peak_n表示将Pic_n的峰值参数降序排列后，其中第n个峰值参数。

本发明实施例的另一目的在于提出一种一种全景图像的光照补偿系统，，所述系统包括：

判断统计量计算装置，用于计算拼接全景图像序列的判断统计量；

所述判断统计量包括peak(Pic_n)、disa(Pic_n)、disb(Pic_n)、disc(Pic_n)；其中，peak(Pic_n)表示Pic_n的峰值参数；表示第n个图像亮度k分布值，k表示亮度值；disa(Pic_n)、disb(Pic_n)、disc(Pic_n)分别表示Pic_n的第一、第二、第三分布参数；Pic_n表示图像序列中的第n个图像；

峰值参数降序排列模块，用于对图像的峰值参数进行降序排列，获取降序排列后的图像峰值参数序列，以及其对应的第一分布参数序列、第二分布参数序列、第三分布参数序列,以及对应的图像序列；

具体为：将peak(Pic_n)降序排列，记为peak₁、peak₂、…、peak_n…、peak_N，其对应第一、第二、第三分布参数记为disa₁、disa₂、…、disa_N，disb₁、disb₂、…、disb_N，disc₁、disc₂、…、disc_N，其对应的图像记为img₁、img₂、…、img_N；

Pic_n表示图像序列中的第n个图像；peak(Pic_n)表示Pic_n的峰值参数；peak_n表示将Pic_n的峰值参数降序排列后，其中第n个峰值参数；

第一判断处理模块，用于判断如果disc₁<Thres₁，则进入全局光照补偿装置；否则进入局部光照补偿装置。其中，Thres₁为第一判定阈值Thres₁≤100；

局部光照补偿装置，用于对img_N进行局部光照补偿；

全局光照补偿装置，用于降序排列后的图像峰值参数序列对应的图像序列进行全局光照补偿；

全景图像拼接模块，用于对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。

本发明的有益效果

本发明方法首先通过对全景拼接图像的亮度分析，确定需要光照补偿的类型；然后利用全部补偿模式提高光照不足场景中物体的辨识度；利用局部补偿模式解决逆光缺陷图像，使拼接后的全景图具有虚拟自然的光线过渡的效果。从而提升监控类等应用中，全景图的优势性。

附图说明

图1是本发明优选实施例一种全景图像的光照补偿方法流程图；

图2是图1中局部光照补偿模式方法流程图；

图3是图1中全局光照补偿模式方法流程图；

图4是本发明优选实施例一种全景图像的光照补偿系统结构图；

图5是图4中局部光照补偿装置结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。

本发明方法实施例首先通过对全景拼接图像的亮度分析，确定需要光照补偿的类型；然后利用全部补偿模式提高光照不足场景中物体的辨识度；利用局部补偿模式解决逆光缺陷图像，使拼接后的全景图具有虚拟自然的光线过渡的效果，从而提升景图的优势性。

实施例一

图1是本发明优选实施例一种全景图像的光照补偿方法流程图；所述方法包括以下步骤：

Step1：计算拼接全景图像序列的判断统计量。

Step11：计算

其中，表示第n个图像亮度k分布值,k表示亮度值，0≤k≤255,1≤n≤N,N为拼接全景图像序列的图像数量；sum(_变量|_条件)表示对满足条件的变量求和；n表示图像序列号，Pic_n表示图像序列中的第n个图像，如果Pic_n为RGB格式图像，则可通过公知的图像模型转换，获取Pic_n各像素点对应的亮度值；y_n(i,j)表示Pic_n第i行第j列像素的亮度值，i，j表示像素位于图像的行坐标、列坐标；1≤i≤height、1≤j≤width；width、height分别表示图像的长宽分辨率。

Step12：计算拼接全景图像序列的判断统计量参数集；

disc(Pic_n)＝disa(Pic_n)-disb(Pic_n)。

其中，peak(Pic_n)表示Pic_n的峰值参数；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；arcmax(变量|自变量条件)表示变量为最大值时对应的自变量值，即表示求的最大值，然后获取此时对应的k值，即为表达式的值；disa(Pic_n)、disb(Pic_n)、disc(Pic_n)分别表示第一、第二、第三分布参数。

Step2：将peak(Pic_n)降序排列，记为peak₁、peak₂、…、peak_n…、peak_N，其对应第一、第二、第三分布参数记为disa₁、disa₂、…、disa_N，disb₁、disb₂、…、disb_N，disc₁、disc₂、…、disc_N，其对应的图像记为img₁、img₂、…、img_N。

Pic_n表示图像序列中的第n个图像；peak(Pic_n)表示Pic_n的峰值参数；peak_n表示将Pic_n的峰值参数降序排列后，其中第n个峰值参数；

Step3：如果disc₁<Thres₁，则进入Step5全局光照补偿模式；否则进入Step4局部光照补偿模式。

其中，Thres₁为第一判定阈值，一般可取Thres₁≤100。

图2是图1中局部光照补偿模式方法流程图；

Step4：对img_N进行光照补偿。

Step40：获取img_N第一、第二参考图像。

其中，第一参考图像为img_N左侧拼接图像，第二参考图像为img_N右侧拼接图像。

Case1:当已知图像拍摄位置时，可直接获取img_N的第一、第二参考图像；

Case2：当未知拼接全景图像序列的位置关系时，则可通过下述方法获取第一、第二参考图像。

获取第一参考图像：

步骤A1：计算diff_n＝std(y_N(i,j)-y_n(i,j+width/2)|int(N/2)≤n≤N)，std(变量|条件)表示对满足条件的变量求均方差，int表示取整运算。y_N(i,j)表示Pic_N第i行第j列像素的亮度值；Pic_N表示图像序列中的第N个图像；y_n(i,j+width/2)表示Pic_n第i行第j+width/2列像素的亮度值；

步骤A2：min_K(diff_n|int(N/2)≤n≤N)，表示求dif_nf序列里最小的K个值，一般1≤K≤5；

步骤A3：步骤A2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的img_N的第一参考图像。

获取第二参考图像：

步骤B1：计算diff_n＝std(y_N(i,j+width/2)-y_n(i,j)|int(N/2)≤n≤N)；

步骤B2：min_K(diff_n|int(N/2)≤n≤N)，表示求dif_nf序列里最小的K个值，一般1≤K≤5；

步骤B3：步骤B2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的img_N的第二参考图像。

Step41：计算补偿参数；

ref_max＝max(ref1_y(i,j),ref2_y|区域条件1)

区域条件1：

ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域；

ref1_y(i,j)表示第一参考图像第i行第j列像素的亮度值；

ref2_y(i,j)表示第二参考图像第i行第j列像素的亮度值

ref_min＝min(ref1_y(i,j),ref2_y|区域条件2)

区域条件2：

ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域

ref_max、ref_min表示补偿参数(补偿参数1、补偿参数2)；max(_变量|_条件)、min(_变量|_条件)分别表示对满足条件的变量求最大、最小值；表示第N个图像亮度k分布值；max_N、min_N表示补偿参数(补偿参数3、补偿参数4)；

Step42：利用补偿参数，对img_N图像进行光照补偿，然后进入Step6。

图3是图1中全局光照补偿模式方法流程图；

Step5：全局光照补偿模式。

Step51：对img₁、img₂、…、img_N-1的图像先进行光照补偿。

Thres₂为第二判定阈值，一般可取Thres₂≤min(disa_n-peak_n,peak_n-disb_n)/2，min(变量1,变量2)表示求变量1与变量2中的最小值；拉伸y_n(i,j)可选任何线性或者非线性的单调递增函数；压缩y_n(i,j)可选任何线性或者非线性的单调递增减函数。peak_n表示将Pic_n的峰值参数降序排列后，其中第n个峰值参数；

Step52：对img_N进行光照补偿，然后进入Step6。

Case1:当已知图像拍摄位置时，可直接获取img_N的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用Step41-Step42的方法，对img_N进行光照补偿，然后进入Step6。

Case2：未知拼接全景图像序列的位置关系时，则可首先利用未进行光照补偿的拼接全景图像序列通过Step40里Case2的方法获取img_N的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用Step41-Step42的方法，对img_N进行光照补偿，然后进入Step6。

Step6：对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。

实施例二

图4是本发明优选实施例一种全景图像的光照补偿系统结构图；所述系统包括：

判断统计量计算装置，用于计算拼接全景图像序列的判断统计量；

峰值参数降序排列模块，用于对图像的峰值参数进行降序排列，获取降序排列后的图像峰值参数序列，以及其对应的第一分布参数序列、第二分布参数序列、第三分布参数序列,以及对应的图像序列；

具体为：将peak(Pic_n)降序排列，记为peak₁、peak₂、…、peak_n…、peak_N，其对应第一、第二、第三分布参数记为disa₁、disa₂、…、disa_N，disb₁、disb₂、…、disb_N，disc₁、disc₂、…、disc_N，其对应的图像记为img₁、img₂、…、img_N。

Pic_n表示图像序列中的第n个图像；peak(Pic_n)表示Pic_n的峰值参数；peak_n表示将Pic_n的峰值参数降序排列后，其中第n个峰值参数；

第一判断处理模块，用于判断如果disc₁<Thres₁，则进入全局光照补偿装置；否则进入局部光照补偿装置。其中，Thres₁为第一判定阈值，一般可取Thres₁≤100。

局部光照补偿装置，用于对img_N进行局部光照补偿；

全局光照补偿装置，用于降序排列后的图像峰值参数序列对应的图像序列进行全局光照补偿；

全景图像拼接模块，用于对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。

进一步地，所述判断统计量计算装置还包括：

图像亮度分布值计算模块，用于计算

其中，表示第n个图像亮度k分布值,这个亮度值＝k，0≤k≤255,1≤n≤N,N为拼接全景图像序列的图像数量；sum(_变量|_条件)表示对满足条件的变量求和；n表示图像序列号，Pic_n表示图像序列中的第n个图像，如果Pic_n为RGB格式图像，则可通过公知的图像模型转换，获取Pic_n各像素点对应的亮度值；y_n(i,j)表示Pic_n第i行第j列像素的亮度值，i，j表示像素位于图像的行坐标、列坐标；1≤i≤height、1≤j≤width；width、height分别表示图像的长宽分辨率。

判断统计量参数集计算模块，用于计算拼接全景图像序列的判断统计量参数集；

disc(Pic_n)＝disa(Pic_n)-disb(Pic_n)。

其中，peak(Pic_n)表示Pic_n的峰值参数；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；arcmax(变量|自变量条件)表示变量为最大值时对应的自变量值，即表示求的最大值，然后获取此时对应的k值，即为表达式的值；disa(Pic_n)、disb(Pic_n)、disc(Pic_n)分别表示第一、第二、第三分布参数。

图5是图4中局部光照补偿装置结构图；

进一步地，所述局部光照补偿装置还包括：

局部参考图像获取模块，用于获取img_N第一、第二参考图像。

其中，第一参考图像为img_N左侧拼接图像，第二参考图像为img_N右侧拼接图像。

Case1:当已知图像拍摄位置时，可直接获取img_N的第一、第二参考图像；

Case2：当未知拼接全景图像序列的位置关系时，则可通过下述方法获取第一、第二参考图像。

获取第一参考图像：

步骤A1：计算diff_n＝std(y_N(i,j)-y_n(i,j+width/2)|int(N/2)≤n≤N)，std(变量|条件)表示对满足条件的变量求均方差，int表示取整运算。y_N(i,j)表示Pic_N第i行第j列像素的亮度值；Pic_N表示图像序列中的第N个图像；y_n(i,j+width/2)表示Pic_n第i行第j+width/2列像素的亮度值；

步骤A2：min_K(diff_n|int(N/2)≤n≤N)，表示求dif_nf序列里最小的K个值，一般1≤K≤5；

步骤A3：步骤A2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的img_N的第一参考图像。

获取第二参考图像：

步骤B1：计算diff_n＝std(y_N(i,j+width/2)-y_n(i,j)|int(N/2)≤n≤N)；

步骤B2：min_K(diff_n|int(N/2)≤n≤N)，表示求dif_nf序列里最小的K个值，一般1≤K≤5；

步骤B3：步骤B2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的img_N的第二参考图像。

第一补偿参数计算模块，用于计算补偿参数；

ref_max＝max(ref1_y(i,j),ref2_y(i,j)|区域条件1)

区域条件1：

ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域；

ref1_y(i,j)表示第一参考图像第i行第j列像素的亮度值；

ref2_y(i,j)表示第二参考图像第i行第j列像素的亮度值

ref_min＝min(ref1_y(i,j),ref2_y(i,j)|区域条件2)

区域条件2：

ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域

ref_max、ref_min表示补偿参数(补偿参数1、补偿参数2)；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；表示第N个图像亮度k分布值,表示补偿参数(补偿参数3、补偿参数4)；

第一光照补偿模块，用于利用补偿参数，对img_N图像进行光照补偿，然后进入全景图像拼接模块。

y_N(i,j)表示Pic_N第i行第j列像素的亮度值；

进一步地，所述全局光照补偿装置，用于先对img₁、img₂、…、img_N-1的图像采用第一方式进行光照补偿；再对img_N利用第二方式进行光照补偿；然后进入全景图像拼接模块；

第一方式为：

Thres₂为第二判定阈值，一般可取Thres₂≤min(disa_n-peak_n,peak_n-disb_n)/2，min(_{变量1,变量2})表示求变量1与变量2中的最小值；拉伸y_n(i,j)可选任何线性或者非线性的单调递增函数；压缩y_n(i,j)可选任何线性或者非线性的单调递增减函数。peak_n表示将Pic_n的峰值参数降序排列后，其中第n个峰值参数；

第二方式为：

Case1:当已知图像拍摄位置时，可直接获取img_N的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用第一补偿参数计算模块 和第一光照补偿模块，对img_N进行光照补偿，然后进入全景图像拼接模块。

Case2：未知拼接全景图像序列的位置关系时，则可首先利用未进行光照补偿的拼接全景图像序列通过局部参考图像获取模块里Case2的方法获取img_N的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用第一补偿参数计算模块和第一光照补偿模块，对img_N进行光照补偿，然后进入全景图像拼接模块。

本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。