一种光场相机校准方法及系统与流程

1.本技术涉及图像处理领域，更具体地，涉及一种光场相机校准方法及系统。


背景技术：

2.光场成像技术能够同时记录光线的空间和角度信息，突破常规透镜成像的局限，随着现代科技的发展，光场相机越来越多的企业和个人使用，在低光以及影响高速移动的情况下，能够准确对角拍出清晰照片。利用光场相机的光场数据可实现数字重聚焦、景深扩展、场景深度计算和场景三维重建等计算成像技术，被广泛应用于计算机视觉和计算成像领域。其中，光场成像系统的误差分析是光场数据校准和实现计算成像技术的重要前提。
3.然而，现有的光场相机的误差分析仅考虑图像结构上的误差，而忽略了轮廓特征、方向特征所带来的误差，导致校准结果准确度低。


技术实现要素：

4.本发明实施例的目的在于提供一种光场相机校准方法及系统，其生成的校准数据高效便捷并且具有更高的精度和普适性。具体技术方案如下：
5.在本发明实施例的第一方面，提供一种光场相机校准方法，包括：获取训练数据，其中训练数据包括标准图像数据和误差图像数据；基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；通过光场相机阵列中的成像相机获取待处理图像数据；将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。通过该方法生成的校准数据高效便捷并且具有更高的精度和普适性。
6.可选地，所述标准图像数据和所述误差图像数据之间的距离误差，包括：计算所述标准图像数据和所述误差图像数据之间的轮廓校准值和结构校准值；基于所述轮廓校准值和所述结构校准值，确定所述距离误差、偏移误差以及角度误差。
7.可选地，所述计算所述标准图像数据和所述误差图像数据之间的轮廓校准值，包括：计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度；基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值；基于所述轮廓标准值，计算轮廓校准值。
8.可选地，所述计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度，包括：获取所述标准图像数据s(n
×
m)和所述误差图像数据e中，每个像素的子轮廓特征g(i,j)和子方向特征α(i,j)，其中1＜i＜n，1＜α＜m；计算所述标准图像数据s相对于所述误差图像数据e的轮廓特征g
se
(i,j)和方向特征a
se
(i,j)；通过如下公式计算轮廓特征相似度和方向特征相似度：
[0009][0010]
[0011]
其中，表示轮廓特征相似度，表示方向特征相似度，g
se
(i,j)表示轮廓特征，γg、κg、σg、γ
α
、κ
α
和σ
α
均表示切线参数。
[0012]
可选地，所述基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值，包括：通过如下公式计算轮廓标准值：
[0013][0014]
其中，表示轮廓特征相似度，表示方向特征相似度。
[0015]
可选地，所述计算所述标准图像数据和所述误差图像数据之间的结构校准值，包括：计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度；基于所述亮度相似度、对比度相似度和结构相似度，计算结构校准值。
[0016]
可选地，所述计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度，包括：计算所述标准图像数据s的灰度平均值μs和灰度标准差σs；计算所述误差图像数据e的灰度平均值μe和灰度标准差σe；计算所述标准图像数据s和所述误差图像数据e之间的灰度协方差σ
se
；通过如下公式计算亮度相似度、对比度相似度以及结构相似度：
[0017][0018][0019][0020]
其中，l(s,e)表示亮度相似度，c(s,e)表示对比度相似度，s(s,e)表示结构相似度，c1、c2和c3是偏置项。
[0021]
可选地，所述将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据，包括：将所述待处理图像数据输入训练好的校准模型，生成距离校准数据、偏移校准数据以及角度校准数据；所述距离校准数据、所述偏移校准数据以及所述角度校准数据，构成所述成像相机的校准数据。
[0022]
在本发明实施例的又一方面，提供一种光场相机校准系统，包括：训练数据获取模块，用于获取训练数据，其中训练数据包括标准图像数据和误差图像数据；校准模型训练模块，用于基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；待处理图像获取模块，用于通过光场相机阵列中的成像相机获取待处理图像数据；校准数据生成模块，用于将所述待处理图像数据输入所述校准模型，生成所述成像相机的校准数据。
[0023]
可选地，校准模型训练模块具体用于：计算所述标准图像数据和所述误差图像数据之间的轮廓校准值和结构校准值；基于所述轮廓校准值和所述结构校准值，确定所述距离误差、偏移误差以及角度误差。
[0024]
可选地，校准模型训练模块还用于：计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度；基于所述相对轮廓特征相似度和所述方向
特征相似度，计算轮廓标准值；基于所述轮廓标准值，计算轮廓校准值。
[0025]
可选地，校准模型训练模块还用于：获取所述标准图像数据s(n
×
m)和所述误差图像数据e中，每个像素的子轮廓特征g(i,j)和子方向特征α(i,j)，其中1＜i＜n，1＜α＜m；计算所述标准图像数据s相对于所述误差图像数据e的轮廓特征g
se
(i,j)和方向特征a
se
(i,j)；通过如下公式计算轮廓特征相似度和方向特征相似度：
[0026][0027][0028]
其中，表示轮廓特征相似度，表示方向特征相似度，g
se
(i,j)表示轮廓特征，γg、κg、σg、γ
α
、κ
α
和σ
α
均表示切线参数。
[0029]
可选地，校准模型训练模块还用于：通过如下公式计算轮廓标准值：
[0030][0031]
其中，表示轮廓特征相似度，表示方向特征相似度。
[0032]
可选地，校准模型训练模块还用于：计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度；基于所述亮度相似度、对比度相似度和结构相似度，计算结构校准值。
[0033]
可选地，校准模型训练模块还用于：计算所述标准图像数据s的灰度平均值μs和灰度标准差σs；计算所述误差图像数据e的灰度平均值μe和灰度标准差σe；计算所述标准图像数据s和所述误差图像数据e之间的灰度协方差σ
se
；通过如下公式计算亮度相似度、对比度相似度以及结构相似度：
[0034][0035][0036][0037]
其中，l(s,e)表示亮度相似度，c(s,e)表示对比度相似度，s(s,e)表示结构相似度，c1、c2和c3是偏置项。
[0038]
可选地，校准数据生成模块具体用于：将所述待处理图像数据输入训练好的校准模型，生成距离校准数据、偏移校准数据以及角度校准数据；所述距离校准数据、所述偏移校准数据以及所述角度校准数据，构成所述成像相机的校准数据。
[0039]
有益效果：
[0040]
(1)获取训练数据，其中训练数据包括标准图像数据和误差图像数据；基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；通过光场相机阵列中的成像相机获取待处理图像数据；将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据；通过该方法生成的校准数据高效便捷。
[0041]
(2)引入轮廓校准值和结构校准值，确定所述距离误差、偏移误差以及角度误差，提高校准模型的精度和普适性。
附图说明
[0042]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1是本技术实施例提供的一种光场相机校准方法的流程示意图；
[0044]
图2是本技术实施例提供的校准模型训练的流程示意图；
[0045]
图3是本技术实施例提供的一种光场相机校准系统的结构示意图。
具体实施方式
[0046]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
[0047]
因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0048]
本技术实施例提供了一种光场相机校准方法，包括：获取训练数据，其中训练数据包括标准图像数据和误差图像数据；基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；通过光场相机阵列中的成像相机获取待处理图像数据；将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。
[0049]
其中，该光场相机校准方法及系统具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(personal computer，pc)等设备；服务器可以是单一服务器，也可以是由多个服务器组成的服务器集群。
[0050]
在一些实施例中，该光场相机校准方法及系统还可以集成在多个电子设备中，比如，该光场相机校准方法及系统可以集成在多个服务器中，由多个服务器来实现本技术的光场相机校准方法及系统。
[0051]
可以理解的是，本实施例的该光场相机校准方法及系统可以是在终端上执行的，也可以是在服务器上执行，还可以由终端和服务器共同执行的。以上举例不应理解为对本技术的限制。
[0052]
图1示出了本技术实施例提供的一种光场相机校准方法的流程示意图，请参考图1，一种光场相机校准方法包括如下步骤：
[0053]
s110、获取训练数据，其中训练数据包括标准图像数据和误差图像数据。
[0054]
可选地，若训练数据量不足，则可以使用数据增强的方法增加训练数据。
[0055]
s120、基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型。
[0056]
其中，距离误差是指拍摄平面与标准图像数据、误差图像数据之间的误差距离；偏移误差是指将标准图像数据进行偏移时，误差图像数据会随误差方向角从0
°
到360
°
周期性地变化，可选地，在计算时，根据光场相机在水平方向和垂直方向上的子孔径图像偏移，分别在水平和垂直方向上计算误差；角度误差是指拍摄平面的法向量与标准图像数据之间的误差角。
[0057]
基于此，建立校准模型，利用距离误差、偏移误差以及角度误差来比较标准图像数据和所述误差图像数据之间的差异。
[0058]
s130、通过光场相机阵列中的成像相机获取待处理图像数据。
[0059]
其中，光场相机可以位于显示器后面，相机模块中的每个相机模块被布置为通过显示器捕获图像。光场相机还可以不包括显示器，相机模块位于远程呈现设备控制器相反的方向。
[0060]
可选地，光场相机中包括成像相机，可以定位成使得当远程呈现设备被操作时，光场相机捕获拍摄者周围和/或后面的环境的部分的图像数据。例如，成像相机可以跨越在大多数情况下至少足够大的水平距离，以从拍摄者的左侧和/或右侧周围捕获环境。
[0061]
可选地，可以通过图像传感器对目标场景下的全景图像进行采集，并使用无线通信技术将数据上传到服务器。
[0062]
需要说明的是，待处理图像数据可以采用实时采样方式或等效时间采样方式获取，在此不做具体限定。
[0063]
s140、将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。
[0064]
可选地，可以首先对所述待处理图像数据进行预处理，如降噪、灰度化处理等，然后将预处理后的图像数据输入训练好的校准模型。
[0065]
在一种实施方式中，步骤s140可以具体包括如下步骤：
[0066]
s141、将所述待处理图像数据输入训练好的校准模型，生成距离校准数据、偏移校准数据以及角度校准数据。
[0067]
s142、所述距离校准数据、所述偏移校准数据以及所述角度校准数据，构成所述成像相机的校准数据。
[0068]
由上可知，本技术实施例可以生成高效便捷的校准数据。
[0069]
图2是本技术实施例提供的校准模型训练的流程示意图，具体包括以下步骤：
[0070]
s200、获取训练数据，其中训练数据包括标准图像数据和误差图像数据。
[0071]
s210、获取所述标准图像数据s(n
×
m)和所述误差图像数据e中，每个像素的子轮廓特征g(i,j)和子方向特征α(i,j)，其中1＜i＜n，1＜α＜m。
[0072]
进一步地，通过如下公式计算轮廓特征g
se
(i,j)和方向特征a
se
(i,j)：
[0073][0074][0075]
其中，gs(i,j)和ge(i,j)分别表示标准图像数据和误差图像数据的子轮廓特征，αs(i,j)和αe(i,j)分别表示标准图像数据和误差图像数据的子方向特征。
[0076]
s220、计算所述标准图像数据s相对于所述误差图像数据e的轮廓特征g
se
(i,j)和方向特征a
se
(i,j)。
[0077]
其中，通常客观误差分析分为基于视觉、统计特性和信息内容的分析。视觉通过模拟人类视觉系统的感知过程来评估图像质量，其精度较低；统计特性分析忽略了融合图像和基础图像之间的相关性；信息内容主要分析融合图像的信息丰富度，并进行灰度化处理和分布分析；因此本技术引入轮廓特征和方向特征，获取精确的误差分析结果。
[0078]
在一种实施方式中，可以通过如下公式计算轮廓特征相似度和方向特征相似度：
[0079][0080][0081]
其中，表示轮廓特征相似度，表示方向特征相似度，g
se
(i,j)表示轮廓特征，γg、κg、σg、γ
α
、κ
α
和σ
α
均表示切线参数。
[0082]
s230、基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值。
[0083]
在一种实施方式中，可以通过如下公式计算轮廓标准值：
[0084][0085]
其中，表示轮廓特征相似度，表示方向特征相似度。
[0086]
s240、基于所述轮廓标准值，计算轮廓校准值。
[0087]
在一种实施方式中，可以通过如下公式计算轮廓校准值：
[0088][0089]
其中，q
se
(i,j)表示轮廓标准值，ωs(i,j)表示q
se
(i,j)的权重值。
[0090]
s250、计算标准图像数据和误差图像数据的灰度平均值、灰度标准差以及灰度协方差。
[0091]
具体地，计算所述标准图像数据s的灰度平均值μs和灰度标准差σs；计算所述误差图像数据e的灰度平均值μe和灰度标准差σe；计算所述标准图像数据s和所述误差图像数据e之间的灰度协方差σ
se
。
[0092]
s260、计算亮度相似度、对比度相似度以及结构相似度。
[0093]
在一种实施方式中，可以通过如下公式计算亮度相似度、对比度相似度以及结构相似度：
[0094][0095][0096][0097]
其中，l(s,e)表示亮度相似度，c(s,e)表示对比度相似度，s(s,e)表示结构相似度，c1、c2和c3是偏置项。
[0098]
可见，亮度、对比度和结构相似性越好，图像质量越高。
[0099]
s270、基于所述亮度相似度、对比度相似度和结构相似度，计算结构校准值。
[0100]
具体地，通过如下公式计算结构校准值：
[0101]
ssim(s，e)＝[l(s，e)]
α
[c(s，e)]
β
[s(s，e)]
γ
[0102]
其中，α、β和γ表示权重参数，且α+β+γ＝1。
[0103]
s280、基于所述轮廓校准值和所述结构校准值，确定所述距离误差、偏移误差以及角度误差。
[0104]
进一步地，重复步骤s210-s280，训练校准模型。
[0105]
通过上述误差计算结果，经过多次训练，确定多种误差与光场相机产生的图像数据之间的函数关系，即误差图像函数。
[0106]
本实施方式通过引入轮廓校准值和结构校准值，确定所述距离误差、偏移误差以及角度误差，能够提高校准模型的精度和普适性。
[0107]
为实现上述方法类实施例，本实施例还提供一种光场相机校准系统，图3示出了本技术实施例提供的一种光场相机校准系统的结构示意图，该系统包括：
[0108]
训练数据获取模块310，用于获取训练数据，其中训练数据包括标准图像数据和误差图像数据；
[0109]
校准模型训练模块320，用于基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；
[0110]
待处理图像获取模块330，用于通过光场相机阵列中的成像相机获取待处理图像数据；
[0111]
校准数据生成模块340，用于将所述待处理图像数据输入所述校准模型，生成所述成像相机的校准数据。
[0112]
可选地，校准模型训练模块320具体用于：计算所述标准图像数据和所述误差图像数据之间的轮廓校准值和结构校准值；基于所述轮廓校准值和所述结构校准值，确定所述
距离误差、偏移误差以及角度误差。
[0113]
可选地，校准模型训练模块320还用于：计算所述标准图像数据和所述误差图像数据之间的相对轮廓特征相似度和方向特征相似度；基于所述相对轮廓特征相似度和所述方向特征相似度，计算轮廓标准值；基于所述轮廓标准值，计算轮廓校准值。
[0114]
可选地，校准模型训练模块320还用于：获取所述标准图像数据s(n
×
m)和所述误差图像数据e中，每个像素的子轮廓特征g(i,j)和子方向特征α(i,j)，其中1＜i＜n，1＜α＜m；计算所述标准图像数据s相对于所述误差图像数据e的轮廓特征g
se
(i,j)和方向特征a
se
(i,j)；通过如下公式计算轮廓特征相似度和方向特征相似度：
[0115][0116][0117]
其中，表示轮廓特征相似度，表示方向特征相似度，g
se
(i,j)表示轮廓特征，γg、κg、σg、γ
α
、κ
α
和σ
α
均表示切线参数。
[0118]
可选地，校准模型训练模块320还用于：通过如下公式计算轮廓标准值：
[0119][0120]
其中，表示轮廓特征相似度，表示方向特征相似度。
[0121]
可选地，校准模型训练模块还用于：计算所述标准图像数据和所述误差图像数据之间的亮度相似度、对比度相似度以及结构相似度；基于所述亮度相似度、对比度相似度和结构相似度，计算结构校准值。
[0122]
可选地，校准模型训练模块320还用于：计算所述标准图像数据s的灰度平均值μs和灰度标准差σs；计算所述误差图像数据e的灰度平均值μe和灰度标准差σe；计算所述标准图像数据s和所述误差图像数据e之间的灰度协方差σ
se
；通过如下公式计算亮度相似度、对比度相似度以及结构相似度：
[0123][0124][0125][0126]
其中，l(s,e)表示亮度相似度，c(s,e)表示对比度相似度，s(s,e)表示结构相似度，c1、c2和c3是偏置项。
[0127]
可选地，校准数据生成模块340具体用于：将所述待处理图像数据输入训练好的校准模型，生成距离校准数据、偏移校准数据以及角度校准数据；所述距离校准数据、所述偏移校准数据以及所述角度校准数据，构成所述成像相机的校准数据。
[0128]
由此生成的校准数据高效便捷并且具有更高的精度和普适性。
[0129]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中
模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0130]
综上所述，本技术提供的一种光场相机校准方法及系统，该方法包括：获取训练数据，其中训练数据包括标准图像数据和误差图像数据；基于所述标准图像数据和所述误差图像数据之间的距离误差、偏移误差以及角度误差，训练校准模型；通过光场相机阵列中的成像相机获取待处理图像数据；将所述待处理图像数据输入训练好的校准模型，生成所述成像相机的校准数据。通过该方法生成的校准数据高效便捷并且具有更高的精度和普适性。
[0131]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0132]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0133]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0134]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0135]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0136]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。