一种台灯的图像校准方法及装置与流程

本发明涉及台灯技术领域，具体而言，涉及一种台灯的图像校准方法及装置。

背景技术：

台灯一般放置在床头柜、写字台或茶几上，以供局部照明使用，便于辅助阅读、学习，节省能源。因为台灯方便移动，在劳累的工作学习之余，具有投影功能的台灯已经越来越受人们的欢迎。在阅读的同时，可以借助台灯的投影功能增加办公及学习效率；而在休息时，可以短时间的利用投影娱乐放松一下，调整工作或学习的状态。台灯已经突破了本身的功能，变成了一个高端的智能工具。

由于台灯简单的结构特点，任何平面都可作为投影平面。只需要进行简单的按键操作，无需配置额外的屏幕组件，就可以很方便的将视频、图像或文字资料等投影到四周的平面观赏阅读。

然而，在台灯对任意平面进行投影的过程中，在不同角度的投影平面会形成不同的变形效果。比如说，在平行的投影平面和具有一定倾斜度的斜面上，投射相同的正方形会出现不同程度的变形，影响用户体验。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种台灯的图像校准方法，以解决台灯对任意平面投影时图像产生变形的问题。

第一方面，本发明实施例提供了一种台灯的图像校准方法，所述图像校准方法适用于设置有摄像模块和投影模块的台灯，所述摄像模块包含至少两个摄像头，其中，所述方法包括：

通过所述摄像模块获取投影平面的深度信息；

根据所述深度信息得到所述投影平面对应的虚拟三维拟合平面，确定所述摄像模块的视角中心轴和所述三维拟合平面之间的夹角；

根据所述深度信息、所述夹角以及所述摄像模块的视角中心轴和所述投影模块的投影中心轴之间的距离，确定待投影图像需要进行校准的形变参数；

根据所述形变参数，对所述待投影图像进行校准处理，并通过所述投影模块投射到所述投影平面。

结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实施方式，其中，当所述摄像模块中的摄像头个数为两个时，所述通过所述摄像模块获取投影平面的深度信息，包括：

通过所述两个摄像头分别采集所述投影平面，得到第一图像和第二图像；

为所述摄像模块和所述投影平面建立摄像空间坐标系，确定所述投影平面上的任一点在所述第一图像和所述第二图像上对应的像素点的坐标；

根据所述坐标、预储存的所述摄像模块的参数以及预储存的深度信息计算公式确定所述任一点与所述摄像模块之间的距离，即为所述像素点的深度信息。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，通过所述两个摄像头分别采集所述投影平面，得到第一图像和第二图像之前，还包括：

储存所述摄像模块的参数，其中，所述参数包括所述两个摄像头的等效焦距和所述两个摄像头之间的距离。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，用Δx表征所述任一点在所述第一图像和所述第二图像上的坐标距离，用b表征所述两个摄像头之间的距离，用f表征所述两个摄像头的等效焦距，则所述深度信息计算公式，具体包括：

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述根据所述深度信息得到所述投影平面对应的虚拟三维拟合平面，确定所述摄像模块的视角中心轴和所述三维拟合平面之间的夹角，包括：

在所述摄像空间坐标系中确定所述三维拟合平面的法向量、所述摄像模块的视角中心轴的单位向量；

计算所述单位向量和所述法向量的夹角。

结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述根据所述深度信息、所述夹角以及所述摄像模块的视角中心轴和所述投影模块的投影中心轴之间的距离，确定待投影图像需要进行校准的形变参数，包括：

为所述投影模块和所述投影平面建立投影空间坐标系；

结合所述摄像模块的视角中心轴和所述投影模块的投影中心轴之间的距离，将所述摄像空间坐标系转换到投影空间坐标系；

确认待投影图像对应所述投影模块需要进行校准的形变参数。

第二方面，本发明实施例还提供了一种台灯的图像校准装置，包括摄像模块和投影模块，所述摄像模块包含至少两个摄像头，其中，所述装置还包括：

获取模块，用于通过所述摄像模块获取投影平面的深度信息；

第一确定模块，根据所述深度信息得到所述投影平面对应的虚拟三维拟合平面，确定所述摄像模块的视角中心轴和所述三维拟合平面之间的夹角；

第二确定模块，用于根据所述深度信息、所述夹角以及所述摄像模块的视角中心轴和所述投影模块的投影中心轴之间的距离，确定待投影图像需要进行校准的形变参数；

校准模块，用于根据所述形变参数，对所述待投影图像进行校准处理，并通过所述投影模块投射到所述投影平面。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，还包括：存储模块，用于储存所述摄像模块和所述投影模块的参数，其中，所述参数包括所述两个摄像头的等效焦距、所述两个摄像头之间的距离、所述摄像模块和所述投影模块的距离。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述第一确定模块，包括：

第一确定单元，用于在所述摄像空间坐标系中确定所述三维拟合平面的法向量、所述摄像模块的视角中心轴的单位向量；

计算单元，用于计算所述单位向量和所述法向量的夹角。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，还包括：坐标生成模块，用于为所述摄像模块和所述投影平面建立摄像空间坐标系，或为所述投影模块和所述投影平面建立投影空间坐标系。

本发明实施例提供的一种台灯的图像校准方法及装置，通过获取投影平面的深度信息，得到投影平面对应的虚拟三维拟合平面，然后确定摄像模块的视角中心轴和三维拟合平面之间的夹角，再根据已知信息确定待投影图像需要进行校准的形变参数，根据形变参数，对待投影图像进行校准处理后通过投影模块投射到投影平面，使得投影出来的图像不发生变形，在任意区域都有较好的投影效果，提升用户的使用体验。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的一种台灯的图像校准方法的流程图；

图2示出了本发明实施例所提供的另一种台灯的图像校准方法的流程图；

图3示出了本发明实施例所提供的一种台灯的图像校准装置的结构示意图；

图4示出了本发明实施例所提供的一种台灯的图像校准装置中第一确定模块的结构示意图。

附图标记：

10－摄像模块； 20－投影模块； 30－获取模块；

40－第一确定模块； 50－第二确定模块； 60－校准模块；

201－第一确定单元； 202－计算单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到具有投影功能的台灯对任意平面进行投影的过程中，在不同角度的投影平面会形成不同的变形效果。比如说，在平行的投影平面和具有一定倾斜度的斜面上，投射相同的正方形会出现不同程度的变形，影响用户体验。基于此，本发明实施例提供了一种台灯的图像校准方法及装置，下面通过实施例进行描述。

如图1所示，本发明实施例提供了一种台灯的图像校准方法，该图像校准方法适用于设置有摄像模块和投影模块的台灯，摄像模块包含至少两个摄像头，具体的，上述方法具体包括如下步骤：

S101、通过摄像模块获取投影平面的深度信息；

在本发明实施例中，获取投影平面的深度信息，主要是利用多目视觉的立体重构，因此需要借助于多目摄像头。其中，摄像模块中的摄像头个数优选为两个。

投影平面是投影模块进行投射视频、图像或文字资料等的区域，可以是台灯所在的支撑面上(如桌面等)，可以是墙壁，也可以是专用的幕布。该投影平面优选为台灯的照射范围。在拍摄过程中，若光线不好，影响摄像模块的捕捉，还可以利用台灯灯泡发射的光线，为摄像头的拍摄过程进行实时补光。

S102、根据所述深度信息得到所述投影平面对应的虚拟三维拟合平面，确定所述摄像模块的视角中心轴和所述三维拟合平面之间的夹角；

在本发明实施例中，可以利用Random Sample Consensus(随机抽样一致算法)、Hough Transform(霍夫变换)结合投影平面的深度信息，进行平面拟合，得到所述投影平面对应的虚拟三维拟合平面。也可以采用其他方式，在此不做限制。其提高了计算正确率，避免了夹角的偏差影响图片的调整效果。

具体的，霍夫变换拟合平面的算法如下：

X_min＝min(X)；Y_min＝min(Y)；Z_min＝min(Z)

X_max＝max(Y)；Y_max＝max(Y)；Z_max＝max(Z)

Calculation of：Dis＿min；Dis＿max

θ＝from 0to 360，step＝θ_step；n_θ＝length(θ)

φ＝from-90to+90,step＝φ_step；n_φ＝length(φ)

n_ρ＝2*(Dis_max-Dis_min)/ρ_step

ρ＝from Dis＿min to Dis＿max；step＝ρ＿step

ratio＝(n_ρ-1)/(ρ(n_ρ)-ρ(1))

For k＝1to length(X)

ρ_indix＝round(ratio*(ρ_mat-ρ(1)+1))

For i＝1to n＿φ

For j＝1to n＿θ

H(j，i，ρ＿index(i，j))＝H(j，i，ρ＿index(i，j))+1

Next j；next i；next k

其中：

X、Y、Z：三维点集合的x－y－z坐标向量；

X＿min、Y＿min、Z＿min：在三个轴上的坐标最小值，记为最小值；

X＿max、Y＿max、Z＿max：在三个轴上的坐标最大值，记为最大值；

Dis＿min、Dis＿max：坐标原点到最小值、最大值的距离；

θ、φ、ρ：平面方程的参数；

θ＿step、ρ＿step：参数θ、ρ在各自空间上设定的步长；

n_θ、n＿ρ：参数θ、ρ在各自空间上设定的待评价的个数；

θ_mat、ρ＿mat：二维的矩阵，平面方程的定义域为θ_mat、为定义域的取值空间，ρ＿mat为对应于取值空间的值；

ρ＿indix：为ρ＿mat的量化值，约束在最初定义的值域范围内；

H：三维矩阵，对于与空间的响应值，其中的极值为最终计算结果。

根据S101步骤中的获得的深度信息，利用霍夫变换拟合平面的算法过程，得出以上各个参数，当上述公式所列条件成就时，由此得到所述投影平面对应的虚拟三维拟合平面。然后可以确定出所述摄像模块的视角中心轴和所述三维拟合平面之间的夹角。

随机抽样一致拟合平面的算法如下：

BestSupport＝0；bestPlane(3，1)＝[0，0，0]

bestStd＝∞；i＝0

ε＝1-forseeable_support/length(point_list)

N＝round(log(1-α)/log(1-(1-ε))³)

While(I＜＝N)

J＝pick 3points randomly among(point＿list)

Pl＝pts2plane(j)

Dis＝dis2plan(pl，point＿list)

S＝find(abs(dis)＜＝t)

St＝Standard＿deviation(s)

If(length(s)＞bestSupport or(length(s)＝…

bestSupport and st＜bestStd))then

bestSupport＝length(s)

bestPlan＝pl；bestStd＝st；endif

i＝i+1；endwhile

其中：

ε：为三维点集合中野值的概率；

α：为期望能正确拟合平面方程的概率；

N：为采样的次数；

j：为采样的三维点；

pl：为平面方程；

dis：为所有三维点到拟合平面的距离；

t：为设置的阈值，用于判断三维点是否符合当前模型；

s：满足当前模型的三维点集合；

st：当前拟合模型的不确定性；

根据S101步骤中的获得的深度信息，利用随机抽样一致拟合平面的算法过程，得出以上各个参数，在满足上述公式所列条件的基础上，由此得到所述投影平面对应的虚拟三维拟合平面。然后可以确定出所述摄像模块的视角中心轴和所述三维拟合平面之间的夹角。

其中，确定所述摄像模块的视角中心轴和所述三维拟合平面之间的夹角，具体包括：在为摄像模块和投影平面建立的摄像空间坐标系中确定所述三维拟合平面的法向量、所述摄像模块的视角中心轴的单位向量；

计算所述单位向量和所述法向量的夹角。

S103、根据所述深度信息、所述夹角以及所述摄像模块的视角中心轴和所述投影模块的投影中心轴之间的距离，确定待投影图像需要进行校准的形变参数；

其中，具体包括：

为所述投影模块和所述投影平面建立投影空间坐标系；

结合所述摄像模块的视角中心轴和所述投影模块的投影中心轴之间的距离，将所述摄像空间坐标系转换到投影空间坐标系；

确认待投影图像对应所述投影模块需要进行校准的形变参数。

在本发明实施例中，摄像模块和投影模块的安装位置是固定的且已知的，因此得到投影平面相对于摄像模块的深度信息和夹角，也容易得出投影平面相对于投影模块的深度信息和夹角，在这个基础上，再确认待投影图像对应投影模块需要进行校准的形变参数。

例如，摄像空间坐标系以摄像模块作为原点，投影模块位于摄像空间坐标系的x轴上，假设所述摄像模块的视角中心轴和所述投影模块的投影中心轴之间的距离为a，当以投影模块为原点建立投影空间坐标系时，只需将原摄像空间坐标系中的所有坐标在x方向上加减a，就可以实现从摄像空间坐标系到投影空间坐标系的转换。

同理，投影模块位于摄像空间坐标系的y轴上或者其他位置，都可以采用相同的方法进行转换。

S104、根据所述形变参数，对所述待投影图像进行校准处理，并通过所述投影模块投射到所述投影平面。

示例性的，在本发明实施例中，图像校准处理可以有以下三种情况。

第一种情况，已预设空间坐标系对应的形变参数关系，以及对应的校准方式，预先建立的储存在数据库中。在图像校准过程中，根据确定的形变参数在数据库中进行匹配，生成调整方式。

第二种情况，根据形变参数，将待投影图像沿着形变小的方向进行缓慢调整，在调整过程中对投影平面上显示的图像进行跟踪识别，直到投影平面上显示的图像与待投影图像匹配。

第三种情况，上述形变参数基于图像的斜切变化，根据深度信息和夹角，调整待投影图像的长度和宽度的比例，使其在投影平面显示正常的长宽比。

步骤S104中，图像校准处理的方法，举例说明如下：

1、确定投影图像和拟合平面上所显示图像之间的单应性矩阵，因为投影图像和显示图像均位于平面上，故满足单应性。由于显示图像的三维坐标和拟合平面的三维坐标均已得出，故可将图像的三维坐标投影到拟合平面得到对应的平面坐标；由单应性特性可得X＝H1Y，其中X为投影的图像，Y为显示的图像在拟合平面上的平面坐标，X、Y均为齐次坐标且已得出，H1为所求的单应性矩阵，可以利用Random Sample Consensus(随机抽样一致算法)来计算，具体过程参考前面所述，只需将其中的平面参数换成单应性矩阵即可；

2、确定期望投影图像在拟合平面上的显示位置，若拟合平面上有明显的纹理、文字等，则利用图像跟踪匹配来确定显示的位置、大小和角度；若拟合平面没有明显的纹理，则认为显示的位置、大小和角度与最初的一致；

3、确定拟合平面上所显示图像与期望显示图像之间的单应性矩阵，因为两幅图像均位于同一平面上，故满足单应性即Z＝H2Y，其中Z为期望显示的图像，Y为显示的图像在拟合平面上的平面坐标，Z、Y均为齐次坐标且已得出，H2为所求的单应性矩阵，可以利用Random Sample Consensus(随机抽样一致算法)来计算，具体过程参考前面所述，只需将其中的平面参数换成单应性矩阵即可；

4、对投影图像进行校准，由上述得到的单应性矩阵，可以确定校准的参数，具体操作为：X′＝H1H2inv(H1)X，其中X′为校准后的图像，X为原投影图像。

在本发明实施例提供的一种台灯的图像校准方法，通过获取投影平面的深度信息，得到投影平面对应的虚拟三维拟合平面，然后确定摄像模块的视角中心轴和三维拟合平面之间的夹角，再根据已知信息确定待投影图像需要进行校准的形变参数，根据形变参数，对待投影图像进行校准处理后通过投影模块投射到投影平面，使得投影出来的图像不发生变形，在任意区域都有较好的投影效果，提升用户的使用体验。

进一步的，如图2所示，本发明实施例提供的台灯的图像校准方法中，步骤101，通过摄像模块获取投影平面的深度信息，包括：

S1011、通过所述两个摄像头分别采集所述投影平面，得到第一图像和第二图像；

实际使用中，若台灯上设置有定焦的摄像头和投影仪，则摄像头和投影仪即可构造为双目摄像头模型，进行校准。否则需在台灯上安装定焦的两个摄像头，由两个摄像头进行校准。

S1012、为所述摄像模块和所述投影平面建立摄像空间坐标系，确定所述投影平面上的任一点在所述第一图像和所述第二图像上对应的像素点的坐标；

在该步骤之前，需要储存所述摄像模块的参数，其中，所述参数包括所述两个摄像头的等效焦距和所述两个摄像头之间的距离。

上述参数可以储存在寄存器或者微处理器中，以便快速的读取，进行计算。

对第一图像和第二图像的匹配过程，可以采用SSD(平方差和)算法、ADcenses算法等，在此不做限制。

SSD算法，即平方差和(Sum of Squared Differences)算法，具体公式如下式：

SSD＝∑_w(I－J)²

其中：

I、J：为第一图像和第二图像中点的灰度值；

W：表示patch区域内点的坐标取值范围；

S1013、根据所述坐标、预储存的所述摄像模块的参数以及预储存的深度信息计算公式确定所述任一点与所述摄像模块之间的距离，即为所述像素点的深度信息。

具体的，用Δx表征所述任一点在所述第一图像和所述第二图像上的坐标距离，用b表征所述两个摄像头之间的距离，用f表征所述两个摄像头的等效焦距，则所述深度信息计算公式，具体包括：

其中，z表示在摄像空间坐标系中，上述投影平面中选取的任一点到摄像模块的距离，即该点的深度信息。

基于上述分析可知，本发明实施例提供的一种台灯的图像校准方法，通过获取投影平面的深度信息，得到投影平面对应的虚拟三维拟合平面，然后确定摄像模块的视角中心轴和三维拟合平面之间的夹角，再根据已知信息确定待投影图像需要进行校准的形变参数，根据形变参数，对待投影图像进行校准处理后通过投影模块投射到投影平面，使得投影出来的图像不发生变形，在任意区域都有较好的投影效果，提升用户的使用体验。

本发明实施例还提供了一种台灯的图像校准装置，所述图像处理装置用于执行台灯的图像处理方法，如图3所示，包括摄像模块10和投影模块20，摄像模块10包含至少两个摄像头，其中，还包括：

获取模块30，用于通过摄像模块10获取投影平面的深度信息；

第一确定模块40，根据所述深度信息得到所述投影平面对应的虚拟三维拟合平面，确定摄像模块10的视角中心轴和所述三维拟合平面之间的夹角；

第二确定模块50，用于根据所述深度信息、所述夹角以及摄像模块10的视角中心轴和投影模块20的投影中心轴之间的距离，确定待投影图像需要进行校准的形变参数；

校准模块60，用于根据所述形变参数，对所述待投影图像进行校准处理，并通过投影模块20投射到所述投影平面。

进一步的，本发明实施例提供的台灯的图像校准装置还包括：存储模块，用于储存摄像模块10和投影模块20的参数，其中，所述参数包括所述两个摄像头的等效焦距、所述两个摄像头之间的距离、摄像模块10和投影模块20的距离。

进一步的，本发明实施例提供的台灯的图像校准装置还包括：坐标生成模块，用于为摄像模块10和所述投影平面建立摄像空间坐标系，或为投影模块20和所述投影平面建立投影空间坐标系。

进一步的，如图4所示，第一确定模块40，包括：

第一确定单元401，用于在所述摄像空间坐标系中确定所述三维拟合平面的法向量、摄像模块10的视角中心轴的单位向量；

计算单元402，用于计算所述单位向量和所述法向量的夹角。

本发明实施例提供的一种台灯的图像校准装置，通过获取投影平面的深度信息，得到投影平面对应的虚拟三维拟合平面，然后确定摄像模块的视角中心轴和三维拟合平面之间的夹角，再根据已知信息确定待投影图像需要进行校准的形变参数，根据形变参数，对待投影图像进行校准处理后通过投影模块投射到投影平面，使得投影出来的图像不发生变形，在任意区域都有较好的投影效果，提升用户的使用体验。

本发明实施例所提供的台灯的图像校准装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read－Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。