一种摄像头的校正方法及装置与流程

文档序号:11327554阅读:483来源:国知局
一种摄像头的校正方法及装置与流程

本发明涉及立体显示技术领域,尤其涉及一种摄像头的校正方法及装置,计算机可读存储介质、电子设备以及裸眼立体显示设备。



背景技术:

目前,主流的裸眼3d(立体)显示设备通过在常规显示器件上叠加特殊的分光器件,例如光栅,该光栅能够向不同方向折射图像,让左眼和右眼的可视画面分开,从而让使用者看到3d影像。

为了提升使用者的观看体验,市面上的部分裸眼3d显示产品已经配置有跟踪显示功能。该跟踪显示功能通常利用摄像头追踪使用者的观看位置,并根据使用者的观看位置适应性的进行显示调整,一方面可以使显示内容与使用者的不同视角相适配,另一方面可以有效保证在使用者的观看位置发生变化后,依然能够观看到正确的立体显示效果,避免出现反视、重影、失真等问题。

在利用摄像头追踪使用者的观看位置并进行排图显示时,通常需要使用到摄像头的内参和外参,因此,在裸眼3d显示产品出厂前,需要对其跟踪用摄像头进行校正,获取到摄像头的内参和外参。但是,传统的摄像头的校正过程中,一般需要拍摄多副图像用于摄像头的校正,大大增加了校正工作量,不利于自动化的实现及量产快速化生产的要求。



技术实现要素:

为了解决上述技术问题,本发明实施例提供一种摄像头校正方法及装置,只需要拍摄一副图像即可完成对摄像头进行校正的方法和装置,此校正过程简单,可以实现对摄像头进行自动化、快速化校正。

本发明实施例提供一种摄像头的校正方法,所述摄像头设置在裸眼立体显示设备上,所述裸眼立体显示设备包括显示屏,所述显示屏包括显示器件和分光器件,所述显示器件和所述分光器件相对设置,所述方法包括:

将所述裸眼立体显示设备显示的第一预定图像投射到镜面上;

利用所述摄像头对所述第一预定图像投射到镜面上形成的虚像进行拍摄,获取第一目标图像,所述第一目标图像中包含有所述第一预定图像;

根据所述包含有所述第一预定图像的第一目标图像,获取所述摄像头的校正参数,其中,所述摄像头的校正参数包括摄像头的内参和外参;

保存所述摄像头的校正参数,使得所述裸眼立体显示设备能够使用所述摄像头的校正参数进行裸眼立体显示。

可选的,在镜面上形成所述虚像时,所述显示屏与所述镜面平行相对。

可选的,所述根据所述包含有所述第一预定图像的第一目标图像,获取所述摄像头的校正参数包括:

获取所述第一目标图像中所述第一预定图像中的特征像素点的实际像素坐标;

根据所述特征像素点的实际像素坐标,确定所述摄像头的校正参数。

可选的,所述根据所述特征像素点的实际像素坐标,确定所述摄像头的校正参数包括:

获取所述第一目标图像中的所述第一预定图像中所述特征像素点的理论像素坐标和所述摄像头的校正参数的第一关联关系;

根据所述特征像素点的实际像素坐标以及所述第一关联关系,确定所述摄像头的校正参数。

可选的,所述获取所述第一目标图像中的所述第一预定图像中所述特征像素点的理论像素坐标和所述摄像头的校正参数的第一关联关系包括:

获取所述裸眼立体显示设备显示第一预定图像时所述特征像素点的原始坐标信息;

根据所述特征像素点的原始坐标信息、所述显示屏与所述镜面的位置关系,获取所述虚像中所述特征像素点的第一坐标信息,根据所述特征像素点的第一坐标信息,利用所述摄像头的校正参数进行预定坐标变换,从而获取所述第一关联关系,或者,将所述特征像素点的原始坐标信息代入到预先设定的坐标转换关系式中,从而获取到所述第一关联关系。

可选的,所述显示屏与所述镜面的位置关系包括所述显示屏与所述镜面的距离。

可选的,所述根据所述特征像素点的实际像素坐标以及所述理论像素坐标和所述摄像头的校正参数的第一关联关系,确定所述摄像头的校正参数包括:

建立所述第一关联关系对应的第一代价函数;

根据获取的实际像素坐标,利用最小化算法最小化所述第一代价函数,确定所述摄像头的校正参数。

可选的,所述第一预定图像为棋盘格图像,所述特征像素点为相邻棋盘格之间交点。

本发明实施例同时提供一种摄像头的校正装置,所述摄像头设置在裸眼立体显示设备上,所述裸眼立体显示设备包括显示屏,所述显示屏包括显示器件和分光器件,所述显示器件和所述分光器件相对设置,所述装置包括:

第一投射模块,用于将所述裸眼立体显示设备显示的第一预定图像投射到镜面上;

第一获取模块,用于利用所述摄像头对所述裸眼立体显示设备显示的第一预定图像投射在镜面上形成的虚像进行拍摄,获取第一目标图像,所述第一目标图像中包含有所述第一预定图像;

第二获取模块,用于根据所述包含有所述第一预定图像的第一目标图像,获取所述摄像头的校正参数,其中,所述摄像头的校正参数包括摄像头的内参和外参;

第一保存模块,用于保存所述摄像头的校正参数在所述裸眼立体显示设备中,使得所述裸眼立体显示设备能够使用所述摄像头的校正参数进行裸眼立体显示。

可选的,在镜面上形成所述虚像时,所述显示屏与所述镜面平行相对。

可选的,所述第二获取模块包括:

第一获取子模块,用于获取所述第一目标图像中所述第一预定图像中的特征像素点的实际像素坐标;

第一确定子模块,用于根据所述特征像素点的实际像素坐标,确定所述摄像头的校正参数。

可选的,所述第一确定子模块包括:

第一获取单元,用于获取所述第一目标图像中的所述第一预定图像中所述特征像素点的理论像素坐标和所述摄像头的校正参数的第一关联关系;

第一确定单元,用于根据所述特征像素点的实际像素坐标以及所述第一关联关系,确定所述摄像头的校正参数。

可选的,所述第一获取单元包括:

第一获取子单元,用于获取所述裸眼立体显示设备显示第一预定图像时所述特征像素点的原始坐标信息;

第二获取子单元,用于根据所述特征像素点的原始坐标信息、所述显示屏与所述镜面的位置关系,获取所述虚像中所述特征像素点的第一坐标信息,根据所述特征像素点的第一坐标信息,利用所述摄像头的校正参数进行预定坐标变换,从而获取所述第一关联关系,或者,将所述特征像素点的原始坐标信息代入到预先设定的坐标转换关系式中,从而获取到所述第一关联关系。

可选的,所述显示屏与所述镜面的位置关系包括所述显示屏与所述镜面的距离。

可选的,所述第一确定单元包括:

建立单元,用于建立所述第一关联关系对应的第一代价函数;

第一确定子单元,用于根据获取的实际像素坐标,利用最小化算法最小化所述第一代价函数,确定所述摄像头的校正参数。

可选的,所述第一预定图像为棋盘格图像,所述特征像素点为相邻棋盘格之间交点。

本发明实施例同时提供一种计算机可读存储介质,用于存储计算机程序,所述计算机程序可被处理器执行上述方法。

本发明实施例同时提供一种电子设备,所述电子设备包括一个或多个处理器,所述处理器被配置为执行上述方法。

本发明实施例还提供一种裸眼立体显示设备,包括:

壳体、设置在所述壳体上的显示屏和摄像头、设置在所述壳体内的一个或多个处理器;

所述显示屏包括显示器件和分光器件,所述显示器件和所述分光器件相对设置;

所述处理器用于控制所述显示屏上显示第一预定图像;

所述摄像头用于对显示屏上显示的第一预定图像投射到镜面上所形成的虚像进行拍摄,获取第一目标图像,所述第一目标图像中包含有所述第一预定图像;

所述处理器还用于:

根据所述包含有所述第一预定图像的第一目标图像,获取所述摄像头的校正参数,其中,所述摄像头的校正参数包括摄像头的内参和外参;

保存所述摄像头的校正参数,使用所述摄像头的校正参数进行裸眼立体显示处理。

本发明实施例技术方案的有益效果至少包括:

本发明实施例技术方案,将裸眼立体显示设备显示的第一预定图像投射到镜面上,利用待校正的摄像头对第一预定图像投射到镜像上形成的虚像进行拍摄,获取包含有第一预定图像的第一目标图像,然后根据包含有第一预定图像的第一目标图像,获取摄像头的校正参数。本发明实施例提供的这种校正方法,可以适用于不同的显示设备,而且,相较于现有的摄像头校正方法,根据第一目标图像确定摄像头的校正参数时,利用镜面映射的方式获取到第一目标图像,由于摄像头距离镜面的距离已知,仅需依据一幅第一目标图像即可完成校正过程,且在校正过程中,可以实现对摄像头进行自动化、快速化校正。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1表示本发明实施例的裸眼立体显示设备的摄像头的校正方法示意图;

图2表示本发明实施例的辅助校正系统示意图;

图3a~3d表示本发明实施例的辅助校正系统的制具示意图;

图4a~4b表示本发明实施例的主机校正系统示意图;

图5a-5d表示本发明实施例的裸眼立体显示设备的摄像头的校正装置示意图。

图6为本发明实施例中的棋盘格图像示意图;

图7为本发明实施例中摄像头拍摄的在镜面上显示的棋盘格图像的虚像所获取的第一目标图像的示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

为了更好的理解本发明,首先对裸眼立体显示设备进行简单介绍。本发明实施例中所言的裸眼立体显示设备包括显示屏,该显示屏包括显示器件和分光器件,显示器件和分光器件相对设置,其中,显示器件用来显示图像,例如可以为常规2d的显示面板,如lcd面板,oled面板,分光器件用来对显示器件显示的图像进行分光处理,例如可以是光栅,该光栅可以为狭缝光栅或透镜光栅等现有技术中裸眼立体显示设备所能够采用的任意一种光栅,本发明对此不做限定。裸眼立体显示设备在进行显示时,需要将左眼画面和右眼画面按照一定规则排列显示在显示器件上(即排图),配合分光器件的分光作用,做到将左眼画面送入用户的左眼,将右眼画面送入用户的右眼,从而使用户观看到立体影像。其中,具体排图过程可参见现有技术,这里不再赘述。

对于具有跟踪显示功能,即追踪观看者人眼位置,按照人眼位置进行显示的裸眼立体显示设备而言还包括摄像头,该摄像头设置在裸眼立体显示设备上,用于追踪观看位置,而裸眼立体显示设备将根据所追踪的观看位置进行排图显示,从而可以根据使用者的观看位置适应性的进行显示调整。在裸眼立体显示设备利用摄像头追踪使用者的观看位置并进行排图显示时,通常需要使用到摄像头的内参和外参,因此,在裸眼立体显示设备出厂前,需要对裸眼立体显示设备上配置的追踪用摄像头进行校正,即获取该摄像头的内参和外参。

下面对本发明实施例提供的裸眼立体显示设备的摄像头的校正方法和装置等进行详细介绍。

如图1所示,本发明实施例提供的摄像头的校正方法,包括:

步骤201、将裸眼立体显示设备显示的第一预定图像投射到镜面上。

本发明实施例中,首先使裸眼立体显示设备显示第一预定图像,并将裸眼立体显示设备显示的第一预定图像投射到一镜面上。

其中,第一预定图像为何图像不限,由于后续需要应用第一预定图像中的一些像点进行校正运算,本发明实施例将这些像点称为特征像素点,因此,第一预定图像优选为包含多个特征像素点且这些特征像素点易于被检测出的图像,例如棋盘格图像,特征像素点为相邻棋盘格之间的交点。

步骤202、利用待校正摄像头对第一预定图像投射到镜面上形成的虚像进行拍摄,获取第一目标图像,第一目标图像中包含有第一预定图像。

本发明实施例中,裸眼立体显示设备包括显示屏,显示屏包括显示器件和分光器件,显示器件和分光器件相对设置,对于带跟踪功能的裸眼立体显示设备而言,其上还配置有摄像头,即待校正摄像头,具体可以为裸眼立体显示设备的前置摄像头。在裸眼立体显示设备将显示的第一预定图像投射到镜面上时,利用该摄像头对裸眼立体显示设备显示的第一预定图像投射到镜面上形成的虚像进行拍摄,获取第一目标图像,第一目标图像中包含有第一预定图像。

本步骤中,在获取第一预定图像时,采用镜面投影的方式来获取,具体为:将裸眼立体显示设备显示的第一预定图像投影到一个镜面上,镜面上将呈现该第一预定图像的虚像,然后,利用待校正摄像头对该第一预定图像在镜面上形成的虚像进行拍摄,从而获得一张包含有第一预定图像的图像。

其中,投影镜面与裸眼立体显示设备的显示屏的位置关系不限,可以任意设置,例如平行,或者两者成一定角度。需要说明的是,为了后续运算简便,并且为得到质量较高第一预定图像从而有效保证运算处理的准确性,优选的,第一预定图像所投射的镜面可以与裸眼立体设备的显示屏平行,即在镜面上形成第一预定图像的虚像时,裸眼立体显示设备的显示屏要与镜面平行相对。而且,在进行图像投射时,显示屏与镜面间隔预定距离,该预定距离本领域人员可以合理设置,基本原则是,需要保证裸眼立体显示设备的显示屏与镜面之间的距离可使得摄像头采集的图像中包含有清晰的第一预定图像。

具体实施中,针对采用镜面投影的方式获取第一预定图像,可设计专门的校正用制具,该制具可以包括用来支撑裸眼立体显示设备的支架以及镜面,当裸眼立体显示设备放置在支架上时,其显示屏与镜面平行相对,镜面上可以显示清晰的第一预定图像的虚像。可以理解的是,所采用的制具可以为多种形式,本发明对此不做限定,但所需要包含的共同部分为:支撑裸眼立体显示设备的支架以及镜面。

需要说明的是,在进行镜面投影时,可以使待校正摄像头正对镜面,从而可以轻松拍摄到镜面上的虚像。

步骤203,根据包含有第一预定图像的第一目标图像,获取摄像头的校正参数,其中,摄像头的校正参数包括摄像头的内参和外参。

本步骤中,具体的,第一预定图像中可设置有特征像素点,可首先利用图像检测等方法获取第一目标图像中第一预定图像中的特征像素点的像素坐标,这里将检测到的像素坐标称为实际像素坐标,然后,根据特征像素点的实际像素坐标,确定摄像头的校正参数。进一步具体的,可首先获取所述第一目标图像中的所述第一预定图像中所述特征像素点的理论像素坐标和所述摄像头的校正参数的第一关联关系;然后,根据所述特征像素点的实际像素坐标以及所述第一关联关系,确定所述摄像头的校正参数。

需要说明的是,上述实际像素坐标和理论像素坐标均为像素坐标,实际像素坐标指的是从第一目标图像中检测到的像素坐标,而理论像素坐标是指理论计算得到的,并不是实际检测的,显然,在没有误差等因素影响的情况下,理论图像属性值和实际图像属性应该是相同的。

从原理上讲,裸眼立体显示设备在显示第一预定图像时,即显示第一预定图像的特征像素点时,特征像素点是按照预设的原始坐标信息进行显示的,其中原始坐标信息为特征像素点在其显示屏上的像素坐标,而在第一目标图像中,可以通过图像检测的方法获取到特征像素点在第一目标图像中的实际像素坐标。而本领域技术人员可以理解的是,由于第一目标图像是由待校正摄像头进行拍摄的,则,第一目标图像中特征像素点的像素坐标是与摄像头的内参和外参是相关联的,即,根据该摄像头的内参和外参,经过坐标变换,特征像素点的原始坐标信息可转换成理论上的第一目标图像中的像素坐标,亦即,以摄像头的校正参数(内参和外参)作为变换参数,对特征像素点的原始坐标进行变换,即可获取到第一目标图像中第一预定图像中特征像素点的像素坐标。也就是说,以摄像头的校正参数(内参和外参)作为变换参数,对特征像素点的原始坐标进行变换,即可获取到第一目标图像中第一预定图像中特征像素点的像素坐标和摄像头的校正参数的第一关联关系;那么,在已知原始坐标信息和实际检测到的像素坐标,并且已知第一关联关系,即可求解出摄像头的校正参数,即内参和外参。

可以理解的是,由于为镜面投射,因此,在进行坐标变换时,首先需要进行镜面变换,具体利用显示屏与镜面的位置关系,对原始坐标进行镜面映射,然后,利用摄像头的校正参数进行进一步的坐标变换,即可获取到第一目标图像中第一预定图像中特征像素点的像素坐标,也就是可获取到第一关联关系。其中,显示屏与镜面的位置关系包括显示屏与镜面的距离,即显示屏与镜面间隔预定距离,该预定距离本领域技术人员可以合理设置,基本原则是,需要保证裸眼立体显示设备的显示屏与镜面之间的距离可使得摄像头采集的图像中包含有清晰的第一预定图像。由于摄像头距离镜面的距离已知,即摄像头距离虚像的距离已知,在特征点像素点达到一定数量的情况下,只需要拍摄一张第一预定图像即可,不需要利用摄像头拍摄多张图像,通过多张图像进行摄像头与图像之间距离、摄像头内参和外参的确定,从而简化了校正过程。

具体说明,假设显示屏与镜面之间平行设置,两者之间的距离dm,特征像素点的原始坐标信息x0。需要说明的是,为方便进行描述,以下使用大写的x表示坐标(x,y,z),即x0实际上表示的是坐标(x0,y0,z0)。

首先根据显示屏与镜面之间的距离dm以及原始坐标信息x0,进行镜像坐标变换,确定第二坐标信息,其中第一目标图像中对应的特征像素点的虚像的第二坐标信息用xm来表示,则xm=x0+2dm。然后,根据第二坐标信息xm和摄像头的内参外参(即校正参数)进行坐标变换,获取到第一目标图像中第一预定图像中特征像素点的理论像素坐标和摄像头的校正参数的第一关联关系。

具体的变换如下:首先根据第二坐标信息xm,摄像头的外参cr、ct(其中ct是表示显示屏坐标系的原点与摄像头坐标系的原点之间的相对位置关系,当裸眼显示立体设备确定之后,即显示屏与摄像头的相对位置关系是确定的,因此ct值是一个已知量)进行旋转平移变换,获取摄像头拍摄的特征像素点的虚像的第三坐标信息,其中第三坐标信息采用xc来表示,则

xc=cr*(xm-ct),xc表示(xc,yc,zc),xm=x0+2dm

在获取第三坐标信息xc之后,对xc进行齐次坐标变换,得到齐次坐标信息,其中齐次坐标信息采用xp来表示,则

得到齐次坐标信息之后,需要对齐次坐标信息xp进行径向畸变校正得到xpp,xpp=(1+k1r2+k2r4)xp,其中,k1、k2、r为摄像头的内参,在得到经过畸变校正之后xpp之后,根据摄像头内参矩阵获取特征像素点的理论像素坐标。

其中特征像素点的理论像素坐标uv等于xpp与摄像头内参组成的矩阵的乘积,即:

经过上述一系列变换,即可建立起特征像素点的理论像素坐标uv与摄像头内参外参的第一关联关系,也就是说,uv被表示为x0、dm以及摄像头内参外参的函数。x0、dm为已知量,可通过图像检测的方法得到特征像素点在第一目标图像中的实际像素坐标,从而利用上述关联关系,求解摄像头的内外参,即摄像头的校正参数。

本步骤中,可以首先获取裸眼立体显示设备显示第一预定图像时特征像素点的原始坐标信息。然后可选的,可以利用所获取的原始坐标信息实时通过上述变换,获取到第一关联关系。具体可参见前文描述,先对原始坐标进行镜面变换,根据特征像素点的原始坐标信息和显示屏与所述镜面的位置关系,先行获取虚像中特征像素点的第一坐标信息(镜面变换后的坐标),然后,根据特征像素点的第一坐标信息,利用摄像头的校正参数进行预定坐标变换,从而获取第一关联关系。其中,上述示例中是以镜面与显示屏平行为例进行说明的,所以,显示屏与所述镜面的位置关系包括两者之间的距离,但是本发明不限于此,本领域技术人员可根据显示屏与镜面的实际位置关系进行镜面坐标变换。

当然,可选的,在本发明的一个实施例中,可以预先设定好坐标转换关系式,其中预先设定的坐标转换关系可以为其与第一关联关系类似,不同在于,该坐标转换关系式中,原始坐标信息是以未知量的形式存在的,在获取到原始坐标信息后,将特征像素点的原始坐标信息代入到预先设定的坐标转化关系式中去获取第一关联关系。在特征像素点的理论像素坐标uv与摄像头内参外参的第一关联关系中,uv被表示为x0、dm以及摄像头内参外参的函数。x0、dm为已知量,可通过图像检测的方法得到特征像素点在第一目标图像中的实际像素坐标,从而利用上述关联关系,求解摄像头的内外参,即摄像头的校正参数。具体的预先设定的坐标转化关系的推导过程可以用上述的描述的方法去确定,也可以通过其他方法去获取,此处不做具体限定。

可以理解的是,理论像素坐标和实际像素坐标可能是不同的,直接将实际像素坐标作为理论像素坐标求解,误差可能会较为明显。为了有效减小误差,在本发明的一个实施例中,将检测到的实际像素坐标表示为uv*,将理论像素坐标表示为uv,可建立与第一关联关系对应的第一代价函数,然后根据实际像素坐标uv*,利用最小化算法最小化第一代价函数,确定摄像头的内参和外参。例如,第一代价函数可以为:

其中,coe=[fx,fy,px,py,sk,k1,k2,cra,crb,crc]t

uv为理论像素坐标,uv*为检测的实际像素坐标。

例如第一目标图像中特征像素点的数量为10个,10个特征像素点对应的理论像素坐标分别为uv1~uv10,10个特征像素点对应的实际像素坐标分别为uv1*~uv10*,其中uv1*~uv10*均为已知量。然后利用第一代价函数进行计算,将uv1与uv1*、uv2与uv2*、uv3与uv3*、uv4与uv4*、uv5与uv5*、uv6与uv6*、uv7与uv7*、uv8与uv8*、uv9与uv9*、uv10与uv10*依次代入第一代价函数中,其中uv1、uv2、uv3、uv4、uv5、uv6、uv7、uv8、uv9、uv10均表示为包含有摄像头的外参内参的关联函数,其中摄像头的内参外参(即所要求解的摄像头校正参数)包括:fx、fy、px、py、skew、k1、k2、cra、crb、crc等,利用最小优化算法来确定出摄像头的校正参数。

实际实施中,需要根据未知量的数目和运算精度要求,获取到第一预设数目的特征像素点的实际像素坐标uv*。其中所选取的特征像素点的个数需要大于摄像头的校正参数中的未知变量的个数。所选取的特征像素点的个数越多,则求出的摄像头的校正参数越精确。需要说明的是,在本方案中根据第一目标图像确定摄像头的校正参数时,仅需依据一幅第一目标图像即可完成校正过程,且在校正过程中,可以实现对摄像头进行自动化、快速化校正。

步骤204,得到校正参数后,保存摄像头的校正参数,使得裸眼立体显示设备使用摄像头的校正参数进行裸眼立体显示。

因摄像头设置在裸眼立体显示设备上,裸眼立体显示设备进行跟踪式的裸眼立体显示时,需要使用摄像头的校正参数,因此,需要保存所获取的校正参数。

具体的,当裸眼立体显示设备为手机或者笔记本电脑等设备时,这类设备通常包括主板,主板上设有存储器,本步骤中,可以将校正参数保存在这些裸眼立体显示设备上,即保存在设备自身的存储器中,供其显示时进行调用。

当然,裸眼立体显示设备也可以为显示屏幕类设备,即仅仅作为显示屏幕,需要连接外部主机并在外接主机的控制下进行显示,外接主机例如为外接监视器或者外接pc等,此时,本步骤中,可以把校正参数保存在外接主机中,例如监视器的某一个存储器中,或者是存在外接的pc中等。

具体的,裸眼立体显示设备将根据摄像头的校正参数,进行人眼跟踪式的裸眼立体显示。

本发明实施例中针对的是具有摄像头的裸眼立体显示设备,将摄像头采集的裸眼立体显示设备所显示的第一预定图像的虚像作为第一目标图像,在获取第一目标图像之后,根据包含第一预定图像的第一目标图像获取摄像头的校正参数,在获取摄像头的校正参数之后,保存摄像头的校正参数,以便于后续过程中的实时调用。

需要说明的是,本发明实施例提供的显示校正的方法可以由裸眼立体显示设备执行,即裸眼立体显示设备进行自校正,也可以由其他设备执行,裸眼立体显示设备将拍摄到的第一目标图像传输给其他设备,其他设备得到校正参数后,可将校正参数传输给裸眼立体显示设备以进行保存和后续的显示使用。

举例来讲,如图6所示,第一预定图像可以为棋盘格图像,相邻棋盘格之间的交点可作为特征像素点。

此时,初始裸眼立体显示设备生成棋盘格图像的过程可以为:

设置棋盘格的尺寸信息,并获取显示屏的尺寸信息;以显示屏的中心点为对称点,根据显示屏的尺寸信息以及棋盘格的尺寸信息确定显示屏所显示的棋盘格的行列数目;针对每一行中的棋盘格,根据每一棋盘格所属的列数的奇偶信息设置颜色标记;其中相邻行的颜色标记设置方式相反。其中棋盘格图像中各个棋盘格对应的尺寸信息相同。

具体的,根据显示屏的尺寸信息以及棋盘格图像中每一方格的尺寸信息,来确定显示屏所能容纳的棋盘格的数量,在确定棋盘格的数量之后,确定显示屏所能包含的棋盘格的行数和列数。在确定棋盘格的行数和列数之后,针对每一行设置每一棋盘格的颜色,其中同一行中,相邻棋盘格的颜色相反,相邻行中颜色设置方式相反。

即针对每一行棋盘格,统计列数所属的奇数信息和偶数信息,在确定出奇数信息和偶数信息之后,根据奇数信息和偶数信息来设置每一行中奇数列和偶数列的颜色,在设置的过程中相邻行的奇偶列的颜色设置方式相反,例如:第一行中奇数列的颜色为白色,偶数列的颜色为黑色,则第二行中奇数列的颜色为黑色,偶数列的颜色为白色。相应的第三行中奇数列的颜色为白色,偶数列的颜色为黑色。

在显示屏显示棋盘格图像之后,在与显示屏间隔预定距离的镜面上形成棋盘格图像的虚像,利用显示屏端面上的摄像头对镜面上形成的棋盘格图像的虚像进行拍摄,来获取第一目标图像。第一目标图像具体可参见图7。

在获取第一目标图像之后,根据包含有第一预定图像的第一目标图像,获取摄像头的校正参数的过程为:获取第一目标图像中第一预定图像中的特征像素点的实际像素坐标;根据特征像素点的实际像素坐标,确定摄像头的校正参数。

其中特征像素点为棋盘格图像中的角点,获取第一目标图像中第一预定图像中的特征像素点的实际像素坐标时,在第一目标图像中确定特征像素点之后,根据每一特征像素点,采用角点图像检测算法,获取第一目标图像中对应的特征像素点的实际像素坐标uv*。

参见图7,其中棋盘格图像中特征像素点的数量为多个,在本方案中获取的特征像素点均为棋盘格图像的角点,例如棋盘格图像中特征像素点的数量可以为135个。当特征像素点的数量为135个时,相应的,棋盘格图像中特征像素点的原始坐标信息的数量为135个,利用图像检测算法得到的特征像素点的实际像素坐标信息的数量也为135个。

本发明实施例技术方案中,在获取第一目标图像时需要采用镜面映射原理,其中在采用镜面映射原理时,所采用的校正制具有多种,下面进行详细的举例说明。

方式一

如果是手机、平板、电脑(摄像头法线与本身屏幕垂直)这样的终端设备以及屏幕,可以设计平行的支架,一面来放置镜子,一面来放置显示屏,支架的上下面尽量光滑,使得显示屏与镜子保持平行,另外镜子的反射面与显示屏相对,让支架与显示屏直接接触。

设计出的制具需要能够保证显示屏和镜面平行,同时要尽量不被外界的光线干扰,同时也要满足轻便和多型号适配的特点。为了使摄像头能够拍到整个显示屏画面,显示屏需要离镜面合适的距离,太近则无法拍到完整的屏幕,太远则拍到的画面太小。由于在校正过程中不能够移动终端设备,制具要保证终端设备的固定,同时也要考虑到终端设备周边的按键不会轻易被按下,以及连接终端设备的数据线也不能够被抬起。

在不同的场景下支架制具具有不同的形态,但主要的特征是:1、显示屏与镜面平行;2、显示屏与镜面间隔的距离能够保证摄像头拍照得到完整的屏幕图案;3、尽量保证在校正过程中终端设备不被移动;4、为了适配更多类似的设备,需要将托放显示屏的面板做得灵活。

方式二

利用辅助控制的方式进行校正,即利用c/s模式,使用socket进行通信,客户端主机通过数据线和待校正裸眼立体显示设备进行连接,客户端主机负责发送命令和流程控制,待校正裸眼立体显示设备负责图像显示、接收命令并传回数据,系统模型如图2所示,包括:客户端主机21,与客户端主机21连接的裸眼立体显示设备22,裸眼立体显示设备22固定在制具23上,且裸眼立体显示设备22的显示屏与制具23上的全反射镜片232平行相对且间隔预定距离。

校正时只需要将裸眼立体显示设备22放置在制具23上,通过数据线连接裸眼立体显示设备22和客户端主机21,就可以进行校正工作了。上述系统结构的特点是,制具23和客户端主机21之间的连接比较灵活,部署时需要将客户端程序安装到客户端主机21上。

如图3a~3d所示,制具包括:暗黑箱体231和安装在暗黑箱体231内的全反射镜片232,裸眼立体显示设备22可拆卸安装于暗黑箱体231上,并与全反射镜片232平行且相对设置,裸眼立体显示设备22与全反射镜片232间隔预定距离,全反射镜片232用于反射裸眼立体显示设备22显示的图像,以使裸眼立体显示设备22采集2全反射镜片232反射的图像。暗黑箱体231包括盖板233,盖板233上设有与裸眼立体显示设备22外形相适配的凹槽,裸眼立体显示设备22可拆卸安装于凹槽内,且裸眼立体显示设备22显示的图像经由凹槽的底部到达全反射镜片232。凹槽的底部设有第一开口部,裸眼立体显示设备显示的图像经由第一开口部到达全反射镜片232。凹槽内安装有透明玻璃基板234,透明玻璃基板234盖设于第一开口部上并用于承载裸眼立体显示设备22。

如图2、图3a~3d所示,在校正过程中,裸眼立体显示设备22与客户端主机21连接,客户端主机21启动应用程序之后,触发裸眼立体显示设备22开启应用程序,在设置屏幕亮度之后,客户端主机21生成对应的图像,当需要进行摄像头校正时,此时需要生成棋盘格图像。

客户端主机21根据当前的屏幕状态确定对应的坐标系,生成棋盘格图像之后,将棋盘格图像传递至裸眼立体显示设备22,在裸眼立体显示设备22显示棋盘格图像之后,棋盘格图像投影至全反射镜片232内,利用摄像头对全反射镜片232内形成棋盘格图像的虚像进行拍摄,获取第一目标图像,然后由客户端主机21对第一目标图像进行分析,获取摄像头校正参数。

其中,为了设备方便部署,可将支架与主机设计在一起,如图4a和图4b所示的主机校正系统,包含:支架41以及一台特制机箱的主机42,主机42和支架41之间可以灵活的进行拆卸和组装,裸眼立体显示设备22固定在支架41上。当裸眼立体显示设备22型号改变时,只需要另外设计能够和主机42组装在一起的支架41即可。该支架41不仅能够整体进行更换,也可以只更换托板,另外由于机箱本身具有密封的环境,不需要多余的材料来将四根立柱包围。

辅助控制校正的特点是将裸眼立体显示设备当作一个附属设备,主机控制裸眼立体显示设备,进行软件的安装以及发送命令、获取屏幕图像等操作,可以实现较为复杂的需求,例如上传每个裸眼立体显示设备的校正日志,为每一个裸眼立体显示设备分配一个编号等。辅助控制校正系统不需要设备提前安装相关软件,可以更灵活的进行校正。

方式三

自校正方式,即通过自身的系统进行图片显示、抓图以及计算得到最后的参数;该系统只需要裸眼立体显示设备和平行镜面以及相应制具即可。该校正装置轻巧简便,如图3a~3d所示,包括,暗黑箱体231和安装在暗黑箱体231内的全反射镜片232,裸眼立体显示设备22可拆卸安装于暗黑箱体231上,并与全反射镜片232平行且相对设置,裸眼立体显示设备22与全反射镜片232间隔预定距离,全反射镜片232用于反射裸眼立体显示设备22显示的图像,以使裸眼立体显示设备22采集全反射镜片232反射的图像。裸眼立体显示设备22与全反射镜片232之间间隔的预定距离,可以保证裸眼立体显示设备22上的摄像头对全反射镜片322上形成的虚像进行清晰的拍摄。

其中,暗黑箱体231包括盖板233,盖板233上设有与裸眼立体显示设备22外形相适配的凹槽,裸眼立体显示设备22可拆卸安装于凹槽内,且裸眼立体显示设备22显示的图像经由凹槽的底部到达全反射镜片232。凹槽的底部设有第一开口部,裸眼立体显示设备22显示的图像经由第一开口部到达全反射镜片232。凹槽内安装有透明玻璃基板234,透明玻璃基板234盖设于第一开口部上并用于承载裸眼立体显示设备22。

凹槽的侧壁设有止口结构,透明玻璃基板234安装于止口结构内。止口结构包括凹止口,凹止口延伸出用于承载透明玻璃基板234的承载部,透明玻璃基板234与承载部未重叠的区域大于裸眼立体显示设备22的显示区域。在透明玻璃基板234与凹槽配合时,止口结构支撑透明玻璃基板234,来保证透明玻璃基板234与凹槽的配合。同时在透明玻璃基板234与凹槽匹配时,两者形成的结构可以防止灰尘进入暗黑箱体231内。透明玻璃基板4与承载部的未重叠的区域大于裸眼立体显示设备22的显示区域。可以保证显示屏内显示的图像通过透明玻璃基板234,投影至全反射镜片232上,进而实现裸眼立体显示设备22上的摄像头对全反射镜片232上形成虚像的采集。

凹槽的深度与承载部的厚度之差大于或者等于透明玻璃基板234与裸眼立体显示设备22的厚度之和,便于容纳裸眼立体显示设备22。盖板233上还设置有两个凹陷部,两个凹陷部对称设置于凹槽的两侧。通过在盖板233的边缘部位设置凹陷部,可以方便用户拿取安装于凹槽内的裸眼立体显示设备22。盖板233上还设有安放与裸眼立体显示设备22相连接的连接线的安装部,安装部与凹槽连通。暗黑箱体231包括箱本体,箱本体设置有第二开口部,盖板233盖设于第二开口部上。

具体的工作原理:裸眼立体显示设备22放置在透明玻璃基板234上,正下方有全反射镜片232,裸眼立体显示设备22屏幕上的图像可透过透明玻璃基板234和第一开口部,在全反射镜片232上成像,裸眼立体显示设备22的摄像头可以拍摄到全反射镜片232上的图像,利用软件计算图像的相关数据,校正立体显示效果。

具体的校正流程为:裸眼立体显示设备启动应用程序,提示用户将裸眼立体显示设备放置在透明玻璃基板上。之后裸眼立体显示设备根据当前屏幕状态确定对应的坐标系,根据对应的参数显示棋盘格图像,并利用摄像头拍摄棋盘格在全反射镜片上形成的虚像,获取第一目标图像,裸眼立体显示设备根据第一目标图像计算摄像头校正参数,保存摄像头的校正参数,使得裸眼立体显示设备能够使用摄像头的校正参数进行裸眼立体显示。

该系统的校正设备拥有自己的操作系统,利用预装的校正软件进行图片显示(棋盘格),并利用自身的摄像头获取在镜面中的投影图像,通过计算得到自身的设备参数。自较正系统的特点是结构简单,自身完成图像显示和计算,不需要连接额外的主机,不需要与其他机器进行通讯,但是需要提前预装校正软件。

此外,此方法适用于所有裸眼立体显示设备,裸眼立体显示设备可以是横屏观看,也可以是纵屏观看,均可采用此方法进行校正。并且,针对不同的操作系统,可以使用同样的方法对其进行扩展适配,以便运行在不同的系统上。

本发明实施例中在不同的屏幕模式下进行不同的校正,在横屏模式下,采用上述的校正方法执行一次校正流程,来获取横屏模式下对应的摄像头校正参数并保存;在纵屏模式下,采用上述的校正方法执行一次校正流程,来获取纵屏模式下摄像头校正参数并保存。

在实际应用过程,在横屏模式下校正时,需要调用横屏模式下对应的摄像头校正参数即可实现摄像头的校正过程;在纵屏模式下校正时,需要调用纵屏模式下对应的摄像头校正参数即可实现摄像头的校正过程。

本发明实施例技术方案,将裸眼立体显示设备显示的第一预定图像投射到镜面上,利用待校正的摄像头对第一预定图像投射到镜像上形成的虚像进行拍摄,获取包含有第一预定图像的第一目标图像,然后根据包含有第一预定图像的第一目标图像,获取摄像头的校正参数。本发明实施例提供的这种校正方法,可以适用于不同的显示设备,而且,相较于现有的摄像头校正方法,根据第一目标图像确定摄像头的校正参数时,利用镜面映射的方式获取到第一目标图像,由于摄像头距离镜面的距离已知,仅需依据一幅第一目标图像即可完成校正过程,且在校正过程中,可以实现对摄像头进行自动化、快速化校正。

本发明实施例还提供一种摄像头的校正装置,摄像头设置在裸眼立体显示设备上,裸眼立体显示设备包括显示屏,显示屏包括显示器件和分光器件,显示器件和分光器件相对设置,如图5a-5d所示,该装置包括:

第一投射模块10,用于将所述裸眼立体显示设备显示的第一预定图像投射到镜面上;

第一获取模块20,用于利用摄像头对裸眼立体显示设备显示的第一预定图像投射在镜面上形成的虚像进行拍摄,获取第一目标图像,第一目标图像中包含有第一预定图像;

第二获取模块30,用于根据包含有第一预定图像的第一目标图像,获取摄像头的校正参数,其中,摄像头的校正参数包括摄像头的内参和外参;

第一保存模块40,用于保存摄像头的校正参数,使得裸眼立体显示设备能够使用摄像头的校正参数进行裸眼立体显示。

其中,在镜面上形成虚像时,显示屏与镜面平行相对。

其中,第二获取模块30包括:

第一获取子模块31,用于获取第一目标图像中第一预定图像中的特征像素点的实际像素坐标;

第一确定子模块32,用于根据特征像素点的实际像素坐标,确定摄像头的校正参数。

其中,第一确定子模块32包括:

第一获取单元321,用于获取第一目标图像中的第一预定图像中特征像素点的理论像素坐标和摄像头的校正参数的第一关联关系;

第一确定单元322,用于根据特征像素点的实际像素坐标以及理论像素坐标和摄像头的校正参数的第一关联关系,确定摄像头的校正参数。

其中,第一获取单元321进一步包括:

第一获取子单元3211,用于获取裸眼立体显示设备显示第一预定图像时特征像素点的原始坐标信息;

第二获取子单元3212,用于根据特征像素点的原始坐标信息、显示屏与镜面的位置关系,获取虚像中特征像素点的第一坐标信息,根据特征像素点的第一坐标信息,利用摄像头的校正参数进行预定坐标变换,从而获取第一关联关系;或者,用于将所述特征像素点的原始坐标信息代入到预先设定的坐标转换关系式中,从而获取到所述第一关联关系。

其中,显示屏与镜面的位置关系包括显示屏与镜面的距离。

其中,第一确定单元322进一步包括:

建立单元3221,用于建立第一关联关系对应的第一代价函数;

第一确定子单元3222,用于根据获取的实际像素坐标,利用最小化算法最小化第一代价函数,确定摄像头的校正参数。

其中,第一预定图像为棋盘格图像,特征像素点为相邻棋盘格之间交点。

本发明实施例还提供一种计算机可读存储介质,用于存储计算机程序,计算机程序可被处理器执行上述的方法。

本发明实施例还提供一种电子设备,电子设备包括一个或多个处理器,处理器被配置为执行上述的方法。

本发明实施例还提供一种裸眼立体显示设备,包括:

壳体、设置在壳体上的显示屏和摄像头、设置在壳体内的一个或多个处理器;

显示屏包括显示器件和分光器件,显示器件和分光器件相对设置;

处理器用于:

控制显示屏上显示第一预定图像;

摄像头用于对显示屏上显示的第一预定图像投射到镜面上所形成的虚像进行拍摄,获取第一目标图像,第一目标图像中包含有第一预定图像;

处理器还用于:

根据包含有第一预定图像的第一目标图像,获取摄像头的校正参数,其中,摄像头的校正参数包括摄像头的内参和外参;

保存摄像头的校正参数,使用摄像头的校正参数进行裸眼立体显示处理。

本发明实施例,将裸眼立体显示设备显示的第一预定图像投射到镜面上,利用摄像头对第一预定图像投射到镜像上形成的虚像进行拍摄,获取第一目标图像,第一目标图像中包含有第一预定图像;根据包含有第一预定图像的第一目标图像,获取摄像头的校正参数,其中,摄像头的校正参数包括摄像头的内参和外参;保存摄像头的校正参数,使得裸眼立体显示设备能够使用摄像头的校正参数进行裸眼立体显示,实现将裸眼立体显示设备在生产过程中的出现的误差进行检测校正并保存校正参数,以便于后续过程中的实时调用。本发明提供的校正方法,可以适用于不同的显示设备,相较于现有的摄像头校正方法,本发明中根据第一目标图像确定摄像头的校正参数时,仅需依据一幅第一目标图像即可完成校正过程,且在校正过程中,可以实现对摄像头进行自动化、快速化校正。

以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1