一种畸变校正方法、装置及显示系统与流程

本发明属于光学显示领域,特别是一种畸变校正方法、装置及显示系统。

背景技术：

近些年，头戴显示器(hmd)已经广泛应用于虚拟现实(vr)与增强现实(ar)硬件中。但是hmd显示的虚拟图像通常依赖精巧的光学系统投影放大而出，在大视场角下容易受到畸变影响，严重的光学畸变使得用户在体验中感到不适。因此对于产生畸变的光学系统，通常通过预畸变图像处理的方法进行校正，从而使投影放大而出的虚拟图像被人眼看到时呈现逼近于理想的状态。

畸变的成因大多数是由不能完全理想的光学设计以及生产、装调过程产生，主要分为两种类型的光学畸变：径向畸变和切向畸变。用于vr的光学系统是轴对称光学系统，其畸变类型主要是径向畸变(桶形或者枕形)，对此，有较为成熟的通用畸变校正方法。而在用于ar的光学系统中，离轴、倾斜非对称系统、自由曲面等越来越多的受到应用，畸变类型包含径向畸变和切向畸变，此时，需要综合考虑径向畸变和切向畸变的校正方法。目前，光学系统的畸变校正主要有光学校正和图像电子校正两种方式，其中光学校正方法主要采用附加的光学镜头来对光学系统的畸变进行校正，这种方式，因为附加了光学镜头，会提升光学系统的成本和重量。现有的非对称光学成像系统的应用相对于传统的光学成像系统引入了更为复杂的径向畸变和更严重的切向畸变。传统的图像电子校正已经很难满足所需的校正精度和应用需求。另外，由于光学系统在实际的加工装调影响下，实际的成像畸变引入了除光学系统理论设计成像畸变以外的畸变。在这种加工装调畸变与理论设计畸变同时存在的情况下，对畸变校正提出了更高的要求。

技术实现要素：

有鉴于此，本发明的主要目的在于提供一种畸变校正的方法、装置及使用其的显示系统，采用本发明所述的方案，可以提高校正精度，给用户更好的视觉效果。

本发明提供了一种畸变校正方法，包括：读取标定畸变图像，并与标定图像理想成像比较，根据光学系统成像畸变的定义得到标定畸变率矩阵；将标定畸变率矩阵插值，得到畸变率矩阵，读取预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系；将原始图像像素赋值给与之对应的预畸变图像坐标，获取预畸变图像，将所述预畸变图像经过光学系统，得到畸变校正后的图像。

进一步的，所述读取标定图像经过光学系统的成像之前，该方法进一步包括：对初始图像进行采样，获取标定图像，所述采样密度可根据需要自行设定。

进一步的，读取标定畸变图像，以其中心点无畸变区域为基准，生成标定理想成像。

进一步的，所述获取原始图像和预畸变图像坐标的映射关系包括：将预畸变图像坐标转换成平面坐标系中的极坐标，然后根据畸变率矩阵、畸变率公式、畸变总量公式，求取预畸变图像坐标系的原始图像极坐标，根据预畸变图像坐标和原始图像坐标在预畸变图像坐标系中的对应关系，获取原始图像坐标在平面坐标系的直接坐标，根据坐标转换，得到原始图像坐标。

进一步的，所述将原始图像像素赋值给与之对应的预畸变坐标进一步包括：读取非整数原始图像坐标，选取与所述非整数原始图像坐标所在网格的四个原始图像坐标的像素值，根据距离加权公式，得到与所述非整数原始图像坐标有映射关系的预畸变图像坐标的像素值。

本发明还提供了一种畸变校正装置，该装置包括：畸变率矩阵处理单元、映射获取单元以及预畸变图像获取单元；畸变率矩阵处理单元，用于读取标定畸变图像，与标定理想成像比较，根据光学系统成像畸变定义，获取标定畸变率矩阵，并进一步对其插值，获取畸变率矩阵；映射获取单元，用于读取畸变率矩阵处理单元中的畸变率矩阵，根据预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系；预畸变图像获取单元，用于读取原始图像坐标的像素值，根据原始图像坐标和预畸变图像坐标的映射关系，将所述原始图像坐标的像素值赋值给有映射关系的预畸变图像坐标，获取预畸变图像，将获取的预畸变图像通过光学系统，得到校正后的图像。

进一步的，改装置进一步包括：采样单元，所述采样单元，用于对初始图像进行采样，得到标定图像。

进一步的，所述畸变率矩阵处理单元，用于读取标定网格点畸变图像，以其中心点无畸变区域为基准，生成标定理想成像。

进一步的，映射获取单元，用于读取畸变率矩阵处理单元中的畸变率矩阵，读取预畸变图像坐标，并将其转换为平面坐标系的极坐标，然后根据畸变率矩阵、畸变率公式、畸变总量公式，计算预畸变图像坐标系的原始图像极坐标，根据预畸变图像坐标和原始图像坐标在预畸变图像坐标系中的对应关系，获取原始图像坐标在平面坐标系的直角坐标，根据坐标转换，得到原始图像坐标。

本发明还提供了一种使用畸变校正装置的显示系统，所述显示系统包括：畸变校正装置，用于读取初始图像，获取畸变率矩阵，读取原始图像，获取预畸变图像，传输给微显示器；微显示器，用于将初始图像的图像投射给投影装置，将原始图像的预畸变图像投射给投影装置；投影装置，用于将微显示器的图像光投影给成像传输镜体；成像传输镜体，用于接收投影装置的图像光，传送进人眼。

采用本发明所述的畸变校正方法、装置及显示系统，采用原始图像坐标与预畸变图像坐标对应并一一赋值的方式，可以很大程度上提高校正精度，并通过对原始图像的非整数坐标所在网格像素进行距离加权，得到对应的预畸变图像坐标的像素值，对校正精度和校正效果进一步优化，实现对显示系统要显示图像的实时、高效的校正，给用户带来非常好的视觉效果。

附图说明

图1为本发明所述方案的方法流程示意图；

图2为标定畸变图像和标定理想成像位置关系示意图；

图3为预畸变图像坐标位置示意图；

图4为预畸变图像坐标与原始图像坐标位置关系示意图；

图5为原始图像非整数坐标与预畸变图像坐标位置关系示意图；

图6为预畸变图像和校正后图像对比图；

图7为预畸变图像和校正后图像对比图；

图8为预畸变校正装置结构示意图；

图9为显示系统结构示意图；

图10为校正前后效果对比示意图；

图11为校正效果验证示意图。

具体实施方式

下面通过具体实施例与附图来对本发明进行详细说明。

一种畸变校正方法，如图1所示的，具体流程如下：

步骤101：读取标定畸变图像，与标定理想成像比较，根据畸变率定义，得到标定畸变率矩阵；

具体的，对初始图像进行采样，获取标定图像，所述采样密度可以根据需要自行设定。初始图像优选的为具有点阵排布的图像，在本方案中采用网格点阵列图像作为初始图像。

标定图像经过光学系统后，产生了畸变，形成标定畸变图像，如图2所示意的，实线框内为标定畸变图像的成像区域，o’为标定畸变图像的成像中心，o’点及所有实线框内的标定畸变图像的坐标均可被识别。由于成像中心o’点邻域内的畸变可以忽略不计，以其为基准，生成标定理想成像，具体的：以标定畸变图像中，o’点邻域的网格点与o’点之间的横向间距和纵向间距的平均值，作为标定理想成像的网格点之间的横向间距和纵向间距，即可生成标定理想成像，也就是图2中虚线框区域对应的区域，所述邻域为距离o’点最近的标定畸变图像网格点所围成的区域。以本方案为例，距离o’点最近的畸变图像网格点为a1-a8，那么a1-a8所围成的区域即为o’点的邻域，取a1-a8的横向间距的平均值，以及纵向间距的平均值，作为标定理想成像的网格点之间的横向间距和纵向间距，以o’点为中心，扩展形成标定理想成像。至此，我们可以将该光学系统的畸变看作从理想成像即虚像框区域内的标定网格点，畸变成标定畸变图像即实线框内的标定网格点的过程。以理想成像中的w点为例，光学系统的畸变引起w点移至i’点。

建立以中心点为原点的坐标系(标定畸变图像与标定理想成像的中心点重合)，读取标定理想成像坐标以及与之对应的标定畸变图像坐标，根据光学系统成像畸变的定义，得到标定成像畸变率，包括径向畸变率和切向畸变率，所述标定成像畸变率，与标定理想成像坐标、所述标定理想成像坐标对应的标定畸变图像坐标一一对应，形成标定畸变率矩阵。本领域技术人员应该明白的是，根据畸变图像坐标和理想成像坐标求取成像畸变率是现有技术。

步骤102：根据标定畸变率矩阵，插值获取畸变率矩阵，进一步读取预畸变图像坐标，获取原始图像坐标和预畸变图像坐标的映射关系；

首先，对标定成像畸变率矩阵进行插值，生成与原始图像分辨率大小相同的畸变率矩阵。这里的原始图像是指显示设备要显示的任意图像，其分辨率与显示设备的分辨率一致。具体的插值方式可以采用现有技术中的任意一种，例如，两个位置最近的已知网格点畸变率的差值为bn-b1，所述网格点之间相差n-1个网格点，插值后的网格点的畸变率为b1+(bn-b1)/n。本领域技术人员应该明白，插值方式不限于此，在此不再一一列举。

以上内容中获取的畸变率矩阵，和下文中的预畸变图像和原始图像对应关系形成的畸变率矩阵是一样的，都是经过光学系统，产生畸变所形成的。预畸变图像与原始图像的分辨率相同，两者的坐标都是已知的，要先获取经过预畸变后两者坐标的对应关系，然后将原始图像坐标对应的像素值赋值给对应的预畸变图像的坐标，获得预畸变图像。申请人在申请号为201910171421.3的中国专利申请中，也提了一种畸变校正的方法，在该方法中，通过软件系统获得预畸变率，根据原始图像坐标，计算获取与之对应的预畸变图像坐标，从而得到原始图像坐标与预畸变图像坐标的映射关系，与本发明方案在获取预畸变图像坐标和原始图像坐标映射关系部分，是相反的过程。

要获取与预畸变图像坐标对应的原始图像坐标，首先要将预畸变图像坐标转换成平面坐标系中的极坐标，然后求取以预畸变图像坐标为坐标原点(即预畸变图像坐标系)的原始图像极坐标，根据预畸变图像坐标和原始图像坐标在预畸变图像坐标系中的对应关系，获取原始图像坐标在平面坐标系的直角坐标，根据坐标转换，得到原始图像坐标。

具体的，如图3、图4所示的，选取任意预畸变图像坐标p，将其在u-ow-v坐标系，也就是图像坐标系坐标p(u，v)转换为以显示设备中微显示器平面的中心点为原点的x0-o-y0坐标系坐标，也可以称之为平面坐标系坐标p(x0,y0)，所述转换可以通过现有技术中的任一转换方式，例如坐标系平移翻转。这里的预畸变图像平面坐标系坐标是以直角坐标的形式表示的，将其转换为极坐标p(ang0，r0)，其中，r0是预畸变坐标的极径，也就是从预畸变坐标p到平面坐标原点的距离po，ang0是预畸变坐标的极角，也就是从x0轴正方向逆时针旋转至极径po所经过的角度，

pixelx和pixely是微显示器横向和纵向的像素数。

然后根据畸变量公式(1)得到原始图像坐标的畸变量

其中，rdist是畸变率矩阵中与所述预畸变图像坐标和原始图像坐标对应的径向畸变率，tdist是畸变率矩阵中与所述预畸变图像坐标和原始图像坐标对应的切向畸变率，dr是径向畸变量，dt是切向畸变量。再根据畸变总量公式(2)得到原始图像坐标的畸变总量d，d为q到预畸变图像坐标系原点的距离，

进一步根据极坐标运算公式(3)和上述获取的畸变量、畸变总量，获取原始图像极角ang1，原始图像的极径即为畸变总量d，至此，获取原始图像坐标极坐标q(ang1,d)，

其中，ang1为x1轴正方向逆时针旋转至极径pq所经过的角度。

所述原始图像极坐标是在预畸变图像坐标系下表示的，将其转换为直角坐标q(x1,y1)，然后，根据预畸变图像的平面坐标系坐标、原始图像坐标在预畸变坐标系下与预畸变坐标的关系，进行坐标变换，将原始图像坐标转换为平面坐标系坐标，并进一步转换为图像坐标系坐标q(u’,v’)，获取预畸变图像坐标与原始图像坐标在图像坐标系中的映射关系。

步骤103，将原始图像像素赋值给预畸变坐标，获取预畸变图像。

读取原始图像坐标的像素值，根据原始图像坐标与预畸变图像坐标的映射关系，将所述像素值赋值给预畸变图像坐标，从而获取预畸变图像。所示预畸变图像经过成像系统，到达人眼，得到校正后的图像。

本领域技术人员可以理解的，在获取原始图像坐标的过程中，计算结果可能存在非整数，会导致如图5所示的，预畸变图像坐标p点在原始图像中对应的原始图像坐标q(u’,v’)没有对应的像素值，为了将原始图像坐标的像素值更精确的赋值给预畸变图像坐标，提高校正精度，读取原始图像坐标中的非整数坐标，对其进行距离加权获取与原始图像坐标q对应的预畸变图像坐标p的像素值。选取所述非整数坐标q所在网格的四个原始图像坐标的像素值q(i-1，j)、q(i-1，j+1)、q(i，j)以及q(i，j+1)，通过距离加权公式(4)确定预畸变图像坐标像素值p(i’，j’)：

其中，dx为原始图像网格中，与距离q直线距离最近的坐标的横向距离，同样理解，dy为纵向距离。

通过本方案获取的预畸变图像，可以更加精准的实现原始图像像素的赋值，使畸变校正的精度大幅度提高。采用本方案的畸变校正方法，得到预畸变图像如图6、图7中左图所示，将预畸变图像经过光学系统后，得到的校正后的图像为图6、图7右图所示。

本发明还提供了一种畸变校正装置，如图8所示，包括：畸变率矩阵处理单元801、映射获取单元802以及预畸变图像获取单元803；

畸变率矩阵处理单元801，用于读取标定畸变图像，与标定理想成像比较，获取标定畸变率矩阵；并进一步插值得到畸变率矩阵；

映射获取单元802，用于读取畸变率矩阵处理单元801中的畸变率矩阵，根据预畸变图像坐标，获取原始图像和预畸变图像坐标的映射关系；

预畸变图像获取单元803，读取原始图像坐标的像素值，根据原始图像坐标和预畸变图像坐标的映射关系，将所述像素值赋值给与原始图像坐标有映射关系的预畸变图像坐标，获取预畸变图像，将获取的预畸变图像通过光学系统成像，得到校正后的图像。

本发明所述的畸变校正装置，进一步包括：采样单元804；

所述采样单元804，对初始图像进行采样，获取标定图像，并发送给畸变率矩阵处理单元801，所述采样的密度可以根据需要自行设定，本方案的初始图像采用网格点阵列图像，对网格点阵列图像进行采样获取标定图像。

畸变率矩阵处理单元801，用于读取标定图像经过光学系统后的标定畸变图像，也就是图2中的实线框内的成像区域，以标定畸变图像的中心点o’的无畸变区域为基准，生成标定理想成像，也就是图2中的虚线框内的成像区域。具体的，o’点邻域的网格点与o’点之间的横向间距和纵向间距的平均值，作为标定理想成像的网格点之间的横向间距和纵向间距，即可生成标定理想成像。所述邻域为距离o’点最近的畸变网格点所围成的区域。

畸变率矩阵处理单元801，读取标定畸变图像坐标和标定理想成像坐标，根据光学系统成像畸变的定义，获取标定成像畸变率，包括径向畸变率和切向畸变率，每个畸变率与标定网格点畸变图像坐标、标定网格点理想成像坐标一一对应，由此，形成了标定畸变率矩阵。

畸变率矩阵处理单元801，用于对标定畸变率矩阵进行插值，生成与原始图像分辨率大小相同的畸变率矩阵。所述原始图像是指显示设备要显示的任意图像，具体的插值方式可以采用现有技术中的任意一种。

映射获取单元802，用于读取畸变率矩阵处理单元801中的畸变率矩阵，读取预畸变图像坐标，并将其转换为平面坐标系中的极坐标，然后根据畸变率矩阵、畸变率公式、畸变总量公式，计算预畸变图像坐标系中的原始图像极坐标，根据预畸变图像坐标和原始图像坐标在预畸变图像坐标系中的对应关系，获取原始图像坐标在平面坐标系的直角坐标，根据坐标转换，得到原始图像坐标。

具体的，映射获取单元802，取任意预畸变图像坐标p(u，v)，将其由图像坐标系坐标转换为平面坐标系坐标p(x0,y0)，所述转换可以通过现有技术中的任一转换方式，这里的预畸变图像平面坐标系坐标是以直角坐标的形式表示的，将其转换为极坐标p(ang0，r0)，其中，r0是预畸变坐标的极径，ang0是预畸变坐标的极角，

pixelx和pixely是微显示器横向和纵向的像素数；

然后根据畸变量公式(1)得到原始图像坐标的畸变量，包括径向畸变量dr和切向畸变量dt，再根据畸变总量公式(2)得到原始图像坐标的畸变总量d，进一步根据极坐标运算公式(3)和上述获取的畸变量、畸变总量，获取原始图像极角ang1，原始图像的极径即为畸变总量d，至此，获取原始图像在预畸变图像坐标系中的极坐标(ang1,d)，将原始图像的预畸变坐标系极坐标转换为直角坐标q(x1,y1)，然后，根据预畸变图像的平面坐标系坐标、原始图像坐标在预畸变坐标系下与预畸变坐标的关系，进行坐标变换，将原始图像坐标转换为平面坐标系坐标，并进一步转换为图像坐标系坐标q(u’,v’)，从而得到预畸变图像坐标与原始图像坐标在图像坐标系中的映射关系。

预畸变图像获取单元803，用于读取原始图像坐标的像素，将其赋值给与其对应的预畸变图像坐标，得到预畸变图像。

进一步的，预畸变图像获取单元803，用于读取获取的原始图像坐标中的非整数坐标，读取非整数坐标所在网格的四个原始图像坐标的像素值，通过距离加权公式(4)确定与所述非整数坐标对应的预畸变图像坐标的像素。

本发明还提一种显示系统，如图9所示，包括如上方案所述的畸变校正装置901，微显示器902、投影装置903以及传输镜体904；

畸变校正装置901，用于读取初始图像的畸变图像，获取畸变率矩阵，进一步获取预畸变图像，传输给微显示器902；

微显示器902，用于将初始图像的图像投射给投影装置903，将原始图像的预畸变图像投射给投影装置903；

投影装置903，用于将微显示器902的图像的图像光投射给成像传输镜体904；

成像传输镜体904，用于接收投影装置903的图像光，传输给人眼或畸变校正装置901。

使用本发明方案中的畸变校正的方法、装置及显示系统，校正前后对比如图10所示，左边为未校正的畸变图像，右边为经过畸变校正的图像，由此可以看出校正效果非常明显。为进一步对本发明方案的校正效果进行验证，本发明采用了均方根误差rms评价的方法，如图11所示，为本发明实施例的校正结果的均方根误差rms随取样点数量的变化情况，其中，横轴表示样本点数量，纵轴表示像素数，可以看到，随着采样样本数量的增多，校正的精度也在提高，当畸变校正最终成像结果为横纵向平均小于1个像素。这里的样本点是指网格点。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。