全景环视图像的显示方法及装置与流程

本发明实施例涉及车载环视领域，尤其涉及一种全景环视图像的显示方法和装置。

背景技术：

随着人们生活水平的提高，交通业越来越发达，汽车已经成为人们出行不可或缺的交通工具。然而随着用地资源的日益紧张。道路、停车场等场所的停车位大小有限，对驾驶员的泊车技术要求越来越高。

现有技术中，驾驶员进行泊车时，通常通过后视镜、倒车雷达、倒车摄像头综合查看道路或停车场的情况进行泊车。这种泊车方式由于在汽车两边和四个角落存在视觉盲区，驾驶员无法看到汽车周围的停车位的实际情况，很容易导致刮擦现象或造成交通事故。

技术实现要素：

本发明实施例提供一种全景环视图像的显示方法及装置，实现了对全景环视图像的显示，使驾驶员能够清楚的看到车辆周围的道路的实际情况，避免造成刮擦现象或造成交通事故。

本发明实施例提供一种全景环视图像的显示方法，包括：

采集车身前后左右四面的四幅鱼眼视野图像；

对所述四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；

根据所述鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定所述屏幕上每个像素点对应的像素值；

根据所述像素值在所述显示屏屏幕上显示世界坐标系下的全景环视图像。

本发明实施例提供一种全景环视图像的显示装置，包括：

采集模块，用于采集车身前后左右四面的四幅鱼眼视野图像；

融合拼接模块，用于对所述四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；

确定模块，用于根据所述鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定所述显示屏幕上每个像素点对应的像素值；

显示模块，用于根据所述像素值在所述显示屏幕上显示世界坐标系下的全景环视图像。

本发明实施例提供一种全景环视图像的显示方法和装置，该方法包括：采集车身前后左右四面的四幅鱼眼视野图像；对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定显示屏幕上每个像素点对应的像素值；根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。该方法实现了对全景环视图像的显示，使驾驶员能够清楚的看到车辆周围道路的实际情况，避免造成刮擦现象或造成交通事故。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明全景环视图像的显示方法实施例一的流程图；

图2为本发明全景环视图像的显示方法实施例二的流程图；

图3为本发明全景环视图像的显示装置实施例一的结构示意图；

图4为本发明全景环视图像的显示装置实施例二的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明全景环视图像的显示方法实施例一的流程图，如图1所示，本实施例的执行主体为计算机，具体为计算机中的gpu处理器。则本实施例提供的全景环视图像的显示方法包括：

步骤101，采集车身前后左右四面的四幅鱼眼视野图像。

本实施例中，在车身的前后左右四侧分别安装鱼眼摄像头，每个鱼眼摄像头分别用于采集对应方位上的鱼眼视野图像。采集到的鱼眼视觉图像上的像素点坐标表示为(u,v)，在每个像素点都对应一个像素值，该像素值表示对应像素点的颜色。

步骤102，对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像。

本实施例中，由于鱼眼摄像头拍摄的鱼眼视觉图像有重叠部分，所以对四幅鱼眼视野图像的重叠部分进行融合和拼接处理，形成鱼眼全景环视图像。

其中，对四幅鱼眼视野图像的重叠部分进行融合处理时，可采用alpha图像融合方法进行融合处理。

本实施例中，在对四幅鱼眼视野图像的重叠部分进行融合拼接时，记录融合拼接部分的像素点坐标及像素点对应的像素值。

步骤103，根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定屏幕上每个像素点对应的像素值。

本实施例中，由于鱼眼摄像头的坐标系与世界坐标系也不同，所以鱼眼摄像头拍摄的鱼眼视野图像与普通的摄像头拍摄的视野图像不同，并且在鱼眼视野图像进行融合拼接后，形成的鱼眼全景环视图像与显示屏幕的大小也不同，所以需要确定鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，在确定鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系后，确定屏幕上每个像素点对应的像素值。

本实施例中，显示屏幕上的像素点为世界坐标系下的像素点。

本实施例中，可先确定显示屏幕上像素点与世界坐标系下的网格坐标数据的对应关系，再确定世界坐标系下的网格坐标数据与鱼眼全景环视图像像素点的对应关系，以达到确定显示屏幕上每个像素点与鱼眼全景环视图像像素点的对应关系的目的。

步骤104，根据像素值在显示屏屏幕上显示世界坐标系下的全景环视图像。

本实施例中，在将显示屏幕上的每个像素点以对应的鱼眼全景环视图像像素点的像素值进行显示，以显示世界坐标系下的全景环视图像。

本实施例中，在步骤101中，鱼眼摄像头采集的鱼眼视野图像是实时采集的，所以在显示屏幕上显示世界坐标系下的全景环视图像也是不断变化的。

本实施例提供的全景环视图像的显示方法，包括：采集车身前后左右四面的四幅鱼眼视野图像；对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像；根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定显示屏幕上每个像素点对应的像素值；根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。该方法实现了对全景环视图像的显示，使驾驶员能够清楚的看到车辆周围道路的实际情况，避免造成刮擦现象或造成交通事故。

图2为本发明全景环视图像的显示方法实施例二的流程图，如图2所示，本实施例的执行主体为计算机，具体为计算机中的gpu处理器。则本实施例提供的全景环视图像的显示方法包括：

步骤201，采集车身前后左右四面的四幅鱼眼视野图像。

本实施例中，在通过车身的前后左右四侧的鱼眼摄像头采集车身前后左右四面的四幅鱼眼视野图像之前，准备帧缓存区域，以存储采集到的四幅鱼眼视野图像。

本实施例中，在采集车身前后左右四面的四幅鱼眼视野图像后，对图像进行进一步处理，如抗抖动处理等，以使后续进行融合拼接的鱼眼全景环视图像更准确。

步骤202，对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像。

本实施例中，可采用alpha图像融合方法进行融合处理。

形成的鱼眼全景环视图像所展示的场景的大小，在长度上可以为：车身长度尺寸+车身前方距离景物的距离+车身后方距离景物的距离，宽度上可以为：车身宽度尺寸+车身左方距离景物的距离+车身右方距离景物的距离。

在形成的鱼眼全景环视图像中，鱼眼全景环视图像的像素点坐标表示为(u,v)，在每个像素点都对应一个像素值，该像素值表示对应像素点的颜色，如可采用0-255中的某个值表示像素点的颜色。

本实施例中，对鱼眼全景环视图像中每个像素点所属的鱼眼视觉图像进行记录，以便在后续根据鱼眼摄像头成像模型确定有效网格坐标数据对应的有效鱼眼全景环视图像像素点时，找到对应的鱼眼摄像头成像模型。

步骤203，获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离。

本实施例中，获取的车身前后左右方向距离景物的距离可以为鱼眼摄像头所能拍摄到的车身前后左右方向距离最远景物的距离，也可以为车身前后左右方向距离景物的预设距离，本实施例中不做限定。

本实施例中，获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离后，车周围实际场景的长度为：车身长度尺寸+车身前方距离景物的距离+车身后方距离景物的距离，车周围实际场景的宽度为：车身宽度尺寸+车身左方距离景物的距离+车身右方距离景物的距离。

本实施例中，车周围实际场景的大小与鱼眼全景环视图像所展示场景的大小相同。

步骤204，根据车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，按照预设采集间隔，生成在世界坐标系下的所有网格坐标数据。

本实施例中，根据车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离确定车周围实际场景的大小，如车周围实际场景的大小为6m*6m，采样间隔预先设定，如可以为5cm，也可以为其他数值，本实施例中不做限定。

本实施例中，在车周围实际场景中按照预设采样间隔进行采样，生成在世界坐标系下的所有网格坐标数据。如在上述举例中，车周围实际场景的大小为6m*6m，采样间隔为5cm，则生成的世界坐标系下的所有网格坐标数据有120*120个坐标点。

本实施例中，可在执行完步骤201-步骤202后执行步骤203-步骤204，也可在执行步骤203-步骤204后执行步骤201-步骤202，本实施例中不做限定。

步骤205，根据投影矩阵确定显示屏幕上每个像素点对应的有效网格坐标数据。

本实施例中，可将世界坐标系下的所有网格坐标数据x,y,z三个方向上都映射到[-1，1]中。由于本实施例中的世界坐标系下的所有网格坐标数据在y方向上的坐标数据都为零，所以在将世界坐标系下的所有网格坐标数据x,y,z三个方向上都映射到[-1，1]中后，进行透视除法，生成平面图，然后根据显示屏幕的大小和网格坐标数据所包含的车周围实际场景范围确定显示屏幕和网格坐标数据之间的投影矩阵。

本实施例中，在确定完显示屏幕和网格坐标数据之间的投影矩阵后，根据投影矩阵确定显示屏幕上每个像素点对应的有效网格坐标数据。其中，有效网格坐标数据为与显示屏幕上的像素点有对应关系的网格坐标数据。

步骤206，对鱼眼摄像头成像模型中的内参和外参进行标定。

本实施例中，对每个鱼眼摄像头的成像模型中的内参和外参进行标定。

具体地，鱼眼摄像头成像模型表示为如下大括号中所示：

其中，(xw,yw,zw)表示世界坐标系下的一个有效网格坐标数据，(xc,yc,zc)表示对应的鱼眼摄像头坐标系下的坐标，r表示旋转矩阵，t表示平移向量，(fx,fy)为焦距，(cx,cy)为鱼眼摄像头中心，k1.k2.k3,k4为径向畸变系数，(u,v)为所述鱼眼全景环视图像像素点的坐标。

在鱼眼摄像头成像模型中，径向畸变系数k1.k2.k3,k4，焦距(fx,fy)和鱼眼摄像头中心坐标(cx,cy)为内参，旋转矩阵r和平移向量t为外参。

本实施例中，有效网格坐标数据可以为二维坐标数据，在有效网格坐标数据为二维坐标数据时，yw取值为零。

本实施例中，对鱼眼成像模型的内参和外参进行标定的方法与现有技术相同，在此不再一一赘述。

步骤207，根据鱼眼摄像头成像模型确定有效网格坐标数据对应的有效全景环视图像像素点。

本实施例中，以有效网格坐标数据为输入，输入到鱼眼摄像头成像模型中，输出的(u,v)，即为与有效网格坐标数据对应的鱼眼全景环视图像像素点坐标。

本实施例中，与有效网格坐标数据有对应关系的鱼眼全景环视图像像素点为有效鱼眼全景环视图像像素点。

步骤208，将有效鱼眼全景环视图像像素点对应的像素值赋值给显示屏幕上对应的像素点，根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。

本实施例中，由于预先存储了鱼眼全景环视图像每个像素点坐标及像素值。则在确定显示屏幕上每个像素点对应的鱼眼全景环视图像的像素点之后，将有效鱼眼全景环视图像像素点对应的像素值赋值给显示屏幕上对应的像素点，根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。

本实施例提供的全景环视图像的显示方法，获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，根据车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，按照预设采集间隔，生成在世界坐标系下的所有网格坐标数据，根据投影矩阵确定显示屏幕上每个像素点对应的有效网格坐标数据，并根据鱼眼摄像头成像模型确定有效网格坐标数据对应的有效全景环视图像像素点，将有效鱼眼全景环视图像像素点对应的像素值赋值给显示屏幕上对应的像素点，根据像素值在显示屏幕上显示世界坐标系下的全景环视图像，不仅使驾驶员能够清楚的看到车辆周围的停车位的实际情况，避免造成刮擦现象或造成交通事故，而且由于全景环视图像的拼接显示过程都是在gpu处理器的作用下完成的，避免了通过dsp芯片中进行全景环视图像拼接，再将拼接后的图像传输给gpu进行显示使拼接显示效率低的缺点，提高了全景环视图像的显示速度。

图3为本发明全景环视图像的显示装置实施例一的结构示意图，如图3所示，本实施例提供的全景环视图像的显示装置包括：采集模块301，融合拼接模块302，确定模块303和显示模块304。

其中，采集模块301，用于采集车身前后左右四面的四幅鱼眼视野图像。融合拼接模块302，用于对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像。确定模块303，用于根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定显示屏幕上每个像素点对应的像素值。显示模块304，用于根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。

本实施例提供的全景环视图像的显示装置可以执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图4为本发明全景环视图像的显示装置实施例二的结构示意图；如图4所示，本实施例提供的全景环视图像的显示装置包括：采集模块401，融合拼接模块402，确定模块403，显示模块404，获取模块405，生成模块406,和标定模块407。

其中，采集模块401，用于采集车身前后左右四面的四幅鱼眼视野图像。融合拼接模块402，用于对四幅鱼眼视野图像的重叠部分进行融合拼接，形成鱼眼全景环视图像。确定模块403，用于根据鱼眼全景环视图像像素点与显示屏幕像素点之间的对应关系，确定显示屏幕上每个像素点对应的像素值。显示模块404，用于根据像素值在显示屏幕上显示世界坐标系下的全景环视图像。

进一步地，确定模块403具体用于：根据投影矩阵确定显示屏幕上每个像素点对应的有效网格坐标数据；根据鱼眼摄像头成像模型确定有效网格坐标数据对应的有效鱼眼全景环视图像像素点；将有效鱼眼全景环视图像像素点对应的像素值赋值给显示屏幕上对应的像素点。

进一步地，获取模块405，用于获取车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离。生成模块406，用于根据车身长度尺寸和宽度尺寸，以及车身前后左右方向距离景物的距离，按照预设采样间隔，生成在世界坐标系下的所有网格坐标数据。

进一步地，本实施例提供的全景环视图像的显示装置中，鱼眼摄像头成像模型具体表示为：

其中，(xw,yw,zw)表示世界坐标系下的一个有效网格坐标数据，(xc,yc,zc)表示对应的鱼眼摄像头坐标系下的坐标数据，r表示旋转矩阵，t表示平移向量，(fx,fy)为焦距，(cx,cy)为鱼眼摄像头中心坐标，k1.k2.k3,k4为径向畸变系数，(u,v)为鱼眼全景环视图像像素点的坐标。

进一步地，标定模块407，用于对鱼眼摄像头成像模型中的内参和外参进行标定；其中，径向畸变k1.k2.k3,k4，焦距(fx,fy)和鱼眼摄像头中心坐标(cx,cy)为内参，旋转矩阵r和平移向量t为外参。

本实施例提供的全景环视图像的显示装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。