全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统与流程

本发明属于3d全景拍摄技术领域，具体涉及全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统。

背景技术：

当在世界上创建相机时，人们开始通过图像记录他们的日常生活或历史中的重要事件。对于摄影技术和设备，低清晰度黑白图像已经发展到高清彩色图像和高速摄像机，可以提前每秒拍摄20亿帧。另外，关于摄影的视觉效果，不仅可以拍摄平面图像而且可以拍摄3d图像。

在现有技术中，通过利用3d相机的双镜头相机拍摄3d图像，但是3d图像可以在一些视角内拍摄，这些视角受到设备摄影范围的限制，或者360度周围的全景图像由持有相机并转过身的摄影师拍摄。然而，摄影师必须花费大量时间来利用这种方法拍摄全景图像，因此，采用多个3d相机来拍摄3d全景图像的方法，现在存在三个摄像机到几十个摄像机的配置，但它们都属于单眼视觉系统，因为相机的照片范围重叠较少，并且通过利用视差不能计算或获取深度信息，且虚拟现实和增强现实的3d信息需要深度信息。因此，如何通过使用相机获得3d深度信息非常重要。

技术实现要素：

本发明的目的在于提供全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统，以解决上述背景技术中提出的相机的照片范围重叠较少，并且通过利用视差不能计算或获取深度信息，且虚拟现实和增强现实的3d信息需要深度信息的问题。

为实现上述目的，本发明采用了如下技术方案：全景鱼眼摄像机的图像校准，缝合和深度重建方法，包括如下步骤：

s100：寻找目标空间，进行创建全景光学目标空间；

s120：利用全景鱼眼摄像机对所述全景光学目标空间的全景图像进行拍摄；

s130：创建全景鱼眼摄像机的内部参数校准模型；

s140：创建全景图像以及所述全景光学目标空间的图像拼接参数模型；

s150：建立全景图像以及所述全景光学目标空间的空间深度变换参数模型；

s160：利用图像拼接参数模型，使空间的深度变换参数模型和内部参数的校准模型来生成3d全景图像，其包括全景深度信息；

s170：利用三维激光扫描仪对目标空间进行扫描，使扫描的三维图像与生成的3d全景图形进行比对，对3d全景图形进行校准。

优选的，所述图像拼接参数模型包括优化参数，采集内部参数校准模型，所述图像拼接参数模型和空间深度，来自每个所述全景鱼眼摄像机的变换参数模型。

优选的，所述优化参数用于优化内部参数校准模型，所述图像拼接参数模型和空间深度借助于机器学习的变换参数模型，其中机器学习所使用的算法包括支持向量机。

优选的，所述优化参数用于更新内部参数校准模型、所述图像拼接参数模型和空间深度转换参数模型。

全景鱼眼摄像机的图像校准，缝合和深度重建系统，包括所述全景鱼眼摄像机和三维激光扫描仪，所述全景鱼眼摄像机包括四个鱼眼镜头、四个cmos传感器模块和全景图像和全景深度信息模块，其中，相邻所述鱼眼镜头的拍摄方向的交角为90度；所述全景图像和全景深度信息模块包括内部参数校准模块和存储在其中的内部参数校准模型，其中，所述内部参数校准模块用于提供坐标变换模型之间的坐标变换模型的所需参数；所述cmos传感器模块包括图像拼接模块和存储在其中的所述图像拼接参数模型、空间深度变换参数模块和存储在其中的空间深度变换参数模型，其中，所述图像拼接模块用于将所述全景鱼眼摄像机拍摄的全景图像拼接成全景图片，所述空间深度变换参数模块用于在所述全景鱼眼摄像机中提供2d平面图像与3d空间中物体深度之间的变换模型，得到全景深度信息；全景图像中的每个像素和计算模块与用于生成所述全景图像和全景深度信息模块电连接，其中，所述像素和计算模块用于校准和拼接全景图片和全景深度信息，以生成3d全景图像。

优选的，所述计算模块还包括优化模块，与所述优化模块电连接，用于生成全景图像和全景深度信息，其中，所述优化模块可以累积参数数据通过从每个所述全景鱼眼摄像机收集内部参数校准模型，所述图像拼接参数模型和空间深度变换参数模型，然后通过机器学习方法优化参数数据。

优选的，所述机器学习所使用的算法包括支持向量机。

优选的，所述内部参数校准模块、所述图像拼接模块和所述空间深度变换参数模块集成为单个芯片或者可以是单个芯片。

本发明的技术效果和优点：本发明提出的全景鱼眼摄像机的图像校准缝合和深度重建方法及其系统，与现有技术相比，具有以下优点：

本发明可以快速获取全景图像和深度信息，并且可以通过机器学习方法优化校准参数以累积数据，因此，促进了全景拼接图片的质量和全景深度信息的精度，从而简化了3d深度算法并提高了计算效率。此外，可以植入简化的3d深度算法，在单片机上执行，因此鱼眼摄像机的图像校准系统可以即时校准，便于携带。另外，将简化所需的生产校准过程并节省时间，且在全景鱼眼相机对目标拍摄的同时，采用三维激光扫描仪对目标空间进行扫描，生成三维立体图像，与上述的3d全景图形进行对比校准，进一步提供图像的真实性。

附图说明

图1为本发明的流程图；

图2为本发明的系统图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了如图1所示的全景鱼眼摄像机的图像校准，缝合和深度重建方法，包括以下步骤：

s100：寻找目标空间，进行创建全景光学目标空间；

s120：利用全景鱼眼摄像机对所述全景光学目标空间的全景图像进行拍摄；

s130：创建全景鱼眼摄像机的内部参数校准模型；

s140：创建全景图像以及所述全景光学目标空间的图像拼接参数模型；

s150：建立全景图像以及所述全景光学目标空间的空间深度变换参数模型；

s160：利用图像拼接参数模型，使空间的深度变换参数模型和内部参数的校准模型来生成3d全景图像，其包括全景深度信息；

s170：利用三维激光扫描仪对目标空间进行扫描，使扫描的三维图像与生成的3d全景图形进行比对，对3d全景图形进行校准。

本实施例中，具体的：所述图像拼接参数模型包括优化参数，采集内部参数校准模型，所述图像拼接参数模型和空间深度，来自每个所述全景鱼眼摄像机的变换参数模型。

本实施例中，具体的：所述优化参数用于优化内部参数校准模型，所述图像拼接参数模型和空间深度借助于机器学习的变换参数模型，其中机器学习所使用的算法包括支持向量机。

本实施例中，具体的：所述优化参数用于更新内部参数校准模型、所述图像拼接参数模型和空间深度转换参数模型。

本发明提供了如图2所示的全景鱼眼摄像机的图像校准，缝合和深度重建系统，包括所述全景鱼眼摄像机和三维激光扫描仪，所述全景鱼眼摄像机包括四个鱼眼镜头、四个cmos传感器模块和全景图像和全景深度信息模块，其中，相邻所述鱼眼镜头的拍摄方向的交角为90度；所述全景图像和全景深度信息模块包括内部参数校准模块和存储在其中的内部参数校准模型，其中，所述内部参数校准模块用于提供坐标变换模型之间的坐标变换模型的所需参数；所述cmos传感器模块包括图像拼接模块和存储在其中的所述图像拼接参数模型、空间深度变换参数模块和存储在其中的空间深度变换参数模型，其中，所述图像拼接模块用于将所述全景鱼眼摄像机拍摄的全景图像拼接成全景图片，所述空间深度变换参数模块用于在所述全景鱼眼摄像机中提供2d平面图像与3d空间中物体深度之间的变换模型，得到全景深度信息；全景图像中的每个像素和计算模块与用于生成所述全景图像和全景深度信息模块电连接，其中，所述像素和计算模块用于校准和拼接全景图片和全景深度信息，以生成3d全景图像。

本实施例中，具体的：所述计算模块还包括优化模块，与所述优化模块电连接，用于生成全景图像和全景深度信息，其中，所述优化模块可以累积参数数据通过从每个所述全景鱼眼摄像机收集内部参数校准模型，所述图像拼接参数模型和空间深度变换参数模型，然后通过机器学习方法优化参数数据。

本实施例中，具体的：所述机器学习所使用的算法包括支持向量机。

本实施例中，具体的：所述内部参数校准模块、所述图像拼接模块和所述空间深度变换参数模块集成为单个芯片或者可以是单个芯片。

工作原理或者结构原理：首先，不能直接从单目视觉相机拍摄的图像判断物体的深度，并且由于鱼眼镜头拍摄的图像变形，因此不能容易地判断实际深度，因此，为了建立3d空间中的物体深度与2d平面图像之间的关系，首先执行步骤s100，以及用全景鱼眼相机的距离标记的若干目标，设置在一个空间，在找出空间中的目标与全景图像中的目标之间的对应关系之前，由于鱼眼镜头的球形形状，鱼眼镜头拍摄的图像变形，因此，应找出鱼眼摄像机中的鱼眼镜头和cmos传感器模块的对应关系，即找出内部校准参数，结果，在本发明中执行步骤s130以建立全景鱼眼相机的内部参数校准模型，为了建立由单个鱼眼镜头拍摄的图像与实际全景图像之间的对应关系以缝合全景图片，执行步骤s4，通过利用目标，如棋盘图案的黑色和白色替代的四个检查，通过检测目标的特征点来建立四个鱼眼镜头的物理位置和图像平面坐标之间的关系，在校正四个鱼眼镜头的相对位置之后，应建立图像拼接参数模型，全景鱼眼相机中的相邻鱼眼镜头的拍摄方向的交叉角为90度，因此存在由相邻鱼眼镜头拍摄的图像的至少一个重叠场景，在步骤s4中，分别从相邻鱼眼镜头拍摄的图像中找出重叠场景，首先，指定由鱼眼镜头之一拍摄的图像的一个像素，并且根据像素周围的颜色变化来定义特征向量，然后在相邻鱼眼镜头拍摄的图像中找出相应的像素，在建立至少一个特征向量和像素的对应关系后，即建立图像拼接参数模型，完成步骤s4，然后执行步骤s5以建立全景图像和全景光学目标空间的空间深度变换参数模型，在利用全景鱼眼相机拍摄的全景光学目标空间的全景图像之后，获取全景光学目标空间的全景图像，以及全景光学目标空间的目标位置与全景鱼之间的距离，全景光学目标空间的深度以获取全景深度信息，通过执行步骤s1至s5，全景鱼眼相机拍摄的全景图像，全景鱼眼相机的内部参数校准模型，图像拼接参数模型和获取全景图像和全景光学目标空间的空间深度变换参数模型，然后执行步骤s6以利用图像拼接参数模型，空间深度变换参数模型和内部参数校准模型来生成包括全景深度信息的3d全景图像，内部参数校准模块用于存储上述内部参数校准模型，并根据上述参数模型对鱼眼镜和cmos传感器模块之间的坐标变换执行朝向变形图像的到期图像拼接模块用于存储上述图像拼接参数模型，即外部参数校准模型，并通过内部参数校准模块拼接调整后的全景图像以生成鱼眼镜头的形状，全景图片，空间深度变换参数模块用于存储上述空间深度变换参数模型，以找出全景鱼眼摄像机拍摄的3d空间中2d平面图像与实际物体深度之间的对应关系，获得全景图像中每个像素的全景深度信息，最后采用三维激光扫描仪对目标空间进行扫描，生成三维立体图像，与上述的3d全景图形进行对比校准，进一步提供图像的真实性。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。