一种全景拍摄图像数据处理合成系统的制作方法

本实用新型实施例涉及精密光学仪器技术，尤其涉及一种全景拍摄图像数据处理合成系统。

背景技术：

全景图像在生活、经济、科技、军事和商业等各个领域具有广泛的应用，如应用于电子地图中。

现有技术中的获取全景图像的方式有旋转拼接式和鱼眼式。其中，鱼眼式是利用具有超大视角范围的鱼眼镜头来对全景空间进行拍摄，直接得到全景图像。但是这样获取的全景图像存在极大的几何畸变。一方面导致图像理解困难，另一方面导致图像分辨率不一致，图像的中间分辨率高，而图像边缘处分辨率大幅度降低。旋转拼接式是利用高分辨率小视场角的单个摄像头扫描全景空间，然后将扫描得到的多幅图像进行拼接，得到全景图像。由于获取的单幅图像是2D图像，缺少物体的深度维度信息，会导致图像拼接效果不佳，进而获得的全景图像的质量也较低。此外，当全景空间中的某个物体相对于摄像头的转动扫描速度来说移动很快时，就有可能在扫描过程中遗漏该物体，所以全景图像中可能会存在盲区。可见，上述两种拍摄全景图像的方式均有弊端。此外，现有技术中通过采用上述两种方式无法根据实际情况调整鱼眼镜头或单个摄像头与物体的距离，也从另一方面降低了全景图像的成像质量。

技术实现要素：

本实用新型实施例提供一种全景拍摄图像数据处理合成系统，以实现可以获取3D全景图像，并可以根据实际情况调整摄像头与物体之间的距离，从而获得更高质量的全景图像。

本实用新型实施例提供了一种全景拍摄图像数据处理合成系统，该系统包括：图像采集模块、图像处理模块、图像显示模块和控制模块，其中：

所述图像采集模块包括多个3D摄像头、正多面体支架、测距单元、伸缩杆和底座，多个所述3D摄像头分别设置于所述正多面体支架每面的中心处，所述测距单元设置于所述正多面体支架的体心出，所述正多面体支架通过所述伸缩杆固定于所述底座上，所述3D摄像头的输出端与所述图像处理模块的输入端相连，所述测距单元的输出端与所述控制模块的输入端相连，所述伸缩杆的控制端与所述控制模块的输出端相连，所述图像处理模块的输出端与所述图像显示模块的输入端相连；

每个所述3D摄像头用于采集目标物体的3D图像，并将所述3D图像发送至所述图像处理模块，所述测距单元用于获取当前所述正多面体支架距离所述目标物体的距离值，并将所述距离值发送至所述控制模块，所述控制模块根据所述距离值与预先设定的距离值的关系，生成对应的调整指令，并将所述调整指令发送至所述伸缩杆，以使所述伸缩杆根据所述调整指令调整伸缩范围，从而调整所述3D摄像头与所述目标物体的距离，所述图像处理模块根据点云数据配准方法对接收到的多张3D图像进行拼接，得到3D全景图像，并将所述3D全景图像发送至所述图像显示模块进行显示。

进一步的，该系统还包括图像传输模块，所述图像传输模块的输入端与所述图像处理模块的输出端相连，所述图像传输模块的输出端与所述图像显示模块的输入端相连；

所述图像处理模块通过所述图像传输模块将所述3D全景图像发送至所述图像显示模块进行显示。

进一步的，所述3D摄像头具有相同的视场角，所述视场角大于所述正多面体支架每个面的外接圆直径对应的所述正多面体支架的中心的夹角。

进一步的，所述图像采集模块还包括多个光轴，每个所述3D摄像头位于对应的光轴的端部，所述光轴垂直于所述3D摄像头所处的面，所有所述光轴相较于所述正多面体支架的体心。

进一步的，所述图像采集模块还包括球形壳体，所述正多面体支架内接于所述球形壳体。

进一步的，所述球形壳体上开设有摄像头孔，所述3D摄像头固定与所述摄像头孔内。

进一步的，该系统还包括遮挡检测模块和提示模块，所述遮挡检测模块和所述提示模块分别设置于所述球形壳体上，所述遮挡检测模块的输出端与所述提示模块的输入端相连；

如果所述遮挡检测模块检测到距所述3D摄像头的预设距离范围内存在遮挡物，则向所述提示模块发送提示信号，所述提示信号用于指示用户进行去遮挡处理。

进一步的，所述提示模块包括提示器和蜂鸣器中的至少一种，所述遮挡检测模块的输出端包括语音输出端和报警信号输出端，所述语音提示器与所述语音输出端相连，所述蜂鸣器与所述报警信号输出端相连；

所述语音提示器根据所述提示信号生成语音提示；

所述蜂鸣器根据所述提示信号生成报警提示。

进一步的，所述图像传输模块为WiFi模块或Zigbee模块。

进一步的，所述3D摄像头为3D结构光摄像头。

本实用新型实施例通过图像采集模块中分别设置于正多面体支架每面的中心处的多个3D摄像头采集目标物体的3D图像，并将3D图像发送至图像处理模块，图像处理模块再根据点云数据配准方法对接收到的多张3D图像进行拼接，得到3D全景图像，并将3D全景图像发送至图像显示模块进行显示；以及，通过设置于正多面体支架的测距单元获取当前正多面体支架距离目标物体的距离值，并将距离值发送至控制模块，控制模块再根据距离值与预先设定的距离值的关系，生成对应的调整指令，并将调整指令发送至伸缩杆，以使伸缩杆根据调整指令调整伸缩范围，从而实现调整3D摄像头与目标物体的距离。解决了现有技术中由于获取的图像中缺少目标物体的深度维度信息所导致的图像拼接效果不佳，以及无法根据实际情况调整摄像头与目标物体之间的距离的问题，实现了提高图像拼接效果以及可根据实际情况调整摄像头与目标物体之间的距离，从而提高了全景图像的成像质量。

附图说明

图1是本实用新型实施例一中的一种全景拍摄图像数据处理合成系统的结构示意图；

图2是本实用新型实施例一中的一种全景拍摄图像数据处理合成系统的结构示意图；

图3是本实用新型实施例一中的一种图像采集模块的结构示意图；

图4是本实用新型实施例一中的一种球形壳体的结构示意图。

具体实施方式

下面结合附图和实施例对本实用新型作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本实用新型，而非对本实用新型的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本实用新型相关的部分而非全部结构。

实施例一

图1为本实用新型实施例一提供的一种全景拍摄图像数据处理合成系统的结构示意图，本实施例可适用于生成目标物体的全景图像的情况，如图1所示，该系统具体可以包括：图像采集模块1、图像处理模块2、图像显示模块3和控制模块4，下面对其结构和功能进行说明。

图像采集模块1具体可以包括多个3D摄像头11、正多面体支架12(图中示出了正六面体支架)、测距单元13、伸缩杆14和底座15，多个3D摄像头11分别设置于正多面体支架12每面的中心处，测距单元13设置于正多面体支架12的体心出，正多面体支架12通过伸缩杆14固定与底座15上，3D摄像头11的输出端与图像处理模块2的输出端相连，测距单元的输出端与控制模块4的输入端相连，伸缩杆的控制端与控制模块4的输出端相连，图像处理模块2的输出端与图像显示模块3的输入端相连；

每个3D摄像头11用于采集目标物体的3D图像，并将3D图像发送至图像处理模块2，测距单元13用于获取当前正多面体支架12距离目标物体的距离值，并将距离值发送至控制模块4，控制模块4根据距离值与预先设定的距离值的关系，生成对应的调整指令，并将调整指令发送至伸缩杆14，以使伸缩杆14根据调整指令调整伸缩范围，从而调整3D摄像头11与目标物体的距离，图像处理模块2根据点云数据配准方法对接收到的多张3D图像进行拼接，得到3D全景图像，并将3D全景图像发送至图像显示模块3进行显示。

在本实用新型的具体实施例中，当采用3D摄像头11对目标物体进行拍摄时，可以获取目标物体的3D图像，其中，3D图像是在目标物体的高度和宽度两个维度信息的基础上增加了目标物体的深度维度信息所形成的，并由于包含了目标物体的深度维度信息，因此，可以给人立体的感觉，在视觉上层次分明色彩鲜艳，具有很强的视觉冲击力。根据硬件实现方式的不同，3D摄像头11具体可分为基于结构光的3D摄像头、基于TOF时间光的3D摄像头以及基于双目立体成像的3D摄像头。具体的，3D摄像头11具体可以包括红外发射器、红外光图像传感器和可见光图像传感器、图像处理芯片、滤光片和镜头。除此之外，基于结构光的3D摄像头还可以包括光学棱镜和DOE光栅；基于TOF时间光的3D摄像头还可以包括窄带滤光片；基于双目立体成像的3D摄像头还可以包括两个红外摄像头或两个可见光摄像头。其中，可以将基于结构光的3D摄像头中所包括的光学棱镜、DOE光栅和红外发射器统称为光学投射器。下面以基于结构光的3D摄像头为例，对其工作原理进行说明。具体是：3D摄像头11中的光学投射器向目标物体发射特定图形的散斑或者点阵的激光红外图案，3D摄像头11中图像传感器捕捉被目标物体反射回来的图案，3D摄像头11中图像处理芯片计算捕捉到的图案中散斑或者点的大小，将其与原始散斑或者点的大小进行对比，从而得出3D摄像头11到目标物体间的距离，即得到目标物体的深度维度信息。

正多面体支架12可以起到支撑并固定3D摄像头11的作用，由于单个3D摄像头11的视场范围有限，为了得到目标物体的全景图像，可以采用将多个3D摄像头11所采集的各自视场范围内的目标物体的3D图像，利用3D图像拼接算法对多张3D图像进行拼接，从而得到目标物体的3D全景图像的方式。具体的，可以将多个3D摄像头11分别设置于正多面体支架12每面的中心处，再基于正多面体支架12的尺寸和形状，选用合适视场角的3D摄像头11，这样便可以保证位于相邻面的3D摄像头11采集到的3D图像有重叠区域，进而利用3D图像拼接算法对多张3D图像进行拼接，便可以得到覆盖全空间的目标物体的3D全景图像。此外，需要说明的是，采用上述3D摄像头11的设置方式，可以实现对位于图像采集模块1的顶部和底部的目标物体的3D图像的采集，这样可以保证不存在图像采集模块1的顶部和底部视觉盲区的问题。其中，图像拼接是一种将给定场景的一组互相有重叠的局部图像生成包含着这组局部图像的一幅完整宽视场图像的技术。图像拼接技术的实现需要执行以下四个步骤：获取图像数据、图像预处理、图像配准和图像融合。3D图像拼接技术的研究对象是三维点云数据，是通过某种测量方法对目标物体的不同角度、不同方位测量所得。需要实现将测量所得的有重叠部分的点云数据进行旋转、平移等操作变换到同一坐标系中，获得一幅具有完整三维点云数据信息的目标物体。其中，点云数据是从目标物体获得的数字化信息，是三维空间中各点的集合，并包含各点的各种物理参数。其中，最基本的物理参数是三维坐标值，另外还包括目标物体表面的几何信息如纹理和法向量等，以及视觉信息如颜色等，点云数据是对物体表面信息最真实的反应，可以为人以直观的立体视觉效果。3D图像拼接也可以理解为一种对获取的目标物体的点云数据进行预处理，实现对待配准的点云数据的配准操作的技术。图像处理模块2可以根据点云数据配准方法对接收到的多张3D图像进行拼接，得到3D全景图像。需要说明的是，可以根据实际情况选择具体的点云数据配准方法，在此不作具体限定。相比于现有技术中通过采用2D摄像头采集目标物体的图像，当需要对多张2D图像进行拼接来得到目标物体的全景图像时，由于其本身获取到的图像是2D图像，缺少物体的深度维度信息，因此，将会导致图像拼接的效果不佳。本系统通过采用3D摄像头11采集目标物体的3D图像，3D图像中包含了目标物体的深度维度信息，并利用点云数据配准方法进行3D图像拼接，提高了图像拼接的效果，从而，提高了目标物体的全景图像的成像质量。

同时，为了避免出现拍摄死角，可以在图像采集模块1中设置测距单元13以及与其配合的伸缩杆14和底座15，以及与测距单元13和伸缩杆14配合的控制模块4，具体的，可以将测距单元13设置于正多面体支架12的体心处，正多面体支架12通过伸缩杆14固定于底座15上，测距单元13的输出端与控制模块4的输入端相连，控制模块4的输出端与伸缩杆14的控制端相连，这样便可以实现测距单元13实时获取正多面体支架12(即图像采集模块1)距离目标物体的距离值，并将该距离值发送至控制模块4，控制模块4根据该距离值与预先设定的距离值的关系，生成对应的调整指令，并将该调整指令发送至伸缩杆14，该调整指令用于指示伸缩杆14可以根据该调整指令调整其伸缩范围，并由于正多面体支架12通过伸缩杆14固定于底座15上，每个3D摄像头11设置于正多面体支架12对应面的中心处，相应的，也就实现了调整3D摄像头11与目标物体的距离，进而也就可以实现避免出现拍摄死角，从而提高了3D摄像头11拍摄图像的质量。其中，测距单元13可以包括超声波测距传感器、激光测距传感器或红外测距传感器中的至少一种，具体可以根据实际情况进行选择，在此不作具体限定。

下面对该系统的工作原理进行详细说明，具体的：每个3D摄像头11用于采集目标物体的3D图像，并将该3D图像发送至图像处理模块2，测距单元13用于获取当前正多面体支架12距离该目标物体的距离值，并将该距离值发送至控制模块4，控制模块4根据该距离值与预先设定的距离值的关系，生成对应的调整指令，并将调整指令发送至伸缩杆14，以使伸缩杆14根据调整指令调整伸缩范围，从而实现调整3D摄像头11与目标物体的距离，图像处理模块根据点云数据配准方法对接收到的多张3D图像进行拼接，得到3D全景图像，并将该3D全景图像发送至图像显示模块3进行显示，使得用户可以通过图像显示模块3观看到目标物体的3D全景图像。其中，图像显示模块3可以为终端的显示屏，终端可以为手机或平板电脑等。

本实用新型的技术方案，通过图像采集模块中分别设置于正多面体支架每面的中心处的多个3D摄像头采集目标物体的3D图像，并将3D图像发送至图像处理模块，图像处理模块再根据点云数据配准方法对接收到的多张3D图像进行拼接，得到3D全景图像，并将3D全景图像发送至图像显示模块进行显示；以及，通过设置于正多面体支架的测距单元获取当前正多面体支架距离目标物体的距离值，并将距离值发送至控制模块，控制模块再根据距离值与预先设定的距离值的关系，生成对应的调整指令，并将调整指令发送至伸缩杆，以使伸缩杆根据调整指令调整伸缩范围，从而实现调整3D摄像头与目标物体的距离。解决了现有技术中由于获取的图像中缺少目标物体的深度维度信息所导致的图像拼接效果不佳，以及无法根据实际情况调整摄像头与目标物体之间的距离的问题，实现了提高图像拼接效果以及可根据实际情况调整摄像头与目标物体之间的距离，从而提高了全景图像的成像质量。

可选的，在上述技术方案的基础上，如图2所示，该系统具体还可以包括图像传输模块5，图像传输模块5的输入端与图像处理模块2的输出端相连，图像传输模块5的输出端与图像显示模块3的输入端相连；

图像处理模块2通过图像传输模块5将3D全景图像发送至图像显示模块3进行显示。

在本实用新型的具体实施例中，经图像处理模块2对多张3D图像进行拼接处理后得到的3D全景图像，可以通过图像传输模块5将该3D全景图像发送至图像显示模块3进行显示。可选的，图像传输模块5可以为WiFi模块或Zigbee模块。当前可以理解到，图像传输模块5具体可以根据实际情况进行设定，在此不作具体限定。

可选的，在上述技术方案的基础上，3D摄像头11具有相同的视场角，该视场角大于正多面体支架12每个面的外接圆直径对应的正多面体支架12的中心的夹角。

在本实用新型的具体实施例中，分别设置于正多面体支架12每面的中心的3D摄像头11均具有相同的视场角，具体该视场角的大小需要满足的条件为：相邻面的3D摄像头11采集到的3D图像有重叠区域，以使得利用3D图像拼接算法对多张3D图像进行拼接时可以得到覆盖全空间的目标物体的3D全景图像。更为具体的，由于多个3D摄像头11分别设置于正多面体支架12每面的中心处，因此，为了满足上述条件，具体可以为：视场角大于正多面体支架12每个面的外接圆直径对应的正多面体支架12的中心的夹角。进一步的，由于每个面的外接圆直径的大小与正多面体支架12的边长和面数有关，因此，可以理解到，视场角的大小与正多面体支架12的边长有关。示例性的，如正多面体支架12为正六面体支架，其边长用l表示，设视场角用α表示，每个面的外接圆直径对应的正多面体支架12的中心的夹角用β表示，则因此，可以得到α>109.5°，即选用视场角大于109.5°的3D摄像头即可满足前文所述的条件。可选的，选用视场角为120°的3D摄像头11。

可选的，在上述技术方案的基础上，如图3所示，图像采集模块1具体还可以包括多个光轴16(图中仅示出一个)，每个3D摄像头11位于对应的光轴16的端部，光轴16垂直于3D摄像头11所处的面，所有光轴16相较于正多面体支架12的体心。

在本实用新型的具体实施例中，上述设置方式的好处在于：可以保证当3D摄像头11采集目标物体的3D图像后，再利用3D图像拼接算法对多张3D图像进行拼接，便可以得到覆盖全空间的目标物体的3D全景图像。需要说明的是，图3中仅示出垂直于正多面体支架12一个面上的光轴16，分别垂直于正多面体支架12中其它面的各个光轴16也是按照同样的设置方式进行放置。

可选的，在上述技术方案的基础上，如图4所示，图像采集模块1具体还可以包括球形壳体17，正多面体支架12内接于球形壳体17。

可选的，在上述技术方案的基础上，球形壳体17上开设有摄像头孔，该3D摄像头11固定于摄像头孔内。

在本实用新型的具体实施例中，上述设置方式的好处在于：可以很好地保护图像采集模块1，使其能在各种恶劣的环境下使用。

可选的，在上述技术方案的基础上，该系统具体还可以包括遮挡检测模块和提示模块，遮挡检测模块和提示模块分别设置于球形壳体17上，遮挡检测模块的输出端与提示模块的输入端相连；

如果遮挡检测模块检测到距3D摄像头11的预设距离范围内存在遮挡物，则向提示模块发送提示信号，提示信号用于指示用户进行去遮挡处理。

在本实用新型的具体实施例中，遮挡检测模块用于如果检测到距3D摄像头11的预设距离范围内存在遮挡物，便可以向提示模块发送提示信号，该提示信号用于指示用户进行去遮挡处理。其中，预设距离可以根据3D摄像头11距离目标物体的距离进行确定，遮挡检测模块可以为红外传感器。上述设置的好处在于：避免出现因距3D摄像头11的预设范围内存在遮挡物而导致的对目标物体拍摄所得图像的质量不佳，从而进一步提高图像质量。

可选的，在上述技术方案的基础上，提示模块包括语音提示器和蜂鸣器中的至少一种，遮挡检测模块的输出端包括语音输出端和报警信号输出端，语音提示器与语音输出端相连，蜂鸣器与报警信号输出端相连；

语音提示器根据提示信号生成语音提示；

蜂鸣器根据提示信号生成报警提示。

在本实用新型的具体实施例中，上述语音提示器和蜂鸣器可以单独工作，也可以相互之间配合共同工作，以实现对遮挡现象的提示。可选的，采用两者配合共同工作的提示方式，这样可以避免当其中一种提示设备出现故障时，无法实现对遮挡现象的提示，同时也提高了提示的准确性。采用语音提示和报警提示的方式可以及时告知用户距3D摄像头11预设距离范围内存在遮挡物，便于后续及时进行相应的去遮挡处理。

可选的，在上述技术方案的基础上，图像传输模块5具体可以为WiFi模块或Zigbee模块。

在本实用新型的具体实施例中，图像传输模块5还可以为蓝牙模块。

可选的，在上述技术方案的基础上，3D摄像头11为3D结构光摄像头。

在本实用新型的具体实施例中，选用3D结构光摄像头的好处在于：可以一次成像即可读取深度维度信息，且具有使用便捷和成本较低等优点。

注意，上述仅为本实用新型的较佳实施例及所运用技术原理。本领域技术人员会理解，本实用新型不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本实用新型的保护范围。因此，虽然通过以上实施例对本实用新型进行了较为详细的说明，但是本实用新型不仅仅限于以上实施例，在不脱离本实用新型构思的情况下，还可以包括更多其他等效实施例，而本实用新型的范围由所附的权利要求范围决定。