多相机协同扫描的图像采集装置及三维地图构建方法与流程

1.本发明涉及图像采集与处理的技术领域，尤其涉及多相机协同扫描的图像采集装置及三维地图构建方法。


背景技术：

2.随着机器人导航、自动驾驶和移动机器人等技术的发展，这些设备在运行过程中需要感知自身在外界真实场景中的方位和外界真实场景的三维地图，这使得相应的三维地图重建技术也越发重要。目前，三维地图重构是基于手持设备对外界真实场景进行图像序列拍摄，由于用户操作不当等因素的影响会使得在拍摄过程中发生拍摄抖动和拍摄不连续的情况，这会严重影响拍摄图像的清晰度，从而降低后续进行三维地图构建的准确性。可见，现有技术的外界真实场景图像采集装置普遍存在图像采集稳定性差，图像拍摄不连续以及图像拍摄动作可重复性地的问题，这严重地降低三维地图构建的准确性和可靠性。


技术实现要素：

3.针对上述现有技术存在的缺陷，本发明提供多相机协同扫描的图像采集装置及三维地图构建方法，该多相机协同扫描的图像采集装置包括基座和图像采集设备，该基座由支架、云台和转接部组成，其能够为图像采集设备提供稳定和灵活的支撑，以此使图像采集装置无论在何种场景下也能够实现稳定的全景拍摄，从而有效地避免发生抖动拍摄的情况；此外，该图像采集设备通过其内置的若干相机对外界环境空间进行协同扫描拍摄，从而快速地和高效地实现对外界环境空间的扫描拍摄，以此提高图像采集的效率和可靠性。该三维地图构建方法利用该多相机协同扫描的图像采集装置采集的若干rgb图像和深度图像拼接形成相应的三维地图，这无需对这些图像进行位姿估计就能够直接进行三维地图构建，这不仅大大地减少三维地图构建的计算量，并且还能够降低三维地图的构建误差和适用于各种复杂大尺度场景的三维重建。
4.本发明提供多相机协同扫描的图像采集装置，其包括基座和图像采集设备，所述图像采集设备设置于所述基座上，
5.所述基座包括支架、云台和转接部；
6.所述支架用于提供所述图像采集装置的整体支撑；
7.所述云台设置在所述支架上；
8.所述图像采集设备通过所述转接部可拆卸地设置在所述云台上；
9.所述云台还用于改变所述图像采集设备整体的位姿；
10.所述图像采集设备包括若干相机、电机和控制器；
11.所述控制器用于向所述电机发送驱动信号；
12.所述电机用于根据所述驱动信号驱动每个相机改变自身的图像拍摄角度，从而使每个相机分别采集到外界环境不同视场方向的图像；
13.在本申请公开的一个实施例中，所述支架为三脚架，所述三脚架包括脚架平台和
三个支撑脚；
14.三个所述支撑脚均匀地设置在所述脚架平台的底部；
15.每个所述支撑脚通过铰接结构与所述脚架平台活动连接；
16.每个所述支撑脚均为长度可伸缩支撑脚；
17.进一步，所述云台包括云台主体、云台下接合部和云台上接合部；其中，
18.所述云台主体包括周向旋转部、上下俯仰调节部和左右侧倾调节部；
19.所述周向旋转部用于带动所述图像采集设备进行周向旋转动作；
20.所述上下俯仰调节部用于改变所述图像采集设备整体的上下俯仰角度；
21.所述左右侧倾调节部用于改变所述图像采集设备整体的左右侧倾角度；
22.所述云台下接合部设置在所述云台主体的底部，其用于可拆卸连接所述支架和所述云台主体；
23.所述云台上接合部设置在所述云台主体的顶部，其用于可拆卸连接所述云台主体和所述转接部；
24.在本申请公开的一个实施例中，所述云台下接合部和所述云台上接合部均为卡扣式接合部；
25.所述转接部为板状转接部，所述板状转接部的底部设置有卡合件，所述板状转接部的顶部设置有卡合槽；
26.所述板状转接件部通过所述卡合件与所述云台上接合部可拆卸连接；
27.所述图像采集设备设置在所述卡合槽上，从而实现所述图像采集设备与所述板状转接板的可拆卸连接；
28.在本申请公开的一个实施例中，所述图像采集设备包括三台rgb
‑
d相机；
29.每个rgb
‑
d相机均与所述电机连接；
30.所述控制器包括三个相机控制芯片和电机驱动芯片；
31.所述相机控制芯片与所述rgb
‑
d相机一一对应连接，所述相机控制芯片用于控制所述rgb
‑
d相机的拍摄动作，从而使三台rgb
‑
d相机进行协同扫描拍摄；
32.所述电机驱动芯片用于控制所述电机向每个rgb
‑
d相机的驱动输出，从而使每个rgb
‑
d相机能够进行同步转向动作；
33.在本申请公开的一个实施例中，在三个相机控制芯片中，其中一个相机控制芯片为主控制芯片，其余两个相机控制芯片为副控制芯片；
34.所述主控制芯片与所述副控制芯片之间能够相互读取对方的信息；
35.所述主控制芯片与所述电机驱动芯片连接，所述主控制芯片能够向所述电机驱动芯片发送电机驱动触发信号；
36.所述电机驱动芯片用于根据所述电机驱动触发信号，控制所述电机进行启动工作和停止工作的切换；
37.在本申请公开的一个实施例中，所述电机为步进电机；
38.所述电机驱动芯片用于控制所述步进电机的输出轴向每个rgb
‑
d相机的驱动力输出方向和/或驱动力输出大小，从而调整每个rgb
‑
d相机的转向方向和/或转向速度；
39.在本申请公开的一个实施例中，每个相机控制芯片用于控制其对应连接的rgb
‑
d相机对外界环境进行图像采集的拍摄焦距、拍摄视场角和拍摄曝光时间中的至少一者。
40.本发明还提供使用多相机协同扫描的图像采集装置三维地图构建方法，其特征在于，其包括如下步骤：
41.步骤s1，获取图像采集装置包含的每个相机的位姿信息，并根所述位姿信息，对每个相机进行位姿标定；
42.步骤s2，指示云台驱动所述图像采集设备进行周向旋转动作，并在所述周向旋转动作过程中每转动预设角度时，驱动图像采集装置包含的每个相机对外界环境空间进行协同扫描拍摄，直到所述图像采集设备完成一整圈周向旋转动作为止，从而获得关于所述外界环境空间的若干rgb图像和若干深度图像；
43.步骤s3，根据每个相机的位姿标定结果，对每个相机对应拍摄得到的rgb图像和深度图像进行位姿标定，再将位姿标定后的rgb图像和深度图像依序进行拼接，从而构建得到对应所述外界环境空间的三维地图；
44.进一步，在所述步骤s1中，获取图像采集装置包含的每个相机的位姿信息，并根所述位姿信息，对每个相机进行位姿标定具体包括：
45.通过所述图像采集装置的控制器中内置的加速度传感器采集每个相机的位姿信息，再根据所述位姿信息，对每个相机进行位姿标定；
46.或者，
47.在所述步骤s2中，指示云台驱动所述图像采集设备进行周向旋转动作，并在所述周向旋转动作过程中每转动预设角度时，驱动图像采集装置包含的每个相机对外界环境空间进行协同扫描拍摄具体包括：
48.指示云台驱动所述图像采集设备进行周向旋转动作，并在所述周向旋转动作过程中每转动18度时，驱动图像采集装置包含的每个相机以相同的拍摄焦距、拍摄视场角和拍摄曝光时间对外界环境空间进行协同扫描拍摄，直到所述图像采集设备完成360度旋转动作为止；
49.或者，
50.在所述步骤s3中，根据每个相机的位姿标定结果，对每个相机对应拍摄得到的rgb图像和深度图像进行位姿标定，再将位姿标定后的rgb图像和深度图像依序进行拼接，从而构建得到对应所述外界环境空间的三维地图具体包括：
51.对每个相机对应拍摄得到的rgb图像和深度图像标定相应的位姿信息，再按照所述图像采集设备在进行周向旋转动作过程中协同扫描拍摄的前后顺序，依序拼接位姿标定后的rgb图像和深度图像，从而构建得到对应所述外界环境空间的三维地图。
52.相比于现有技术，本发明的多相机协同扫描的图像采集装置及三维地图构建方法，该多相机协同扫描的图像采集装置包括基座和图像采集设备，该基座由支架、云台和转接部组成，其能够为图像采集设备提供稳定和灵活的支撑，以此使图像采集装置无论在何种场景下也能够实现稳定的全景拍摄，从而有效地避免发生抖动拍摄的情况；此外，该图像采集设备通过其内置的若干相机对外界环境空间进行协同扫描拍摄，从而快速地和高效地实现对外界环境空间的扫描拍摄，以此提高图像采集的效率和可靠性。该三维地图构建方法利用该多相机协同扫描的图像采集装置采集的若干rgb图像和深度图像拼接形成相应的三维地图，这无需对这些图像进行位姿估计就能够直接进行三维地图构建，这不仅大大地减少三维地图构建的计算量，并且还能够降低三维地图的构建误差和适用于各种复杂大尺
度场景的三维重建。
附图说明
53.为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
54.图1为本发明提供的多相机协同扫描的图像采集装置的结构示意图。
55.图2为本发明提供的三维地图构建方法的流程示意图。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.参阅图1，为本发明提供的多相机协同扫描的图像采集装置的结构示意图。该多相机协同扫描的图像采集装置包括基座和图像采集设备，该图像采集设备设置于该基座上；该基座包括支架、云台和转接部；该支架用于提供该图像采集装置的整体支撑；该云台设置在该支架上；该图像采集设备通过该转接部可拆卸地设置在该云台上；该云台还用于改变该图像采集设备整体的位姿；该图像采集设备包括若干相机、电机和控制器；该控制器用于向该电机发送驱动信号；该电机用于根据该驱动信号驱动每个相机改变自身的图像拍摄角度，从而使每个相机分别采集到外界环境不同视场方向的图像。
58.上述技术方案的有益效果为：该图像采集装置中的基座包括支架、云台和转接部，该支架能够为图像采集装置整体提供支撑，以便于通过该支架能够将图像采集装置移动到不同的场景中进行拍摄，从而大大地提高图像采集装置的使用便捷性。此外，该云台不仅能够改变图像采集设备整体的位姿，从而提高图像采集设备位姿调整的准确性和可靠性；该云台上还设置有相应抗震缓冲结构，其能够为图像采集设备提供有效的抗震，从而大大地降低图像采集设备在图像拍摄过程发生抖动的概率。该转接部能够将图像采集设备可拆卸地设置在云台上，这样能够提高图像采集装置的折叠收纳便捷性，以及便于不同场景的拍摄需求更换不同的图像采集设备，以此改善图像采集装置对不同场景的适用性。
59.该图像采集设备利用电机驱动若干相机进行图像拍摄角度的改变调整，并且还通过若干相机对外界环境进行协同扫描拍摄，这样能够保证对外界环境进行多视角同步拍摄和避免发生遗漏拍摄的情况。
60.优选地，该支架为三脚架，该三脚架包括脚架平台和三个支撑脚；三个该支撑脚均匀地分别在该脚架平台的底部；每个该支撑脚通过铰接结构与该脚架平台活动连接；每个该支撑脚均为长度可伸缩支撑脚。
61.上述技术方案的有益效果为：利用三脚架作为支架，能够最大限度地提高支架对图像采集设备的支撑稳固性。利用铰接结构连接该支撑脚与该脚架平台，能够便于调整支撑脚的朝向，从而实时在不平坦的地面上，该支架依然能够稳定地进行支撑和有效避免支
架发生侧翻的情况。此外，将每个支撑脚设成长度可伸缩调节，能够是该图像采集设备能够在不同高度区间上进行协同扫描拍摄，从而大大增大图像采集装置的图像采集视野范围。
62.优选地，该云台包括云台主体、云台下接合部和云台上接合部；其中，该云台主体包括周向旋转部、上下俯仰调节部和左右侧倾调节部；该周向旋转部用于带动该图像采集设备进行周向旋转动作；该上下俯仰调节部用于改变该图像采集设备整体的上下俯仰角度；该左右侧倾调节部用于改变该图像采集设备整体的左右侧倾角度；该云台下接合部设置在该云台主体的底部，其用于可拆卸连接该支架和该云台主体；该云台上接合部设置在该云台主体的顶部，其用于可拆卸连接该云台主体和该转接部。
63.上述技术方案的有益效果为：该云台的云台主体包括周向旋转部、上下俯仰调节部和左右侧倾调节部，这样能够对图像采集设备在周向偏航方向，上下俯仰方向和左右侧倾方向上进行六自由度的姿态调节，从而便于云台能够根据实际需要调整图像采集设备的拍摄视角方向。此外，该转接部实质上为快装部，其能够便于将图像采集设备快速地和准确地安装在云台上，从而提高图像采集设备的安装便捷性和准确性。
64.优选地，该云台下接合部和该云台上接合部均为卡扣式接合部；该转接部为板状转接部，该板状转接部的底部设置有卡合件，该板状转接部的顶部设置有卡合槽；该板状转接件部通过该卡合件与该云台上接合部可拆卸连接；该图像采集设备设置在该卡合槽上，从而实现该图像采集设备与该板状转接板的可拆卸连接。
65.上述技术方案的有益效果为：采用卡扣或者卡合的方式，不仅能够提高云台、转接部和图像采集设备三者之间的连接组装便捷性和快速性，并且还能够降低云台和转接部的结构复杂性。
66.优选地，该图像采集设备包括三台rgb
‑
d相机；每个rgb
‑
d相机均与该电机连接；该控制器包括三个相机控制芯片和电机驱动芯片；该相机控制芯片与该rgb
‑
d相机一一对应连接，该相机控制芯片用于控制该rgb
‑
d相机的拍摄动作，从而使三台rgb
‑
d相机进行协同扫描拍摄；该电机驱动芯片用于控制该电机向每个rgb
‑
d相机的驱动输出，从而使每个rgb
‑
d相机能够进行同步转向动作。
67.上述技术方案的有益效果为：将图像采集设备设成包括rgb
‑
d相机，能够利用该rgb
‑
d相机能够在拍摄外界环境的过程中同时获得关于外界环境的rgb图像和深度图像，这样不仅可以提高对外界环境图像拍摄的多样性，同时也能够便于提高后续进行图像接合和三维地图重构的便捷性和有效性。
68.此外，利用电机对每个rgb
‑
d相机进行驱动，这样能够提高对每个rgb
‑
d相机进行转向调节的可控性和可靠性。
69.优选地，在三个相机控制芯片中，其中一个相机控制芯片为主控制芯片，其余两个相机控制芯片为副控制芯片；该主控制芯片与该副控制芯片之间能够相互读取对方的信息；该主控制芯片与该电机驱动芯片连接，该主控制芯片能够向该电机驱动芯片发送电机驱动触发信号；该电机驱动芯片用于根据该电机驱动触发信号，控制该电机进行启动工作和停止工作的切换。
70.上述技术方案的有益效果为：将其中一个相机控制芯片为主控制芯片，其余两个相机控制芯片为副控制芯片，并且将该主控制芯片与该副控制芯片之间设成具有读取对方信息的权限，这样能够改善不同rgb
‑
d相机之间通信的便捷性和拍摄可靠性。此外，利用该
主控制芯片与该电机驱动芯片连接，该主控制芯片能够向该电机驱动芯片发送电机驱动触发信号，能够使电机的驱动动作与rgb
‑
d相机拍摄与否之间的同步性，从而改善rgb
‑
d相机的图像拍摄稳定性。
71.优选地，该电机为步进电机；该电机驱动芯片用于控制该步进电机的输出轴向每个rgb
‑
d相机的驱动力输出方向和/或驱动力输出大小，从而调整每个rgb
‑
d相机的转向方向和/或转向速度。
72.上述技术方案的有益效果为：将该电机设为步进电机，能够提高对rgb
‑
d相机驱动的便捷性和可控性以及降低rgb
‑
d相机的驱动成本。此外，利用该电机驱动芯片调整每个rgb
‑
d相机的转向方向和/或转向速度，能够准确地调整rgb
‑
d相机转向状态，从而提高rgb
‑
d相机的图像拍摄质量。
73.优选地，每个相机控制芯片用于控制其对应连接的rgb
‑
d相机对外界环境进行图像采集的拍摄焦距、拍摄视场角和拍摄曝光时间中的至少一者。
74.上述技术方案的有益效果为：对rgb
‑
d相机的拍摄焦距、拍摄视场角和拍摄曝光时间中的至少一者进行调节控制，能够提高rgb
‑
d相机的图像拍摄清晰度。
75.参阅图2，为本发明提供的三维地图构建方法的流程示意图。该三维地图构建方法，其包括如下步骤：
76.步骤s1，获取图像采集装置包含的每个相机的位姿信息，并根该位姿信息，对每个相机进行位姿标定；
77.步骤s2，指示云台驱动该图像采集设备进行周向旋转动作，并在该周向旋转动作过程中每转动预设角度时，驱动图像采集装置包含的每个相机对外界环境空间进行协同扫描拍摄，直到该图像采集设备完成一整圈周向旋转动作为止，从而获得关于该外界环境空间的若干rgb图像和若干深度图像；
78.步骤s3，根据每个相机的位姿标定结果，对每个相机对应拍摄得到的rgb图像和深度图像进行位姿标定，再将位姿标定后的rgb图像和深度图像依序进行拼接，从而构建得到对应该外界环境空间的三维地图。
79.上述技术方案的有益效果为：该三维地图构建利用该多相机协同扫描的图像采集装置采集的图像构建三维地图，由于图像采集装置包含的每个相机在进行图像拍摄过程中，不同相机相互之间的位姿关系是固定的，这使得不同相机拍摄得到的rgb图像和深度图像相互之间的位姿关系也是固定的，在图像采集之前预先获取每个相机的位姿信息，并对每个相机进行位姿标定，能够省去后续对所有rgb图像和深度图像重新逐一进行位姿标定的工作量，这不仅能够减少后续图像拼接与构建的计算工作量，并且还能够提高三维地图的构建准确性。其次，在该周向旋转动作过程中每转动预设角度时，驱动图像采集装置包含的每个相机对外界环境空间进行协同扫描拍摄，能够保证对外界环境空间进行360度的全景拍摄，从而提高拍摄的全面和精确性，以此为后续进行三维地图构建提供高质量的和可靠的图像依据。最后，由于每个相机拍摄得到的rgb图像和深度图像与对应的相机具有相同的位姿信息，这使得在进行图像拼接过程中并不需要重新对rgb图像和深度图像进行额外的位姿标定即可直接进行后续的图像拼接处理；并且在进行图像拼接过程中可根据图像采集设备拍摄rgb图像和深度图像的前后时间顺序，依次对不同图像进行拼接，这样能够缩短图像拼接所耗费的时间，并且还能够保证构建得到的三维地图与外界环境的三维空间布局
相一致，从而大大提高三维地图的真实性。
80.优选地，在该步骤s1中，获取图像采集装置包含的每个相机的位姿信息，并根该位姿信息，对每个相机进行位姿标定具体包括：
81.通过该图像采集装置的控制器中内置的加速度传感器采集每个相机的位姿信息，再根据该位姿信息，对每个相机进行位姿标定。
82.上述技术方案的有益效果为：利用加速度传感器采集每个相机的位姿信息，能够有效地提高位姿信息的采集准确性，同时也能够降低相位位姿确定的人力成本。
83.优选地，在该步骤s2中，指示云台驱动该图像采集设备进行周向旋转动作，并在该周向旋转动作过程中每转动预设角度时，驱动图像采集装置包含的每个相机对外界环境空间进行协同扫描拍摄具体包括：
84.指示云台驱动该图像采集设备进行周向旋转动作，并在该周向旋转动作过程中每转动18度时，驱动图像采集装置包含的每个相机以相同的拍摄焦距、拍摄视场角和拍摄曝光时间对外界环境空间进行协同扫描拍摄，直到该图像采集设备完成360度旋转动作为止。
85.上述技术方案的有益效果为：在该周向旋转动作过程中每转动18度时，驱动图像采集装置包含的每个相机以相同的拍摄焦距、拍摄视场角和拍摄曝光时间对外界环境空间进行协同扫描拍摄，能够在保证对外界环境空间进行细化分区拍摄的前提下，最大限度地保证图像拍摄的准确性和可靠性。
86.优选地，在该步骤s3中，根据每个相机的位姿标定结果，对每个相机对应拍摄得到的rgb图像和深度图像进行位姿标定，再将位姿标定后的rgb图像和深度图像依序进行拼接，从而构建得到对应该外界环境空间的三维地图具体包括：
87.对每个相机对应拍摄得到的rgb图像和深度图像标定相应的位姿信息，再按照该图像采集设备在进行周向旋转动作过程中协同扫描拍摄的前后顺序，依序拼接位姿标定后的rgb图像和深度图像，从而构建得到对应该外界环境空间的三维地图。
88.上述技术方案的有益效果为：按照该图像采集设备在进行周向旋转动作过程中协同扫描拍摄的前后顺序，依序拼接位姿标定后的rgb图像和深度图像，这样能够有效避免在图像拼接过程中发生图像遗漏拼接的情况，并且还能够提高图像拼接的效率。
89.从上述实施例的内容可知，该多相机协同扫描的图像采集装置及三维地图构建方法，该多相机协同扫描的图像采集装置包括基座和图像采集设备，该基座由支架、云台和转接部组成，其能够为图像采集设备提供稳定和灵活的支撑，以此使图像采集装置无论在何种场景下也能够实现稳定的全景拍摄，从而有效地避免发生抖动拍摄的情况；此外，该图像采集设备通过其内置的若干相机对外界环境空间进行协同扫描拍摄，从而快速地和高效地实现对外界环境空间的扫描拍摄，以此提高图像采集的效率和可靠性。该三维地图构建方法利用该多相机协同扫描的图像采集装置采集的若干rgb图像和深度图像拼接形成相应的三维地图，这无需对这些图像进行位姿估计就能够直接进行三维地图构建，这不仅大大地减少三维地图构建的计算量，并且还能够降低三维地图的构建误差和适用于各种复杂大尺度场景的三维重建。