一种图像采集装置和图像采集方法与流程

一种图像采集装置和图像采集方法
1.本技术要求于2020年07月31日提交国家知识产权局、申请号为202010763550.4、申请名称为“一种数据采集机器人以及采集系统”的中国专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
2.本技术实施例涉及电子设备领域，尤其涉及一种图像采集装置和图像采集方法。


背景技术：

3.目前，机器学习(如深度学习)在图像处理领域被广泛应用。通过深度学习，电子设备可以自主地进行图像去噪、图像增强和图像生成等工作。示例性的，在进行深度学习时，电子设备可以大量的基础图像作为学习基础，通过对这些基础图像进行特征提取分析等处理，电子设备就能够知晓基础图像对应的场景分布以及变化情况。由此电子设备就可以根据深度学习的结果，实现对当前采集获取的图像进行去噪、增强等处理。因此，在一个场景中，采集全面准确的基础图像的获取对于深度学习的准确性和全面性非常重要。
4.然而，目前的基础图像的获取方案(如定点拍摄方案或者移动拍摄方案)都不能在获取场景中全面的基础图像的同时，保证基础图像的准确性。例如，在预设的场景中进行图像采集时，将图像采集装置放置在预设的位置进行的定点拍摄方案，由于需要将图像采集装置放置在固定的位置，因此无法获取该场景中全面的基础图像。而将图像采集装置设置在能够移动的基座上(如车辆上)进行的移动拍摄方案虽然能够获取较为全面的基础图像，由于移动过程中的位置精度不足，以及车辆行驶区域的限制，使得获得的基础图像的准确性和全面性不高。


技术实现要素：

5.本技术实施例提供一种图像采集装置和图像采集方法，能够使得图像采集装置可以根据预设的位姿信息，准确地采集对应的基础图像，同时能够降低硬件成本和人力成本。
6.为了达到上述目的，本技术实施例采用如下技术方案：
7.第一方面，提供一种图像采集装置，该装置包括：移动机构，位姿调整机构，图像采集机构，以及控制模块。控制模块存储有预设的位姿信息，位姿信息包括位置信息和姿态信息。移动机构承载位姿调整机构，图像采集机构以及控制模块。位姿调整机构的一端与移动机构固定连接，位姿调整机构的另一端与图像采集机构固定连接。移动机构，用于在控制模块的控制下，根据位置信息，移动到与位置信息对应的位置。位姿调整机构，用于在控制模块的控制下，根据位姿信息，调整图像采集机构的位姿。图像采集机构，用于在控制模块的控制下，采集与位姿信息对应的基础图像。
8.基于该方案，图像采集装置可以根据预设的位姿信息，移动到对应的位置。应当理解的是，在移动到该为位置时，可以通过gnss系统进行导航实现。而根据导航移动的位置精度不够高，因此，通过该移动过程，能够将图像采集装置移动到预设位置附近。在本示例中，
移动采集装置可以在当前位置拍摄参考图像。应当理解的是，该参考图像可以反映当前所处位置以及姿态(即位姿)所能够拍摄的图像的信息。因此，图像采集装置可以根据该参考图像，调整当前的位姿，例如，控制移动机构移动到与预设位姿对应的精确的位置，又如，控制位姿调整机构调整图像采集机构的位姿与预设位姿精确对应。由于能够准确地将图像采集机构的位姿调整到与预设位姿对应的位置，因此，据此获取的基础图像更加准确。可以理解的是，当图像采集装置中预设了多个位姿信息时，则图像采集装置可以根据上述方案分别采集对应位姿下的基础图像，因此能够获取当前区域中全面而准确的基础图像的集合。
9.在一种可能的设计中，图像采集机构，具体用于在控制模块的控制下，采集与当前位姿信息对应的参考图像。控制模块，还用于根据参考图像，确定图像采集装置的当前位姿信息。控制模块，还用于确定当前位姿信息与预设的位姿信息之间的差异。控制模块，还用于根据当前位姿信息与预设的位姿信息之间的差异，控制移动机构和/或位姿调整机构调整当前位姿，以使得图像采集装置具有与预设的位姿信息对应的位姿。图像采集机构，用于在预设的位姿信息对应的位姿下，获取基础图像。基于该方案，提供了一种具体的根据参考图像调整当前位姿的方法示例。在本示例中，由于参考图像能够标识当前位姿下能够拍摄的图像的信息，因此，通过对该参考图像的分析，就可以获取准确的当前位姿信息。通过对比当前位姿信息与预设位姿信息，就能够知晓如何调整，使得图像采集机构能够准确地被调整到预设位姿。由此，也就能够使得调整之后的图像采集机构的位姿能够与预设的位姿信息对应，因此能够采集获取更加准确的基础图像。需要说明的是，通过对参考图像的分析，直接获取的可以是图像采集机构的位姿信息。而由于图像采集机构是预先设置在图像采集装置中的，因此，图像采集装置能够根据图像采集机构与移动机构的相对位置关系，结合图像采集机构的位姿信息，确定移动机构的位置信息。进而使得在需要移动时，控制移动机构从当前位置移动到预设位姿信息所指示的位置。
10.在一种可能的设计中，该装置还包括通信模块，控制模块，用于控制通信模块，向云端服务器发送参考图像，以便于云端服务器根据参考图像确定图像采集装置的当前位姿信息。控制模块，还用于根据云端服务器的反馈，确定当前位姿信息。其中，云端服务器中存储有包括与预设位姿信息对应区域的图像参考信息的空间计算数据库。或者，控制模块，用于根据存储的空间计算数据库和参考图像，确定图像采集装置的当前位姿信息。基于该方案，提供一种可能的方案，使得图像采集装置能够知晓当前的位姿信息。在本示例中，图像采集装置可以通过空间计算数据库，对当前采集的参考图像进行分析，以确定拍摄当前的参考图像时，图像采集机构的位姿信息。例如，对参考图像进行分析的处理，可以通过云端服务器提供的空间计算服务实现，在该空间计算服务的覆盖范围内，图像采集装置可以将参考图像发送给云端服务器，以便服务器根据存储的空间计算数据库对应的三维空间信息，确定参考图像拍摄时，图像采集机构(如拍摄设备)的位姿。通过接收云端服务器发送的位姿信息，图像采集装置就能够知晓当前的位姿信息。又如，该空间计算数据库也可以存储在图像采集装置及本地，以便在获取参考图像后，确定当前的位姿信息。
11.在一种可能的设计中，位姿调整机构包括：第一调整模块和第二调整模块，第一调整模块和第二调整模块通过旋转台连接。第一调整模块的一端与移动机构固定连接，第一调整模块的另一端与旋转台固定连接，第二调整模块分别与旋转台的可旋转部分固定连接。第一调整模块包括升降台和/或机械臂，用于在控制模块的控制下，根据预设的位姿信
息，调整图像采集机构的高度。第二调整模块包括n个三轴微调支架，三轴微调支架用于在控制模块的控制下，根据预设的位姿信息，调整承载在三轴微调支架上的图像采集机构的水平位姿和垂直位姿，n为大于或等于1的整数。基于该方案，提供了一种调整图像采集机构的位姿信息的具体方案。在本示例中，通过在位姿调整机构中分别设置能够进行粗调的升降台和/或机械臂，以及能够进行精细调整的三轴微调支架，实现对于图像采集机构的6轴位姿的准确调整。
12.在一种可能的设计中，图像采集机构，包括m个图像采集设备和与图像采集设备对应的固定支架，图像采集设备夹装在固定支架上，固定支架与对应的三轴微调支架固定连接，m为大于或等于1，且小于或等于n的整数。基于该方案，提供了一种图像采集机构的具体实现。在该示例中，一个图像采集机构可以同时搭载有多个图像采集设备，每个设备可以通过对应的固定支架与一个三轴微调支架固定连接。由此，使得在一个位置，图像采集装置可以控制多个不同或相同的图像采集设备进行图像采集的工作，由此能够显著地提升图像采集的效率。而由于使用不同图像采集设备进行图像采集时，都可以通过其对应的三轴微调支架将该图像采集设备的位姿精确地调整到预设的位姿，因此，能够保证各个图像采集设备图像采集过程中位姿的精确度。由此，也使得在需要评估两个不同的图像采集设备的成像质量时，可以通过该示例中的该图像采集装置分别控制这两个图像采集设备采集获取相同位姿下的图像，通过对这两个图像进行分析，即可获得两个图像采集设备的成像质量的差异，从而实现设备差异评估的目的。
13.在一种可能的设计中，移动机构，具体用于在控制模块的控制下，根据位置信息，获取自动导航信息，并根据自动导航信息，通过自动驾驶移动到与位置信息对应的位置。基于该方案，提供了一种图像采集装置移动到预设位姿对应位置的具体实现。在该示例中，图像采集装置中的移动机构可以通过自动导航，移动到对应的位置。由此使得图像采集装置可以实现无人值守，进而能够完成24小时任意时刻图像采集的任务。
14.在一种可能的设计中，移动机构为自动导引车agv。基于该方案，提供了一种能够实现上述示例中的设计的一种移动机构的具体实现，即该移动机构可以为自动引导车。当然，在其他一些实现中，该移动机构还可以是具有更好的稳定性的自动驾驶车，或者具有更强地形适应能力的全地形驾驶车等。
15.第二方面，提供一种图像采集方法，该方法应用于如第一方面及其可能的设计中任一项所述的图像采集装置。该方法包括：根据预设的位姿信息指示的位置信息，移动到与位置信息对应的位置。根据预设的位姿信息指示的位姿信息，调整图像采集机构的位姿。采集与预设的位姿信息对应的基础图像。
16.在一种可能的设计中，调整图像采集机构的位姿，包括：采集与当前位姿信息对应的参考图像。根据参考图像，确定图像采集装置的当前位姿信息。确定当前位姿信息与预设的位姿信息之间的差异。根据差异，调整当前位姿，以使得图像采集装置具有与预设的位姿信息对应的位姿。
17.在一种可能的设计中，根据参考图像，确定图像采集装置的当前位姿信息，包括：向存储有包括与预设位姿信息对应区域的图像参考信息的空间计算数据库的云端服务器发送参考图像，以便于云端服务器根据参考图像确定图像采集装置的当前位姿信息。接收云端服务器反馈的当前位姿信息。或者，根据存储的空间计算数据库和参考图像，确定图像
采集装置的当前位姿信息。
18.在一种可能的设计中，根据预设的位姿信息指示的位置信息，移动到与位置信息对应的位置，包括：根据位置信息，获取自动导航信息，并根据自动导航信息，通过自动驾驶移动到与位置信息对应的位置。
19.在一种可能的设计中，图像采集装置上设置有第一图像采集设备和第二图像采集设备。采集与预设的位姿信息对应的基础图像，包括：在根据预设的位姿信息调整第一图像采集设备的位姿后，通过第一图像采集设备采集第一基础图像。根据预设的位姿信息，调整第二图像采集设备的位姿，并通过第二图像采集设备采集第二基础图像。
20.第三方面，提供一种芯片系统，芯片系统包括接口电路和处理器。接口电路和处理器通过线路互联。接口电路用于从存储器接收信号，并向处理器发送信号，信号包括存储器中存储的计算机指令。当处理器执行计算机指令时，芯片系统执行上述第二方面及其可能的设计中任一项所述的图像采集方法。
21.第四方面，提供一种计算机可读存储介质，计算机可读存储介质包括计算机指令，当计算机指令运行时，执行上述第二方面及其可能的设计中任一项所述的图像采集方法。
22.第五方面，提供一种计算机程序产品，计算机程序产品中包括指令，当计算机程序产品在计算机上运行时，使得计算机可以根据指令上述第二方面及其可能的设计中任一项所述的图像采集方法。
23.应当理解的是，上述第二方面，第三方面，第四方面，以及第五方面提供的技术方案，其技术特征均可对应到第一方面及其可能的设计中提供的图像采集装置，因此能够达到的有益效果类似，此处不再赘述。
附图说明
24.图1为本技术实施例提供的一种图像采集装置的组成的示意图；
25.图2为本技术实施例提供的一种相机旋转云台以及三轴微调支架设置的俯视图；
26.图3为本技术实施例提供的一种相机旋转云台以及三轴微调支架设置的侧面视图；
27.图4为本技术实施例提供的又一种图像采集装置的组成的示意图；
28.图5为本技术实施例提供的一种图像采集方法的流程示意图；
29.图6为本技术实施例提供的又一种图像采集方法的流程示意图；
30.图7为本技术实施例提供的一种芯片系统的组成示意图。
具体实施方式
31.随着深度学习在图像处理领域的巨大突破，深度学习已经成为图像处理领域的热门方法。例如，通过深度学习，可以实现图像去噪、图像增强、图像生成以及智能的图像识别以及图像质量评估等目的。
32.示例性的，以电子设备根据深度学习进行图像质量评估为例。电子设备可以根据其中存储的图像质量评价(image quality assessment，iqa)数据库，对当前采集的图像进行评估，以获取图像质量评估结果。
33.其中，该iqa数据库中可以存储有多个预先采集的在对应场景中不同位置的图像
(如称为基础图像)。电子设备可以通过当前采集图像与iqa数据库中基础图像进行比对，识别当前采集图像对应的场景中的区域，并据此确定当前采集图像的质量评估结果。可以看到，基础图像的获取，对于深度学习过程中相关目的的实现，起到了非常重要的作用。iqa数据库中，基础图像越全面准确，则深度学习获取的场景信息就越全面准确，进而使得图像质量评估等采用深度学习的方法实现的效果就越准确。
34.目前，对于基础图像的采集方法大致包括定点采集方案以及移动采集方案。
35.示例性的，在一些实施例中，以定点采集方案为例。在该方案中，可以将图像采集装置提前部署在想要采集图像的位置。另外，在图像采集装置中可以根据预先设置有时间或温度等条件信息，当图像采集装置确定符合上述条件时，开始通过其摄像头自动进行拍摄。由此获取图像采集装置所部署位置的基础图像。
36.在另一些实施例中，以移动采集方案为例。在该方案中，图像采集装置通常是附属在移动的基座上，通过基座的移动在不同地方采集基础图像的数据集。例如，基座通常可以设置在采集车上。通过该方案，采集的基础图像数量较大，且由于人工的控制，使得图像质量可控。但是，由于车辆的形式区域限制，不适用一些地形较为复杂区域的图像采集。同时，由于图像采集装置的移动，无法保证基础图像采集过程中的准确性。
37.在通过上述定点采集方案或者移动采集方案获取基础图像后，还需要对该基础图像进行标注，以便标识各个基础图像的采集位置以及采集该基础图像时图像采集装置的姿态。其中，采集位置可以为采集对应基础图像的过程中，图像采集装置的准确的地理位置。采集姿态可以为对应采集对应基础图像时，图像采集装置的内外参，比如视场角(filed of view，fov)以及俯仰角等。本技术实施例中，可以将采集位置以及采集姿态合称为位姿信息。
38.目前，对基础图像的位姿信息的标注，可以通过人工标注或者机器标注的方式实现。
39.例如，以机器标注为例。在进行机器标注之前，可以在电子设备中预置在对应图像采集区域采集大量图像。通过二维图像到三维模型的转换算法，比如运动结构(structure from motion，smf)算法，获取该图像采集区域对应的三维场景信息。在进行机器标注时，可以将图像采集装置拍摄的基础图像输入电子设备，电子设备根据上述三维场景信息，确定采集该基础图像时，图像采集装置的位姿信息。例如，电子设备可以根据采集该基础图像时图像采集装置通过全球导航卫星系统(global navigation satellite system，gnss)获取的地理位置，确定该基础图像的初始位置。可以理解的是，由于该初始位置的精度较低(一般在0.5米到1米的范围内)，电子设备需要据此确定更加准确的位置信息。例如，电子设备可以提取该基础图像的关键特征(如边缘提取的信息，根据灰度的分布，确定二维点的描述子等)，与上述三维场景信息进行比对，结合初始位置，最终确定该基础图像的精确位置以及姿态信息。电子设备可以将该精确的位置信息和姿态信息标注到对应的图像中，以便完成上述机器标注。
40.又如，以人工标注为例。进行标注的人员可以结合采集对应基础图像的过程中，图像采集装置的位置信息，以及通过测量获取的图像采集装置的姿态信息，对各个基础图像进行标注。由此实现人工标注。
41.通过上述方案，即可实现获取能够用于进行深度学习的经过标注的多个基础图
像。但是，采用上述方案也存在一些问题。例如，对于定点采集的方案，由于该方案是通过图像采集设备自行感知是否达到预设条件才开始拍摄的，因此，当图像采集装置没有准确地感知预设条件是否达成时，就会使得拍摄获取的基础图像不符合预设的要求。另外，如果要采集多个不同地点的基础图像，就需要分别在这些位置设置图像采集装置，由此会造成较大成本的投入。对于移动采集的方案，由于该图像采集装置是设置在车辆上，通过人工控制实现的拍摄，因此，对于车辆无法达到的位置，就无法采集获取对应的基础图像。同时由于需要人工控制，因此也增加了人力成本的投入。
42.另外，结合上述说明，目前的标注都是在获取基础图像之后，电子设备或人工再对这些基础图像进行标注的。也就是说，在标注完成后，电子设备才能够知晓该基础图像的位姿信息。而当电子设备需要采集某一固定位置的基础图像时，只能将图像采集装置设置在该位置附近，由于设置位置以及姿态的差异，可能会导致基础图像获取失败。
43.综上所述，目前的图像采集方案，由于定点采集方案以及移动采集方案的缺陷，以及先采集后标注的流程，导致基础图像采集的全面性和准确性不高，由此也就会影响到基于该基础图像的深度学习的全面性和准确性。
44.另外，在深度学习时，经常需要采集预设位姿(即预设位置以及预设姿态)的基础图像时，如果采用定点拍摄方案，存在上述触发机制的影响等问题，而如果采用移动拍摄方案，由于目前的移动拍摄方案中图像采集装置是根据gnss系统确定的拍摄位置，因此精度上的欠缺也会导致基础图像的拍摄不够准确。此外，当需要拍摄的基础图像的像质要求较高时，则需要使用高质量的拍摄装置，由此也会提升硬件的成本投入。
45.为了解决上述问题，本技术实施例提供一种图像采集装置，以及基于该图像采集装置的图像采集方法。通过该方案，能够使得图像采集装置可以根据预设的位姿信息，准确地采集对应的基础图像。可以理解的是，通过该方案，当预设的位姿信息中包括一个位置和/或姿态时，则可以准确地采集获取该位置和/或姿态下的基础图像。而当预设的位姿信息中包括多个位置和/或姿态时，则可以通过该方案采集获取多个准确的基础图像。也就是说，当预设的位姿信息足够多时，就能够获取对应场景中全面的准确的基础图像。而由于该方案采用的是预设位姿信息再进行拍摄的方案，因此不需要在拍摄后再进行标注的过程，由此也能够有效地提升位姿信息的准确性，并显著降低由于标注过程引入的人力和资源的成本。
46.以下结合附图对本技术实施例提供的图像采集装置和图像采集方法进行详细说明。
47.请参考图1，为本技术实施例提供的一种图像采集装置100的示意图。以下对各个组件的功能进行示例性的说明。
48.如图1所示，该图像采集装置100中可以包括自动导引车(automated guided vehicle，agv)101，通信天线103，导航模块104，全景相机105(和/或激光雷达102)，机械臂108，相机旋转云台109，三轴微调支架110以及标定用手机111。本技术中，通信天线103也可称为通信模块。
49.其中，agv 101作为该图像采集装置100的移动机构，能够根据预设的位置，自动行驶到对应的位置，以便图像采集装置100进行拍摄。在本技术实施例中，agv 101可以为能够在全地形行驶并驻车的小车，例如，该agv 101可以在狭小的空间中自由行驶并驻车。另外，
agv 101还具有自动行驶功能。例如，agv 101可以通过其内置的自动行驶模块，在不需要人工介入的情况下，控制agv 101自行行驶到预设的位置。由此实现24小时无人值守的拍摄。在不同的实现场景中，agv 101的自动行驶可以通过不同方法实现。如图1所示，该图像采集装置100中可设置有导航模块104。在该示例中该导航模块104可以是基于gnss系统的导航模块。该导航模块104可以在进行自动行驶时，通过gnss系统为agv 101提供导航信息，以便agv 101根据该导航信息行驶到预设的位置。示例性的，在一些实现方式中，如图1所示，该图像采集装置还可设置有激光雷达102。该激光雷达102可以用于在进行自动行驶时，配合导航模块104，根据预设在图像采集装置100中的位置信息，为agv 101提供自动导航信息，以便agv 101可以根据该导航信息行驶到对应的预设位置。在另一些实现方式中，如图1所示，该图像采集装置还可设置有全景相机105。该全景相机105可以在进行自动行驶时，拍摄获取当前agv 101所处环境的图像，以便集合导航模块104，为agv 101提供导航信息，使得agv 101根据该导航信息行驶到预设的位置。在另一些实现方式中，在图像采集装置100中还可以同时设置有上述激光雷达102和全景相机105，以便能够为agv 101提供更加准确的导航信息。应当理解的是，如图1所示的组成，在该图像采集装置100中同时包括了激光雷达102和全景相机105，此仅为一种实现方式的示例，在采用其他实现方式中，该图像采集装置100中也可只包括激光雷达102或者全景相机105。
50.在该图像采集装置100中，还可以包括通信天线103。该通信天线103可以配合该图像采集装置100，实现基于3g/4g/5g/6g的数据通信。示例性的，该图像采集装置100可以通过通信天线103，与云端服务器进行交互。例如，该图像采集装置100可以通过通信天线103将拍摄获取的图像上传到云端服务器。又如，该图像采集装置100可以通过通信天线103从云端服务器接收准确的位姿信息等。需要说明的是，在一些实现方式中，该通信天线103还可以用于用户通过控制设备对该图像采集装置100进行远程控制。例如，用户可以通过控制设备向该图像采集装置100发送行驶，拍摄，驻车等控制信号，图像采集装置100可以通过通信天线103接收该控制信号，并执行对应的操作。在本技术的另一些实现方式中，如图1所示，在该图像采集装置100无线局域网(wireless fidelity，wifi)天线106。该wifi天线106也可用于用户通过控制设备对该图像采集装置100进行远程控制。
51.在该图像采集装置100中，还可以包括机械臂108。该机械臂108为图像采集装置100中姿态调整机构的一部分。如图1所示，该机械臂108的一端可以设置在升降台107上，该机械臂108的另一端可以与用于固定拍摄设备(或称为取景设备)的相机旋转云台109固定连接。该机械臂108可以包括三个支撑臂，三个支撑臂之间通过能够调整相对角度并固定在该角度的结构连接。作为一种可能的实现方式，如图1所示，该三个支撑臂之间可以通过螺钉连接。在需要调整相机旋转云台109的高度时，该机械臂108可以用于通过调整其中包括的三个支撑臂的相对角度，实现对于其相机旋转云台109的高度调整。需要说明的是，如图1所示，在该图像采集装置100中还可设置有升降台107。该升降台107可以用于调整机械臂108以及相机旋转云台109的高度。当在图像采集装置100中同时设置有升降台107和机械臂108时，图像采集装置100可以通过升降台107对高度进行粗调，通过机械臂108进行细调，由此实现精细化调整高度的目的。需要说明的是，在本技术的另一些实施例中，该图像采集装置100中也可以不包括升降台107。在该示例中，机械臂108可以与agv 101上设置的底座固定连接，图像采集装置100可以通过机械臂108调整相机旋转云台109的高度。
52.结合上述说明，在图像采集装置100中还可设置有相机旋转云台109。该相机旋转云台109可以用于固定拍摄设备，并且具有调整固定设备水平朝向的功能。例如，相机旋转云台109可以通过旋转的方式，调整其上固定的拍摄设备的水平朝向。
53.在本示例中，相机旋转云台109上还可设置有一个或多个三轴微调支架。该三轴微调支架可以用于承载拍摄设备。通过调整三轴微调支架，能够达到微调拍摄设备的水平以及垂直方向的6轴姿态。
54.作为一种示例，图2示出了本技术实施例提供的一种相机旋转云台以及三轴微调支架设置的俯视图。其中，以相机旋转云台109上设置有5个能够用于固定拍摄设备(如手机)的三轴微调支架201-三轴微调支架205为例。如图2所示，三轴微调支架201-三轴微调支架205可以以相机旋转云台109的几何中心呈旋转对称设置。三轴微调支架201-三轴微调支架205距离相机旋转云台109的几何中心可以相同，由此便于切换不同三轴微调支架上的拍摄设备时的调整。当然，在另一些实施例中，该三轴微调支架201-三轴微调支架205距离相机旋转云台109的几何中心也可以不同。另外，如图2所示，其中以设置有5个三轴微调支架为例进行说明，在本技术的另一些实施例中，三轴微调支架的数量也可更多或更少，具体数量可以根据实际需要灵活设置。例如，如图2所示，以设置有5个手机为例。这5个手机可以设置在相机旋转云台109上，以相机旋转云台109为中心的圆周上。比如，5个手机任意两个相邻的手机分别与圆心连线的夹角可以为360
°
/5＝72
°
。当然手机在圆周上的位置也可以是其他位置，具体实现可以根据实际需要灵活设置。类似的，当相机旋转云台109上设置有2个手机时，这两个手机可的连线可以经过相机旋转云台109的中心。当相机旋转云台109上设置有3个手机时，3个手机任意两个相邻的手机分别与圆心连线的夹角可以为360
°
/3＝120
°
。当相机旋转云台109上设置有4个手机时，4个手机任意两个相邻的手机分别与圆心连线的夹角可以为360
°
/4＝90
°
。当相机旋转云台109上设置有6个手机时，6个手机任意两个相邻的手机分别与圆心连线的夹角可以为360
°
/6＝60
°
。以此类推。
55.请参考图3，为本技术实施例提供的一种相机旋转云台以及三轴微调支架设置的侧面视图。在相机旋转云台109上可以设置有一个或多个三轴微调支架。图3中，以设置有5个三轴微调支架为例进行说明。如图3所示，每个三轴微调支架的组成类似，都可以用于调整其上承载的拍摄设备的6轴姿态。示例性的，一个三轴微调支架可以包括由套筒301以及定位螺钉302组成的高度微调机构，承载平台304，水平定位螺钉305和306组成的水平微调机构组成。如图3所示，在三轴微调之家上还可设置有用于固定拍摄设备夹具的公头螺母307。例如，该公头螺母可以为具有1/4英寸三脚架英寸标准螺纹的公头螺母。需要说明的是，该公头螺母307可以用于固定能够夹装拍摄设备(如图3中的手机308)的夹具310。因此，在不同的实现方式中，该公头螺母307也可以替换为其他形式的固定结构，以适配不同的夹具310，对夹具310进行固定。如图3所示，该手机308上可以设置有摄像头309。当需要使用该手机308进行拍摄时，手机308可以通过该摄像头309实现拍摄功能。
56.如上述说明，该三轴微调支架能够实现对于手机6轴姿态的微调作用。作为一种示例，当需要通过三轴微调支架调整高度时，可以控制定位螺钉302放松，并调整套筒301进行伸缩。在调整到所需高度时，套筒301停止伸缩，并控制定位螺钉302拧紧定位。由此即可实现z方向上的2轴(如+z，-z)姿态微调。当需要通过三轴微调支架调整水平时，可以控制水平定位螺钉305和/或水平定位螺钉306旋出或旋入，对应的，公头螺母307的水平位置会发生
响应的移动，由此通过调整公头螺母307的说明位置，达到调整xy方向上的4轴(如+x，-x，+y，-y)姿态微调。
57.可以理解的是，以图像采集装置具有图1所示的组成为例。该图像采集装置100可以通过调整升降台107和机械臂108实现对于高度z方向2轴姿态的粗调。结合图3的说明，图像采集装置100可以通过控制三轴微调支架110调整夹装在对应支架上的拍摄设备的xyz方向6轴姿态的微调。由此实现通过该如图1所示的组成，精确地控制拍摄设备拍摄位姿的目的。
58.需要说明的是，在本技术实施例中，如图1所示的图像采集装置100中还可设置有控制模块，用于控制图像采集装置100中的各个组件实现对应的功能。在一些实现方式中，该控制模块可以为处理器(central processing unit，cpu)或者微处理器(microprogrammed control unit，mcu)或者其他具有控制功能的部件。以下以控制模块为处理器为例进行说明。应当理解的是，为了能够满足处理器对于各个部件的控制，图像采集装置100中还设置有其他必须的器件和组成，本技术实施例对此不作赘述。
59.作为一种划分方式，具有如图1所示组成的图像采集装置100，也可被划分为不同的系统模块。示例性的，如图4所示，图像采集装置100可以包括图像采集机器人系统401，位姿校准系统402，以及图像采集系统403。如图4所示的各个系统能够实现对应的功能。为了实现各个系统的功能，各系统可以在执行对应的操作时，包括如图1的部分或全部组成部件。
60.示例性的，如图4所示，该系统图像采集机器人系统401可以包括机器人底盘(如agv)、激光雷达、全景相机。在该硬件组成的基础上，该图像采集机器人系统401还可以存储有卫星定位系统(如gnss)、导航路网(如包括能够提供导航信息的导航地图相关信息)及取景点(如预先输入的位姿信息等)等信息。通过上述硬件和软件的配合，该图像采集机器人系统401能够实现图像采集装置100的移动与控制以及粗地理坐标感知功能。例如，通过导入空间计算数据库，借助图像采集机器人系统401的激光雷达、全景相机以及与位姿校准系统的信息与数据库中的数据进行匹配，从而识别当前图像采集装置100的粗略位姿。另外，通过在该系统中预先存储导航路网，指定取景点，图像采集装置100可以实现自动导航到多个取景点自动工作。
61.位姿校准系统402可以包括拍摄设备、机械臂、相机旋转云台、端云交互接口。通过上述部件，该系统能够同时还能够提供空间计算的能力。在本示例中，位姿校准系统402主要负责图像采集装置100采集图像时的精准定位。比如，通过图像采集机器人系统的粗略定位以及提前标定好的智能手机中各类传感器作为空间计算系统的位置先验、结合智能手机捕获的图像，通过空间计算系统可以获得精确的机器人系统位姿，通过调节机械臂与云台，将图像采集系统精确的调整到事先设定的取景点和取景角度。这种方式拍摄的图像能够实现精确的6自由度位姿标注以及多次拍摄角度的复现性。
62.图像采集系统403可以包括拍摄设备(如由两个或多个相机组成的相机组)，机械臂，端云交互接口以及夹具。作为一种可能的实现方式，通过位姿校准系统，机械臂可以将相机组调整到预先设定好的拍摄角度进行拍摄，通过机械臂、云台以及相机夹具的配合，实现使用自动更换多台相机对同一地点进行拍摄。由于保证多个相机多次拍摄处于相同的位姿，并且带有精确的6自由度坐标，因此能够使得采集获取的图像数据库可以服务于多类基
于深度学习的图像处理以及视觉定位算法。
63.需要说明的是，在上述系统执行对应的操作以实现本技术实施例提供的方案时，可以与空间计算数据库耦合，实现位姿的确认调整以及标注等工作。示例性的，如图4所示，该空间计算数据库404中可以存储有不同区域的全局特征，局部特征，三维点云，图像集，和/或图像集位姿等信息。以便通过该空间计算数据库404能够准确地确定当前拍摄设备的位姿信息。在不同的实现方式中，该空间数据库404可以通过不同方式与图像采集装置100耦合。例如，在一些实现方式中，空间数据库404可以是存储在图像采集装置100中的，当需要使用该空间数据库404进行数据比对时，图像采集装置100可以在本地完成数据对比工作，以确定其当前位姿状态。在另一些实现方式中，空间数据库404也可以是在云端服务器，通过向图像采集装置100提供空间计算服务实现的。在该示例中，当图像采集装置100需要使用空间数据库404进行数据比对时，可以通过其通信天线103或者其他具有通信功能的部件从云端获取该空间计算服务。比如图像采集装置100可以将当前位姿下拍摄的图像上传到云端服务器，以便云端服务器根据该图像，确定当前拍摄设备的位姿，并将该位姿信息下发给图像采集装置100。由此就实现了图像采集装置100根据该空间计算数据库404确定当前位姿的目的。进而使得图像采集装置100可以据此进行位姿的调整以及标注等工作。
64.本技术实施例提供的图像采集方法，能够应用于上述如图1-图4所示的图像采集装置100中。以下对该方法进行详细说明。其中，为了便于说明，以下以拍摄设备为手机，图像采集装置100通过空间计算服务与空间数据404耦合为例进行说明。
65.请参考图5，示出了本技术实施例提供的一种图像采集方法的流程示意图。如图5所示，该方法可以包括s501-s505。
66.s501、行驶到预设的拍摄位置，并在该位置驻车。
67.图像采集装置中可以存储有想要拍摄场景的位姿信息。例如，该位姿信息可以包括通过地理坐标标识的位置信息，以及包括拍摄俯仰角等信息的姿态信息。需要说明的是，在图像采集装置进行拍摄时，由于拍摄设备(如手机)的设置基座，如agv，并不一定保持水平，因此，一般无法直接将拍摄设备的俯仰角直接按照预设的姿态信息进行调整以便拍摄获取对应的景物。本示例中，可以将该位姿信息存储在图像采集装置中，并根据后续s502-s504的方法将手机的位姿状态调整到符合预设的位姿信息要求的状态才进行拍摄，因此能够准确地获取对应景物的图像。具体方案请参考后续说明，此处不再赘述。
68.在本示例中，图像采集装置可以通过自动导航，行驶到该位姿信息所指示的位置(如称为驻车位置)。
69.示例性的，在一些实现方式中，图像采集装置可以根据空间计算服务，获取从当前位置到驻车位置的导航信息，并根据该导航信息，自动形式到驻车位置。结合上述关于空间计算服务的说明，在一些实现方式中，图像采集装置还可以通过空间计算服务，将可能用到区域对应的三维或二维的导航地图存储在本地，以便能够直接根据本地存储的数据，进行自动导航。
70.在另一些实现方式中，在图像采集装置从当前位置自动导航到驻车位置之前，还可以预先设定行驶路径。由此可以使得图像采集装置根据预设的行驶路径，结合导航信息，自动行驶到驻车位置。可以理解的是，通过预设行驶路径，可以有效避免图像采集装置在自动导航过程中由于导航信息出错等问题导致的导航失败等问题，因此能够提高图像采集装
置自动形式到驻车位置的成功率。
71.应当理解的是，由于图像采集装置中设置有基于gnss的导航模块，因此，在图像采集装置自行导航到驻车位置附近时，图像采集装置可以获取其当前的地理坐标。图像采集装置可以在当前所处地理坐标与预设的位姿信息所指示的地理坐标相同，或者差值小于对应的预设阈值时，确定已经到达驻车位置附近。此时，图像采集装置可以控制其agv停止导航行驶，驻车在该位置。
72.需要说明的是，由于根据gnss的精度限制，图像采集装置一般无法直接根据自动导航精确地行驶到预设位姿信息对应的地理坐标，因此，本示例中，图像采集装置可以执行以下s502-s504，将图像采集装置的地理位置调整到与预设位姿信息对应的地理坐标一致，并且姿态信息一致的状态。
73.s502、控制标定手机拍摄参考图像。
74.在根据自动驾驶，到达驻车位置之后，图像采集装置可以控制其上的设置的标定手机进行拍摄。其中，该标定手机可以为设置在图像采集装置上的任一个手机。
75.可以理解的是，图像采集装置可以用于通过其上设置的一个或多个手机拍摄预设位置的图像。因此，在图像采集装置出发之前，就已经装载了一个或多个手机，具体装载方式如3所示。在本示例中，为了能够准确地确定手机拍摄时的位姿信息，可以在装载手机之后，分别对各个手机进行标定，以便图像采集装置能够知晓各个手机相对于图像采集装置的位姿状态，进而使得图像采集装置能够在预设位姿信息对应的位置将手机准确地调整到想要的位姿状态下。
76.作为一种示例，以图像采集装置上按照如图2所示分布装载有5个手机(如手机a，手机b，手机c，手机d以及手机e)为例对手机的标定过程进行说明。可以将标定网格线放置于已标定手机a的正前方，调节机械臂使得相机旋转云台与地面平行，顺时针调节云台偏航角72
°
，手工调节三轴微调支架使得相机b的光心与手机a的光心位于标定网格线同一位置，继续顺时针调节云台偏航角72
°
以此类推，分别调整相机b，相机c，相机d，以及相机e的光心位于标定网格线同一位置。进而保证所有拍摄设备的光心都处于同一平面，并且两个相邻的拍摄设备的夹角为72
°
。这样，就完成了所有手机的标定。
77.可以理解的是，由于所有手机相对于图像采集装置的位姿信息已经通过标定的过程获取，因此，图像采集装置就可以根据在驻车位置，通过其中一个手机拍摄的图像，结合空间计算结果，获知当前图像采集装置所处的具体地理位置，以及当前拍摄手机的俯仰角等姿态与预设位姿信息所指示的姿态之间的差异。在具体实现过程中，图像采集装置可以将装载的多个手机中的任意一个已经标定的手机作为标定手机。当然，标定手机的选取也可以根据实际需要，选取具有适当焦距，分辨率等参数的已标定手机，本技术实施例对此不作限制。
78.s503、通过空间计算服务，以及参考图像，确定标定手机当前位姿。
79.s504、根据标定手机当前位姿，将标定手机的位姿调整为预设位姿。
80.在上述s502中，图像采集装置通过定位手机，拍摄获取了对应的图像之后，可以根据空间计算服务获取的周围环境的三维场景信息，确定当前手机的精确位置以及俯仰角，进而推定出agv需要在当前位置下需要移动的距离和方向，同时也可以根据当前手机的俯仰角，将标定手机的俯仰角调整到预设位姿信息对应的姿态。
81.示例性的，以图像采集装置通过空间计算服务与云端服务器中的空间计算数据库进行交互为例。结合图6，图像采集装置可以将标定手机拍摄的图像1发送给云端服务器(如执行s601)。以便于云端服务器可以接收该图像1，并根据存储的空间计算数据库中的对应区域的三维场景信息获取当前图像1对应的位姿信息1(如执行s602)。云端服务器可以将该位姿信息1发送给图像采集装置(如执行s603)。图像采集装置可以接受该位姿信息1，并与预设的位姿信息进行比对，以确定移动方向以及移动距离，以及姿态差异(如执行s604)。图像采集装置可以根据移动方向以及移动距离控制agv进行移动，以使得标定手机与预设位姿系信息所指示的地理位置精确重合(如执行s605)。图像采集装置还可以根据姿态差异，调整当前标定手机的姿态，以使得标定手机与预设位置信息所指示的姿态信息精确重合(如执行s606)。这样，就实现了图像采集装置上标定手机与预设位姿信息的准确对应。
82.需要说明的是，在上述示例中，云端服务器可以根据图像1，确定当前标定手机所对应的位姿信息。在一些实现场景中，图像1中可能无法提供足够的特征，使得云端服务器能够有效地判断标定手机当前的位姿信息。例如，在驻车位置，标定手机的摄像头正对墙面，则拍摄获取的图像1中可能只包括墙面的信息，而这显然无法为云端服务器提供足够的特征用于判断当前的位姿信息。因此，在本示例中个，当云端服务器根据图像1无法确定当前位姿信息时，可以向图像采集装置返回位姿信息确定失败的消息。图像采集信息在接收到该消息之后，可以调整当前位置，或者通过其他已标定的手机重新拍摄，并将重新拍摄的图像传输给云端服务器，以便于云端服务器根据该图像确定对应手机的位姿信息。
83.s505、控制手机开始拍摄，以获取对应的图像。
84.在调整控制标定手机的位姿信息为预设位姿信息之后，图像采集装置就可以控制该手机开始拍摄。当需要采用不同拍摄设备在该位置进行拍摄时，由于在标定过程中，所有手机与所选取的标定手机的相对位置关系均已知，因此，在完成一个手机的拍摄之后，图像采集装置可以控制切换为其他手机，按照对应的位姿信息进行拍摄以获取对应的图像。
85.应当理解的是，在本技术所述方案中，由于位姿信息是在拍摄之前已经确定的，而手机在拍摄之前都会经过准确的位姿调整，因此，拍摄获取的图像与位姿信息能够准确对应。当需要对多个不同位姿信息对应的图像进行拍摄时，可以将这些位姿信息分别存储到图像采集装置中，以便于图像采集装置可以根据上述s501-s505进行对应的拍摄。其执行过程类似，此处不再赘述。当预设的位姿信息足够多时，则通过该图像采集装置，就能够获取对应区域全面的准确的基础图像。通过如图5类似的方法，基于上述图像采集装置以及图像采集方法，能够实现对于预设位姿信息的准确拍摄，还能够满足对于相同场景，不同时间的拍摄的要求。例如，可以分别在上午9点钟以及晚上9点钟，通过上述图5所示方法，指示图像采集装置拍摄位姿信息1对应场景下的图像1和图像2。那么，由于图像1和图像2能够分别准确地对应到位姿信息1，因此，通过对图像1和图像2的深度学习，电子设备就能够准确地知晓位姿信息1对应场景下不同光照以及时间的差异。通过实验证明，由于空间计算在景深为5米情况下的标准差为0.1米，0.1
°
。而机械臂的精度为0.1mm。因此可以判定拍摄的图像1以及图像2的画面重合度为90％度以上。
86.需要说明的是，本技术实施例提供的图像采集装置，还可以根据实时场景对其行为进行校正。例如，当图像采集装置电量不足，或者要拍摄区域(或导航路径)突然下雨或起风时，图像采集装置确定当前场景无法正常进行图像采集，则图像采集装置可以自行导航
到最近的避雨房等设施中进行充电。类似的，当图像采集装置确定其上搭载的手机或相机电量不足时，则图像采集装置可以通过其供电装置为手机或相机充电，或者，自动导航到最近的充电点对手机或相机进行充电。由此可以进一步提升图像采集的准确度。
87.可以理解的是，本技术实施例提供的图像采集装置以及图像采集方法，能应用于上述示例中的基础图像的采集。在另一些实现场景中，该图像采集装置所采集的图像还能够用于比对不同拍摄设备的成像质量。示例性的，结合上述说明，图像采集装置上可以同时搭载有多个拍摄设备。以图像采集装置上搭载有两个不同的拍摄设备(如拍摄设备1和拍摄设备2)为例。在开始执行上述如图5或图6所述方法之前，可以对拍摄设备1和拍摄设备2进行标定。标定的具体方法与上述实施例的说明类似，此处不再赘述。需要说明的是，本示例中，是以分别对两个拍摄设备进行标定为例进行说明的。可以理解的是，在另一些实施例中，也可以对拍摄设备1进行标定，另外将拍摄设备2设置在于拍摄设备1对应位置已知的位置。例如，将拍摄设备2设置在光心与拍摄设备1在同一个水平面，两个拍摄设备的摄像头与相机旋转云台的几何中心的连线夹角为固定角度。由于拍摄设备1已经被标定，而拍摄设备2与拍摄设备1的相对位置关系已知，因此也能够起到对拍摄设备2的标定效果。在按照上述如图5或图6所述方法进行拍摄时，可以分别控制拍摄设备1和拍摄设备2在相同的位姿信息下，分别拍摄对应的图像。例如通过拍摄设备1拍摄获取图像1，通过拍摄设备2拍摄获取图像2。在拍摄设备1和拍摄设备2由于设备差异导致成像质量差异时，可以通过对图像1和图像2进行深度学习，以获取两个拍摄设备之间的成像差异。应当理解的是，获取不同设备的成像差异对于图像采集过程有很大帮助。例如，可以根据上述方案获取成本较低的拍摄设备与成本较高的拍摄设备之间的成像差异。由此就可以通过成本较低的拍摄设备进行拍摄，并对拍摄获取的图像根据上述成像差异进行分析，以获取通过较高成本的拍摄设备进行拍摄获取较高质量的图像的效果。因此能够显著地降低图像采集过程中的硬件成本投入。需要说明的是，如果采用前述说明中的现在有技术，分别获取上述拍摄设备1和拍摄设备2在相同位姿下的图像并进行深度学习，也能够获取两个拍摄设备之间的成像差异。但是，由于现有技术无法两个拍摄设备在拍摄时的位姿精确相同，因此，拍摄获取的图像1和图像2对应的拍摄位姿可能具有较大的差别，由此根据图像1和图像2进行的深度学习获取成像差异的精度就会收到严重影响，甚至导致深度学习失败。
88.图7示出了的一种芯片系统700的组成示意图。该芯片系统700可以包括：处理器701和通信接口702，用于支持相关设备实现上述实施例中所涉及的功能。在一种可能的设计中，芯片系统还包括存储器，用于保存终端必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。需要说明的是，在本技术的一些实现方式中，该通信接口702也可称为接口电路。
89.需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
90.在上述实施例中的功能或动作或操作或步骤等，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可
以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包括一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
91.尽管结合具体特征及其实施例对本技术进行了描述，显而易见的，在不脱离本技术的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本技术的示例性说明，且视为已覆盖本技术范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包括这些改动和变型在内。