一种多目视觉定位协同引导运输车的方法及装置与流程

本发明涉及计算机应用技术领域，特别是涉及一种多目视觉定位协同引导运输车的方法及装置。

背景技术：

随着计算机技术的快速发展，自动化生产活动逐渐增多。在自动化生产活动中，运输车的使用越来越多。运输车的自动运行依赖于室内定位导航的准确程度。

目前，常用的室内定位导航方法有超声波定位导航、红外定位导航等。这些方法容易受到室内环境变化的影响，适用性和灵活性较差，一旦室内环境发生变化，就会导致定位不准确，从而使得运输车无法准确到达终点，降低了自动化生产效率。

技术实现要素：

本发明的目的是提供一种多目视觉定位协同引导运输车的方法及装置，以实现运输车在大范围空间内的定位运输作业，具有较强的适用性和灵活性，提高自动化生产效率。

为解决上述技术问题，本发明提供如下技术方案：

一种多目视觉定位协同引导运输车的方法，应用于服务器，所述服务器分别与多个图像采集设备连接，多个图像采集设备总的视场范围大于或等于运输车运行空间范围，相邻两个图像采集设备的视场范围有交叉，所述多目视觉定位协同引导运输车的方法包括：

在接收到的多个图像中，确定存在所述运输车的第一图像，所述第一图像为多个图像采集设备中第一图像采集设备采集到的其视场范围图像；

确定所述运输车在所述第一图像采集设备对应的第一坐标系中的第一坐标；

根据预先确定的各图像采集设备对应的坐标系与基准坐标系的偏移关系和所述第一坐标，确定所述运输车在所述基准坐标系中的实际物理坐标；

根据所述实际物理坐标和预设的终点坐标，控制所述运输车的行驶方向，所述终点坐标为所述基准坐标系下的坐标。

在本发明的一种具体实施方式中，通过以下步骤预先确定视场范围有交叉的第二图像采集设备和第三图像采集设备对应的坐标系的偏移关系：

在所述第二图像采集设备和所述第三图像采集设备的交叉视场范围内选择第一目标点和第二目标点；

分别确定所述第一目标点在所述第二图像采集设备对应的坐标系中的第二坐标、所述第一目标点在所述第三图像采集设备对应的坐标系中的第三坐标、所述第二目标点在所述第二图像采集设备对应的坐标系中的第四坐标、所述第二目标点在所述第三图像采集设备对应的坐标系中的第五坐标；

根据所述第二坐标、所述第三坐标、所述第四坐标和所述第五坐标，确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的偏移关系。

在本发明的一种具体实施方式中，所述根据所述第二坐标、所述第三坐标、所述第四坐标和所述第五坐标，确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的偏移关系，包括：

根据所述第二坐标、所述第三坐标、所述第四坐标和所述第五坐标，确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的倾斜夹角；

根据所述倾斜夹角、所述第二坐标、所述第三坐标、所述第四坐标和所述第五坐标，确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的相对偏移量。

在本发明的一种具体实施方式中，所述根据所述倾斜夹角、所述第二坐标、所述第三坐标、所述第四坐标和所述第五坐标，确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的相对偏移量，包括：

根据以下公式确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的相对偏移量：

其中，Δx为x轴方向相对偏移量，Δy为y轴方向相对偏移量，(x₁，y₁)为第二坐标，(u₂，v₂)为第五坐标，θ为倾斜夹角。

在本发明的一种具体实施方式中，所述运输车在图像中的标志为单色球。

一种多目视觉定位协同引导运输车的装置，应用于服务器，所述服务器分别与多个图像采集设备连接，多个图像采集设备总的视场范围大于或等于运输车运行空间范围，相邻两个图像采集设备的视场范围有交叉，所述多目视觉定位协同引导运输车装置包括：

第一图像确定模块，用于在接收到的多个图像中，确定存在所述运输车的第一图像，所述第一图像为多个图像采集设备中第一图像采集设备采集到的其视场范围图像；

第一坐标确定模块，用于确定所述运输车在所述第一图像采集设备对应的第一坐标系中的第一坐标；

实际物理坐标确定模块，用于根据预先确定的各图像采集设备对应的坐标系与基准坐标系的偏移关系和所述第一坐标，确定所述运输车在所述基准坐标系中的实际物理坐标；

行驶方向控制模块，用于根据所述实际物理坐标和预设的终点坐标，控制所述运输车的行驶方向，所述终点坐标为所述基准坐标系下的坐标。

在本发明的一种具体实施方式中，还包括偏移关系确定模块，用于通过以下步骤预先确定视场范围有交叉的第二图像采集设备和第三图像采集设备对应的坐标系的偏移关系：

在所述第二图像采集设备和所述第三图像采集设备的交叉视场范围内选择第一目标点和第二目标点；

分别确定所述第一目标点在所述第二图像采集设备对应的坐标系中的第二坐标、所述第一目标点在所述第三图像采集设备对应的坐标系中的第三坐标、所述第二目标点在所述第二图像采集设备对应的坐标系中的第四坐标、所述第二目标点在所述第三图像采集设备对应的坐标系中的第五坐标；

根据所述第二坐标、所述第三坐标、所述第四坐标和所述第五坐标，确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的偏移关系。

在本发明的一种具体实施方式中，所述偏移关系确定模块，具体用于：

根据所述第二坐标、所述第三坐标、所述第四坐标和所述第五坐标，确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的倾斜夹角；

根据所述倾斜夹角、所述第二坐标、所述第三坐标、所述第四坐标和所述第五坐标，确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的相对偏移量。

在本发明的一种具体实施方式中，所述偏移关系确定模块，具体用于：

根据以下公式确定所述第二图像采集设备对应的坐标系与所述第三图像采集设备对应的坐标系的相对偏移量：

其中，Δx为x轴方向相对偏移量，Δy为y轴方向相对偏移量，(x₁，y₁)为第二坐标，(u₂，v₂)为第五坐标，θ为倾斜夹角。

在本发明的一种具体实施方式中，所述运输车在图像中的标志为单色球。

应用本发明实施例所提供的技术方案，服务器分别与多个图像采集设备连接，多个图像采集设备总的视场范围大于或等于运输车运行空间范围，相邻两个图像采集设备的时长范围有交叉，服务器在接收到多个图像采集设备发送的图像中，确定出存在运输车的第一图像，确定运输车在第一图像采集设备对应的第一坐标系中的第一坐标，根据预先确定的各图像采集设备对应的坐标系与基准坐标系的偏移关系和第一坐标，确定运输车在基准坐标系中的实际物理坐标，根据实际物理坐标和预设的终点坐标，控制运输车的行驶方向，以使运输车向终点方向行驶。实现了运输车在大范围空间内的定位运输作业，具有较强的适用性和灵活性，提高了自动化生产效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中图像采集设备视场范围示意图；

图2为本发明实施例中一种多目视觉定位协同引导运输车的方法的实施流程图；

图3为本发明实施例中坐标系关系示意图；

图4为本发明实施例中一种多目视觉定位协同引导运输车的装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种多目视觉定位协同引导运输车的方法，该方法可以应用于服务器。在运输车运行空间范围内设置有多个图像采集设备，服务器分别与多个图像采集设备连接。多个图像采集设备总的视场范围大于或等于运输车运行空间范围，相邻两个图像采集设备的视场范围有交叉，如图1所示，图像采集设备1的视场范围1和图像采集设备2的视场范围2有交叉，运输车的行驶路径可以为1-2-3-4-5-6。运输车车体可以安装六轴陀螺仪感知二维姿态。

参见图2所示，为本发明实施例所提供的一种多目视觉定位协同引导运输车的方法的实施流程图，该方法可以包括以下步骤：

S110：在接收到的多个图像中，确定存在运输车的第一图像。

第一图像为多个图像采集设备中第一图像采集设备采集到的其视场范围图像。

在实际应用中，每个图像采集设备都可以采集到相应视场范围图像。可以预先设定图像采集时间间隔，在达到设定的图像采集时间间隔时，每个图像采集设备均采集其相应视场范围图像，并将采集到的时长范围图像发送给服务器。或者，可以按照运输车行进速度，预测运输车将进入哪些图像采集设备的视场范围，控制这些图像采集设备处于工作状态，这些图像采集设备采集到相应视场范围图像后，发送给服务器。

服务器可以接收多个图像，在接收到的多个图像中，可以确定存在运输车的第一图像。该第一图像为多个图像采集设备中第一图像采集设备采集到的其视场范围图像。在本发明实施例中，运输车在图像中的标志可以为单色球，如红色单球，提高在图像中识别运输车的稳定性。

S120：确定运输车在第一图像采集设备对应的第一坐标系中的第一坐标。

在本发明实施例中，每个图像采集设备均有对应的坐标系，如图3中，其中一个图像采集设备对应的坐标系为以O₁为原点的笛卡尔坐标系，另一个图像采集设备对应的坐标系为以O₂为原点的笛卡尔坐标系。

在步骤S110，确定出存在运输车的第一图像后，可以根据第一图像采集设备对应的第一坐标系，确定运输车在第一坐标系中的第一坐标。

S130：根据预先确定的各图像采集设备对应的坐标系与基准坐标系的偏移关系和第一坐标，确定运输车在基准坐标系中的实际物理坐标。

在本发明实施例中，可以从多个图像采集设备中选择一个图像采集设备，将其作为基准图像采集设备，其对应的坐标系为基准坐标系。根据各图像采集设备的位置关系，预先确定各图像采集设备对应的坐标系与基准坐标系的偏移关系。

具体的，可以先确定出视场范围有交叉的第二图像采集设备和第三图像采集设备对应的坐标系的偏移关系，然后再进行图像采集设备的扩展，通过两两图像采集设备对应的坐标系的偏移关系，最终得到每个图像采集设备对应的坐标系与基准坐标系的对应关系。

在本发明的一种具体实施方式中，可以通过以下步骤预先确定视场范围有交叉的第二图像采集设备和第三图像采集设备对应的坐标系的偏移关系：

步骤一：在第二图像采集设备和第三图像采集设备的交叉视场范围内选择第一目标点和第二目标点；

步骤二：分别确定第一目标点在第二图像采集设备对应的坐标系中的第二坐标、第一目标点在第三图像采集设备对应的坐标系中的第三坐标、第二目标点在第二图像采集设备对应的坐标系中的第四坐标、第二目标点在第三图像采集设备对应的坐标系中的第五坐标；

步骤三：根据第二坐标、第三坐标、第四坐标和第五坐标，确定第二图像采集设备对应的坐标系与第三图像采集设备对应的坐标系的偏移关系。

为便于描述，将上述三个步骤结合起来进行说明。

第二图像采集设备和第三图像采集设备为多个图像采集设备中视场范围有交叉的两个图像采集设备。第二图像采集设备和第三图像采集设备可以将采集到的相应视场范围图像发送给服务器。

服务器可以在第二图像采集设备和第三图像采集设备的交叉视场范围内选择两个点，第一目标点和第二目标点。如图3所示的A点和B点。

分别确定第一目标点在第二图像采集设备对应的坐标系中的第二坐标、第一目标点在第三图像采集设备对应的坐标系中的第三坐标、第二目标点在第二图像采集设备对应的坐标系中的第四坐标和第二目标点在第三图像采集设备对应的坐标系中的第五坐标。

如图3所示，第二图像采集设备对应的坐标系为以O₁为原点的笛卡尔坐标系，第三图像采集设备对应的坐标系为以O₂为原点的笛卡尔坐标系，第一目标点A点在第二图像采集设备对应的坐标系中的第二坐标可以为(x₁，y₁)，第一目标点A点在第三图像采集设备对应的坐标系中的第三坐标可以为(u₁，v₁)，第二目标点B点在第二图像采集设备对应的坐标系中的第四坐标可以为(x₂，y₂)，第二目标点B点在第三图像采集设备对应的坐标系中的第五坐标可以为(u₂，v₂)。

根据第二坐标、第三坐标、第四坐标和第五坐标，确定第二图像采集设备对应的坐标系与第三图像采集设备对应的坐标系的偏移关系。具体的，根据第二坐标、第三坐标、第四坐标和第五坐标，确定第二图像采集设备对应的坐标系与第三图像采集设备对应的坐标系的倾斜夹角，根据倾斜夹角、第二坐标、第三坐标、第四坐标和第五坐标，确定第二图像采集设备对应的坐标系与第三图像采集设备对应的坐标系的相对偏移量。

如图3所示，由三角形的内角外角以及对顶角关系可知，α＝β+θ，α和β可以由A点和B点的坐标计算得到，θ为两个坐标系的倾斜夹角，利用该夹角可以将第三图像采集设备对应的坐标系方向校正到与第二图像采集设备对应的坐标系方向一致。A点在不同的图像采集设备的视场范围内，基于不同的图像采集设备对应的坐标系，具有不同坐标，第二坐标和第三坐标，但A点的实际物理坐标应该只有一个，即第二坐标和第三坐标映射的实际物理坐标应该是一致的。利用这一点可以计算得到第三图像采集设备对应的坐标系整体相对于第二图像采集设备对应的坐标系的相对偏移量。

具体的，可以根据以下公式确定第二图像采集设备对应的坐标系与第三图像采集设备对应的坐标系的相对偏移量：

其中，Δx为x轴方向相对偏移量，Δy为y轴方向相对偏移量，(x₁，y₁)为第二坐标，(u₂，v₂)为第五坐标，θ为倾斜夹角。

基于第三图像采集设备对应的坐标系得到的坐标经过θ校正之后，再加上偏移量Δx和Δy，就可以得到在第二图像采集设备对应的坐标系下的坐标。

上述主要是以两个图像采集设备的扩展为例进行的说明，对于多个图像采集设备的视场扩展同样适用。通过上述说明可以预先确定出各个图像采集设备对应的坐标系与基准坐标系的偏移关系。

根据预先确定的各图像采集设备对应的坐标系与基准坐标系的偏移关系，可以确定第一坐标系与基准坐标系的偏移关系，根据该偏移关系及第一坐标，可以得到运输车在基准坐标系中的实际物理坐标。

S140：根据实际物理坐标和预设的终点坐标，控制运输车的行驶方向。

终点坐标为基准坐标系下的坐标。

在步骤S130确定出运输车的实际物理坐标后，可以根据实际物理坐标和预设的终点坐标，控制运输车的行驶方向。实际物理坐标和终点坐标都是在基准坐标系下的坐标。

在实际应用中，服务器可以将实际物理坐标发送给运输车上设置的控制器，该控制器通过内部导航算法、实际物理坐标和要求运输终点的终点坐标，计算出行驶路径，并驱动运输车按照该行驶路径行驶。如服务器将实际物理坐标通过无线WiFi局域网发送给运输车上的下位机ESP8266串口WiFi模块。

或者，服务器可以根据实际物理坐标和终点坐标，确定出行驶方向后，将驱动指令发送给运输车，以使运输车按照该行驶方向行驶。

服务器可以按照设定时间间隔确定运输车的实际物理坐标，控制运输车的行驶方向，直到运输车到达终点。

应用本发明实施例所提供的方法，服务器分别与多个图像采集设备连接，多个图像采集设备总的视场范围大于或等于运输车运行空间范围，相邻两个图像采集设备的时长范围有交叉，服务器在接收到多个图像采集设备发送的图像中，确定出存在运输车的第一图像，确定运输车在第一图像采集设备对应的第一坐标系中的第一坐标，根据预先确定的各图像采集设备对应的坐标系与基准坐标系的偏移关系和第一坐标，确定运输车在基准坐标系中的实际物理坐标，根据实际物理坐标和预设的终点坐标，控制运输车的行驶方向，以使运输车向终点方向行驶。实现了运输车在大范围空间内的定位运输作业，具有较强的适用性和灵活性，提高了自动化生产效率。

相应于上面的方法实施例，本发明实施例还提供了一种多目视觉定位协同引导运输车的装置，应用于服务器，服务器分别与多个图像采集设备连接，多个图像采集设备总的视场范围大于或等于运输车运行空间范围，相邻两个图像采集设备的视场范围有交叉，下文描述的一种多目视觉定位协同引导运输车的装置与上文描述的一种多目视觉定位协同引导运输车的方法可相互对应参照。

参见图4所示，该装置包括以下模块：

第一图像确定模块210，用于在接收到的多个图像中，确定存在运输车的第一图像，第一图像为多个图像采集设备中第一图像采集设备采集到的其视场范围图像；

第一坐标确定模块220，用于确定运输车在第一图像采集设备对应的第一坐标系中的第一坐标；

实际物理坐标确定模块230，用于根据预先确定的各图像采集设备对应的坐标系与基准坐标系的偏移关系和第一坐标，确定运输车在基准坐标系中的实际物理坐标；

行驶方向控制模块240，用于根据实际物理坐标和预设的终点坐标，控制运输车的行驶方向，终点坐标为基准坐标系下的坐标。

应用本发明实施例所提供的装置，服务器分别与多个图像采集设备连接，多个图像采集设备总的视场范围大于或等于运输车运行空间范围，相邻两个图像采集设备的时长范围有交叉，服务器在接收到多个图像采集设备发送的图像中，确定出存在运输车的第一图像，确定运输车在第一图像采集设备对应的第一坐标系中的第一坐标，根据预先确定的各图像采集设备对应的坐标系与基准坐标系的偏移关系和第一坐标，确定运输车在基准坐标系中的实际物理坐标，根据实际物理坐标和预设的终点坐标，控制运输车的行驶方向，以使运输车向终点方向行驶。实现了运输车在大范围空间内的定位运输作业，具有较强的适用性和灵活性，提高了自动化生产效率。

在本发明的一种具体实施方式中，还包括偏移关系确定模块，用于通过以下步骤预先确定视场范围有交叉的第二图像采集设备和第三图像采集设备对应的坐标系的偏移关系：

在第二图像采集设备和第三图像采集设备的交叉视场范围内选择第一目标点和第二目标点；

分别确定第一目标点在第二图像采集设备对应的坐标系中的第二坐标、第一目标点在第三图像采集设备对应的坐标系中的第三坐标、第二目标点在第二图像采集设备对应的坐标系中的第四坐标、第二目标点在第三图像采集设备对应的坐标系中的第五坐标；

根据第二坐标、第三坐标、第四坐标和第五坐标，确定第二图像采集设备对应的坐标系与第三图像采集设备对应的坐标系的偏移关系。

在本发明的一种具体实施方式中，偏移关系确定模块，具体用于：

根据第二坐标、第三坐标、第四坐标和第五坐标，确定第二图像采集设备对应的坐标系与第三图像采集设备对应的坐标系的倾斜夹角；

根据倾斜夹角、第二坐标、第三坐标、第四坐标和第五坐标，确定第二图像采集设备对应的坐标系与第三图像采集设备对应的坐标系的相对偏移量。

在本发明的一种具体实施方式中，偏移关系确定模块，具体用于：

根据以下公式确定第二图像采集设备对应的坐标系与第三图像采集设备对应的坐标系的相对偏移量：

其中，Δx为x轴方向相对偏移量，Δy为y轴方向相对偏移量，(x₁，y₁)为第二坐标，(u₂，v₂)为第五坐标，θ为倾斜夹角。

在本发明的一种具体实施方式中，运输车在图像中的标志为单色球。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。