机器人行驶中危险区域检测方法、装置、设备及存储介质与流程

本发明涉及安全监控领域，尤其涉及一种机器人行驶中危险区域检测方法、装置、设备及存储介质。

背景技术：

机器人在行驶的过程中，往往会出现由于诸多软硬件层面的问题导致的丢定位现象，当机器人丢失定位后，其运动轨迹则会发生意想不到的改变，甚至到达不了终点，落入水池、自动扶梯等非常危险的区域，带来多方面的损失，因此，在机器人行驶过程中，对这些危险区域的判断是至关重要的。

当前，针对自动扶梯而言，常见的判断方法是通过机器人上的摄像头来检测，当利用视觉图像检测出自动扶梯后，则做出上报危险或者停止运动的指令。然而，在判断机器人是否处于自动扶梯边缘的危险区域内时，仅依靠机器人本身摄像头采集的图像，只能得到前方存在自动扶梯的信号，依靠图像只能够得到可能存在危险的信息，并不能获得自动扶梯的准确位置，从而进行精准的避让行为，因此，基于机器人本身摄像头采集的图像信息进行危险避障时，会出现较多的误报，这就会导致机器人在路过自动扶梯周边时出现无故报警或停止运动的现象，不仅影响机器人的正常行驶，还会给使用者带来很不好的体验感，因而，亟需一种可以对机器人行驶中危险区域进行精准检测的方法。

技术实现要素：

本发明实施例提供一种机器人行驶中危险区域检测方法、装置、计算机设备和存储介质，以提高机器人行驶中危险区域检测的精准性。

一种机器人行驶中危险区域检测方法，包括：

获取机器人拍摄的视觉图像和拍摄时间；

基于所述视觉图像，确定自动扶梯在所述图像中的位置信息，作为第一位置信息；

获取与所述拍摄时间匹配的激光数据，并基于预设数据转化方式，对所述激光数据进行转换，得到激光图像；

根据所述激光图像进行人腿识别，得到人腿边界信息；

对所述第一位置信息、人腿边界信息和所述激光数据进行融合，得到自动扶梯的精准信息。

可选地，所述基于所述视觉图像，确定自动扶梯在所述图像中的位置信息，作为第一位置信息包括：

将所述视觉图像输入到训练好的检测网络中，通过所述训练好的检测网络进行识别检测，得到自动扶梯在所述视觉图像中的位置(x1,y1,x2,y2)，其中(x1,y1)为自动扶梯边界框的左上角坐标，(x2,y2)为自动扶梯边界框的右下角坐标；

基于所述视觉图像，计算出自动扶梯在机器人当前视角下的方向角度(θ1,θ2)，其中θ1为左侧视角对应的角度，θ2则为右侧视角对应的角度；

将所述自动扶梯在所述视觉图像中的位置和所述自动扶梯在机器人当前视角下的方向角度，作为所述第一位置信息。

可选地，所述根据所述激光图像进行人腿识别，得到人腿边界信息包括：

将所述激光图像输入到识别网络中，采用所述识别网络对所述激光图像进行识别，得到人腿识别区域(a1,b1,a2,b2)，其中(a1,b1)为人腿识别区域的左上角坐标，(a2,b2)为人腿识别区域的右下角坐标；

计算人腿识别区域的左右边界相对于所述激光图像的包围角度(q1,q2)；

将所述人腿识别区域和所述包围角度，作为所述人腿边界信息。

可选地，所述对所述第一位置信息、人腿边界信息和所述激光数据进行融合，得到自动扶梯的精准信息包括：

从所述激光数据中，获取处于所述自动扶梯在机器人当前视角下的方向角度之间的数据信息，作为有效数据；

从所述激光数据中，获取所述人腿边界信息中包围角度内的数据信息，作为干扰数据；

从所述有效数据中剔除掉所述干扰数据，得到目标数据；

通过所述目标数据计算每条激光距离的最短值，并基于得到的结果生成自动扶梯的精准信息。

可选地，所述基于预设数据转化方式，对所述激光数据进行转换，得到激光图像包括：

按照预设比例，将所述激光数据转换为二值化数据；

基于所述二值化数据，生成二值化图像，将所述二值化图像作为所述激光图像。

一种机器人行驶中危险区域检测装置，包括：

第一获取模块，用于获取机器人拍摄的视觉图像和拍摄时间；

位置确定模块，用于基于所述视觉图像，确定自动扶梯在所述图像中的位置信息，作为第一位置信息；

第二获取模块，用于获取与所述拍摄时间匹配的激光数据，并基于预设数据转化方式，对所述激光数据进行转换，得到激光图像；

边界确定模块，用于根据所述激光图像进行人腿识别，得到人腿边界信息；

精准信息生成模块，用于对所述第一位置信息、人腿边界信息和所述激光数据进行融合，得到自动扶梯的精准信息。

可选地，所述位置确定模块包括：

第一边界确定单元，用于将所述视觉图像输入到训练好的检测网络中，通过所述训练好的检测网络进行识别检测，得到自动扶梯在所述视觉图像中的位置(x1,y1,x2,y2)，其中(x1,y1)为自动扶梯边界框的左上角坐标，(x2,y2)为自动扶梯边界框的右下角坐标；

第一角度确定单元，用于基于所述视觉图像，计算出自动扶梯在机器人当前视角下的方向角度(θ1,θ2)，其中θ1为左侧视角对应的角度，θ2则为右侧视角对应的角度；

扶梯位置确定单元，用于将所述自动扶梯在所述视觉图像中的位置和所述自动扶梯在机器人当前视角下的方向角度，作为所述第一位置信息。

可选地，所述边界确定模块包括：

第二边界确定单元，用于将所述激光图像输入到识别网络中，采用所述识别网络对所述激光图像进行识别，得到人腿识别区域(a1,b1,a2,b2)，其中(a1,b1)为人腿识别区域的左上角坐标，(a2,b2)为人腿识别区域的右下角坐标；

第二角度计算单元，用于计算人腿识别区域的左右边界相对于所述激光图像的包围角度(q1,q2)；

人脚框架确定单元，用于将所述人腿识别区域和所述包围角度，作为所述人腿边界信息。

可选地，所述精准信息生成模块包括：

有效数据确定单元，用于从所述激光数据中，获取处于所述自动扶梯在机器人当前视角下的方向角度之间的数据信息，作为有效数据；

干扰数据确定单元，用于从所述激光数据中，获取所述人腿边界信息中包围角度内的数据信息，作为干扰数据；

目标数据确定单元，用于从所述有效数据中剔除掉所述干扰数据，得到目标数据；

精准数据生成单元，用于通过所述目标数据计算每条激光距离的最短值，并基于得到的结果生成自动扶梯的精准信息。

可选地，所述第二获取模块包括：

数据转化单元，用于按照预设比例，将所述激光数据转换为二值化数据；

图像生成单元，用于基于所述二值化数据，生成二值化图像，将所述二值化图像作为所述激光图像。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述机器人行驶中危险区域检测方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述机器人行驶中危险区域检测方法的步骤。

本发明实施例提供的机器人行驶中危险区域检测方法、装置、计算机设备及存储介质，通过获取机器人拍摄的视觉图像和拍摄时间，基于视觉图像，确定自动扶梯在图像中的位置信息，作为第一位置信息，获取与拍摄时间匹配的激光数据，并基于预设数据转化方式，对激光数据进行转换，得到激光图像，根据激光图像进行人腿识别，得到人腿边界信息，对第一位置信息、人腿边界信息和激光数据进行融合，得到自动扶梯的精准信息。实现对机器人行驶中危险区域的精准检测。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的机器人行驶中危险区域检测方法的应用示意图；

图2是本发明实施例提供的机器人行驶中危险区域检测方法的实现流程图；

图3是本发明实施例提供的机器人行驶中危险区域检测装置的示意图；

图4是本发明实施例提供的计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，图1示出本发明实施例提供的机器人行驶中危险区域检测方法的应用环境。图1中的散射的射线为激光数据的二值化图像，自动扶梯避障示例图，j1所指示的正方形代表机器人位置，j2所指的两条射线表示视觉图像给出的自动扶梯的左右方向角，j3所指的方框内为自动扶梯的真实区域，j4所指的实心圆点则是视觉图像与激光数据融合后得到的准确的自动扶梯的位置。

请参阅图2，图2示出本发明实施例提供的一种机器人行驶中危险区域检测方法，详述如下：

s201：获取机器人拍摄的视觉图像和拍摄时间。

具体地，机器人通过自身摄像头采集图像，在通过采集到的图像判断到前方存在自动扶梯时，获取此时的图像，作为视觉图像，并记录拍摄视觉图像的时间，作为拍摄时间。

应理解，此时得到的图像只能确定前方存在自动扶梯，但无法判断自动扶梯距离机器人的距离，以及准确地相对位置信息。

s202：基于视觉图像，确定自动扶梯在图像中的位置信息，作为第一位置信息。

具体地，通过对视觉图像的分析处理，得到自动扶梯在图像中的位置信息，作为第一位置信息，具体实现过程可参考后续实施例的描述，为避免重复，此处不再赘述。

s203：获取与拍摄时间匹配的激光数据，并基于预设数据转化方式，对激光数据进行转换，得到激光图像。

具体地，获取与拍摄时间匹配，也即，与拍摄时间点相同时候采集到的激光数据，可以理解地，在后续需要对激光数据进行分析，并与视觉图像进行融合，在视觉图像与激光数据不为同一时间时，融合结果将产生极大误差，本实施例中，通过获取与拍摄时间匹配的激光数据，并基于预设数据转化方式，对激光数据进行转换，得到激光图像，有利于后续进行图像分析和融合处理。

s204：根据激光图像进行人腿识别，得到人腿边界信息。

具体地，得到激光图像后，通过预设的分析方式，对激光图像中存在的人腿进行识别，得到人腿边界信息。

需要说明的是，在进行自动扶梯的判断过程中，人腿激光数据属于干扰数据，需要排除掉人腿数据，才可以得到机器人与自动扶梯的准确距离。

对人腿识别可以是通过训练好的神经网络模型来实现，具体过程可参考后续实施例的描述，为避免重复，此处不再赘述。

s205：对第一位置信息、人腿边界信息和激光数据进行融合，得到自动扶梯的精准信息。

本实施例中，通过获取机器人拍摄的视觉图像和拍摄时间，基于视觉图像，确定自动扶梯在图像中的位置信息，作为第一位置信息，获取与拍摄时间匹配的激光数据，并基于预设数据转化方式，对激光数据进行转换，得到激光图像，根据激光图像进行人腿识别，得到人腿边界信息，对第一位置信息、人腿边界信息和激光数据进行融合，得到自动扶梯的精准信息。实现对机器人行驶中危险区域的精准检测。

在一具体可选方式中，步骤s202中，基于视觉图像，确定自动扶梯在图像中的位置信息，作为第一位置信息包括：

将视觉图像输入到训练好的检测网络中，通过训练好的检测网络进行识别检测，得到自动扶梯在视觉图像中的位置(x1,y1,x2,y2)，其中(x1,y1)为自动扶梯边界框的左上角坐标，(x2,y2)为自动扶梯边界框的右下角坐标；

基于自动扶梯在视觉图像中的位置，计算出自动扶梯在机器人当前视角下的方向角度(θ1,θ2)，其中θ1为左侧视角对应的角度，θ2则为右侧视角对应的角度；

将自动扶梯在视觉图像中的位置和自动扶梯在机器人当前视角下的方向角度，作为第一位置信息。

其中，训练好的检测网络具体可以是预先训练好的用于人腿识别的神经网络，也可以是机器学习网络。

在一具体可选方式中，步骤s204中，根据激光图像进行人腿识别，得到人腿边界信息包括：

将激光图像输入到识别网络中，采用识别网络对激光图像进行识别，得到人腿识别区域(a1,b1,a2,b2)，其中(a1,b1)为人腿识别区域的左上角坐标，(a2,b2)为人腿识别区域的右下角坐标；

计算人腿识别区域的左右边界相对于激光图像的包围角度(q1,q2)；

将人腿识别区域和包围角度，作为人腿边界信息。

其中，识别网络具体可以是预先训练好的用于人腿识别的神经网络。

在一具体可选方式中，步骤s205中，对第一位置信息、人腿边界信息和激光数据进行融合，得到自动扶梯的精准信息包括：

从激光数据中，获取处于自动扶梯在机器人当前视角下的方向角度之间的数据信息，作为有效数据；

从激光数据中，获取人腿边界信息中包围角度内的数据信息，作为干扰数据；

从有效数据中剔除掉干扰数据，得到目标数据；

通过目标数据计算每条激光距离的最短值，并基于得到的结果生成自动扶梯的精准信息。

具体地，在图像融合过程中，输入包含图像上的自动扶梯的第一位置信息、激光图像上的人腿边界信息，以及原始激光数据，首先会根据图像检测结果给出的左右方向角度(自动扶梯在机器人当前视角下的方向角度)，提取出激光的有效数据，也即仅提取出自动扶梯左右角度范围内的激光距离值，丢弃掉范围外的激光数据。由于激光数据极易收到障碍物(如行人等)的干扰，因此需要利用激光上的人腿识别结果，将外界的干扰降到最低，在得到激光上的人腿识别结果后，将基于这些信息将激光上对应角度范围内的距离值丢弃，实现过滤行人干扰的效果。接着，基于图像数据检测出的自动扶梯的左右角度，取出经过滤的激光距离值，计算出激光距离的最短值，作为自动扶梯融合后的结果，包含了准确的位置信息与角度信息，以此作为机器人运动的辅助信息。

本实施例中，通过对第一位置信息、人腿边界信息和激光数据进行融合，从大致区域中剔除掉干扰信息，得到精准位置信息，提高自动扶梯的定位精准性。

在一具体可选方式中，步骤s204中，基于预设数据转化方式，对激光数据进行转换，得到激光图像包括：

按照预设比例，将激光数据转换为二值化数据；

基于二值化数据，生成二值化图像，将二值化图像作为激光图像。

其中，预设比例可以根据实际需求进行设定，此处不做限制。

具体地，根据预设的比例，对激光数据进行转换，使得采集到的激光数据变为二值化数据，进而通过二值化数据生成激光图像，将难易与摄像机拍摄到的图像融合的激光数据转化为可以融合的图像数据，有利于后续通过图像融合进行进准定位。

本实施例中，通过数据二值化进而生成二值化图像的方式，将难易与摄像机拍摄到的图像融合的激光数据转化为可以融合的图像数据，有利于提高危险区域检测的精准性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种机器人行驶中危险区域检测装置，该机器人行驶中危险区域检测装置与上述实施例中机器人行驶中危险区域检测方法一一对应。如图3所示，图3为该机器人行驶中危险区域检测装置的示意图：第一获取模块31、位置确定模块32、第二获取模块33、边界确定模块34和精准信息生成模块35。各功能模块详细说明如下：

第一获取模块31，用于获取机器人拍摄的视觉图像和拍摄时间；

位置确定模块32，用于基于视觉图像，确定自动扶梯在图像中的位置信息，作为第一位置信息；

第二获取模块33，用于获取与拍摄时间匹配的激光数据，并基于预设数据转化方式，对激光数据进行转换，得到激光图像；

边界确定模块34，用于根据激光图像进行人腿识别，得到人腿边界信息；

精准信息生成模块35，用于对第一位置信息、人腿边界信息和激光数据进行融合，得到自动扶梯的精准信息。

可选地，位置确定模块32包括：

第一边界确定单元，用于将视觉图像输入到训练好的检测网络中，通过训练好的检测网络进行识别检测，得到自动扶梯在视觉图像中的位置(x1,y1,x2,y2)，其中(x1,y1)为自动扶梯边界框的左上角坐标，(x2,y2)为自动扶梯边界框的右下角坐标；

第一角度确定单元，用于基于视觉图像，计算出自动扶梯在机器人当前视角下的方向角度(θ1,θ2)，其中θ1为左侧视角对应的角度，θ2则为右侧视角对应的角度；

扶梯位置确定单元，用于将自动扶梯在视觉图像中的位置和自动扶梯在机器人当前视角下的方向角度，作为第一位置信息。

可选地，边界确定模块34包括：

第二边界确定单元，用于将激光图像输入到识别网络中，采用识别网络对激光图像进行识别，得到人腿识别区域(a1,b1,a2,b2)，其中(a1,b1)为人腿识别区域的左上角坐标，(a2,b2)为人腿识别区域的右下角坐标；

第二角度计算单元，用于计算人腿识别区域的左右边界相对于激光图像的包围角度(q1,q2)；

人脚框架确定单元，用于将人腿识别区域和包围角度，作为人腿边界信息。

可选地，精准信息生成模块35包括：

有效数据确定单元，用于从激光数据中，获取处于自动扶梯在机器人当前视角下的方向角度之间的数据信息，作为有效数据；

干扰数据确定单元，用于从激光数据中，获取人腿边界信息中包围角度内的数据信息，作为干扰数据；

目标数据确定单元，用于从有效数据中剔除掉干扰数据，得到目标数据；

精准数据生成单元，用于通过目标数据计算每条激光距离的最短值，并基于得到的结果生成自动扶梯的精准信息。

可选地，第二获取模块33包括：

数据转化单元，用于按照预设比例，将激光数据转换为二值化数据；

图像生成单元，用于基于二值化数据，生成二值化图像，将二值化图像作为激光图像。

关于机器人行驶中危险区域检测装置的具体限定可以参见上文中对于机器人行驶中危险区域检测方法的限定，在此不再赘述。上述机器人行驶中危险区域检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。

所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件连接存储器41、处理器42、网络接口43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程门阵列(field－programmablegatearray，fpga)、数字处理器(digitalsignalprocessor，dsp)、嵌入式设备等。

所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或d界面显示存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如电子文件的控制的程序代码等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器42在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的程序代码或者处理数据。

所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的信息访问方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。