移动目标检测方法、装置、计算机设备及存储介质与流程

1.本发明涉及机器人，更具体地说是指移动目标检测方法、装置、计算机设备及存储介质。


背景技术：

2.21世纪以来，随着机器人技术的不断成熟，机器人技术得到了更广泛应用。从工业机器人发展到服务型机器人，机器人逐渐走入了人们的日常生活当中，给我们带来了诸多方便。如清洁、导游、自助服务等。随着人类物质生活水平的提高及精神生活的日益丰富，未来机器人将跟人类更密切的联系在一起。2006年，杰弗里
·
辛顿以及他的学生鲁斯兰
·
萨拉赫丁诺夫正式提出了深度学习的概念。随着科学技术的日益增长，过去只能存在于理论的深度学习技术得以实现，并在各个领域特别是图像领域取得巨大成功。
3.传统的移动机器人在人体目标检测方面普遍存在检测精度低、泛化能力差、计算机资源消耗大和无法满足实时检测需要等问题，并且需要人工构造特征，人力资源消耗大，并且无法对人体的着装细节等方面识别，只能对人体的大概轮廓进行表述。
4.因此，有必要设计一种新的方法，实现满足移动机器人实时检测移动目标的需求，准确率高，且可对人体细节进行识别，资源消耗低。


技术实现要素：

5.本发明的目的在于克服现有技术的缺陷，提供移动目标检测方法、装置、计算机设备及存储介质。
6.为实现上述目的，本发明采用以下技术方案：移动目标检测方法，包括：
7.获取来自双目摄像机的图像；
8.对所述图像进行融合，以得到融合图像；
9.将所述融合图像输入至部署在jetson nano开发板上的双阶段检测模型内进行人体目标检测以及着装信息检测，以得到检测结果；
10.对所述检测结果进行处理，以得到处理结果；
11.发送所述处理结果至机器人系统，以供机器人系统进行目标规避。
12.其进一步技术方案为：所述对所述图像进行融合，以得到融合图像，包括：
13.通过rgbd视觉融合算法对所述图像进行融合，以得到融合图像。
14.其进一步技术方案为：所述双阶段检测模型包括用于检测人体目标在融合图像中的位置和形状的目标检测网络以及用于分类人体的着装外表信息的分类网络。
15.其进一步技术方案为：所述目标检测网络是通过带有人体位置和形状标签的由移动机器人移动采集和公开的人体数据集经过清洗后的数据集训练深度学习网络所得的。
16.其进一步技术方案为：所述分类网络是通过对所述目标网络检测得到的图片进行人体的着装外表信息标注后形成的样本集在gtx3090显卡上训练深度学习网络所得的。
17.其进一步技术方案为：所述图像包括彩色图像以及深度图像。
18.其进一步技术方案为：所述对所述检测结果进行处理，以得到处理结果，包括：
19.根据所述检测结果以及深度图像进行对人体目标进行建模，以确定人体目标距离和表面信息，以得到处理结果。
20.本发明还提供了移动目标检测装置，包括：
21.图像获取单元，用于获取来自双目摄像机的图像；
22.融合单元，用于对所述图像进行融合，以得到融合图像；
23.检测单元，用于将所述融合图像输入至部署在jetson nano开发板上的双阶段检测模型内进行人体目标检测以及着装信息检测，以得到检测结果；
24.处理单元，用于对所述检测结果进行处理，以得到处理结果；
25.发送单元，用于发送所述处理结果至机器人系统，以供机器人系统进行目标规避。
26.本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
27.本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
28.本发明与现有技术相比的有益效果是：本发明通过获取来自双目摄像机的图像，由工业控制板对图像进行融合，并输入至部署在jetson nano开发板上的双阶段检测模型内进行人体目标检测以及着装信息检测，再将检测结果进行人体建模后，形成处理结果，发送至机器人系统，在jetson nano开发板上部署轻量级的神经网络，且采用双阶段检测模型，实现满足移动机器人实时检测移动目标的需求，准确率高，且可对人体细节进行识别，资源消耗低。
29.下面结合附图和具体实施例对本发明作进一步描述。
附图说明
30.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
31.图1为本发明实施例提供的移动目标检测方法的应用场景示意图；
32.图2为本发明实施例提供的移动目标检测方法的流程示意图；
33.图3为本发明实施例提供的移动目标检测置的示意性框图；
34.图4为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
37.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
38.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
39.请参阅图1和图2，图1为本发明实施例提供的移动目标检测方法的应用场景示意图。图2为本发明实施例提供的移动目标检测方法的示意性流程图。该移动目标检测方法应用于服务器中。该服务器包括jetson nano开发板、工业控制模块以及gtx3090，该服务器与机器人系统以及双目摄像机进行数据交互，通过获取来自双目摄像机的图像，并进行融合，输入至部署在jetson nano开发板上的双阶段检测模型内进行人体目标检测以及着装信息检测，再将该结果处理后发送至机器人系统，以供机器人系统进行后续操作，比如目标规避等。在jetson nano开发板上部署轻量级的神经网络，可以满足移动机器人实时检测的需求；通过双阶段的神经网络算法，没有损失精度的情况下追求速度要求，目标分类的准确率可达95％以上；只需要更改网络的训练内容，就可以增加移动机器人的识别目标类别，实现满足移动机器人实时检测移动目标的需求，准确率高，且可对人体细节进行识别，资源消耗低。
40.在本实施例中，该服务器指的是移动机器人的控制器，机器人系统是指驱动系统，当然，于其他实施例，该服务器可以是独立的服务器，此时的机器人系统包括整个移动机器人。
41.图2是本发明实施例提供的移动目标检测方法的流程示意图。如图2所示，该方法包括以下步骤s110至s150。
42.s110、获取来自双目摄像机的图像。
43.在本实施例中，所述图像包括彩色图像以及深度图像。双目摄像机是由彩色rgb摄像机和深度摄像机组成，其通过摄像机采集机器人所在场景内的彩色图像和深度图像，然后通过usb接口传输到工业控制板。
44.具体地，双目摄像机是由一个彩色双目摄像机是和具有深度传感器的深度摄像机组成，彩色摄像机是采集场景中的环境信息，深度摄像机除了场景信息外，还有场景的深度信息，即探测距离的功能，通过场景信息与深度信息确定当前移动机器人与场景目标之间的距离。
45.s120、对所述图像进行融合，以得到融合图像。
46.在本实施例中，融合图像是指将双目摄像机拍摄所得的深度图像与彩色图像进行融合形成的结果。
47.具体地，通过rgbd视觉融合算法对所述图像进行融合，以得到融合图像。
48.工业控制板从双目摄像机获取彩色图像和深度图像后，再通过rgbd视觉融合算法，将深度图像转换为融合后的深度图像，该融合后的深度图像与rgb图像具有相同的分辨率。
49.具体地，使用rgbd视觉融合技术将高分辨率彩色图像与低分辨率深度图像融合，得到高分辨融合深度图，rgbd视觉融合技术进行图像融合的过程属于现有技术，此处不再赘述。
50.s130、将所述融合图像输入至部署在jetson nano开发板上的双阶段检测模型内进行人体目标检测以及着装信息检测，以得到检测结果。
51.在本实施例中，检测结果是指人体目标在融合图像中的位置和形状以及人体的着装外表信息。
52.具体地，所述双阶段检测模型包括用于检测人体目标在融合图像中的位置和形状的目标检测网络以及用于分类人体的着装外表信息的分类网络。
53.在本实施例中，着装外表信息是指人体的穿着属性，比如衣服延伸，长袖还是短袖等。
54.所述目标检测网络是通过带有人体位置和形状标签的由移动机器人移动采集和公开的人体数据集经过清洗后的数据集训练深度学习网络所得的。
55.所述分类网络是通过对所述目标网络检测得到的图片进行人体的着装外表信息标注后形成的样本集在gtx3090显卡上训练深度学习网络所得的。
56.将rgb图像和融合胡深度图像通过联通网口发送到jetson nano开发板上通过双阶段检测模型进行推理预测。双阶段检测模型是在gtx3090上训练后的模型，rgb图像和融合深度图像经过目标检测网络和分离网络后，提取人体目标的形状轮廓、位置信息以及人体外表信息。目标检测网络主要是对人体目标进行识别的网络，目标检测网络的训练数据集主要来源于移动机器人移动采集和公开的人体数据集组成，通过对人体数据集的清洗得到可以训练的人体数据。分类网络主要是对人体图片进行分类，分类网络也是需要提前在gtx3090显卡上训练的，其数据来源主要是目标检测网络检测出的人体图片，然后根据需要识别的类别进行人体图像分类，可以根据具体需求进行人体分类类别的调整。
57.gtx3090显卡通过tensorrt与jetson nano开发板连接。
58.jetson nano开发板是一款体积小巧、功能强大的人工智能嵌入式开发板，是英伟达在2019年推出的一款ai计算开发板。其体积小巧，支持当前流行的ai算法框架，并提供2配套的sdk开发包。其硬件配置搭配四核cortex-a57处理器，128核maxwellgpu以及4gb的lpddr内存，可以为移动端机器人终端提供足够的ai算力。jetson nano提供了472gflop，支持高分辨率传感器，可以并行处理多个传感器，并可以在每个传感器流上运行目前流行的神经网络。可以轻松支持目标检测，图像分类，语义分割等ai模型。
59.工业控制板主要是接受双目摄像机传输过来的彩色图像和深度图像以及融合深度图像与彩色图像为相同分辨率大小的深度图像，再把接受到的彩色图像与融合后的深度图像通过接口传输给jetson nano开发板进行目标检测和分类，最后再接受jetson nano开发板推理过后所得到的人体目标的形状轮廓、位置信息以及人体外表信息，再将这些信息通过编码发送给机器人系统。
60.s140、对所述检测结果进行处理，以得到处理结果；
61.具体地，根据所述检测结果以及深度图像进行对人体目标进行建模，以确定人体目标距离和表面信息。
62.在本实施例中，处理结果包括人体目标距离和表面信息，人体目标距离是指人体相对于机器人系统的距离，表面信息是指人体的着装信息等，包括衣服的颜色等。
63.jetson nano开发板将检测结果通过网口发送回工业控制板上。利用jetson nano返回的信息和rgbd得到的融合深度图像，可以对人体目标进行建模，确定人体目标距离和
表面信息，再将这些信息编码通过联通串口发送给机器人系统，机器人系统就得到了人体目标的位置和表面信息。
64.s150、发送所述处理结果至机器人系统，以供机器人系统进行目标规避
65.在移动机器人上部署双阶段的神经网络，首先通过目标检测网络对人体目标进行检测，再通过二阶段的分类网络对人体目标进行分析，一阶段的神经网络采用轻量级的网络模型，一帧图片的处理速度可达100fps，并通过低成本jetson nano开发板进行模型部署，满足了移动机器人实时检测的需求，摄像系统通过rgb摄影机和深度摄影机的双目摄影组成，不但可以采集高分辨率的彩色图像，还可以对目标进行距离测算，并通过视觉融合算法将深度图像的分辨率与彩色图像分辨率进行融合，可直接传输给jetson nano开发板处理，加快了处理速度，通过工业控制板将jetson nano开发板上处理后的数据进行编码传输给机器人系统，机器人系统就获取了人体目标的轮廓信息、表面信息和距离信息。
66.上述的移动目标检测方法，通过获取来自双目摄像机的图像，由工业控制板对图像进行融合，并输入至部署在jetson nano开发板上的双阶段检测模型内进行人体目标检测以及着装信息检测，再将检测结果进行人体建模后，形成处理结果，发送至机器人系统，在jetson nano开发板上部署轻量级的神经网络，且采用双阶段检测模型，实现满足移动机器人实时检测移动目标的需求，准确率高，且可对人体细节进行识别，资源消耗低。
67.图3是本发明实施例提供的一种移动目标检测装置300的示意性框图。如图3所示，对应于以上移动目标检测方法，本发明还提供一种移动目标检测装置300。该移动目标检测装置300包括用于执行上述移动目标检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图3，该移动目标检测装置300包括图像获取单元301、融合单元302、检测单元303、处理单元304以及发送单元305。
68.图像获取单元301，用于获取来自双目摄像机的图像；融合单元302，用于对所述图像进行融合，以得到融合图像；检测单元303，用于将所述融合图像输入至部署在jetson nano开发板上的双阶段检测模型内进行人体目标检测以及着装信息检测，以得到检测结果；处理单元304，用于对所述检测结果进行处理，以得到处理结果；发送单元305，用于发送所述处理结果至机器人系统，以供机器人系统进行目标规避。
69.在一实施例中，所述融合单元302，用于通过rgbd视觉融合算法对所述图像进行融合，以得到融合图像。
70.在一实施例中，所述处理单元304，用于根据所述检测结果以及深度图像进行对人体目标进行建模，以确定人体目标距离和表面信息，以得到处理结果。
71.需要说明的是，所属领域的技术人员可以清楚地了解到，上述移动目标检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
72.上述移动目标检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。
73.请参阅图4，图4是本技术实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
74.参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网
络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
75.该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种移动目标检测方法。
76.该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
77.该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种移动目标检测方法。
78.该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
79.其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
80.获取来自双目摄像机的图像；对所述图像进行融合，以得到融合图像；将所述融合图像输入至部署在jetson nano开发板上的双阶段检测模型内进行人体目标检测以及着装信息检测，以得到检测结果；对所述检测结果进行处理，以得到处理结果；发送所述处理结果至机器人系统，以供机器人系统进行目标规避。
81.其中，所述双阶段检测模型包括用于检测人体目标在融合图像中的位置和形状的目标检测网络以及用于分类人体的着装外表信息的分类网络。
82.所述目标检测网络是通过带有人体位置和形状标签的由移动机器人移动采集和公开的人体数据集经过清洗后的数据集训练深度学习网络所得的。
83.所述分类网络是通过对所述目标网络检测得到的图片进行人体的着装外表信息标注后形成的样本集在gtx3090显卡上训练深度学习网络所得的。
84.在一实施例中，处理器502在实现所述对所述图像进行融合，以得到融合图像步骤时，具体实现如下步骤：
85.通过rgbd视觉融合算法对所述图像进行融合，以得到融合图像。
86.其中，所述图像包括彩色图像以及深度图像。
87.在一实施例中，处理器502在实现所述对所述检测结果进行处理，以得到处理结果步骤时，具体实现如下步骤：
88.根据所述检测结果以及深度图像进行对人体目标进行建模，以确定人体目标距离和表面信息，以得到处理结果。
89.应当理解，在本技术实施例中，处理器502可以是中央处理单元304(central processing unit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
90.本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系
统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
91.因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
92.获取来自双目摄像机的图像；对所述图像进行融合，以得到融合图像；将所述融合图像输入至部署在jetson nano开发板上的双阶段检测模型内进行人体目标检测以及着装信息检测，以得到检测结果；对所述检测结果进行处理，以得到处理结果；发送所述处理结果至机器人系统，以供机器人系统进行目标规避。
93.其中，所述双阶段检测模型包括用于检测人体目标在融合图像中的位置和形状的目标检测网络以及用于分类人体的着装外表信息的分类网络。
94.所述目标检测网络是通过带有人体位置和形状标签的由移动机器人移动采集和公开的人体数据集经过清洗后的数据集训练深度学习网络所得的。
95.所述分类网络是通过对所述目标网络检测得到的图片进行人体的着装外表信息标注后形成的样本集在gtx3090显卡上训练深度学习网络所得的。
96.在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述图像进行融合，以得到融合图像步骤时，具体实现如下步骤：
97.通过rgbd视觉融合算法对所述图像进行融合，以得到融合图像。
98.其中，所述图像包括彩色图像以及深度图像。
99.在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述检测结果进行处理，以得到处理结果步骤时，具体实现如下步骤：
100.根据所述检测结果以及深度图像进行对人体目标进行建模，以确定人体目标距离和表面信息，以得到处理结果。
101.所述存储介质可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
102.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
103.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
104.本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元304中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
105.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技
术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
106.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。