感知参数的确定方法及装置、存储介质、电子装置与流程

1.本发明涉及机器人领域，具体而言，涉及一种感知参数的确定方法及装置、存储介质、电子装置。


背景技术：

2.室外机器人、无人驾驶汽车等在具体的运行场景中的感知算法中使用相机，激光雷达以及深度相机(又称为3d相机，通过深度相机能够拍出空间的景深距离)等传感器检测道路所在位置，从而帮助室外车/无人驾驶汽车等做出以后的行驶策略，而道路可以分为公路，人行道等可通行区域，检测算法可以是传统的检测模型或者深度学习网络模型。
3.当室外机器人、无人驾驶汽车等的感知参数不仅仅是可通行区域检测，例如还需要对马路主方向进行预测时候，传统的方法需要建立两个模型进行预测，即多个任务需分别独立建模。此时，感知算法的计算量将随任务数量线性增加，后果是直接降低了感知算法运行速度。对于计算资源有限，内存/显存有限，或者实时性要求较高的机器人，室外车以及移动设备等，这是极大的不利因素。
4.针对相关技术中，随着感知需求的增多，需建立多个模型来执行不同的任务，进而降低了感知算法的运行速度等问题，尚未提出有效的技术方案。


技术实现要素：

5.本发明实施例提供了一种感知参数的确定方法及装置、存储介质、电子装置，以至少解决相关技术中随着感知需求的增多，需建立多个模型来执行不同的任务，进而降低了感知算法的运行速度等问题。
6.根据本发明的一个实施例，提供了一种感知参数的确定方法，包括：通过图像采集装置对目标区域进行拍照，得到目标图像，其中，所述目标区域为具备自主移动能力的设备的待行进区域；将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层，其中，n为大于1的整数；根据所述n个预测层确定所述设备的n个不同的感知参数。
7.在本发明实施例中，根据所述n个预测层确定所述设备的n个不同的感知参数，包括以下至少之一：根据所述n个预测层中的第一预测层确定所述待行进区域的道路两侧边缘线；根据所述n个预测层中的第二预测层确定所述待行进区域中的可通行区域；根据所述n个预测层中的第三预测层确定所述道路两侧边缘线的置信度。
8.在本发明实施例中，根据所述n个预测层中的第一预测层确定所述待行进区域的道路两侧边缘线之后，所述方法还包括：根据确定的所述道路两侧边缘线确定所述待行进区域的道路主方向。
9.在本发明实施例中，将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层，包括：将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的共享特征层；根据所述共享特征层确定所述n个预测层。
10.根据本发明的另一个实施例，还提供了一种感知参数的确定装置，包括：第一确定
模块，用于通过图像采集装置对目标区域进行拍照，得到目标图像，其中，所述目标区域为具备自主移动能力的设备的待行进区域；第二确定模块，用于将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层，其中，n为大于1的整数；第三确定模块，用于根据所述n个预测层确定所述设备的n个不同的感知参数。
11.在本发明实施例中，所述第三确定模块，用于执行以下至少之一：根据所述n个预测层中的第一预测层确定所述待行进区域的道路两侧边缘线；根据所述n个预测层中的第二预测层确定所述待行进区域中的可通行区域；根据所述n个预测层中的第三预测层确定所述道路两侧边缘线的置信度。
12.在本发明实施例中，所述第三确定模块，还用于根据确定的所述道路两侧边缘线确定所述待行进区域的道路主方向。
13.在本发明实施例中，所述第一确定模块，还用于将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的共享特征层；根据所述共享特征层确定所述n个预测层。
14.根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
15.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
16.通过本发明，通过图像采集装置对目标区域进行拍照得到的目标图像；将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层；根据所述n个预测层确定所述设备的n个不同的感知参数，其中，所述目标区域为具备自主移动能力的设备的待行进区域，采用上述技术方案，通过多任务神经模型对目标图像进行分析，得到n个预测层，进而确定设备的n个不同的感知参数，进而解决了相关技术中，随着感知需求的增多，需建立多个模型来执行不同的任务，进而降低了感知算法的运行速度等问题，仅一个多任务神经模型即确定设备的多个感知参数，提高了运行速度。
附图说明
17.此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
18.图1是本发明实施例的一种感知参数的确定方法的机器人的硬件结构框图；
19.图2是根据本发明实施例的感知参数的确定方法的流程图；
20.图3是根据本发明可选实施例的感知参数的确定流程示意图；
21.图4是根据本发明实施例的感知参数的确定装置的结构框图。
具体实施方式
22.下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
23.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
24.本申请实施例所提供的方法实施例可以在机器人、无人驾驶汽车等类似的运算装
置中执行。以运行在机器人上为例，图1是本发明实施例的一种感知参数的确定方法的机器人的硬件结构框图。如图1所示，机器人10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述机器人还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述机器人的结构造成限定。例如，机器人10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
25.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的感知参数的确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至机器人10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
26.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括机器人10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
27.在本实施例中提供了一种运行于上述机器人的感知参数的确定方法，图2是根据本发明实施例的感知参数的确定方法的流程图，如图2所示，该流程包括如下步骤：
28.步骤s202，通过图像采集装置对目标区域进行拍照，得到目标图像，其中，所述目标区域为具备自主移动能力的设备的待行进区域；
29.步骤s204，将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层，其中，n为大于1的整数；
30.步骤s206，根据所述n个预测层确定所述设备的n个不同的感知参数。
31.通过上述技术方案，通过图像采集装置对目标区域进行拍照得到的目标图像；将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层；根据所述n个预测层确定所述设备的n个不同的感知参数，其中，所述目标区域为具备自主移动能力的设备的待行进区域，采用上述技术方案，通过多任务神经模型对目标图像进行分析，得到n个预测层，进而确定设备的n个不同的感知参数，进而解决了相关技术中，随着感知需求的增多，需建立多个模型来执行不同的任务，进而降低了感知算法的运行速度等问题，仅一个多任务神经模型即确定设备的多个感知参数，提高了运行速度。
32.此外，可以看出本发明实施例的设备的传感器只有图像采集装置，并不涉及深度相机，激光雷达与全球定位系统(global positioning system，简称为gps)模块等，所以在传感器成本方面控制得很低。
33.需要说明的是，本发明实施例中的图像采集装置可以为能够拍摄彩色图像的rgb相机，也可以为是拍摄黑白图像的相机，本发明实施例对此不进行限定。
34.上述步骤s206的实现方式有多种，在一个可选实施例中，根据所述n个预测层中的
第一预测层确定所述待行进区域的道路两侧边缘线；根据所述n个预测层中的第二预测层确定所述待行进区域中的可通行区域；根据所述n个预测层中的第三预测层确定所述道路两侧边缘线的置信度，可见，在本发明实施例中，在n取值为3时，即存在三个预测层，可以从三个预测层中的第一预测层来确定道路两侧边缘线，第二预测层来确定可通行区域，第三预测层确定置信度，需要说明的是，n的取值还可以是其他取值，例如，在取值为2时，可以从上述道路两侧边缘线，可通行区域，和置信度三个之中选择两个来确定，本发明实施例对此不作限定。
35.需要说明的是，在多任务神经模型的训练阶段，三个任务可同时进行，采用现有技术的技术方案，则需要设计三个独立的神经网络，则需训练三个神经网络，训练时间几乎是三倍；在推断阶段，一次前向计算可获得多个任务，即获得可通行区域位置，道路主方向，以及道路主方向的置信度。上述三个任务之间彼此交互，可互相监督，起到正则化的作用，提升网络泛化能力，防止过拟合。在多任务网络设计合理与训练良好的情况下，三个任务的性能可超越使用三个独立的神经网络解决的三个任务。
36.上述三个预测层中的一个预测层用来确定道路两侧边缘线，由于道路主方向可以认为是和道路两侧边缘线平行的，因此，在确定了道路两侧边缘线之后，所述方法还包括：根据确定的所述道路两侧边缘线确定所述待行进区域的道路主方向。
37.步骤s204中限定了多任务神经模型的具体应用，本发明实施例中的多任务神经模型可以是现有技术中的任意一种多任务神经模型，本发明实施例对此不作限定，将所述目标图像输入到多任务神经模型中，就能够对应得到对应n个不同任务的共享特征层；根据所述共享特征层确定所述n个预测层，可以理解的是，目标图像中可能包括了多个特征，通过多任务神经模型将目标图像中的冗余信息过滤掉，得到共享特征层，进而根据共享特征层确定所述n个预测层，其中，共享特征层共享有n个任务，共享特征层后连接n个任务的n个独立的预测层，而预测层可以是全连接层，也可以是卷积层，本发明实施例对此不作限定。
38.综上，采用本发明实施例提供的上述技术方案，针对计算资源有限，内存/显存有限，或实时性要求的应用场景下，对有多个任务需求的室外场景提出了多任务神经模型，降低了计算资源使用率，内存/显存占有率，同时还提升运行速度。
39.以下再结合一可选实施例对上述感知参数的确定过程进行解释说明，但不用于限定本发明实施例。
40.如图3所示，本发明可选实施例采用多任务神经模型，对图像采集装置对目标区域所拍摄的图像进行处理，即多任务神经模型的输入只需一张目标图像。
41.图3中连续的立方体代表了一种典型的encoder-decoder简化网络结构，需要说明的是，实际所采用的可以是除此之外的多种别的网络结构，例如语义分割的全卷积网络(full convolutional network，简称为fcn)，u-net等，需要说明的是，附图3中的。。。表示中间层数量可以变化，主网络可以是mobilenet，resnet，shufflenet等。
42.图3中以垂直方向的立方体代表了三个任务的共享特征层，还可以理解为是三个任务的共享信息层；以水平方向的立方体则是针对不同任务的独立层(相当于上述实施例的预测层)，独立层很少，计算量与内存/显存占用与共享特征层相比会特别小，这种设计在满足使用需求的同时保证了运行速度。
43.在图3中，中间子任务的输出可以是可通行区域语义分割；最上面的子任务输出是
道路两侧边缘线，从而得到道路主方向，因为道路主方向与边缘线可认为保持平行；最下面子任务输出道路边缘线的置信度(可靠度)，如果场景中边缘线被障碍物挡住，则其置信度将会降低，若可见性较高，则置信度较高。
44.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
45.在本实施例中还提供了一种感知参数的确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
46.图4是根据本发明实施例的感知参数的确定装置的结构框图，如图4所示，该装置包括：
47.第一确定模块40，用于通过图像采集装置对目标区域进行拍照，得到目标图像，其中，所述目标区域为具备自主移动能力的设备的待行进区域；
48.第二确定模块42，用于将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层，其中，n为大于1的整数；
49.第三确定模块44，用于根据所述n个预测层确定所述设备的n个不同的感知参数。
50.通过上述技术方案，通过图像采集装置对目标区域进行拍照得到的目标图像；将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层；根据所述n个预测层确定所述设备的n个不同的感知参数，其中，所述目标区域为具备自主移动能力的设备的待行进区域，采用上述技术方案，通过多任务神经模型对目标图像进行分析，得到n个预测层，进而确定设备的n个不同的感知参数，进而解决了相关技术中，随着感知需求的增多，需建立多个模型来执行不同的任务，进而降低了感知算法的运行速度等问题，仅一个多任务神经模型即确定设备的多个感知参数，提高了运行速度。
51.此外，可以看出本发明实施例的设备的传感器只有图像采集装置，并不涉及深度相机，激光雷达与全球定位系统(global positioning system，简称为gps)模块等，所以在传感器成本方面控制得很低。
52.在本发明实施例中，所述第三确定模块44，用于执行以下至少之一：根据所述n个预测层中的第一预测层确定所述待行进区域的道路两侧边缘线；根据所述n个预测层中的第二预测层确定所述待行进区域中的可通行区域；根据所述n个预测层中的第三预测层确定所述道路两侧边缘线的置信度，可见，在本发明实施例中，在n取值为3时，即存在三个预测层，可以从三个预测层中的第一预测层来确定道路两侧边缘线，第二预测层来确定可通行区域，第三预测层确定置信度，需要说明的是，n的取值还可以是其他取值，例如，在取值为2时，可以从上述道路两侧边缘线，可通行区域，和置信度三个之中选择两个来确定，本发明实施例对此不作限定。
53.需要说明的是，在多任务神经模型的训练阶段，三个任务可同时进行，采用现有技
术的技术方案，则需要设计三个独立的神经网络，则需训练三个神经网络，训练时间几乎是三倍；在推断阶段，一次前向计算可获得多个任务，即获得可通行区域位置，道路主方向，以及道路主方向的置信度。上述三个任务之间彼此交互，可互相监督，起到正则化的作用，提升网络泛化能力，防止过拟合。在多任务网络设计合理与训练良好的情况下，三个任务的性能可超越使用三个独立的神经网络解决的三个任务。
54.上述三个预测层中的一个预测层用来确定道路两侧边缘线，由于道路主方向可以认为是和道路两侧边缘线平行的，所述第三确定模块44，还用于根据确定的所述道路两侧边缘线确定所述待行进区域的道路主方向。
55.本发明实施例中的多任务神经模型可以是现有技术中的任意一种多任务神经模型，本发明实施例对此不作限定，所述第一确定模块40，还用于将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的共享特征层；根据所述共享特征层确定所述n个预测层。
56.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
57.本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
58.可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
59.s1，通过图像采集装置对目标区域进行拍照，得到目标图像，其中，所述目标区域为具备自主移动能力的设备的待行进区域；
60.s2，将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层，其中，n为大于1的整数；
61.s3，根据所述n个预测层确定所述设备的n个不同的感知参数。
62.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
63.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
64.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
65.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
66.s1，通过图像采集装置对目标区域进行拍照，得到目标图像，其中，所述目标区域为具备自主移动能力的设备的待行进区域；
67.s2，将所述目标图像输入到多任务神经模型中，得到对应n个不同任务的n个预测层，其中，n为大于1的整数；
68.s3，根据所述n个预测层确定所述设备的n个不同的感知参数。
69.可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的
示例，本实施例在此不再赘述。
70.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
71.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。