1.本发明涉及一种机器人，尤其是一种机器人基于多维感知构建执行决策的方法、系统、设备及存储介质。
背景技术：2.现有机器人感知产品都采用单一的视觉或者激光雷达等非接触式传感器进行感知，感知的元素有限。现有产品对外形、分辨率和机械性能都有严格要求，无法进行大规模、密集性的数据收集和执行反馈。
3.现有产品通过视觉感知到物体进行反馈执行（例如抓取、施压、拉拽、行走等），没有同等的传感平台和大规模数据集来探测适合人类运动特征时所依赖的触觉信息的使用。
技术实现要素：4.为解决上述现有技术存在的机器人感知方式单一，且基于视觉传感器感知晶型的反馈执行不适合人类运动特征，本发明提供一种改进现有技术的机器人基于多维感知构建执行决策的方法，所述方法包括：s1通过多模态传感器阵列接触目标对象，获取所述目标对象的触感信号集合；s2将传感器获取的触感信号中的二维信号集合转换为待分割触感图像的集合；s3将待分割的触感图像的集合输入卷积神经网络进行训练，得到识别触感图像与目标对象的匹配结果；s4以s3识别的目标对象为基础，构件基于对应目标对象及其触感信号的机器人终端行为模型。
5.在上述技术方案的基础上，进一步的所述第一处理方案步骤包括，所述传感器为多个电容传感器覆盖的传感器。
6.在上述技术方案的基础上，进一步的所述第一处理方案步骤还包括，以人手通过传感器对目标对象模拟进行抓取场景，获取对目标对象抓取阈值的触感信号。
7.在上述技术方案的基础上，进一步的所述第一处理方案步骤还包括，以人体为目标对象，将传感器以穿戴形式覆盖人体躯干，获取人体躯干静态姿态的触感信号。
8.在上述技术方案的基础上，进一步的所述第二处理方案步骤包括，将电容传感器获取的压力、速度、位移、角度和/或介质特性的二维信号，转换为触感图像信号。
9.在上述技术方案的基础上，进一步的第三处理方案步骤包括：输入目标对象的触感图像集合批标准化，通过卷积运算和激活函数对所述触感图像进行处理，确定与所述触感图像匹配的第一特征向量；通过残差网络对所述第一向量以共享权值进行处理，确定与触感图像相匹配的第二特征向量；基于触感图像匹配的第二特征向量，再卷积运算后通过全连接层运算得到识别触
感图像对应的目标对象。
10.在上述技术方案的基础上，进一步的第四处理方案步骤包括：通过卷积神经网络训练识别抓取目标对象；根据目标对象的触感信号特征构建抓取模型；所述机器人根据抓取模型接触目标对象，并以抓取阈值为基准完成抓取动作。
11.在上述技术方案的基础上，进一步的第四处理方案步骤包括：通过卷积神经网络训练识别人体姿态；根据人体触感信号及识别获取的人体姿态信息，构件机器人辅助人体进行姿态的调整和/或转换的行为模型。
12.本发明还提供一种机器人基于多维感知构建执行决策ai引擎，其特征在于，包括：采集模块，用于采集目标对象的多模态传感器信号；图像转换模块，用于将对象目标的触感电信号转换为计算机可识别的待分割触感图像的集合；图像处理模块，用于通过待分割的触感图像的集合输入卷积神经网络进行训练，识别触感图像对应的目标对象；机器人行为构件模块，用于通过图像处理模块的识别结果，结合采集模块的触感电信号，构件机器人对目标对象实施行为的模型。
13.本发明还提供一种电子设备，其特征在于，所述电子设备包括：存储器，用于存储可执行指令；处理器，用于运行所述存储器存储的可执行指令时，实现前述的机器人基于多维感知构建执行决策的方法。
14.本发明还提供一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前述的机器人基于多维感知构建执行决策的方法。
15.本发明提供的机器人基于多维感知构建执行决策的方法具的优点在于，融合多维信号进行感知，可对物体的形状、大小、材质、重量、温度等信息进行获取。通过可扩展的电容传感器终端和深度卷积神经网络来对物体进行识别，从高维触觉数据中提炼出高级属性和关系，根据高级属性和关系构件更为精确的机器人行为控制。
附图说明
16.图1是本发明提供的机器人基于多维感知构建执行决策的方法使用环境示意图；图2是本发明提供的电子设备的组成结构示意图；图3是本发明所述触感信号转换图像的示意图；图4是本发明所述方法的流程示意图。
17.附图标记说明：1
‑
多模态传感器阵列；2
‑
服务器；3
‑
机器人终端；4
‑
目标对象；21
‑
处理器；22
‑
存储器；23
‑
用户接口；24
‑
网络接口；25
‑
总线；26
‑
图像转换模块；27
‑
图像处理模块；28
‑
机器人行为构建模块。
具体实施方式
18.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
19.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
20.对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
21.1）批标准化（batch normalization）， 把数据分成小批小批进行随机梯度下降（ stochastic gradient descent），而且在每批数据进行前向传递的时候, 对每一层都进行标准化的处理。
22.2）卷积神经网络（cnn convolutional neural networks）是一类包含卷积计算且具有深度结构的前馈神经网络（feedforward neural networks），是深度学习（deep learning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能 力 ，能 够 按 其阶 层 结 构 对 输 入 信 息 进 行 平 移 不 变 分 类（s h i f t
ꢀ‑ꢀ
i n v a r i a n t classification）。
23.3）模型训练，对图像数据集进行多分类学习。该模型可采用tensorflow、torch等深度学习框架进行构建，使用cnn等神经网络层的多层结合组成多分类模型。模型的输入为图像经过open cv等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出网页类别。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。
24.4）残差网络（res
‑
nets blocks），解决了网络越深梯度弥散的现象越来越明显，进而导致网络训练效果较差的问题。相比于其他的网络模型，resnet网络可以将网络层数做得很深，甚至可达1000多层，从而可以得到很好的特征信息学习效果。
25.图1为本发明实施例提供的机器人基于多维感知构建执行决策的使用场景示意图，其中，可以通过本技术所提供的机器人基于多维感知构建执行决策对日常生活环境中的家用机器人行为模式进行处理。
26.参见图1，由人为佩戴多模态传感器阵列1实施对不同目标对象主要以拾取、握持为目的的操作，获取不同的相应目标对象的包括但不限于压力、形状、大小、材质、重量、温度等触感信号，多模态传感器阵列1通过网络连接服务器2，网络可以是广域网或者局域网，或者是二者的组合，使用无线或有线链路实现数据传输，服务器2将触感信号中以压力信号为主，将电信号转化为图像，以球形目标对象为例获得如图3显示的图像，通过深度卷积神经网络对触感图像的识别训练，获得目标对象4与触感图像的识别匹配库，并以识别的目标对象4为基础，构件基于对应目标对象及其触感信号的机器人终端3行为模型。
27.最终与服务器2连接机器人终端3具有相同的多模态传感器阵列1，机器人终端3根据用户指令与目标对象4接触，并根据触感信息匹配目标对象及对应的行为模型进行工作。
28.所述服务器2可以是独立的物理服务器，也可以是多个物理服务器构成的服务器
集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。机器人终端3以及服务器2可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
29.所述机器人终端3可以是机械臂，也可以是包含机械臂的多个机械结构组成的服务机器人，还可以是穿戴于人体的辅助装置、义肢等，但并不局限于此。
30.本发明实施例提供的电子设备包括：至少一个处理器21、存储器22、用户接口23和至少一个网络接口24。电子设备中的各个组件通过总线系统25耦合在一起。可以理解，总线系统25用于实现这些组件之间的连接通信。总线系统25除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统25。
31.其中，用户接口23可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
32.可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端的操作。这些数据的示例包括：用于在终端上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
33.在一些实施例中，本发明实施例提供的机器人基于多维感知构建执行决策系统可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的机器人基于多维感知构建执行决策系统可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的机器人基于多维感知构建执行决策方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（asic，application specific integrated circuit）、dsp、可编程逻辑器件（pld，programmable logic device）、复杂可编程逻辑器件（cpld，complex programmable logic device）、现场可编程门阵列（fpga，fieldprogrammable gate array）或其他电子元件。
34.作为本发明实施例提供的机器人基于多维感知构建执行决策系统采用软硬件结合实施的示例，本发明实施例所提供的机器人基于多维感知构建执行决策系统可以直接体现为由处理器21执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器22，处理器21读取存储器22中软件模块包括的可执行指令，结合必要的硬件（例如，包括处理器21以及连接到总线25的其他组件）完成本发明实施例提供的基于多为感知构件机器人行为方法。
35.作为示例，处理器21可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（dsp，digital signal processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
36.作为本发明实施例提供的图像处理装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器21来执行完成，例如，被一个或多个
应用专用集成电路（asic，application specific integrated circuit）、dsp、可编程逻辑器件（pl d，prog ra mma ble log ic de vice）、复杂可编程逻辑器件（c pl d，com ple x programmable logic device）、现场可编程门阵列（fpga，field
‑
programmable gate array）或其他电子元件执行实现本发明实施例提供的基于多为感知构件机器人行为方法。
37.本发明实施例中的存储器22用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何可执行指令，如可执行指令，实现本发明实施例的从机器人基于多维感知构建执行决策的程序可以包含在可执行指令中。
38.在另一些实施例中，本发明实施例提供的图像处理模块可以采用软件方式实现，图2示出了，存储在存储器22中包括：图像转换模块26，用于将对象目标的触感电信号转换为计算机可识别的待分割触感图像的集合；图像处理模块27，用于通过待分割的触感图像的集合输入卷积神经网络进行训练，识别触感图像对应的目标对象；机器人行为构件模块28，用于通过图像处理模块的识别结果，结合采集模块的触感电信号，构件机器人对目标对象实施行为的模型。
39.结合图2示出的电子设备说明本发明实施例提供的基于多为感知构件机器人行为方法。
40.图4为本发明实施例提供的基于多为感知构件机器人行为方法一个可选的流程示意图，可以理解地，图4所示的基于多为感知构件机器人行为方法方法可以应用于机器人处理领域，实现对机器人通过触感构件行为模型，下面针对图4示出的步骤进行说明。
41.步骤41，将传感器获取的包括压力的二维信号集合转换为待分割触感图像的集合。进一步地，可以对所述触感图像依次进行归一化处理和图像扩展处理；其中，所述图像扩展处理包括至少以下之一：翻转、旋转、放缩以及对比度增强。通过对触感图像进行翻转、旋转、放缩、对比度增强等数据增广的操作，可以增加样本数量，增大方向性和不同大小规模下的信息价值；步骤42，输入目标对象的触感图像集合批标准化，通过卷积运算和激活函数对所述触感图像进行处理，确定与所述触感图像匹配的第一特征向量；步骤43，通过残差网络对所述第一向量以共享权值进行处理，确定与触感图像相匹配的第二特征向量。针对特征图像处理模块来说，本发明实施例采用resnet网络对触感图像进行特征提取。而由于resnet网络引入了残差网络结构，所以解决了因网络层数过深导致的梯度弥散问题，能够以较深的网络结构进行触感图像的特征学习，确保了图像检索的准确度。在本发明实施例中，触感图像指代包括触感电信号转换的图像；步骤44，基于触感图像匹配的第二特征向量，再卷积运算后通过全连接层运算得到识别触感图像对应的目标对象。
42.步骤45，以步骤44识别的目标对象为基础，构件基于对应目标对象及其触感信号的机器人终端行为模型。
43.下面结合应用场景，本发明提供以下实施例其一，以训练机器人抓取行为模型为目的，前期以人手佩戴电容传感器覆盖的电容传感器终端，该终端以仿真表皮的形式尽可能贴合手部，并与服务器2连接。通过传感器
终端抓取各种不同形状、材质、重量、温度等特质的物品，主要以家庭日常物品为参照，模拟抓握、拖拉、提起及平移等动作，采集在前述动作中的传感器获取的压力、速度、温度、导电率、摩擦力等电信号。
44.通过对大量物品的信号采集，对于采集后的信号中的二维信号由服务器2的图像转换模块分别转换为如图3的压力图像、或温度图像、速度图像、摩擦力图像，或同时复合多种二维信号的图像。
45.信息处理模块通过传感器终端采集的传感器信号建立基于多模态传感的数据集，建立卷积神经网络，根据图像转换模块提供的触感图像经一系列池化和激励函，计算出对每一个通道进行的加权，通过损失函数和反向传播来寻找最优的权重，对部分更有意义的特征通道赋予更高的权重，对噪声通道降低权重，这样能更好的整合信息以达到最好的分类结果，由此，通过对不同通道自适应加权实现放大重要通道特征及降低噪声通道特征以实现提高分类准确率的效果。实现通过触感图像识别目标对象的训练。
46.结合触感信号及对应的目标对象，通过其抓取时的压力、摩擦力等信息，分析目标对象的形状、重量及适于抓取的区域，分析目标对象在拖拉、提起及平移的阈值数据构件机器人抓取动作的执行ai模型。所述机器人具有多模态传感器阵列的仿真机械手。
47.其二，以训练穿戴机器人调整人体姿态模型为目的，前期以不同体型、年龄的个人佩戴电容传感器覆盖的电容传感器终端，该终端以仿真表皮的形式尽可能贴合人体躯干，并与服务器2连接。通过传感器终端人体调整直立、坐姿、弯腰、向前伸臂等静态姿势，采集在前述动作中的传感器获取的各姿人体躯干主要是背部及肩关节范围的触感电信号。
48.通过对大量姿态的信号采集，对于采集后的信号中的二维信号由服务器2的图像转换模块分别转换为如图3的压力图像、摩擦力图像，或同时复合多种二维信号的图像。
49.信息处理模块通过传感器终端采集的传感器信号建立基于多模态传感的数据集，建立卷积神经网络，根据图像转换模块提供的触感图像经一系列池化和激励函，计算出对每一个通道进行的加权，通过损失函数和反向传播来寻找最优的权重，对部分更有意义的特征通道赋予更高的权重，对噪声通道降低权重，这样能更好的整合信息以达到最好的分类结果，由此，通过对不同通道自适应加权实现放大重要通道特征及降低噪声通道特征以实现提高分类准确率的效果。实现通过触感图像识别人体静态姿态的训练。
50.结合触感信号及对应的人体姿态，通过人体躯干部分的压力等信息，分析人体姿态的阈值区间，构建机器人调整和/或转换人体姿态动作的执行ai模型。所述机器人具有覆盖人体背部及肩部的多模传感器，及可调整人体肩关节及躯干姿态的驱动机构。
51.在上述技术方案的基础上，进一步的尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求极其等同限定。