对象控制方法、装置、设备和存储介质与流程

1.本发明涉及设备控制领域，尤其涉及一种对象控制方法、装置、设备和存储介质。


背景技术：

2.数字孪生是充分运用物理模型、传感器更新、运作历史等数据信息，集成多学科、多物理量、多尺度、多概率的模拟仿真过程。通过数字孪生模型能够为物理空间建立对应的虚拟空间，虚拟空间可以认为是物理空间的数字镜像。
3.在实际中，虚拟空间中的虚拟设备可以对物理空间中的实体设备进行控制。在此控制过程中，由于传输通道的延时，丢包等原因，常常会导致虚拟空间中虚拟设备产生的控制指令不能实时同步到物理空间中的实体设备上，以影响实体设备的正常动作。反之，在物理空间中对实体设备产生的控制指令也可有能不能实时同步到虚拟空间中的虚拟设备上，因此，也会影响虚拟设备的动作。


技术实现要素：

4.有鉴于此，本发明实施例提供一种对象控制方法、装置、设备和存储介质，用以保证目标对象运动的实时性。
5.第一方面，本发明实施例提供一种对象控制方法，应用于第二空间中的目标对象包括：
6.在所述目标对象的第一次运动信息由第一空间同步到所述第二空间时启动计时；
7.在计时期间，将运动预测模型确定出的所述目标对象的运动信息作为预测结果；
8.当所述计时的时长达到预设时间间隔且所述目标对象的第二次的运动信息未由所述第一空间同步到所述第二空间时，利用所述预测结果控制所述目标对象的运动。
9.第二方面，本发明实施例提供一种对象控制装置，应用于第二空间中的目标对象，包括：
10.计时模块，用于在所述目标对象的第一次运动信息由第一空间同步到所述第二空间时启动计时；
11.预测模块，用于在计时期间，将运动预测模型确定出的所述目标对象的运动信息作为预测结果；
12.控制模块，用于当所述计时的时长达到预设时间间隔且所述目标对象的第二次的运动信息未由所述第一空间同步到所述第二空间时，利用所述预测结果控制所述目标对象的运动。
13.第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的对象控制方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
14.第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性
机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的对象控制方法。
15.本发明实施例提供的对象控制方法，在将运动信息从第一空间同步到第二空间的过程中，若第二空间中的目标对象的第一次运动信息完成同步时启动计时。在计时期间，运动预测模型能够预测出目标对象的运动信息，并将其作为预测结果予以备用。当计时的时长超过预设时间间隔并且目标对象的第二次运动信息并未由第一空间同步到第二空间时，表明没有运动信息供目标对象使用，则目标对象可以利用预测模型预测输出的预测结果控制自身的运动。
16.上述方案中，当运动信息从第一空间同步到第二空间的过程中，若运动信息的同步缺乏实时性时，则目标对象可以通过前向预测进行运动信息的预测，并利用此预测结果控制自身的运动，保证目标对象动作的实时性和连贯性。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例提供的一种对象控制方法的流程图；
19.图2为本发明实施例提供的另一种对象控制方法的流程图；
20.图3为本发明实施例提供的一种对象控制装置的结构示意图；
21.图4为与图3所示实施例提供的对象控制装置对应的电子设备的结构示意图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
24.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
25.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于识别”。类似地，取决于语境，短语“如果确定”或“如果识别(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当识别(陈述的条件或事件)时”或“响应于识别(陈述的条件或事件)”。
26.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的
包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
27.下面结合附图对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
28.本发明提供的下述各实施例均可以由第二空间中的目标对象执行。可选地，第一空间和第二空间可以是物理空间和虚拟空间中的不同空间。并且虚拟空间和物理空间各自包含的对象是一一对应的。其中，第一空间中的镜像对象和第二空间中的目标对象存在对应关系。可以理解的是，作为执行主体的目标对象可以具体实现为软件、或者软件和硬件的组合，比如可以是者第二空间中的任一电子设备。
29.则目标对象可以是物理空间中的实体机器人或者虚拟空间中的虚拟机器人。
30.基于上述描述，图1为本发明实施例提供的一种对象控制方法的流程图。
31.如图1所示，该方法包括如下步骤：
32.s101，在目标对象的第一次运动信息由第一空间同步到第二空间时启动计时。
33.s102，在计时期间，将运动预测模型确定出的目标对象的运动信息作为预测结果。
34.s103，当计时的时长达到预设时间间隔且目标对象的第二次运动信息未由第一空间同步到第二空间时，利用预测结果控制目标对象的运动。
35.根据上述描述可知，第一空间和第二空间具体可以是物理空间和虚拟空间中的不同空间。其中，虚拟空间即为对实体的物理空间进行模拟仿真形成的虚拟的操作空间，物理空间即为实体存在的空间，如室内环境。目标对象可以为机器人，目标对象可以使用运动信息对控制自身的运动，其中，运动信息可以包括制目标对象的行走路径或者动作、位姿等等。可选地，动作可以是从桌子上拿起水杯，把水杯递给用户等等。
36.其中，无论是目标对象的行走还是动作，其都需要一连串的运动信息才能实现，这一连串的运动信息可以在不同时间内由第一空间依次同步到第二空间中，也即是目标对象需要动作信息的多次同步才能完成行走或者某一动作。在实际中，可以将相邻两次动作信息的同步称为第一次同步和第二次同步，第一次同步是对第一次运动信息的同步，第二次同步是对第二次运动信息的同步。其中，第一次运动信息和第二次运动信息都是由第一空间中与目标对象存在对应关系的镜像对象产生的，其中，镜像对象响应于用户触发的控制指令而产生。第一次和第二次之间的关系也即是上一次和下一次之间的关系，第一次并不一定是行走或者某一动作最开始的同步。
37.在进行后续描述之前，还可以对计时的必要性进行说明：运动信息同步的目的是为了保证在第一空间中的镜像对象和第二空间中的目标对象能够做出相同且连贯的动作。理想的同步状态为第一空间中的镜像对象和第二空间中的目标对象应该在同一时间下执行相同的动作，但考虑到现实环境的影响，在最大同步间隔之内实现动作信息由第一空间同步到第二空间都认为动作信息的同步是实时的。
38.需要说明的是，对于最大同步间隔实际上是一个预设时间间隔，其可以根据业务情况进行调整。本实施例中为了监控是否达到最大同步间隔，需要进行计时，并且在计时期
间可以使用目标对象中预先配置的运动预测模型为目标对象进行运动信息的预测，以得到预测运动信息并将其作为预测结果。在上述得到的预测结果后，一种情况，当计时达到预设时间间隔，并且此时目标对象的第二次运动信息还未由第一空间同步到第二空间，即目标对象没有实时得到镜像对象产生的第二次运动信息，此时，目标对象可以利用上述的预测结果控制自身运动。
39.另一种情况，当目标对象的第二次运动信息由第一空间同步到第二空间并且此时目标对象的计时还未达到预设时间间隔，表明第二空间中的目标对象已经获取到由第一空间中镜像对象产生的第二次运动信息。相比于运动预测模型输出的预测运动信息，此第二次运动信息可以认为是实时运动信息。并且相比于上述预测运动信息，此实时运动信息更加准确，则目标对象可以按照此实时运动信息控制目标对象的运动，使得目标对象的运动或动作更加精确、更加标准。其中，上述的实时运动信息可以响应于用户触发的控制指令而产生。
40.上述两种情况综合来说就是，目标对象在完成第一次运动信息同步后进一步实现第二次运动信息同步的过程中，若处于第二空间中的目标对象能够在预设时间段内获取到由第一空间中镜像对象产生的第二次运动信息，也即是实现了运动信息由第一空间同步到第二空间，则可以使用第一空间中镜像对象产生的第二次运动信息控制目标对象的动作或者运动。
41.若处于第二空间中的目标对象未能够在预设时间段内获取到由第一空间中镜像对象产生的第二次运动信息，则目标对象可以利用自身设置的运动预测模型进行运动信息的预测，并利用模型输出的预测结果控制自身的运动或动作，以避免目标对象由于收不到第一空间中镜像对象所产生的第二次运动信息而导致的运动或者动作的停顿，也就能够保证动作或运动的实时性和连贯性。
42.本实施例中，在将运动信息从第一空间同步到第二空间的过程中，若第二空间中的目标对象的第一次运动信息完成同步时启动计时。在计时期间，运动预测模型能够预测出目标对象的运动信息，并将其作为预测结果予以备用。当计时的时长超过预设时间间隔并且目标对象的第二次运动信息并未由第一空间同步到第二空间时，表明没有运动信息供目标对象使用，则目标对象可以利用预测模型预测输出的预测结果控制自身的运动。
43.上述方案中，当运动信息从第一空间同步到第二空间的过程中，若运动信息的同步缺乏实时性时，则目标对象可以通过前向预测进行运动信息的预测，并利用此预测结果控制自身的运动，保证目标对象动作的实时性和连贯性。
44.根据上述描述可知，由于第二空间中的目标对象在完成运动或者某一动作的过程中，需要在不同时间获取到第一空间中镜像对象产生的运动信息，该运动信息都可以认为是实时运动信息，可选地，目标对象还可以根据在预设时间段内收集到的实时运动信息进行实时训练运动预测模型，以提高模型的预测准确度。
45.可选地，第一空间和第二空间之间运动信息的同步还可以借助两空间之间的双向数据通道实现，该通道可以实现第一空间和第二空间的双向数据传输，同时满足较高的带宽以保证传输速度。根据上述描述可知，第一空间和第二空间可以是物理空间和虚拟空间中的不同空间，并且两空间中各自包含对象的一一对应，因此，可以采用数字孪生模型将物理空间数字化，以得到虚拟空间。
46.图2为本发明实施例提供的另一种对象控制方法的流程图，如图2所示，该方法可以包括如下步骤：
47.s201，在目标对象的第一次运动信息由第一空间同步到第二空间时启动计时。
48.s202,在计时期间，将运动预测模型确定出的目标对象的运动信息作为预测结果。
49.s203，当计时的时长达到预设时间间隔且目标对象的第二次运动信息未由第一空间同步到第二空间时，利用预测结果控制目标对象的运动。
50.s204，当在计时的时长达到预设时间间隔后接收到第n次运动信息时，根据预测结果和第n次运动信息控制目标对象的运动。
51.上述实施例中描述了在计时的时长小于或等于预设时间段内时，则可以根据运动信息是否由第一空间同步到第二空间来进一步确定是使用动作预测模型输出的预测动作信息还是使用第一空间中镜像对象产生的实时运动信息控制目标对象的运动。
52.在按照预测结果控制目标对象运动的同时，目标对象会继续计时，则还存在一种情况，目标对象在计时的时长大于预设时间段之后接收到来自于第一空间中镜像对象产生的运动信息，此运动信息可以包括目标对象进行第n次运动信息同步时所需的运动信息，即第n次运动信息，n≥3。第n次运动信息是在上述实施例中第二次运动信息之后产生的。并且此第n次运动信息是响应于用户触发控制指令，由第一空间中的镜像对象产生的。则在接收到第n次动作信息后，目标对象还可以根据此第n次运动信息进一步控制目标对象的运行或者动作。
53.在图1所示实施例的基础上，以n＝3为例，当在计时时长达到预设时间间隔后，目标对象获取到第三次运动信息，并且目标对象并未得到镜像对象生成的第二次运动信息，此时可选地，目标对象可以根据动作预测模型输出预测结果和接收到的第三次运动信息规划目标对象的运动轨迹，并按照此轨迹控制目标对象的运动。
54.若考虑到目标对象所处的虚拟空间或者物理空间中的障碍物，可选地，还可以根据预测结果、第n次运动信息以及障碍物的位置，规划目标对象的运动轨迹，并按照此轨迹控制目标对象的运动。
55.可选地，上述获取到的第三次运动信息中还可以包括冗余运动信息，此冗余信息可以包括目标对象最近m次运动信息同步时所需的运动信息，其中，n》m，m≥1。
56.则承接上述举例来说，第一空间中的镜像对象生成的第三次运动信息具体可以包括在进行本次信息同步时所需的运动信息(即非冗余运动信息)以及在进行之前各次运动信息同步时所需的运动信息(即冗余运动信息)，则可选地，可以先根据冗余运动信息和非冗余运动信息确定目标对象的第一轨迹，该第一轨迹可以认为是保证动作最标准的运动轨迹。
57.但此时目标对象已经按照步骤202中得到的预测结果进行运动，以运动到某位置，并且预测结果与上述的冗余运动信息是存在偏差的，因此，还可以根据非冗余数据和预测结果以及第一轨迹确定出第二轨迹，以保证第二轨迹与第一轨迹之间的相似度满足预设阈值。具体地，考虑到物理空间获取虚拟空间中的障碍物，可以根据非冗余数据和预测结果确定第三轨迹，再对第三轨迹进行调整，以使第三轨迹在不经过障碍物的情况下逼近第一轨迹，从而得到与第一轨迹具有高相似度的第二轨迹。
58.本实施例中，在计时到达预设时间间隔后，若能够接收到第一空间中的镜像对象
发送的运动信息，则可以根据此运动信息中包含冗余运动信息对预测模型输出的预测结果进行纠偏，并根据纠偏结果进行轨迹的重新规划，以得到第二轨迹，保证动作流畅性、实时性的同时，目标对象按照第二轨迹进行动作也具有较高的动作标准性。
59.下面结合机器人场景对上述提及的对象控制方式的具体实现方式进行说明：
60.假设物理空间为卧室，卧室中放置有一台人型服务机器人1，同时根据数组孪生模型建立与该卧室对应的虚拟卧室，即虚拟空间。该虚拟空间内同样具有虚拟的人型服务机器人2。
61.在上述假设的基础上，机器人的开发方在调试机器人的过程可以存在以下过程：开放方通过电子设备提供的操作界面对虚拟空间中机器人2触发控制指令，以控制机器人2拿起桌子上的杯子。虽然用户的触发操作只有一次，但响应于此次触发操作，会生成一连串的控制指令，不同的控制指令包含不同的运动信息，机器人2依次执行一连串控制指令也即是控制自身的位姿不断按照控制指令中包含的运动信息进行运动，从而实现拿起杯子的动作。
62.在机器人2不断接收并执行控制指令的过程中，该控制指令也会不断发送至机器人1，如果机器人1接收两条控制指令之间的时间间隔在预设时间间隔之内，也即是机器人1和机器人2能够在预设时间间隔内实现运动信息的同步，则机器人1则可以正常、连贯地也做出拿起杯子的动作。
63.若两个机器人不能在预设时间间隔内实现运动信息的同步，则可以按照一下方式保证机器人1动作的连贯性：
64.由于网络环境出现异常，响应于开发者的操作，若在t1时间产生的运动信息在预设时间间隔后未能被机器人1接收到，则机器人1可以利用自身配置的运动预测模型预测一个运动信息，并在t1时间根据此预测结果控制自身的运动。此时，机器人1已经由to时间的位置1运动至t1时间的位置2。通过动作的预测能够改善机器人1由于收不到控制指令而导致动作卡顿的情况。
65.随着网络环境的恢复，机器人1又能够在预设时间间隔内不断接收到运动信息，假设在t2时间，接收到的控制指令中同时包含在t1时间产生的运动信息(即上述实施例中的冗余运动信息)和t2时间产生的运动信息(即上述实施例中的非冗余运动信息)。其中，t1时间的运动信息对应于位置2’，t2时间的运动信息对应于位置3。由于位置2和位置2’的来源方式不同，使得二者之间存在差异，则可选地，机器人1可以先根据位置2’和位置3规划第一路径，若机器人按照该路径进行运动能保证拿起水杯的动作最标准。根据上述描述可知，此时机器人1已经处于位置2，则还可以根据位置2和位置3规划第三路径，并对第三路径进行调整，以使其逼近第一路径，从而在保证动作连贯性的同时也能够保证动作的标准。
66.也即是通过预测模型能够实现对机器人1的运动信息的预测，以保证机器人1动作的连贯性；同时还可以根据控制指令中包含的冗余运动信息对预测模型输出的预测结果进行纠偏，以保证机器人1动作的标准。
67.可选地，考虑到机器人在拿起杯子的过程中可能会碰到周围的障碍物，则在上述规划路径的过程中还可以考虑到对障碍物进行躲避。
68.以下将详细描述本发明的一个或多个实施例的对象控制装置。本领域技术人员可以理解，这些对象控制装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来
构成。
69.图3为本发明实施例提供的一种对象控制装置的结构示意图，如图3所示，该装置包括：
70.计时模块11，用于在目标对象的第一次运动信息由第一空间同步到第二空间时启动计时。
71.预测模块12，用于在计时期间，将运动预测模型确定出的所述目标对象的运动信息作为预测结果。
72.控制模块13，用于当所述计时的时长达到预设时间间隔且所述目标对象的第二次的运动信息未由第一空间同步到第二空间时，利用所述预测结果控制所述目标对象的运动。
73.可选地，所述控制模块13，还用于当所述计时的时长小于所述预设时间间隔且所述目标对象的第二次运动信息由所述第一空间同步到所述第二空间时，根据所述第二次运动信息控制所述目标对象的运动所述第二次运动信息由所述第一空间中与所述目标对象对应的镜像对象响应于用户触发控制指令而产生。
74.可选地，所述控制模块13，还用于当在计时的时长达到预设时间间隔后接收到第n次运动信息时，根据所述预测结果和所述第n次运动信息控制所述目标对象的运动，所述第n次运动信息由所述第一空间中与所述目标对象对应的镜像对象响应于用户触发控制指令而产生，n≥3。
75.可选地，所述控制模块13，具体用于根据第n次运动信息中的冗余运动信息，确定所述目标对象的第一轨迹,所述冗余数据包括所述目标对象的最近m次运动信息同步时的运动信息，n》m，m≥1；
76.根据所述第n次运动信息中的非冗余运动信息、预测结果以及所述第一轨迹，确定所述目标对象的第二轨迹，所述第二轨迹与所述第一轨迹之间的相似度满足预设阈值；
77.按照所述第二轨迹控制所述目标对象的运动。
78.可选地，所述装置还包括：更新模块14，用于根据在预设时间段内获取到的所述镜像对象生成的运动信息，更新所述运动预测模型。
79.其中，所述第一空间和所述第二空间为物理空间和虚拟空间中不同的空间；所述物理空间和所述虚拟空间各自包含的对象一一对应。所述目标对象包括智能机器人，所述运动信息包括所述智能机器人的姿态信息。
80.图3所示装置可以执行图1至图2所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图2所示实施例中的描述，在此不再赘述。
81.以上描述了对象控制装置的内部功能和结构，在一个可能的设计中，对象控制装置的结构可实现为一电子设备，如图4所示，该电子设备可以包括：处理器21和存储器22。其中，所述存储器22用于存储支持该电子设备执行上述图1至图2所示实施例中提供的对象控制方法的程序，所述处理器21被配置为用于执行所述存储器22中存储的程序。
82.所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器21执行时能够实现如下步骤：
83.在所述目标对象的第一次运动信息由第一空间同步到所述第二空间时启动计时；
84.在计时期间，将运动预测模型确定出的所述目标对象的运动信息作为预测结果；
85.当所述计时的时长达到预设时间间隔且所述目标对象的第二次运动信息未由所述第一空间同步到所述第二空间时，利用所述预测结果控制所述目标对象的运动。
86.可选地，所述处理器21还用于执行前述图1至图2所示实施例中的全部或部分步骤。
87.其中，所述电子设备的结构中还可以包括通信接口23，用于该电子设备与其他设备或通信网络通信。
88.另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1至图2所示方法实施例中对象控制方法所涉及的程序。
89.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。