用于智能设备控制的交互方法、装置、系统及存储介质与流程

本发明涉及人工智能领域，更具体地涉及一种用于智能设备控制的交互方法、装置、系统及存储介质。

背景技术：

随着人工智能技术的发展，智能设备越来越多地应用到各行各业中。例如，能够自动控制智能机器人，以能够应用到工厂或仓库中。但是智能设备难于直接应用到应用场景中。

在现有的实际应用中，通常需要首先利用某一绘图工具，诸如cad，来绘制地图，然后可以利用诸如visio等工具来规划业务流程，最后标记信息，以实现智能设备的解决方案落地。

上述过程较为繁杂，需要利用多种工具，实现起来非常困难。

技术实现要素：

考虑到上述问题而提出了本发明。本发明提供了一种用于智能设备控制的交互方法、装置、系统及存储介质。

根据本发明一方面，提供了一种用于智能设备控制的交互方法，包括：

提供场地建模界面；

响应于用户在所述场地建模页面的第一操作，生成可视化的场地场景；

提供业务流程编排界面；以及

响应于所述用户在所述业务流程编排页面的操作，生成控制所述智能设备在所述场地场景中执行的业务流程。

示例性地，所述方法还包括：

提供仿真设置界面；

响应于所述用户在所述仿真设置界面的操作，针对所述业务流程实时生成动态的仿真反馈信息。

示例性地，所述响应于所述用户在所述仿真设置界面的操作，针对所述业务流程实时生成动态的仿真反馈信息，包括：

响应于所述用户在所述仿真设置界面的操作，确定所述智能设备执行所述业务流程的仿真场景；以及

显示所述仿真场景。

示例性地，所述响应于所述用户在所述仿真设置界面的操作，针对所述业务流程实时生成动态的仿真反馈信息，包括：

响应于所述用户在所述仿真设置界面的操作，确定所述智能设备执行所述业务流程的仿真参数信息；以及

显示所述仿真参数信息。

示例性地，所述提供场地建模界面包括：

在所述场地建模界面的第一侧提供一个或多个场地控件，以供所述用户选择；

在所述场地建模界面的第二侧提供场地编辑区域。

所述响应于用户在所述场地建模页面的第一操作，生成可视化的场地场景，包括：

响应于所述用户选择所述场地控件之一以及所述场地编辑区域中的用于布置该场地控件的目标位置，在所述场地编辑区域中生成在对应的目标位置存在该场地控件的场地场景。

示例性地，所述提供场地建模界面还包括：

在所述场地建模界面的第三侧显示菜单栏，其中所述菜单栏中包括用于编辑所述场地控件的摆放姿态的编辑控件；

所述响应于用户在所述场地建模页面的第一操作，生成可视化的场地场景，包括：

响应于所述用户点击所述编辑控件，相应地编辑在所述场地场景中所选择的场地控件。

示例性地，所述场地控件中的至少一部分的属性包括关于道路连接点的信息。

示例性地，所述场地是仓库，所述场地控件包括道路控件、充电区控件、站点控件和/或中转区控件。

示例性地，所述中转区控件包括单向路线区，用于限定所述智能设备的行进路线的方向。

示例性地，所述交互方法还包括：

响应于所述用户在所述场地建模页面的第二操作，在所述场地场景中规划所述智能设备的行进路线。

示例性地，所述交互方法还包括：

响应于所述用户在所述场地建模页面的第三操作，以文件的形式导出所述场地场景。

示例性地，所述交互方法还包括：

响应于所述用户在所述场地建模页面的第三操作，导入场地场景文件，以进行编辑。

示例性地，所述提供业务流程编排界面包括：

在所述业务流程编排界面的第一侧显示所述场地场景中的场地控件；

在所述业务流程编排界面的第二侧提供流程编排区域。

所述响应于所述用户在所述业务流程编排页面的操作，生成控制所述智能设备在所述场地场景中执行的业务流程，包括：

响应于所述用户选择所述第一侧显示的场地场景中的场地控件和所述流程编排区域中的用于布置该场地控件的目标位置以及所述用户输入作业类型，在所述流程编排区域生成对应的业务流程。

示例性地，所述智能设备用于搬运物品。

根据本发明另一方面，还提供了一种用于智能设备控制的交互装置，包括：

第一提供模块，用于提供场地建模界面；

场景模块，用于响应于用户在所述场地建模页面的第一操作，生成可视化的场地场景；

第二提供模块，用于提供业务流程编排界面；以及

流程模块，用于响应于所述用户在所述业务流程编排页面的操作，生成控制所述智能设备在所述场地场景中执行的业务流程。

根据本发明又一方面，还提供了一种用于智能设备控制的交互系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述用于智能设备控制的交互方法。

根据本发明再一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述用于智能设备控制的交互方法。

根据本发明实施例的用于智能设备控制的交互方法、装置、系统及存储介质，大大降低了智能设备的控制方案的设计复杂度。由此，显著提高了方案设计者的用户体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了用于实现根据本发明实施例的用于智能设备控制的交互方法和装置的示例电子设备的示意性框图；

图2示出了根据本发明一个实施例的用于智能设备控制的交互方法的示意性流程图；

图3示出了根据本发明一个实施例的场地建模界面的示意图；

图4示出了根据本发明一个实施例的业务流程编排界面的示意图；

图5示出了根据本发明另一实施例的用于智能设备控制的交互方法的示意性流程图；

图6示出了根据本发明一个实施例的仿真设置界面的示意图；

图7示出了根据本发明另一个实施例的仿真设置界面的示意图；

图8示出了根据本发明一个实施例的用于智能设备控制的交互装置的示意性框图；以及

图9示出了根据本发明一个实施例的用于智能设备控制的交互系统的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

首先，参照图1来描述用于实现根据本发明实施例的用于智能设备控制的交互方法和装置的示例电子设备100。

如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106和输出装置108，这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是中央处理单元(cpu)、图形处理器(gpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。

示例性地，用于实现根据本发明实施例的用于智能设备控制的交互方法和装置的示例电子设备可以在诸如个人计算机或远程服务器等的设备上实现。

根据本发明实施例的用于智能设备控制的交互方法、装置、系统及存储介质可以应用于各种智能设备，例如，智能机器人、自动驾驶汽车等。本发明的技术方案帮助智能设备在具体应用场景中业务落地。现有技术中，该过程十分繁杂。不仅要用到多种工具，而且还要反复对照场地场景地图和业务流程图。由此，非常耗费设计者的时间和精力。

为了解决上述问题，本申请提供了一种用于智能设备控制的交互方法。下面将参考图2描述根据本发明实施例的用于智能设备控制的交互方法200。如图2所示，该交互方法200包括以下步骤。

步骤s210，提供场地建模界面。

步骤s220，响应于用户在所述场地建模页面的第一操作，生成可视化的场地场景。

场地表示智能设备执行目标任务的地点。例如该场地可以表示超市、厂房、仓库等。场地建模界面是人机交互界面，可用于用户针对场地进行建模。通过与用户的交互，可以利用场地建模界面生成场地的物理图，即场地场景，其还可以称作场地地图或模型图。

本申请中的智能设备指的是能够自动移动的设备。在一些实施例中，智能设备可以为用于搬运物品(例如货物或商品)的设备。例如，智能设备包括用于放置物品的机构(如托盘或置物架)，该智能设备将托盘或置物架上放置的物品移动至目的地。为方便描述，在下面的实施例中以智能机器人为例。

场地建模界面中可以包括一个场地编辑区域。可以通过用户在场地建模界面的各种操作，在场地编辑区域中生成与用户的第一操作对应的场地场景。该场地场景是可视化的，所见即所得。该场地场景中可以包括多个特定位置，用于智能设备完成特定作业。例如，对于超市，其中可能包括收银台。收银台可以作为智能机器人的一个行进路线的终点。智能机器人将商品运送至收银台，以进行结账。例如，对于仓库，其中可能包括站点，站点可以作为智能机器人的一个行进路线的终点，智能机器人将货物运送到站点以执行下一个流程。另外，对于仓库，该场地场景中还可能包括充电站，电量不足的智能机器人可以移动至充电站充电。

步骤s230，提供业务流程编排界面。

步骤s240，响应于所述用户在所述业务流程编排页面的操作，生成控制所述智能设备在所述场地场景中执行的业务流程。

智能设备通过在场地中执行一系列的业务流程来完成目标任务。该业务流程是根据具体应用场景定制的。例如，在仓库中，可能需要智能机器人完成货物或货架搬运。在步骤s230提供业务流程编排界面。业务流程编排界面也是人机交互界面，可用于用户根据目标任务编排业务流程。通过与用户的交互，可以利用业务流程编排界面编排一个确定的业务流程。

业务流程用于控制智能设备在场地场景中按顺序执行相应的作业。业务流程中可以包括智能设备执行作业所在的位置以及所执行的作业的类型。可以理解，智能设备执行作业所涉及的位置是上述场地场景中的某一位置。以超市为例，智能设备的一个行进路线的终点是收银台。以仓库为例，智能设备的一个行进路线的终点可能是某个货架、站点或充电站。

可以理解，上述场地建模界面中可以包括一个切换控件，用于切换到业务流程编排界面。例如，该切换控件可以是一个按钮。当用户完成场地建模界面后或者在用户期望的任意时刻，用户可以点击该按钮。响应于用户对该按钮的点击操作，提供业务流程编排界面。类似地，业务流程编排界面也可以包括一个切换控件，用于切换到场地建模界面。由此，可以响应于用户在任意时刻对该切换控件的操作，切换到场地建模界面。

在本申请的上述技术方案中，在一个智能设备开放平台内，先后提供场地建模界面和业务流程编排界面，以由设计者方便地设计智能设备在场地场景的业务流程。由此，该智能设备开放平台是一个整合的平台。通过该平台，可以方便地实现智能设备的业务流程设计，以控制智能设备在场地场景中按照期望的业务流程完成目标任务。由此，节省了设计者的时间和精力，显著提高了设计者的用户体验。

可选地，上述方法可以利用浏览器在线实现。该方法能够支持基于软件即服务(saas)技术的设计。可选地，上述方法也可以利用应用软件在本地设备上实现。

可选地，上述步骤s210提供场地建模界面包括：在场地建模界面的第一侧提供一个或多个场地控件，以供所述用户选择；并且在场地建模界面的第二侧提供场地编辑区域。上述步骤s220响应于用户在场地建模页面的第一操作，生成可视化的场地场景，包括：响应于用户选择场地控件之一以及场地编辑区域中的用于布置该场地控件的目标位置，在场地编辑区域中生成在对应的目标位置存在该场地控件的场地场景。应理解，本申请中场地建模界面的第一侧和第二侧可以是场地建模界面中的任意两个不重叠的区域，具体可以从用户使用习惯和/或界面美观的角度进行设计。

在该技术方案中，场地建模界面针对应用场景提供了相应的场地控件和场地编辑区域，用户只需简单地选择操作，即可方便地生成期望的场地场景。这进一步简化了用户的操作，节省了用户的精力和时间。

图3示出了根据本发明一个实施例的场地建模界面的示意图。如图3所示，在场地建模界面的右侧提供了一个控件区。该控件区包括多个场地控件，以供用户选择置入场地场景中。可以理解场地控件不仅可以包括用于场景中的位置的控件，例如，中转区控件、障碍区控件等，还可以包括用于场景中的任何设备或其他物件的控件，例如智能机器人控件等。在场地建模界面的左侧提供了一个场地编辑区域，其中正在编辑一个仓库场景。

图3所示的场地建模界面是用于仓库。其中的场地控件包括道路控件、充电区控件、站点控件、中转区控件、障碍区控件、智能机器人控件、门控件和货架控件。

在该实施例中，智能设备是智能机器人，所以该场地建模界面中包括智能机器人控件。在场地场景中，顾名思义，道路控件所在位置是智能机器人行进的道路，门控件所在的位置存在一个门，货架控件所在的位置存在货架。在场地场景中，障碍区控件所在位置是智能机器人不能行进的地点。在场地场景中，站点控件所在的位置是仓库中实际作业的地方，例如：入库、拣选和出库等。该作业可以是智能机器人作业。该作业也可以是人工作业。在这种情况下，智能机器人可以行经并停留在该站点，待人工完成该作业后，例如给智能机器人上载有的货架装货后，智能机器人再离开该站点。在场地场景中，中转区控件所在位置是实际中转货品的地方，可以是货架和智能机器人共享的区域，因为智能机器人可以停在货架底部。可选地，中转区控件包括单向路线区，用于限定智能设备的行进路线的方向。在图3所示的场地建模界面中，中转区控件中带阴影的部分即单向路线区。该单向路线区中标注了路线方向，如图3中的箭头所示。中转区是智能机器人频繁访问的区域。中转区控件包括单向路线区，有效避免了多个智能机器人在同时行进时发生碰撞，保证了智能机器人顺利完成目标任务。在场地场景中，智能机器人能够在充电区控件所在位置进行充电。当智能机器人电量低于预设阈值时，其能够自动行进到充电区控件所在的位置进行充电。当充电完成后，智能机器人可返回到业务流程中，继续作业。

可选地，上述场地控件中的至少一部分的属性包括关于道路连接点的信息，例如上述充电区控件、站点控件和中转区控件。这些场地控件在场景所在的位置只有一个方向连接道路控件所在的位置。也就是说，去往该场地控件的位置的智能机器人只能出现在与道路控件所在的位置连接的位置。在图3所示的场地场景中，用与场地控件相连接的圆圈表示该场地控件的道路连接点。

明确标注场地控件的道路连接点，避免智能机器人行进到错误的路线，保证了智能机器人顺利完成目标任务。由此，提高了设计者的用户体验。

在图3左侧的场地编辑区域中，显示了一个正在编辑的仓库。该仓库中包括两个充电区、两个站点、一个中转区、三个障碍区以及一段道路。

用户可以在场地建模界面中的控件区中选择某场地控件并且在场地编辑区域中选择用于布置该场地控件的目标位置。响应于用户选择该场地控件以及场地编辑区域中的目标位置，在场地编辑区域中生成在对应的目标位置存在该场地控件的场地场景。

例如，响应于用户直接将控件区的站点控件拖拽到场地编辑区域中的目标位置，在该目标位置中渲染该站点控件，以使仓库的对应位置处存在该站点。又例如，用户可以分别选择控件区的站点控件和场地编辑区域中的目标位置，例如通过点击操作。响应于用户的点击操作，生成在场地编辑区域中的目标位置处存在该站点的仓库的物理图。

在该实施例中，生成了仓库场景。仓库是个对于操作要求比较简单的场景。上述技术方案不仅为智能设备代替人来完成仓库内的各种操作提供了可能性，而且为解决该问题的设计师提供了方便。

可选地，上述步骤s210提供场地建模界面还包括：在所述场地建模界面的第三侧显示菜单栏，其中所述菜单栏中包括用于编辑所述场地控件的摆放姿态的编辑控件。上述步骤s220响应于用户在所述场地建模页面的第一操作，生成可视化的场地场景，包括：响应于所述用户点击所述编辑控件，相应地编辑在所述场地场景中所选择的场地控件。

再次以图3为例，图3所示的场地建模界面的上侧显示了菜单栏。该菜单栏中包括用于编辑场地控件的摆放姿态的各种编辑控件。利用这些编辑控件可以实现对场地控件的翻转、旋转等编辑操作。用户可以首先在待编辑的仓库中选择一个待编辑的场地控件，然后点击上述编辑控件，例如水平翻转控件，以实现对待编辑的场地控件的相应编辑操作。

在场地建模界面中显示常用的菜单栏，可以为用户提供编辑便利，方便用户对场地控件进行各种编辑操作，提高了用户的工作效率。

可选地，所述交互方法还包括：响应于用户在场地建模页面的第二操作，在所述场地场景中规划所述智能设备的行进路线。以图3所示场地建模页面为例，在该场地建模页面的上侧菜单栏中，包括一个规划路线按钮。响应于用户对该按钮的点击操作，以及用户在正在编辑的仓库场景中选择的起点和终点，可以相应地规划智能机器人的行进路线。

在很多场景中，智能设备需要移动到不同位置，完成不同的作业。提供对于智能设备的行进路线的统一规划接口，可以方便用户管理智能设备。一方面，可以避免智能设备在场地内的发生碰撞等事故。另一方面，可以避免智能设备走冤枉路，节约智能设备的电力和时间，提高智能设备的工作效率。

可选地，所述交互方法还支持文件的导入导出操作。该交互方法可以包括以下步骤中的至少一个：响应于用户在场地建模页面的第三操作，以文件的形式导出所述场地场景；响应于所述用户在所述场地建模页面的第三操作，导入场地场景文件，以进行编辑。

文件导出操作可以将用户编辑完的场地场景直接导出到其他计算设备，例如智能设备的控制系统。可以理解，该场地场景可以以图文件的形式进行导出操作。由此，智能设备的控制系统可以根据该场地场景控制智能设备完成目标任务。

文件导入操作可以直接从其他计算设备导入场地场景文件。该场地场景文件可以是场地场景的图文件。例如，假设场地场景发生了变化，可以从智能设备的控制系统导入现有的场地场景。然后针对该现有的场地场景进行编辑，以生成新的场地场景。

上述交互方法还能够支持场地场景文件的云管理。例如，首先将场地场景文件导入到本地，然后对该场地场景进行编辑。最后将编辑好的场地场景以图文件的形式上传到云。

上述导入、导出以及云管理操作，方便了场地场景的移植，编辑和管理，为用户提供了极大便利。

通过上述步骤s210和步骤s220，生成了可视化的场地场景。可选地，上述步骤s230提供业务流程编排界面包括：在业务流程编排界面的第一侧显示所生成的场地场景中的场地控件；在业务流程编排界面的第二侧提供流程编排区域。业务流程界面可以包括一个控件区。该控件区中的控件都是通过步骤s210和步骤s220所生成的场地场景中的场地控件。为了区分这些场地控件，可以给所生成的场地场景中的每个场地控件一个唯一的标识符(id)，例如通过修改场地控件的属性的方式。在业务流程编排界面的控件区中，包括场地场景中的每个场地控件。这些场地控件可以根据id进行区分。上述步骤s240响应于用户在业务流程编排页面的操作，生成控制智能设备在场地场景中执行的业务流程，包括：响应于所述用户选择所述第一侧显示的场地场景中的场地控件和所述流程编排区域中的用于布置该场地控件的目标位置，并且响应于用户输入作业类型，在流程编排区域生成对应的业务流程。

在该技术方案中，业务流程编排界面针对应用场景提供了先前在场地建模界面生成的场地场景中的场地控件和流程编排区域，用户只需简单地选择操作，即可方便地生成期望的业务流程。这进一步简化了用户的操作，节省了用户的精力和时间。

图4示出了根据本发明一个实施例的业务流程编排界面的示意图。如图4所示，在业务流程编排界面的右侧提供了一个控件区。该控件区中包括图3所示的场地建模界面中的场地场景中的场地控件。例如，“缓存区b”表示图3的场地场景中的中转区，“工作站a”和“工作站b”各表示图3的场地场景中的一个站点。在业务流程编排界面的左侧还提供了流程编排区域。用户可以首先通过业务流程编排界面上侧工具栏里的“新增流程”来新建一条业务流程。然后每次操作，用户可以选择控件区中的一个场地控件，将其拖拽到流程编排区域的目标位置，以与相关的场地控件连接。最后，可以生成一个场地控件链，其从一个角度描述了智能机器人的行进路径。该场地控件链中的每个场地控件都可作为整个业务流程的一个节点。

智能机器人在不同位置完成不同作业，所以可以给不同的场地控件标识不同的作业类型。仍然参考图4，其中的业务流程演绎了这样的一个过程。智能机器人从缓存区b出发。从缓存区b取了空货架，在工作站a进行装货，该装货操作可以是智能机器人自动完成，也可以是由人工帮助完成。然后，智能机器人发货给工作站c。在工作站c处，智能机器人完成卸货操作。类似地，该卸货操作可以由智能机器人自动完成，也可以由人工帮助完成。在完成卸货操作后，智能机器人将空货架送回到缓存区b。响应于用户选择场地控件和用于布置该场地控件的目标位置，并且响应于用户输入作业类型，在流程编排区域生成了一个完整的业务流程。

图5示出了根据本发明另一实施例的用于智能设备控制的交互方法500。该交互方法500中的步骤s510-s540与上述交互方法200中的步骤s210-s240分别类似。为了简洁，在此不再赘述这些步骤。在交互方法500中，还包括步骤s550和步骤s560。在步骤s550中，提供仿真设置界面。在仿真设置界面可以配置智能机器人数量与各种仿真参数，例如货架数量、站点机器人运力、站点产能、共享业务流程的占比分布等，其中站点机器人运力可以表示为站点配置的机器人的数量，共享业务流程的占比分布可以表示站点的每条业务流程在该站点所有业务流程中的占比。在步骤s560中，响应于用户在仿真设置界面的操作，针对智能设备所执行的业务流程实时生成动态的仿真反馈信息。该仿真反馈信息可以显示在仿真设置界面中。在该实施例中，该智能设备开放平台还提供了仿真设置界面，能够基于场地场景的物理图和业务流程来进行实际的仿真模拟，为用户根据该仿真模拟的情况来评估设计效果提供了可能性。由此，用户可以随时查看在场地场景中业务流程的执行情况，并根据执行情况是否达到预期决定是否返回到步骤s510或步骤s530，修改当前的场地场景或者业务流程，直至达到预期效果为止。因此，能够让控制方案的设计效果可视化展示，所见即所得。不仅方便了用户对现有设计方案进行修改，而且保证了用户最终获得的场地场景和业务流程是令人满意的。

可选地，步骤s560响应于用户在仿真设置界面的操作，针对智能设备所执行的业务流程实时生成动态的仿真反馈信息，包括：响应于用户在仿真设置界面的操作，确定智能设备执行所述业务流程的仿真场景；以及显示所述仿真场景。图6示出了根据本发明一个实施例的仿真设置界面的示意图。该仿真设置界面中，例如在上侧的工具栏中包括一个用于开始仿真的控件，例如按钮。响应于用户点击该按钮，可以显示一个动态图像。该动态图像显示了智能机器人在图3所示的场地场景中执行图4所示的业务流程的过程。在该实施例中，该动态图像还能够实时显示货架在图3所示的场地场景中的运送过程。该仿真设置界面中，例如在上侧的工具栏中还可以包括一个用于停止仿真的控件，例如按钮，以方便用户随时终止仿真操作。可以理解，该用于开始仿真的控件和该用于停止仿真的控件可以用同一控件实现。视仿真操作处于不同状态，该控件实现不同功能。该仿真模拟操作是场地场景视角的。由此，用户能够形象地了解智能设备执行目标任务的具体过程，较好地满足了用户的需求。

可选地，步骤s560响应于用户在仿真设置界面的操作，针对智能设备所执行的业务流程实时生成动态的仿真反馈信息，包括：响应于用户在仿真设置界面的操作，确定智能设备执行业务流程的仿真参数信息；以及显示所述仿真参数信息。图7示出了根据本发明另一个实施例的仿真设置界面的示意图。类似地，该仿真设置界面中，例如在上侧的工具栏中包括一个用于开始仿真或停止仿真的控件，例如按钮。响应于用户点击该按钮开始仿真的操作，可以显示智能设备对业务流程的当前执行情况。该执行情况可以用一些用户关心的统计数据来表示。如图7所示，该实施例中，主要确定了工作站a和工作站c的一些作业数据。该仿真模拟操作是业务流程视角的。由此，用户能够量化地了解智能设备执行目标任务的具体情况，较好地从另外一个角度满足了用户的需求。

可选地，仿真设置界面中，例如在上侧的工具栏中也可包括切换控件，用于返回步骤s510或步骤s530，例如按钮。响应于用户点击该按钮，可以返回到步骤s510或步骤s530，对现有的场地场景进行再次编辑或者对现有的业务流程锦进行再次编排。重新参考图6和图7，其中控件“编辑工程图”即为用于返回步骤s510的按钮，控件“编排流程”即为用于返回步骤s530的按钮。可选地，在前述场地建模界面和/或业务流程编排界面中，也可以包括用于切换到仿真设置界面的切换控件。响应于用户对该切换控件的操作，可以到达步骤s550，以执行仿真操作。由此，可以满足随时针对当前设计进行仿真的用户需求。

根据本发明另一方面，还提供了一种用于智能设备控制的交互装置。图8示出了根据本发明一个实施例的用于智能设备控制的交互装置800的示意性框图。

如图8所示，交互装置800包括第一提供模块810、场景模块820、第二提供模块830和流程模块820。所述各个模块可分别执行上文中所述的用于智能设备控制的交互方法的各个步骤/功能。可选地，所述智能设备用于搬运物品。以下仅对该交互装置800的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。

第一提供模块810用于提供场地建模界面。场景模块820用于响应于用户在所述场地建模页面的第一操作，生成可视化的场地场景。第二提供模块830用于提供业务流程编排界面。流程模块840用于响应于所述用户在所述业务流程编排页面的操作，生成控制所述智能设备在所述场地场景中执行的业务流程。

可选地，所述第一提供模块810包括控件提供单元和场地编辑区域提供单元。控件提供单元用于在所述场地建模界面的第一侧提供一个或多个场地控件，以供所述用户选择。场地编辑区域提供单元用于在所述场地建模界面的第二侧提供场地编辑区域。所述场景模块820具体用于响应于所述用户选择所述场地控件之一以及所述场地编辑区域中的用于布置该场地控件的目标位置，在所述场地编辑区域中生成在对应的目标位置存在该场地控件的场地场景。

可选地，所述第一提供模块810还包括菜单提供单元，用于在所述场地建模界面的第三侧显示菜单栏，其中所述菜单栏中包括用于编辑所述场地控件的摆放姿态的编辑控件。所述场景模块820包括场景编辑单元，用于响应于所述用户点击所述编辑控件，相应地编辑在所述场地场景中所选择的场地控件。

可选地，所述场地控件中的至少一部分的属性包括关于道路连接点的信息。

可选地，所述场地是仓库，所述场地控件包括道路控件、充电区控件、站点控件和/或中转区控件。

可选地，所述中转区控件包括单向路线区，用于限定所述智能设备的行进路线的方向。

可选地，所述第二提供模块830包括控件提供单元和流程编排区域提供单元。控件提供单元用于在所述业务流程编排界面的第一侧显示所述场地场景中的场地控件。流程编排区域提供单元用于在所述业务流程编排界面的第二侧提供流程编排区域。所述流程模块具体用于响应于所述用户选择所述第一侧显示的场地场景中的场地控件和所述流程编排区域中的用于布置该场地控件的目标位置以及所述用户输入作业类型，在所述流程编排区域生成对应的业务流程。

可选地，交互装置800还包括第三提供模块850和仿真模块860。第三提供模块850用于提供仿真设置界面。仿真模块860用于响应于所述用户在所述仿真设置界面的操作，针对所述业务流程实时生成动态的仿真反馈信息。

可选地，仿真模块860具体用于响应于所述用户在所述仿真设置界面的操作，确定所述智能设备执行所述业务流程的仿真场景；并且显示所述仿真场景。

可选地，仿真模块860具体用于响应于所述用户在所述仿真设置界面的操作，确定所述智能设备执行所述业务流程的仿真参数信息；并且显示所述仿真参数信息。

可选地，所述交互装置800还包括路线规划模块，用于响应于所述用户在所述场地建模页面的第二操作，在所述场地场景中规划所述智能设备的行进路线。

可选地，所述交互装置800还包括文件导出模块，用于响应于所述用户在所述场地建模页面的第三操作，以文件的形式导出所述场地场景。

可选地，所述交互装置800还包括文件导入模块，用于响应于所述用户在所述场地建模页面的第三操作，导入场地场景文件，以进行编辑。

图9示出了根据本发明一个实施例的用于智能设备控制的交互系统900的示意性框图。如图9所示，系统900包括输入装置910、存储装置920、处理器930以及输出装置940。示例性地，所述智能设备用于搬运物品。

所述输入装置910用于接收用户所输入的操作指令以及采集数据。输入装置910可以包括键盘、鼠标、麦克风、触摸屏和图像采集装置等中的一个或多个。

所述存储装置920存储用于实现根据本发明实施例的用于智能设备控制的交互方法中的相应步骤的计算机程序指令。

所述处理器930用于运行所述存储装置920中存储的计算机程序指令，以执行根据本发明实施例的用于智能设备控制的交互方法的相应步骤，并且用于实现根据本发明实施例的用于智能设备控制的交互装置中的各个模块。

在本发明的一个实施例中，在所述计算机程序指令被所述处理器930运行时使所述系统900执行以下步骤：

提供场地建模界面；

响应于用户在所述场地建模页面的第一操作，生成可视化的场地场景；

提供业务流程编排界面；以及

响应于所述用户在所述业务流程编排页面的操作，生成控制所述智能设备在所述场地场景中执行的业务流程。

示例性地，在所述计算机程序指令被所述处理器930运行时使所述系统900执行的所述提供场地建模界面的步骤包括：

在所述场地建模界面的第一侧提供一个或多个场地控件，以供所述用户选择；

在所述场地建模界面的第二侧提供场地编辑区域。

在所述计算机程序指令被所述处理器930运行时使所述系统900执行的所述响应于用户在所述场地建模页面的第一操作生成可视化的场地场景的步骤包括：

响应于所述用户选择所述场地控件之一以及所述场地编辑区域中的用于布置该场地控件的目标位置，在所述场地编辑区域中生成在对应的目标位置存在该场地控件的场地场景。

示例性地，在所述计算机程序指令被所述处理器930运行时使所述系统900执行的所述提供场地建模界面的步骤还包括：

在所述场地建模界面的第三侧显示菜单栏，其中所述菜单栏中包括用于编辑所述场地控件的摆放姿态的编辑控件；

在所述计算机程序指令被所述处理器930运行时使所述系统900执行的所述响应于用户在所述场地建模页面的第一操作生成可视化的场地场景的步骤包括：

响应于所述用户点击所述编辑控件，相应地编辑在所述场地场景中所选择的场地控件。

示例性地，所述场地控件中的至少一部分的属性包括关于道路连接点的信息。

示例性地，所述场地是仓库，所述场地控件包括道路控件、充电区控件、站点控件和/或中转区控件。

示例性地，所述中转区控件包括单向路线区，用于限定所述智能设备的行进路线的方向。

在所述计算机程序指令被所述处理器930运行时使所述系统900还执行以下步骤：响应于所述用户在所述场地建模页面的第二操作，在所述场地场景中规划所述智能设备的行进路线。

在所述计算机程序指令被所述处理器930运行时使所述系统900还执行以下步骤：响应于所述用户在所述场地建模页面的第三操作，以文件的形式导出所述场地场景。

在所述计算机程序指令被所述处理器930运行时使所述系统900还执行以下步骤：响应于所述用户在所述场地建模页面的第三操作，导入场地场景文件，以进行编辑。

示例性地，在所述计算机程序指令被所述处理器930运行时使所述系统900执行的所述提供业务流程编排界面的步骤包括：

在所述业务流程编排界面的第一侧显示所述场地场景中的场地控件；

在所述业务流程编排界面的第二侧提供流程编排区域。

在所述计算机程序指令被所述处理器930运行时使所述系统900执行的所述响应于所述用户在所述业务流程编排页面的操作生成控制所述智能设备在所述场地场景中执行的业务流程的步骤包括：

响应于所述用户选择所述第一侧显示的场地场景中的场地控件和所述流程编排区域中的用于布置该场地控件的目标位置以及所述用户输入作业类型，在所述流程编排区域生成对应的业务流程。

示例性地，在所述计算机程序指令被所述处理器930运行时使所述系统900还执行以下步骤：

提供仿真设置界面；

响应于所述用户在所述仿真设置界面的操作，针对所述业务流程实时生成动态的仿真反馈信息。

在所述计算机程序指令被所述处理器930运行时使所述系统900执行的所述响应于所述用户在所述仿真设置界面的操作针对所述业务流程实时生成动态的仿真反馈信息的步骤包括：

响应于所述用户在所述仿真设置界面的操作，确定所述智能设备执行所述业务流程的仿真场景；以及

显示所述仿真场景。

在所述计算机程序指令被所述处理器930运行时使所述系统900执行的所述响应于所述用户在所述仿真设置界面的操作针对所述业务流程实时生成动态的仿真反馈信息的步骤包括：

响应于所述用户在所述仿真设置界面的操作，确定所述智能设备执行所述业务流程的仿真参数信息；以及

显示所述仿真参数信息。

此外，根据本发明再一方面，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时使得所述计算机或处理器执行本发明实施例的用于智能设备控制的交互方法的相应步骤，并且用于实现根据本发明实施例的用于智能设备控制的交互装置中的相应模块。示例性地，所述智能设备用于搬运物品。所述存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

在本发明的一个实施例中，所述计算机程序指令被计算机或处理器运行时，使得所述计算机或处理器执行以下步骤：

提供场地建模界面；

响应于用户在所述场地建模页面的第一操作，生成可视化的场地场景；

提供业务流程编排界面；以及

响应于所述用户在所述业务流程编排页面的操作，生成控制所述智能设备在所述场地场景中执行的业务流程。

示例性地，在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的所述提供场地建模界面的步骤包括：

在所述场地建模界面的第一侧提供一个或多个场地控件，以供所述用户选择；

在所述场地建模界面的第二侧提供场地编辑区域。

在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的所述响应于用户在所述场地建模页面的第一操作生成可视化的场地场景的步骤包括：

响应于所述用户选择所述场地控件之一以及所述场地编辑区域中的用于布置该场地控件的目标位置，在所述场地编辑区域中生成在对应的目标位置存在该场地控件的场地场景。

示例性地，在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的所述提供场地建模界面的步骤还包括：

在所述场地建模界面的第三侧显示菜单栏，其中所述菜单栏中包括用于编辑所述场地控件的摆放姿态的编辑控件；

在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的所述响应于用户在所述场地建模页面的第一操作生成可视化的场地场景的步骤包括：

响应于所述用户点击所述编辑控件，相应地编辑在所述场地场景中所选择的场地控件。

示例性地，所述场地控件中的至少一部分的属性包括关于道路连接点的信息。

示例性地，所述场地是仓库，所述场地控件包括道路控件、充电区控件、站点控件和/或中转区控件。

示例性地，所述中转区控件包括单向路线区，用于限定所述智能设备的行进路线的方向。

所述计算机程序指令被计算机或处理器运行时，使得所述计算机或处理器还执行以下步骤：响应于所述用户在所述场地建模页面的第二操作，在所述场地场景中规划所述智能设备的行进路线。

所述计算机程序指令被计算机或处理器运行时，使得所述计算机或处理器还执行以下步骤：响应于所述用户在所述场地建模页面的第三操作，以文件的形式导出所述场地场景。

所述计算机程序指令被计算机或处理器运行时，使得所述计算机或处理器还执行以下步骤：响应于所述用户在所述场地建模页面的第三操作，导入场地场景文件，以进行编辑。

示例性地，在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的所述提供业务流程编排界面的步骤包括：

在所述业务流程编排界面的第一侧显示所述场地场景中的场地控件；

在所述业务流程编排界面的第二侧提供流程编排区域。

在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的所述响应于所述用户在所述业务流程编排页面的操作生成控制所述智能设备在所述场地场景中执行的业务流程的步骤包括：

响应于所述用户选择所述第一侧显示的场地场景中的场地控件和所述流程编排区域中的用于布置该场地控件的目标位置以及所述用户输入作业类型，在所述流程编排区域生成对应的业务流程。

所述计算机程序指令被计算机或处理器运行时，使得所述计算机或处理器还执行以下步骤：

提供仿真设置界面；

响应于所述用户在所述仿真设置界面的操作，针对所述业务流程实时生成动态的仿真反馈信息。

在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的所述响应于所述用户在所述仿真设置界面的操作针对所述业务流程实时生成动态的仿真反馈信息的步骤包括：

响应于所述用户在所述仿真设置界面的操作，确定所述智能设备执行所述业务流程的仿真场景；以及

显示所述仿真场景。

在所述计算机程序指令被所述计算机或处理器运行时使计算机或处理器执行的所述响应于所述用户在所述仿真设置界面的操作针对所述业务流程实时生成动态的仿真反馈信息的步骤包括：

响应于所述用户在所述仿真设置界面的操作，确定所述智能设备执行所述业务流程的仿真参数信息；以及

显示所述仿真参数信息。

根据本发明实施例的用于智能设备控制的交互装置中的各模块可以通过根据本发明实施例实施用于智能设备控制的交互系统的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。

根据本发明实施例的用于智能设备控制的交互方法、装置、系统和存储介质，大大降低了智能设备的控制方案的设计复杂度。由此，显著提高了方案设计者的用户体验。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的用于智能设备控制的交互装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。