GUI控制器设计支持装置、远程控制系统和程序的制作方法

本发明涉及支持由gui(图形用户界面)实现的控制器的设计和编程的gui控制器设计支持装置。

背景技术：

传统上已实现了提供用于经由无线通信远程地操作无线电控制(rc)汽车、无人机、机器人和游戏等的控制器装置作为智能电话画面等上所显示的诸如操作按钮等的gui(例如，参见专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2019-085041

技术实现要素：

发明要解决的问题

利用这样的基于gui的控制器装置，在激活要操作的装置之后，这些装置被配置成使得在接收到信号之后的控制是固定的、或者使得仅允许简单的改变(诸如针对某操作参数的极性和增益等的改变等)。由于该原因，无法添加新行为和/或动态添加参数本身。此外，需要针对进行重复直到成功地实现期望控制为止的试错法的每个实例来重新激活要操作的装置，因此需要大量时间以通过诸如自动操作等的编程来实现复杂控制。

本发明的目的是提供一种gui控制器设计支持装置，该gui控制器设计支持装置解决上述问题，并且支持能够灵活地且实时地改变控制和/或图形表示的控制器装置的编程。

用于解决问题的方案

为了解决上述问题，根据本发明的一种gui控制器设计支持装置，用于支持gui控制器的设计，所述gui控制器显示在输入装置的触敏面板显示器上，并且接收用于操作对象装置的操作输入。所述gui控制器设计支持装置配备有：控制器组编辑单元，用于编辑控制器组，所述控制器组包含多个控制器部件且由多个控制器部件构成，并且定义所述gui控制器；控制器部件编辑单元，用于编辑所述控制器组中所包含的各个控制器部件；以及用户程序编辑单元，用于编辑用户程序，所述用户程序定义响应于对所述控制器部件的操作输入的所述对象装置的控制。

根据本发明，所述gui控制器设计支持装置还可以配备有gui控制器登记单元，所述gui控制器登记单元用于在引擎激活用于执行所述用户程序的执行环境的状态下，将在所述控制器组编辑单元处所编辑的所述控制器组登记到所述输入装置，在所述引擎上运行作为为了控制所述对象装置而从所述用户程序调用且利用的对象的驱动程序。

另外，所述gui控制器设计支持装置还可以配备有用户程序登记单元，所述用户程序登记单元用于在引擎激活用于执行所述用户程序的执行环境的状态下，将在所述用户程序编辑单元处所编辑的所述用户程序登记到所述引擎，在所述引擎上运行作为为了控制所述对象装置而从所述用户程序调用且利用的对象的驱动程序。

此外，为了解决上述问题，根据本发明的一种远程控制系统，其配备有：上述gui控制器设计支持装置中的任何gui控制器设计支持装置；输入装置，其配备有触敏面板显示器，所述触敏面板显示器显示gui控制器；以及引擎，其上运行作为为了控制所述对象装置而从所述用户程序调用且利用的对象的驱动程序。在该远程控制系统中，所述输入装置接收对所述触敏面板显示器上所显示的所述gui控制器的用户的操作输入，并将所述操作输入的内容发送至所述引擎，并且所述引擎基于从所述输入装置接收到的所述操作输入的内容来操作所述驱动程序以控制所述对象装置。所述输入装置在所述引擎激活用于执行所述用户程序的执行环境的状态下，能够更新与所述用户程序相关联的所述gui控制器的控制器组。所述引擎还在激活用于执行所述用户程序的执行环境的状态下，能够更新所述用户程序。

此外，为了解决上述问题，根据本发明的一种程序，其使得计算机用作上述的gui控制器设计支持装置中的任何gui控制器设计支持装置。

附图说明

图1示出应用了gui控制器设计支持装置1的远程控制环境的示例。

图2是示出在利用登记到输入装置2的gui控制器经由引擎3控制对象装置4时进行的过程的流程图。

图3是示出在编辑和更新现有gui控制器和用户程序时进行的处理的过程的流程图。

具体实施方式

以下将基于附图来说明本发明的实施例。应当注意，在以下的说明中，相同的附图标记表示相同的构件，并且在相关时将省略对已说明的构件的说明。

远程控制环境的结构

图1示出应用了根据本实施例的gui控制器设计支持装置1的远程控制环境的示例。具体地，在该远程控制环境中，响应于用户对输入装置2进行的操作输入，将控制信号经由引擎3发送至作为要操作的对象的对象装置4，然后实现对象装置4的控制。gui控制器设计支持装置进行1：输入装置2上所显示的操作画面的设计、响应于对输入装置2的操作输入而在引擎3上执行的程序的编辑、以及任何其它操作；并且在合适的情况下提供用于更新这些操作的环境。gui控制器设计支持装置1、输入装置2和引擎3能够经由网络nw彼此进行通信。应当注意，gui控制器设计支持装置1、输入装置2和引擎3的全部或一部分可以由共同的硬件来实现。引擎3和对象装置4也能够通过无线通信方式(是否经由网络nw是可选的)彼此进行通信。

gui控制器设计支持装置1是向用户提供如下功能的装置，并且由计算机等来实现，其中这些功能用以进行gui控制器和用户程序的编辑、作为执行用户程序的引擎3上的环境的执行环境的编辑、作为从用户程序调用的用于控制对象装置4的对象的驱动程序的编辑、以及任何其它操作。gui控制器设计支持装置1配备有控制单元10、存储器单元11、显示单元12、输入单元13和通信单元14。

控制单元10通过执行存储器单元11中所存储的各种程序来实现gui控制器设计支持装置1的功能。特别地，控制单元10实现包括以下将说明的gui控制器编辑功能和用户程序编辑功能的各种功能。控制单元10例如由cpu等来实现。

存储器单元11存储要在控制单元10中执行的程序、要在这样的程序中使用的数据、以及任何其它程序/数据。具体地，存储器单元11存储用于实现gui控制器编辑功能和用户程序编辑功能的程序和数据。例如，存储器单元11可以存储gui控制器编辑功能中用户可用的控制器部件的模板。

显示单元12是诸如液晶显示器或有机el显示器等的显示元件，并且在控制单元10的控制下显示各种类型的信息。输入单元13接收用户操作。输入单元13例如可以是键盘、鼠标、或者叠加并设置在显示单元12上的触敏面板。通信单元14经由网络nw和/或其它通信线路与输入装置2、引擎3和任何其它组件进行通信。

输入装置2显示由gui控制器设计支持装置1创建和编辑的gui控制器所用的画面，接收对这样的gui控制器的操作输入，然后将所接收到的操作输入的内容发送至引擎3。输入装置2设置有控制单元20、存储器单元21、显示单元22、输入单元23和通信单元24。

控制单元20通过执行存储器单元21中所存储的各种程序来实现输入装置2的功能。特别地，控制单元20实现使得将gui控制器所用的画面显示在输入单元23上的功能、接收对构成gui控制器的各个控制器部件的用户操作输入并将所接收到的操作输入的内容经由通信单元24发送至引擎3的功能、以及任何其它功能。控制单元20例如由cpu等来实现。

存储器单元21存储要在控制单元20中执行的程序、要在这样的程序中使用的数据、以及任何其它程序/数据。具体地，存储器单元21存储定义gui控制器的控制器组cl、用于使得根据控制器组cl将gui控制器所用的画面显示在显示单元22上的绘制程序、以及任何其它的控制器组/程序。存储器单元21还针对构成gui控制器的各个控制器部件存储定义可输入的坐标范围的索引。

显示单元22是诸如液晶显示器或有机el显示器等的显示元件，并且在控制单元20的控制下显示诸如gui控制器所用的画面等的各种类型的信息。

输入单元23接收用户操作输入。输入单元23例如可以是键盘、鼠标、或者叠加并设置在显示单元22上的触敏面板。在gui控制器显示在显示单元22上的状态下，当用户操作显示单元22上所叠加并设置的触敏面板时，触敏面板检测到进行了触摸的坐标，将所检测到的坐标称为索引，并且接收到该触摸作为对与所检测到的坐标相对应的控制器部件的操作输入。另外，可以设置加速度传感器作为输入单元23，以将输入装置2的姿势变化(即，倾斜)感测为用户操作输入。可以设置除上述项以外的输入装置和/或传感器作为输入单元23。通信单元24经由网络nw和/或其它通信线路与gui控制器设计支持装置1、引擎3和任何其它组件进行通信。通信单元24例如将对各个控制器部件的操作输入的内容发送至引擎3。

引擎3设置有控制单元30、存储器单元31和通信单元34。

控制单元30通过执行存储器单元31中所存储的各种程序来实现引擎3的功能。控制单元30例如由cpu和微计算机等来实现。

存储器单元31存储要在控制单元30中执行的程序、要在这样的程序中使用的数据、以及任何其它程序/数据。具体地，存储器单元31存储用于实现执行环境的程序、与对象装置4相对应的驱动程序、在这些程序中要使用的数据、以及任何其它程序/数据。

执行环境是用于执行用户程序的运行时间(runtime)。执行环境接收由对对象装置4的操作输入等产生的执行请求，并且顺次处理与这样的执行请求相对应的用户程序的函数和/或引导块。可以准备多个类型的执行环境以与各种类型的编程语言兼容。

驱动程序是在经由通信单元34通信的对象装置4的输入或输出与执行环境之间进行中介的程序。基于在执行环境中执行的用户程序，驱动程序实现以下功能，该功能例如根据这样的控制指示输出可以在对象装置4处处理的控制信号、以及/或者将诸如从对象装置4发送来的传感器输出等的信息提供至在执行环境中执行的用户程序。

通信单元34经由网络nw和/或其它通信线路与gui控制器设计支持装置1、输入装置2、对象装置4和任何其它组件进行通信。具体地，引擎3经由通信单元34进行来自gui控制器设计支持装置1的用户程序的接收、来自输入装置2的操作输入的内容的接收、向对象装置4的控制信号的发送、来自对象装置4的传感器输出的接收、以及任何其它操作。

对象装置4是gui控制器所要操作的装置。对象装置4的示例包括诸如无人机、无线电控制汽车或机器人等的物理装置、以及在诸如3d模型等的虚拟空间中工作的装置。对象装置4设置有控制单元40、存储器单元41、驱动单元42、传感器单元43和通信单元44。

控制单元40通过执行控制单元40中所存储的诸如固件等的程序来负责对象装置4的控制。控制单元40例如由微计算机和cpu等来实现。

存储器单元41存储响应于从在引擎3中运行的驱动程序发送来的信号而运行的程序(所谓的固件)。驱动单元42是实现对象装置4的操作的构件，并且例如由马达、致动器和用于这些元件的驱动器等构成。传感器单元43由从对象装置4的环境获取各种类型信息的传感器构成。传感器单元43的示例可以包括照相机、加速度传感器、gps接收器、测距传感器和红外辐射传感器等。

通信单元44经由网络nw和/或其它通信线路与引擎3进行通信。具体地，对象装置4经由通信单元44，从引擎3接收控制信号，并且根据需要将利用传感器单元43获取到的信息发送至引擎3。

控制器组

接着，将说明定义gui控制器的控制器组cl。

控制器组cl包含控制器部件实例的集合(列表)、以及定义与用户创建的操作相对应的处理的程序(用户程序)。

构成控制器组cl的各个控制器部件的配置和/或外观通过用户使用以下将说明的控制器部件编辑功能来定义。gui控制器的外观通过组合控制器组cl中所包含的多个控制器部件来定义。用户程序利用所定义的控制器部件，并且利用任意程序来实现。

控制器组cl包含静态属性，这些静态属性包括：uuid(通用唯一标识符)，其是用于以全局唯一方式标识gui控制器的识别信息；控制器名称，其是提供给控制器的名称；改变跟踪编号，用于管理控制器的改变跟踪；驱动程序类型，其指示被控制器作为对象的装置；装置朝向，其指示当显示由这样的控制器组定义的gui控制器时的输入装置2的朝向(水平/垂直)；皮肤信息，其指示用于表示(绘制)gui控制器的各个部件和/或背景的图像；用于选择要执行控制器组cl中所包含的用户程序的执行环境的设置；以及任何其它属性。

控制器部件是通过配置在gui控制器中而可以使用的、并且响应于用户操作输入而实现各种控制模式的构件。允许将多个实例作为控制器部件添加到单个控制器组，并且向各控制器部件提供唯一的识别信息。通过用户程序，可以利用该识别信息来标识和利用各个控制器部件的实例。

存在各种类型的控制器部件。这些控制器部件针对各类型具有特定属性、状态和/或行为，并且能够无限制地实例化，并通过针对每个实例识别这些控制器部件来从用户程序利用这些控制器部件。

各个控制器部件包含共同属性，共同属性包括作为控制器内的唯一名称的部件名称。准备各种类型的控制器部件，这些控制器部件包括操纵杆、十字键、按钮、开关、滑块、拨盘、手势、文本输出区域、以及视频/图像输出区域等。保持针对这些控制器部件的各类型可以设置的定义属性(静态属性)和/或状态属性(输入状态)。

定义属性是预先定义的固定属性。状态属性是根据程序执行状况和/或用户的控制器操作状况而改变的属性。例如，利用操纵杆来定义显示大小、最小值、最大值、显示位置、活动状况时的显示颜色、框外判断精度、轨迹判断触摸次数、指示向用户程序通知操作输入的频率的程序通知频率、以及任何其它属性，作为定义属性。除了可被设置为重叠的部件以外，定义各控制器部件的显示位置，使得这些控制器部件以彼此不重叠的方式显示。根据程序执行状况和/或用户的控制器操作状况来记录并保持活动标志、开始坐标信息、移动前坐标信息、移动后坐标信息和任何其它属性作为状况属性。

接着，将说明gui控制器设计支持装置1所提供的控制器组编辑功能、执行环境编辑功能、驱动程序编辑功能、控制器部件编辑功能和用户程序编辑功能。

执行环境编辑功能

执行环境编辑功能被实现为由控制单元10执行的程序。执行环境编辑函数生成作为执行用户程序的引擎3上的环境的执行环境的实例，并且针对这样生成的实例提供用于输入针对不同设置项的设置值的画面。可以通过从用户经由该画面的输入来改变设置值。在引擎3处，允许同时利用(例如，具有不同的脚本语言的)多个类型的执行环境，并且执行环境编辑功能可以选择任何可用的执行环境并编辑这样的环境的设置。

驱动程序编辑功能

驱动程序编辑功能被实现为由控制单元10执行的程序。驱动程序是为了控制对象装置4而从用户程序调用且利用的对象。驱动程序编辑功能提供用于使用户选择用于控制对象装置4的驱动程序的画面。当用户在该画面上选择期望的驱动程序时，在引擎3中生成所选择的驱动程序的实例，并且执行用于将识别信息提供至所生成的实例的处理。用户程序通过指定该识别信息来经由期望的驱动程序实现对象装置4的控制。驱动程序编辑功能提供用于输入针对所生成的驱动程序实例的设置项的画面。可以通过从用户经由该画面的输入来改变设置值。

控制器组编辑功能

控制器组编辑功能由控制单元10所执行的程序来实现。控制器组编辑功能通过用户从显示单元12上所显示的菜单中选择gui控制器的编辑而开始。控制器组编辑功能既能够新建控制器组，也能够编辑现有控制器组。当新创建控制器组时，用户从菜单中相应地进行选择。当编辑现有控制器组时，用户选择存储器单元11中所存储的现有控制器组。当选择新创建的或现有的gui控制器组时，生成相应控制器组的实例。然后，激活与这样的控制器组相对应的执行环境，并且将这样的控制器组中所包含的用户程序登记到所激活的执行环境。另外，可以将对控制器组的实例的参考传递到输入装置2。

控制器部件编辑功能

控制器部件编辑功能是针对构成控制器组的各个控制器部件编辑各种属性的功能。控制器部件编辑功能通过在执行控制器组编辑功能之后、用户从显示单元12上所显示的菜单中选择控制器部件的编辑而开始。

当控制器部件编辑功能开始时，显示单元12显示编辑区域r1。编辑区域r1是用于在从视觉上检查要显示在输入装置2的画面上的控制器部件的配置和外观等的同时、编辑这样的配置和外观等的显示区域。当新创建gui控制器时，在启动时编辑区域r1留空。另一方面，在编辑现有gui控制器时，编辑区域r1显示基于在启动时选择的控制器组所存储的gui控制器。

用户能够通过在编辑区域r1中配置期望的控制器部件对所配置的控制器部件进行移动、删除和/或编辑(改变各种属性值)，来自由地创建和编辑gui控制器。在编辑区域r1中可以配置的控制器部件的样本形式被预先存储在存储器单元11中。这些样本形式被配置成使得用户可以经由用户界面根据需要在任何位置选择并配置这些样本形式。对于已配置的控制器部件，能够通过轻击触敏面板和/或用悬停在触敏面板上的鼠标光标进行点击来进行选择，并且能够通过所谓的拖动操作来进行移动。另外，能够通过双击或轻击两次这样的已配置的控制器部件来进行已配置的控制器部件的定义属性的编辑。

当通过存储改变后的内容的存储操作和/或自动存储功能确认了控制器部件的编辑时，将与编辑后的gui控制器相对应的控制器部件存储在存储器单元11中。此时，输入装置2基于所参考的控制器组的实例来利用索引实现控制器组中所包含的控制器部件的登记或更新。

用户程序编辑功能

用户程序编辑功能由控制单元10所执行的程序来实现。用户程序编辑功能通过用户从显示单元12上显示的菜单中选择用户程序的编辑而开始。用户程序编辑功能既能够新建用户程序，也能够编辑现有用户程序。当新创建用户程序时，用户从菜单中相应地进行选择。当编辑现有用户程序时，用户选择存储器单元11中所存储的现有用户程序。

当用户程序编辑功能开始时，显示单元12显示编辑区域r2。编辑区域r2例如可以是能够根据所使用的编程语言来编辑用户程序的源代码的文本编辑器、或者用于实现gui块编程的编辑器等。当新创建用户程序时，在启动时编辑区域r2留空。另一方面，在编辑现有用户程序时，编辑区域r2显示在启动时选择的用户程序。

用户能够在编辑区域r2内编辑用户程序的源代码。在用户程序内，由gui控制器编辑功能创建的gui控制器中所包含的控制器部件以及/或者与对象装置4相对应的驱动程序的各实例通过识别信息进行区分，并且可用作引导块、入口点(函数)或变量。这些可用实例被配置成使得用户可以经由用户界面适当进行选择并在源代码内的任意位置处进行插入。这样，用户将要引导的程序(函数、引导块)与在相应控制器部件和/或驱动程序上进行的操作输入相关联。

当(通过登记操作等)确认了用户程序的编辑时，gui控制器设计支持装置1的控制单元10立即评价程序上下文。如果在上下文方面不存在问题，则程序上下文将保持在引擎3的执行环境中。应当注意，如果如所谓的块编程那样、确保了上下文作为块，则可能无需评价上下文。

可以通过存储改变后的内容的存储操作和/或自动存储功能将编辑后的用户程序存储在存储器单元11中，并且可以将编辑后的用户程序发送至具有与用户所编辑的程序语言相对应的执行环境的引擎3以登记用户程序。应当注意，如果如所谓的块编程那样、确保了上下文作为块，则将编辑后的信息连同用户操作一起立即登记到执行环境。

接着，在上述的应用了gui控制器设计支持装置1的远程控制环境中，提供对用于利用输入装置2上所显示gui控制器控制对象装置4的过程、以及在编辑和更新现有gui控制器和用户程序时进行的处理的过程的说明。

作为编辑之前的状态，将gui控制器的编辑前的控制器组登记到输入装置2，并且将编辑前的用户程序登记到引擎3。

图2是示出在利用登记到输入装置2的gui控制器经由引擎3控制对象装置4时进行的过程的流程图。首先，用户如上所述使用控制器组编辑功能来生成控制器组的实例(步骤s100)。接着，激活根据该控制器组实例执行用户程序所需的引擎3的执行环境(步骤s110)。此时，控制器组被登记到输入装置2。另外，用户程序被登记到引擎3的执行环境。这里，“激活执行环境”的状态是指如下的状态：执行环境在执行诸如“main”函数等的无限循环的同时，正等待诸如程序的执行请求和/或登记以及更新请求等的一些事件。应当注意，控制器组实例的生成(步骤s100)和执行环境的激活(步骤s110)是按随机顺序进行的。

输入装置2将所登记的gui控制器显示在显示单元22上，并且接收对输入单元23(例如，叠加在显示单元22上的触敏面板)的用户操作输入(步骤s120)。将所接收到的操作输入的内容作为如下的执行请求事件发送至在引擎3中激活的执行环境(步骤s130)，该执行请求事件包含与所操作的控制器部件的实例相对应的识别信息、或者与操作相关联地感测到的参数值等。

在引擎3中可用的驱动程序连接至处于激活状态的对象装置4，并且可以发送/接收控制信号和/或传感器输出。与驱动程序的连接可以通过所谓的keep-alive方法来管理。通常，驱动程序响应于从执行环境中执行的用户程序的调用而将控制信号发送至对象装置4。此外，由于来自对象装置4的传感器输出，因而驱动程序将包含与驱动程序的实例相对应的识别信息、或者与传感器输出相关联的值等的执行请求发送至在引擎3中激活的执行环境。

当基于在输入装置2的gui控制器上进行的操作和/或来自驱动程序的请求而针对执行环境发出执行请求事件时，将与作为这样的执行请求的来源的控制器部件和/或驱动程序的实例相对应的引导块或函数登记为针对这样的执行环境的程序执行堆栈(步骤s140)。针对作为“main”函数正执行的无限循环的各循环，将登记到程序执行堆栈的处理连同事件处理一起顺次执行(步骤s150)。

输入装置2将所登记的gui控制器显示在显示单元22上，接收对输入单元23(例如，叠加在显示单元22上的触敏面板)的用户操作输入，将该操作输入的内容发送至在引擎3中激活的执行环境，并且响应于该操作输入而改变控制器部件的gui表示(外观)(例如，动画显示等)。

在这样的环境中，响应于对在输入装置2上显示的gui控制器的操作输入而在引擎3中激活的执行环境中执行用户程序的相应入口点，并且经由驱动程序执行对象装置4的控制。

接着，将说明在编辑和更新现有gui控制器和用户程序时进行的处理。图3是示出在编辑和更新现有gui控制器和用户程序时进行的处理的过程的流程图。

当编辑gui控制器和用户程序时，在gui控制器设计支持装置1处使用gui控制器编辑功能和用户程序编辑功能来进行控制器部件的定义和配置、用户程序的编辑或任何其它操作(步骤s200)。当编辑完成时，在控制器部件编辑功能和用户程序编辑功能中确认相应的编辑(步骤s220)。在输入装置2中进行与控制器组有关的登记，并且在引擎3中进行与用户程序有关的登记(步骤s240)。可以在无需重新启动输入装置2、引擎3和对象装置4的情况下在任意定时进行gui控制器和用户程序的编辑和登记。因此，可以将对构成gui控制器的各个控制器部件进行的操作以及对象装置4的行为实时地反映到系统。

如上所述，在本实施例的远程控制环境中，引擎3使用执行请求中所包含的控制器部件实例的识别信息来将所接收到的执行请求和入口点(函数和/或启动块)彼此关联。当登记编辑后的gui控制器和用户程序时，可以改变控制器部件实例的识别信息与入口点之间的对应关系；然而，该对应关系是在编辑后的用户程序中定义的并被登记到引擎3的执行环境(步骤s260)。当将指示gui控制器的结构的控制器组的更新登记到输入装置2时，可以响应于更新的内容来改变输入装置2上所显示的gui控制器的显示、来自控制器部件的通知、以及任何其它操作。

所激活的执行环境在登记之前和之后继续执行无限循环作为main(主)函数。当登记了更新后的gui控制器和用户程序时，可以用新的值更换具有相同名称的函数和/或变量。然而，对于与在更新之前登记到程序执行堆栈的执行请求相关联的函数，执行在预先更新的用户程序中定义的函数。对于在更新之后登记到程序执行堆栈的执行请求，执行在新用户程序中定义的函数(步骤s280)。

根据上述实施例中的gui控制器设计支持装置，可以支持能够灵活地且实时地改变控制和/或图形表示的控制器装置的编程。

应当注意，以上说明了本实施例；然而，本发明不限于这些示例。例如，尽管在上述实施例中gui控制器设计支持装置1、输入装置2和引擎3被实现为单独的硬件，但这些组件中的多个或全部可以由单个硬件(例如，单个计算机)来实现。通过本领域技术人员对上述各个实施例适当进行组件的添加和/或删除以及/或者设计改变所获得的实施例、以及通过适当组合各个实施例的特征所获得的实施例也包含在本发明的范围内，只要这些实施例具备有本发明的主旨即可。

附图标记说明

1gui控制器设计支持装置

2输入装置

3引擎

4对象装置

nw网络