控制自动化系统的方法、控制系统及计算机程序产品与流程

本发明涉及一种用于控制自动化系统的方法，包括：由处理器基于位置数据及观看方向数据而依据三维场景来渲染(render)图像，所述三维场景表示所述自动化系统的至少一部分；在显示单元上显示所述图像，其中所述自动化系统包括多个组件。本发明还涉及一种计算机程序产品及一种控制系统。

背景技术：

自动化系统是其中生产与加工步骤被完全或部分地自动化的工业设施。视所制造或所加工的产品类型而定，自动化系统可被高度个性化地设计。然而，一般来说，自动化系统由加工站组成，待加工产品或其初步阶段材料通过输送机以某一顺序被运输到所述加工站并在那里被加工。加工站与输送设备形成自动化系统的组件。此种自动化系统例如是机动车辆的涂装线。在此种情形中，加工站是其中实施涂装工艺中既定的特定任务(即，预处理、底漆施涂、填充剂施涂、色漆施涂、及清漆施涂)的站。在每一站处均可使用例如涂装机器人等适当的机器。车身通过已知的输送元件而在各站间自动移动。

对自动化系统的控制及监控通常是在控制站处发生，在控制站处，工艺序列受到监控且在必要时由用户在来自系统的适当数据的帮助下进行影响。控制站具有通往位于自动化系统各种站处的装置的一个或多个装置或连接，以进行测量、调节、控制、显示、报警、记录、开关、或计算。例如以工艺流程图像的类型来显示工艺通常是使用例如屏幕等各种显示单元而实施。近期，例如平板计算机及膝上型计算机等移动装置的出现也已使得在此类移动装置上显示及控制工艺成为可能，从而使得用户能够在自动化系统内自由移动。还可对系统实施远程监控，使得控制站或移动装置不一定要处于自动化系统的近距离范围内。

在大多数情况下，自动化系统当前是以二维显示画面示出在显示单元上。通常仅指示出产品及其组件。如果使用三维表示，则其通常是静态的且示出伪立体图(通常也被称为21/2维(21/2-d))。此种显示画面对于用户来说通常并不非常直观，尤其是在设施现场的移动装置上。

因此，近期，人们转向了在显示单元上以包含所有机器、输送系统以及在所有单独部件被组装之前及之后的所有产品的真三维表示来显示自动化系统。技术人员例如从us7,817,150b2中知晓一种适当的程序。三维(3d)渲染或三维图像合成的对应技术也为技术人员所知。其基础是对自动化系统的组件的三维数据描述，所述三维数据描述在理想情况下是按真实比例缩放。这些数据之和被称为场景(scene)。在场景内对自动化系统的组件及其子元件的建模是通过几何建模来实施。然后，将对应数据加载到适合的图形处理器中，且结合位置数据及观看方向数据，使用熟悉的计算机图形方法来渲染自动化系统的图像或自动化系统及其组件的可见部分的图像。

然而，在自动化系统的控制站的区域中，会出现如下问题：待显示及处理的信息密度是巨大的。一方面，自动化系统的单独站的交互及正确的生产工艺应为可表示及可验证的，但另一方面，每一单独站及其元件也应为可表示及可验证的，乃至站的元件的单独组件均应如此。因此，三维场景的数据必定具有相当高的细节程度。然而，这可意味着，加载图像的单独对象以进行渲染需要在计算机系统内进行大量的处理工作且因此花费相当长的时间，或者必须使用极其昂贵的能量密集型硬件。

因此，本发明的任务是详细说明一种上述类型的过程，其一方面处理及显示对自动化系统进行控制的任务所必需的所有细节且另一方面使所需的计算容量最小化。

技术实现要素：

根据本发明，此任务是通过在数据存储器中存储树形结构来解决，在所述树形结构中，节点被指派以自动化系统的组件，其中确定聚焦组件(focuscomponent)，并从场景仅渲染自动化系统的所述部分中的如下那些组件：所述组件在树形结构中的被指派节点相对于指派给聚焦组件的节点仅具有预定最大距离。

本发明是基于以下考虑：如果在视场中并非渲染自动化系统的所有组件而是仅渲染选集，则将可能降低渲染所需的计算能力。此处，已认识到，通常用户并不同时需要所有的信息，而是其仅仅需要—已经受到人类接受能力的限制—表示中可用组件的子集，这取决于用户当前的兴趣。为此，系统首先判断哪一组件是用户所感兴趣的，即，系统首先确定聚焦组件。为决定哪些组件将被渲染，在至少一个树形结构中将自动化系统的所有组件(即，场景中存在的所有对象)联系在一起。

在本申请中，用语″树形结构″是以计算机科学中的常规定义而使用，即，可用以绘制出阶层式结构的数据结构。由阶层指定的对象被称为节点。通常，从第一节点(即，根)开始，每一节点存储对其子级节点的引用(reference)的列表。这些引用被称为分支。然后，通常会谈到下级节点的子级节点以及引用节点的父级节点。这还定义两个节点之间的距离，即，为从一个节点到达另一节点而必须移动经过的分支的数目。

举例来说，整个自动化系统可被指派给树形结构的根。根的子级可为自动化系统及/或输送系统的单独站。站的子级节点可为站的单独组件，例如机器人。机器人节点的子级节点可为其单独关节组件等。技术人员将知晓如何将自动化系统的组件的阶层排列成有意义的树形结构。

在由若干被共同监控的自动化系统组成的群组中，较高层级结构可形成根，或者不为根指派物理物件。此处，根然后将若干设施联合于其自身之下。倘若有若干安装设备，则也可提供若干平行的树形结构，所述若干平行的树形结构中的一些交叠，即，个别组件可被表示在两个树形结构中。

另外，可提供在内容方面(即，关于对所含组件的选择及组件的阶层式结构)不同的若干树形结构。可例如在空间结构、网络拓扑或其他逻辑分组方面来对树形结构进行组织。在本文所述的程序中，视用户的角色而定，人们可例如选择树形结构中的一者来进行显示。

一旦树形结构存在且一旦聚焦组件已被确定，便可辨识出指派给此聚焦组件的节点。从此节点开始，以预定最大距离来搜索所有节点，即，仅相隔某一最大数目个分支的那些节点。在渲染期间，在所得图像中仅渲染出指派给这些节点的组件。

在方法的有利实施例中，聚焦组件是依据用户输入而确定。换句话说，聚焦组件由用户直接选择。此种方法使得对聚焦组件的确定是特别容易且可靠的，因为聚焦组件的改变受到控制而非连续地发生。用户可直接输入及选择自动化系统中当前感兴趣的组件。这可例如通过在当前所显示的图像中点击/敲击对应的组件来完成。作为另一选择，也可显示具有不同组件的表格式列表，例如，具有当前例如因故障而需要用户干预的组件选集。然后，也可通过在表格式显示画面中点击/敲击组件来作出选择。最后，还可使用搜索功能来作出选择。

在方法的另一有利实施例中，为指派给聚焦组件的节点的父级节点及子级节点预定义不同的最大距离。这将以下事实考虑在内：用户对当前聚焦组件的更高层级组件的兴趣可低于对更低层级组件的兴趣。通过为子级节点及父级节点确定不同的最大距离，这可用于进一步减少渲染的资源消耗，例如通过为父级节点指定较小的最大距离。这使得下级组件能够具有高细节级别，但不必渲染对应数目的更高层级组件。

有利地，相应的最大距离是基于由用户所作的细节级别设定而确定。此种确定特别将用户的需要考虑在内。细节级别用户设定使得用户能够关于其偏好更高细节级别还是更快速渲染来排定优先级。细节级别设定可直接确定最大距离或间接影响对最大距离的自动化确定，这可取决于其他情况。

通过在图像中将如下组件仅显示为轮廓或印迹(footprint)而有利地实现渲染过程所需的计算容量的进一步降低：所述组件的被指派节点是指派给聚焦组件的节点的父级节点。由于用户对当前视图中聚焦组件的更高层级组件的兴趣通常是次要的，且更确切地说更高层级组件是被用于相对于聚焦组件进行空间定向，因此仅显示更高层级组件的轮廓/印迹而不渲染更高层级组件的整个三维视图即可足够。这节省了宝贵的计算容量。可例如通过对应软件中可由用户选择的对应图形设定选项来激活对程序的此种执行。

然而，尤其在高细节级别或相当低性能硬件的情况下，重新加载(即，数据传送、模型建构及模型向图形处理器的传送)可为如此计算密集的，以致用户可觉察到的延迟是不可避免的。为向用户指示尚未完全表示出组件的所有下级组件，在有利实施例中，在从场景加载被指派节点是场景中第二组件的子级节点的第一组件期间在图形上修改第二组件(与预定义正常表示相比)，且只有在第一组件已被完全加载之后，第二组件才以预定义正常表示被显示。换句话说：只要在所得图像中尚未被完全表示出的下级组件的数据传送过程仍在运行，上级组件就以不同方式(例如，以经修改的颜色或通过动画信号(例如闪烁))表示出。这使得用户意识到加载过程尚未完成且将会添加其他组件。

在方法的另一有利实施例中，位置数据及观看方向数据是基于显示单元的空间定位而确定。虽然三维环境如上所示对于用户来说应为可自由导览的，然而因生产系统的极端复杂性在真实系统中找到所显示的三维环境通常可为困难的。因此，移动显示单元应提供根据显示单元的及因此用户的当前位置来调整位置数据及观看方向数据的可能性。这可例如在软件被激活且程序被第一次执行时或者通过按压设置在显示单元上的按钮而完成。在两种情形中，三维表示将在当前(真实)位置处且以当前观看角度开始。从那里，可然后在设施中进行一种操作员导引，操作员在真实生活中也遵循所述操作员导引，例如根据生产顺序或差错频率。此种基于空间定位来确定位置数据及观看方向数据的方式也使得虚拟实境(virtualreality，vr)显示单元或扩增实境显示单元(例如虚拟实境眼镜)能够被使用。

可通过以下方式来实现渲染工作的进一步减少：定义数个类别并为树形结构的数个节点指派一个或多个类别，从而仅将自动化系统的所述部分中相应被指派节点被指派给预定义类别的那些组件从场景加载到处理器中以进行渲染。话句话说，在创建必要的数据结构时，设施组件已经受一种分类。举例来说，类别可为：介质元件(例如线、缆线、管道)、或输送元件、或加工站。如果操作员然后选择例如″介质″类别，则仅这些元件如上所述被考虑在内。然后，所有其他元件根本不被显示，或者优选地仅被最小程度地渲染。所述分类与对当前聚焦组件的选择无关，而是已存储在树形结构中。如果分类被改变，则显示画面相应地改变。

有利地，所述方法是交互式的且渲染是实时地实施。对此，在每次通过用户输入改变位置数据或观看方向数据之后，再次执行渲染及显示过程步骤是有利的。这为用户得到特别舒适的可操作性。

对于此种实时方法，可设想出动态地为待渲染组件确定最大距离。出于此种目的，在渲染期间确定处理器的性能参数，从而在下次执行渲染时相应的最大距离是基于所述性能参数而预定。话句话说，例如基于渲染过程的持续时间或其他处理器特性来连续地确定渲染性能，且所确定性能用于确定相应的最大距离。这样一来，对于不那么强大的图形硬件，可完全自动地使用较小的最大距离。

可利用已知的三维导览技术(例如，在触摸屏上利用两个手指)来完成用于改变位置数据及观看方向数据的用户输入。然而，在方法的特别有利的实施例中，用户输入是以使得显示单元是触敏型且设置有屏幕边缘区域的方式来实施，其中观看方向数据的经向改变是以屏幕边缘区域中的水平触摸输入来实施，及/或观看方向数据的纬向改变是以屏幕边缘区域中的垂直触摸输入来实施。这使得用户能够通过对屏幕的边缘进行触摸来改变观看方向，而不会忽略自动化系统或其组件本身。

有利地，屏幕边界区域包括水平栏区域及垂直栏区域，其中水平触摸输入在水平栏区域中发生且垂直触摸输入在垂直栏区域中发生。用于改变观看方向的接触区域的此种排列是特别直观的且在技术上易于实作。

一种计算机程序产品有利地包含软件代码段，所述软件代码段当在处理器上被执行时使处理器执行所述的方法。此种计算机程序可例如被设计为平板计算机的所谓的″应用(app)″。

在用于自动化系统的包括至少一个处理器及一个显示单元的控制系统中，在所述至少一个处理器上实施所述的方法是有利的。处理器被设计为图形处理器，组件的模型数据例如从中央处理器被加载到所述图形处理器中。

将显示单元布置在通过无线通信链路与自动化系统及/或与控制系统的其他组件连接的移动单元上是有利的。例如，此种单元可为平板计算机。

通过本发明实现的优点尤其在于以下事实：通过基于在树形结构中的指派来选择自动化系统的将在三维表示中显示的组件，一方面使渲染所需的计算容量最小化，且另一方面为用户产生特别直观并且清楚的表示。具体来说，这实现了其中能进行适当交互的流畅的实时渲染，使得显示画面可通过平移、旋转及缩放来加以影响，以便使所有感兴趣位置均可以适合的比例来显示。工厂及其设施的三维表示使得能够进行更加直观的导览。出问题的情况可在其环境中更易理解地显示出。新员工可更轻易地识别出工厂中总体的相互关系。对于客户来说，其产品在工厂内的生产的可追溯性也非常受到欢迎。

附图说明

使用图式来更详细地解释本发明的示例性实施例，图式中：

图1示出具有各种组件的自动化系统及具有移动单元的控制系统的示意图。

图2示出自动化系统的一部分的三维所渲染图像。

图3以更高的细节程度示出自动化系统的所述部分的三维所渲染图像。

图4示出节点被指派给自动化系统各组件的树形结构。

图5示出具有触敏型显示单元的移动单元。

图6示出在渲染期间自动化系统的一部分的另一三维图像。

[符号的说明]

1：自动化系统

2：加工站/组件

4：输送设备/组件

6：控制系统

8：数据连接

10：显示单元

12：移动单元

14：无线数据连接

16：图像

18、20：子组件/组件

22：图像

24：树形结构

26：根

28、30、32、34：节点

36：垂直栏区域

38：水平栏区域

40：图像

具体实施方式

在所有图中，相同的部件是以相同的参考符号标记出。

图1示意性地示出自动化系统1，即，其中生产与加工步骤被自动化的工业设施。工业设施包括大量组件，其中包括待加工产品或其前驱物被运输到的加工站2。此运输是通过输送设备4(例如，输送带)来完成。

对自动化系统1的控制及监控是在控制系统6中发生，在控制系统6中，工艺序列受到监控且在必要时由用户在来自自动化系统1的对应数据的帮助下进行影响。控制系统6具有通往位于自动化系统1的各种组件2、4上的装置的一个或多个装置或数据连接8，以进行测量、调节、控制、显示、报警、记录、开关、或计算。

工艺是通过显示单元10来显示，在示例性实施例中，显示单元10被设计为移动单元12(此处为平板计算机)上的屏幕，移动单元12通过作为控制系统6一部分的无线数据连接14连接到控制系统6。这为用户提供在自动化系统1内自由移动的同时显示及控制自动化系统1的可能性。

在显示单元10上，自动化系统1是以包含所有组件2、4以及在被组装之前及之后的当前正被加工的所有产品的真三维表示而显示。渲染是实时地发生，使得一方面使显示画面为交互式的，即用户可通过作出适当输入而改变观看角度及位置，从而使三维显示画面相应地立即改变，且另一方面还可实现自动化系统1的动态图像，其中例如待加工产品等实际移动的组件是在其实际位置处被显示并被实时地移动。出于此种目的及为实现以下所述的所有其他功能，在控制系统6及移动单元12中安装适当软件。

自动化系统1的表示尽可能按真实比例缩放，即，所有组件2、4是以其实际大小及形式以及以相对于彼此的真实比例位置及距离而至少示意性地表示出。为了改善表示，可对此作出偏差，只要用户仍可辨识出哪一实际组件对应于表示即可。其基础是对自动化系统1的组件2、4的三维数据描述，即所谓的场景。场景是通过几何建模而产生。对应的模型数据是由移动单元12的中央处理器选择并被加载到移动单元12的图形处理器中。模型数据也可存储在控制系统6的中央服务器上并视需要被传送到移动单元12。结合当前位置数据及观看方向数据，视图形处理器(gpu)的性能而定，自动化系统1及其组件2、4的可见部分然后由图形处理器使用已知的计算机图形方法在理想情况下每秒数次循环性地渲染并显示在显示单元10上。

图2中示出在显示单元10上所示的此种所渲染图像16的实例。为简单起见，在此处及以下将自动化系统1的所有组件2、4示出为立方体，但实际上，其将具有更复杂的形状。图像16示出包括三个子组件18的加工站2的所渲染表示。在每一自动化系统1中，情况均如此：每一加工站2将由不同的部件(机器人臂、加工机器等)组成。这些部件在图像16中的三维表示中也在很大程度上按比例缩放且由处理器渲染。

加工站2的表示在图2中是半透明的，以便使内部子组件18是可见的。在示例性实施例中，此表示是在转变成新表示期间当选择加工站2作为聚焦组件时而提供，如以下将解释。

然而，实际上，单独子组件18也将由子组件20组成。这在图3所示图像22中作为实例而示出，其中三个子组件18中的两者又包括若干子组件20。机器人臂例如由多个马达、抓器、臂关节等组成。这可视需要而继续。每一马达同样由不同的部件组成，这些部件可包括不同的组件等。由于这些单独部件均为自动化系统1的控制系统6所涵盖，因此在表示自动化系统1的场景中必须针对这些组件及子组件中的每一者存储对象，且此对象在渲染期间必须显示在图像16、22中，以便使用户可实施对应的分析并在必要时实施控制干预。

此处的问题是，渲染图像16、22需要使用非常强大的硬件，且具体来说，将模型数据加载到图形处理器中需要相当高的数据速率。这特别适用于控制系统6，其对非常大及/或复杂的自动化系统1进行控制，且其中在存储在数据侧上的场景中存在相当高数目的对象。

为解决此种问题，在数据侧上创建并在控制系统6的存储器中存储树形结构24。树形结构24部分地示出于图4中且仅为若干可能树形结构24的实例，视应用目的及相应用户的角色而定，所述若干可能树形结构24可关于内容及阶层而被不同地结构化。还可在数据侧上存储若干平行的树形结构。

在示例性实施例中，为自动化系统1的树形结构24指派根26；其他节点28、30、32被安排到各阶层层级中且各自被指派给组件(即，加工站2、输送设备4、子组件18及其他组件20)中的一者。自动化系统1的由控制系统6寻址且作为对象存储在数据场景中以用于渲染的每一组件被指派给节点28、30、32。树形结构中节点28、30、32的阶层表示以上所解释的自动化系统1中的组件的实际阶层。

使用树形结构24，在对图像16、22的实时渲染期间以聚焦组件(即，当前受用户聚焦的组件)开始来选择将要在显示单元10上显示的组件2、4、18、20。这是通过直接用户选择(即，通过在三维显示画面中、在表格式列表中点击/敲击所需组件、或通过搜索功能)而完成。

然后，在树形结构24中确定指派给所确定聚焦组件的节点34。从此节点34开始，确定相对于聚焦组件的节点34仅具有某一距离(即，可在某一最大数目的分支内到达)的那些节点28、30、32。在示例性实施例中，更高层级组件或更低层级组件的最大距离是不同的。然后，仅渲染并在图形16、22中示出被指派给这些节点28、30、32的组件2、4、18、20。这是通过仅将这些所确定节点28、30、32的模型数据传送到图形处理器以进行渲染来完成。

在各图中未示出的不同示例性实施例中实作最大距离的不同确定程序。在第一示例性实施例中，最大距离由用户直接设定。出于此种目的，由用户实施细节级别设定，用户直接指定最大距离或依据细节级别设定而间接地确定最大距离。在第二示例性实施例中，最大距离被动态地确定：出于此种目的，在渲染过程期间进行渲染性能测量或渲染速度测量。依据结果，确定性能指标，所述性能指标最终指示处理器的性能或处理器在渲染过程期间的性能。然后，基于此性能指标来确定最大距离，从而在性能较佳时选择较高距离且因此显示更多的组件2、4、18、20。这也可使得最大距离依据当前观看角度及当前聚焦组件的子组件数目而改变且并非对于所有连续的渲染过程均为恒定的。

还可根据当前情况来调整最大距离。在示例性实施例中，例如，在从一个聚焦组件转变成下一聚焦组件期间定义其他最大距离。因此，在选择新的聚焦组件(例如，图2中的加工站2)之后，半透明地显示新的聚焦组件且如图2中所示而示出下级组件(在下级层级的方向上增加最大距离)。此后进行自动缩放过程，即，通过相应地改变观看角度及位置而将新选择的聚焦组件移动到前景。直到那时更高层级组件才被隐藏(在更高层级阶层的方向上减小最大距离)或仅被显示为印迹。

为进一步改善性能，还存在可由用户选择的设定，此使得树形结构24中的更高层级组件不被完全渲染，即，当前聚焦组件的父级组件不被完全渲染，而是仅其轮廓或外形被渲染。

在其他示例性实施例中，定义数个类别且为树形结构24的个别的或所有的节点28、30、32、34指派一个或多个类别。举例来说，类别可为：介质元件(例如线、缆线、管道)、或输送元件、或加工站。然后，可由用户选择或基于用户角色而自动地选择这些类别中的一者或多者。在渲染期间，仅将自动化系统1的所述部分中的如下那些组件从场景加载到处理器中以进行渲染：所述组件的相应被指派节点28、30、32、34被指派给预定义类别。然后，所有其他组件根本不被显示，或者仅被最小程度地渲染。

在示例性实施例中，用户通过在图5所示的显示单元10上进行输入来实施对位置数据及观看方向数据的输入及改变。显示单元10的矩形屏幕是触敏型的。在屏幕的左边缘处，存在垂直栏区域36，垂直栏区域36在屏幕的整个高度上延伸。在屏幕的底部处是水平栏区域38，水平栏区域38跨屏幕的整个宽度延伸。在设计实例中，栏区域36、38占据整个屏幕区域的大约10％，但也可更窄或更宽。

当触摸显示单元10的物体(例如，手指)水平移动时，观看方向数据在经向上改变。类似地，当在垂直栏区域36中垂直移动时，执行观看方向数据的纬向改变。例如，可通过使两个手指朝向或远离彼此移动而进行缩放来改变位置数据。这使得用户能够聚焦在感兴趣的组件2、4、18、20上。作为另一选择，还可使用搜索功能来直接搜索对应的位置/组件。

在渲染期间，尽管存在上述用于加速及选择待显示组件的措施，当从子级组件2、4、18、20加载模型数据时，仍可存在等待时间。为向用户指示对于所显示的组件仍有缺失的子组件，但是这些子组件尚未被完全加载，在仍未完成的加载过程期间在图形上修改此组件。这示出于图6中，图6示出在仍未完成的加载过程期间的图像40。图像40中的左侧组件18已被示出，但下级组件仍缺失，这些下级组件尚未被完全加载及渲染。因此，左侧组件18发闪光。在完整地加载及渲染子组件之后，组件18然后以正常方式被显示。

在未单独示出的另一示例性实施例中，移动单元12具有用于在自动化系统1内进行空间定位的构件。这使得可根据移动单元12的及因此用户的当前观看角度及位置来调整显示单元10上的三维显示画面中的观看角度及位置。这例如是在移动单元12被启动时或在″主画面(home)″按钮被点击/敲击时完成。