用于操纵室中屏幕的姿势控制的装置和方法
【专利摘要】本发明涉及一种技术设备或技术过程的操作和观察系统，用于操作所述设备或所述过程的组件以及用于呈现所述组件的测量值、过程参量和/或状态消息，操作和观察系统具有用于呈现所述技术过程或所述技术设备的所述组件的至少一个大屏幕和多个操作工作场所，其特征在于，在所述屏幕和所述操作工作场所上安装运动识别和运动控制软件，所述运动识别和运动控制软件能够借助操作者的身体运动实现所述技术设备或所述技术过程的所述组件、所述组件的测量值、过程参量和/或所述状态消息的操作和/或查询。
【专利说明】用于操纵室中屏幕的姿势控制的装置和方法
【技术领域】
[0001]本发明涉及一种用于操作技术设备或技术过程的组件以及用于呈现所述组件的测量值、过程参量和/或状态消息的操作和观察系统以及方法，并且尤其适用于操作和呈现大型技术设备一例如油平台和气平台、精炼厂或发电厂设备一的操纵室中的过程流程。
【背景技术】
[0002]当前使用的操作和观察系统(其在技术设备中也称作引导系统)对于操作人员而言是重要的辅助工具，以便识别设备状态或过程状态以及控制设备或过程。这类引导系统通常包括一个或多个大屏幕和多个操作工作场所，所述一个或多个大屏幕用于呈现例如整个过程或整个系统的概观，所述多个操作工作场所通常具有键盘或鼠标。在监视和控制设备过程时，操作工作场所分别具有特定的任务，例如监视和控制各个组件或分过程、检测确定的过程参数或管理和控制积累的数据流。操作工作场所在此根据状况和状态彼此交换多个数据，并且与大屏幕交换多个数据。过程或设备在大屏幕上的呈现也可以通过所选择的操作工作场所来控制或改变。然而，一旦操作人员离开通过其可影响大屏幕上的显示的操作工作场所(例如当在干扰状况中或分析复杂信息的情况下多位专家必须有效地一起工作时)，就不可以再从该远程位置改变大屏幕的内容。这导致关于设备控制或过程引导的显著限制。
[0003]现在，有可以借助多个摄像机建立室中用户的运动模型的便宜传感器。通过可选地补充面部识别的该模型，也能够实现用户的标识。此外，这些传感器可以识别姿势(Gesten)0目前为止，这种传感器被用于计算机游戏。
【发明内容】
[0004]与此相应地，本发明所基于的任务是，说明一种用于操作技术设备或技术过程的组件以及用于呈现所述组件的测量值、过程参量和/或状态消息的操作和观察系统以及方法，由此克服现有技术的先前提到的缺点并且尤其当设备的操作者远离他们的操作工作场所时，尤其适合用于清楚且简单地呈现和操作大型技术设备或过程，以便在干扰状况中或在分析复杂的信息时有效地一起工作或交流经验。
[0005]根据本发明，所述任务通过具有在权利要求1中说明的特征的操作和观察系统解决。根据本发明的操作和观察系统的有利扩展方案、改进以及相应的方法在其他权利要求中以及在说明书中说明。
[0006]根据本发明的操作和观察系统包括至少一个大屏幕和多个操作工作场所，所述至少一个大屏幕用于呈现所述技术过程或所述技术设备的设备或过程的所述组件、所述组件的测量值、过程参量和/或状态消息。
[0007]根据本发明，在上一级屏幕(也称作“操纵屏幕”，其例如可以被实现为大屏幕)和操作和观察系统的操作工作场所上安装运动识别和运动控制软件，所述运动识别和运动控制软件能够借助操作人员的身体运动实现所述技术设备或技术过程的所述组件、所述组件的测量值、过程参量和/或状态消息的操作和/或查询。为此，设备或过程的所选择的组件、所述组件的测量值、过程参量和/或状态消息被表示为可通过姿势、优选手势操作的对象，其可通过人的运动流程控制。
[0008]该软件具有位置识别模块，所述位置识别模块确定设备的各个操作者在操纵室内的位置。在第一步骤中，借助操作者的姿势指示对象、例如泵符号。在第二步骤中，产生反馈，即实现对象的选择，例如其方式是，改变符号后背景的颜色。可选地，可以通过另一姿势确认所述选择，这又被往回报告，其方式是例如再次改变背景的颜色。
[0009]在另一步骤中，现在选择应应用于所选择对象的动作。这或者可以通过特殊的姿势实现:例如可以定义切断属于对象的消息、趋势或视频图像的姿势。或者利用另一姿势选择预定义的目标范围，例如具有告警和消息列表的屏幕，所述告警和消息列表随后特别地显示属于该对象的消息。对于操作人员而言，这可能显得好像他可以在不同的屏幕之间来回移动对象。在根据本发明的操作和观察系统的一个扩展方案中规定，操作者将姿势与真实物体相关。例如，操作者针对告警喇叭通过特殊的姿势对声音告警应答。通过会议桌上的另一姿势可将特殊视图连接到大屏幕上，所述特殊视图特别支持轮班主管会议。如果操作者将电话移动到扬声器上，则电话被切换到会议模式上。为此，真实物体设有记录和处理模块、例如传感器，所述记录和处理模块记录、处理相应的姿势并且将其传输到运动识别和运动控制软件上，用于进一步处理。
[0010]此外，提供至少一个记录单元用于记录运动，所述记录单元能够记录操作者的定义的运动和姿势，将其转换成信号一以下也称作运动信号，并且提供所述运动信号给安装在屏幕和操作工作场所上的软件，用于进一步处理。由此，能够以有利的方式借助设备操作者的运动实现通过技术设备或技术过程的导航。通常在操作者具有对整个设备或整个过程的最佳的概观的地方、优选在大屏幕附近或周围环境中提供记录单元。
[0011]由此使得可能的是，设备的操作者现在起通过其运动来控制先前可通过键盘和鼠标实现的操作和观察系统的功能。为此，在屏幕和操作工作场所上安装用于运动识别和运动控制的软件。
[0012]因此，操作者不必再直接在其相应的操作工作场所的屏幕前逗留，而是也可以直接在大屏幕前导航。由(优选在大屏幕处的)运动导航产生的其他优点是减少设备操作者在自有屏幕工作场所处单调和久坐不动的工作。
[0013]在一个扩展方案中，可以提供至少一个其他的记录单元一例如麦克风，其用于记录周围环境发声，优选是人的声音。所述其他的记录单元拥有用于记录所说的话的装置和与其连接的处理单元，所述处理单元从所说的话的记录中产生其它的信号，如先前所述的那样，利用所述其它的信号可实现所述技术过程或技术设备的所述组件、所述组件的测量值、过程参量和/或状态消息的操作和/或查询。
[0014]为此，根据本发明，在操作和观察系统的屏幕和操作工作场所上安装语音识别软件，所述语音识别软件能够借助操作者所说的话实现技术过程或技术设备的所述组件、所述组件的测量值、过程参量和/或状态消息的操作和/或查询。为此，设备或过程的所选择的组件、所述组件的测量值、过程参量和/或状态消息被呈现为可通过语音、优选所说的指令操作的对象，所述对象可通过人的语音的发声控制。
[0015]提供的运动识别和运动控制软件以有利的方式允许技术设备的操作者在操纵室中自由运动并且从操纵室内任意的位置出发在大屏幕上自由导航。
[0016]为此，根据本发明提供模型，所述模型示出操纵室并且描绘，哪个设备(屏幕、桌子、电话机、告警喇叭等等)位于操纵室内的何处。这种模型可以例如利用CAD程序建立。所述模型被设置用于借助姿势控制装置呈现姿势和真实物体之间的关系并且在确定的屏幕上提供姿势和/或真实物体。因此，例如可能的是，在两个不同的操作场所或计算机系统之间来回拖曳符号或甚至将真实物体一例如电话机一一起包含进导航中。
[0017]借助所述模型，该姿势控制装置识别姿势涉及哪个目标系统。姿势控制装置向已识别的目标系统发送选择和位置信息。该目标系统分析所接收的信息并且触发相应的动作(例如选择的可视化)并且往回发送相应的信息(例如已选择了哪个泵)作为响应。
[0018]在根据本发明的系统的一个扩展方案中，将该姿势控制装置构造为上一级的姿势控制装置或中央的姿势控制装置并且将往回报告的信息向其他系统转发。如果用于姿势控制装置的传感器未充分覆盖整个操纵室，则也可以在中心协调多个传感器。
[0019]相对于由游戏领域已知的姿势控制系统，以有利的方式如此构造根据本发明的操作和观察系统，使得用于操纵室的姿势控制装置能够协调多个彼此无关的计算机系统并且为此使用周围环境一例如位于操纵室内的真实物体一的详细模型。
[0020]此外用来解决所述任务的方法基于:在至少一个大屏幕和多个操作工作场所上为了操作和观察技术设备或技术过程的组件以及为了呈现所述组件的测量值、过程参量和/或状态消息而呈现技术过程或技术设备的组件、所述组件的测量值、过程参量和/或状态消息。根据本发明，在屏幕和操作工作场所上安装运动识别软件，利用所述运动识别软件，借助操作者的身体运动来实现技术设备或技术过程的所述组件、所述组件的测量值、过程参量和/或状态消息的操作和/或查询。
[0021]设备或过程的所选择的组件、所述组件的测量值、过程参量和/或状态消息被呈现为可通过姿势操作的对象，所述对象通过操作者的运动流程来控制。
[0022]借助记录单元记录操作者的预先定义的运动和姿势，将其转换为运动信号并且所述运动信号被提供给安装在屏幕和操作工作场所上的软件，用于进一步处理。
[0023]操作者利用技术设备或技术过程的根据本发明的操作和观察系统实现的典型导航任务基于详细信息的选择，例如允许从在大屏幕上呈现的、由多个在那呈现的组件或对象一例如所述组件的测量值、过程参量和/或状态消息一组成的概观图中选择所述详细信息。例如，可以从数目经常达到数千的所呈现过程变量中选择过程变量的特殊的趋势呈现。
[0024]为此，在大屏幕上或在操作工作场所的所选择的屏幕上设置数个导航窗，可借助预先定义的姿势操作所述数个导航窗。这些导航窗在此允许借助设备或过程的所述组件的保存的分级结构导航进入到下面的分区中。例如规定，借助不同的姿势或手势以简单的方式导航，从发电厂的概观图首先进入所谓的区域视图，所述区域视图例如在显示各个驱动装置或测量值的所谓的细节图中示出涡轮机调节装置、给水系统或冷凝系统，以便因此获取在那呈现的详细信息或者借助操作者的运动控制在那可见的组件。
[0025]用于通过设备或过程的不同的区域或细节图来导航的方法流程可以根据以下运动受控的方案进行:
-借助第一姿势、例如第一手势在所选择的操作工作场所的屏幕上的导航窗中浏览，直至感兴趣的细节图； -借助第二姿势、例如第二手势选择在细节图中呈现的组件；
-自动在大屏幕上的概观图上呈现所选择的组件。
[0026]因此，操作者可以以有利的方式在操作站上选取确定的对象或确定的组件，所述确定的对象或确定的组件借助安装的运动软件通过操作者的确定的运动导致所选取的对象或所选取的组件在大屏幕上的呈现。也可以以相反的顺序实现所述方法流程。在此，由操作者借助先前定义的姿势在大屏幕上选取确定的对象或确定的组件，所述确定的对象或确定的组件借助安装的运动软件通过操作者的确定的运动导致所选取的对象或所选取的组件在操作站上的呈现。
[0027]此外，在根据本发明的操作和观察系统的一种实施方式中规定，借助安装的运动软件、从在大屏幕上呈现的概观图或呈现的区域图例如导航进入各个操作工作场所上的细节图。
[0028]其一个例子是下面的方法流程。操作者利用其手指示大屏幕上的区域或对象。安装的软件引起:在过程或设备的先前确定的对象或先前确定的细节图中所选择的操作工作场所上示出属于选择的区域或属于选择的对象的过程图形一例如趋势显示或所属的告警消息。为此所需的在大屏幕上的呈现和在操作工作场所上的呈现之间的联系保存在安装的软件中。
[0029]利用根据本发明的操作和观察系统还规定，在借助姿势一例如抓取运动一在大屏幕的概观图上选择确定的组件之后、在使用可在安装的软件中编程的、在大屏幕和操作工作场所之间的联系的情况下，打开所选择的操作工作场所上的操作窗并且操作组件一例如电机、泵或阀，影响调节器的额定值，在手操作和自动操作之间切换或中断进入关键状态中的过程。
[0030]此外，在根据本发明的操作和观察系统上安装的运动软件也能够不仅处理相继实现的运动，而且还处理同时实现的运动流程，用于操作和/或查询技术过程或技术设备的所述组件。其一个例子是所谓的双手操作。在此，利用一只手指示待选择的组件并且利用另一只手操纵这些组件。
[0031]在根据本发明的操作和观察系统的另一种有利的实施方式中，其具有附加的面部和运动识别功能，所述附加的面部和运动识别功能能够识别出，哪些和多少操作者在设备的操纵台中逗留并且他们位于室内的哪些地方或何时操作者进入或离开该设备。为此，可以在例如该室的入口提供访问控制，所述访问控制与操作和观察系统的运动软件耦合并且与系统交换相应的信号。为此，在一个特殊的实施方式中，操作和观察系统配备有显示装置，所述显示装置例如在大屏幕和/或操作工作场所上提供的窗中显示关于在该室内的操作者的身份、数目和逗留地点的相应的信息。
[0032]在本发明的一个有利的实施中规定，检测位置最靠近大屏幕的人或操作者的间距并且根据位置最靠近大屏幕的人的间距的大小来优化大屏幕的显示，例如通过在大屏幕上选择该呈现的字体大小和细化程度。
[0033]在本发明的另一个有利的扩展方案中规定，当在预先确定的时间间隔内没有登记任何运动时，运动识别软件生成信号或脉冲。通过所述脉冲可以例如触发喇叭和/或要求操作者完成确定的输入。因此可以确保，操作者没有入睡。
[0034]通过有利的方式，运动软件和/或语音识别软件配备有特殊的过滤器系统，所述过滤器系统仅仅向操作和观察系统传输预先确定的姿势和/或所说的指令，以便进一步处理。由此防止，例如操作者之间经常还由姿势支持的对话不导致设备或过程的无控制的操作或查询。
【专利附图】
【附图说明】
[0035]根据在下面的附图中表示的实施例详细解释和描述本发明以及本发明的有利的扩展方案、改进和其他优点。
[0036]示出:
图1示出发电厂的根据本发明的操作和观察系统的一个例子；以及 图2示出根据本发明的操作和观察系统的一个特别有利的扩展方案。
【具体实施方式】
[0037]图1示出发电厂的示例性操作和观察系统，其用于呈现发电厂的组件、所述组件的测量值、过程参量和/或状态消息，所述操作和观察系统具有多个操作站50a、50b、50c、50d，所述多个操作站通过总线系统30与大屏幕10连接。
[0038]在大屏幕10上呈现在发电厂过程的不同分区域中具有相应拨号点的发电厂的概观图。
[0039]根据本发明，在根据本发明的操作和观察系统的大屏幕10和操作工作场所50a、50b、50c、50d上安装运动识别软件11、51，所述运动识别软件能够实现借助至少一个操作者40的身体运动对发电厂的组件、所述组件的测量值、过程参量和/或状态消息的操作和
/或查询。
[0040]为此，所选择的组件、所述组件的测量值、过程参量和/或状态消息被呈现为可通过姿势、优选通过手势操作的对象，所述对象可通过人40的运动流程控制。
[0041]借助同样连接到总线系统30上的记录单元20记录操作者40的预先定义的运动流程并且将其转换为运动信号，所述运动信号然后通过总线系统30传输到屏幕工作场所50a、50b、50c、50d和大屏幕10上，以便借助运动识别软件11、51进一步处理。
[0042]在一个有利的扩展方案中提供传感器，所述传感器借助多个摄像机20建立用户在室30中的运动模型。通过可以有选择地补充面部识别的该模型，还能够实现用户的标识。此外，这些传感器可以识别姿势。
[0043]借助模型50，姿势控制装置识别出姿势涉及哪个目标系统。姿势控制装置向识别出的目标系统发送选择和位置信息。该目标系统分析接收到的信息并且触发响应的动作(例如选择的可视化)并且往回发送相应的信息(例如已选择哪个泵)作为响应。
[0044]此外，根据本发明提供模型50，所述模型借助第一组件51描绘操纵室并且示出哪个设备(屏幕、桌子、电话机、告警喇叭等等)位于操纵室内的何处。
[0045]模型50可选地具有第二组件52，所述第二组件描绘静态的人模型，在所述静态的人模型中例如保存操纵室的操作者的标识特征。
[0046]模型50可选地具有其它的组件53，所述其它的组件描绘动态的运动模型，即操纵室中人的模型。
[0047]在根据本发明的系统的一个扩展方案中，姿势控制装置被构造为上一级的姿势控制装置或中央的姿势控制装置并且向其他系统转发反馈的信息。如果用于姿势控制装置的传感器没有充分覆盖整个操纵室，则也可以在中心协调多个传感器。
[0048]图2示出根据本发明的操作和观察系统的ー个特别有利的扩展方案，其中根据操作者的所在地改变发电厂的组件和对象在大屏幕上的呈现，即根据操作者与屏幕的变化的距离实现对屏幕上可见的内容的调节。
[0049]当操作者以一大的间隔位于屏幕前时，选择以參考标记2a表征的呈现方式。现在仅仅呈现少量的组件K和对象O。如果操作者进ー步向屏幕运动，则屏幕和操作者之间的间距al縮小并且借助运动识别软件11、51和记录单元20的共同作用，从预先定义的与屏幕的间距a2、a3起，将先前确定的细节信息一例如测量值的不同趋势呈现T或先前在图2a中呈现的集体告警SA到单个告警EA的拆分一向目前为止呈现的组件K和对象0开放，这示出呈现2b和2c。
[0050]下面以对象泵为例来呈现方法流程。首先，“捕获”该对象。为此，首先指示泵符号并且提供反馈:对象“泵”在焦点上。随后，通过姿势实现对象泵的选择，所述姿势也可以是很隐含的。下面创建反馈:已选择对象。
[0051]在随后的步骤中，使用对象泵，其方式是，首先指示目标动作，例如消息列表。替代地，也可以通过特殊的姿势选择目标动作。在应用目标动作到先前捕获的对象上(即呈现消息列表中属于泵的消息)之后，将泵从概观图中拖曳到消息列表中。
【权利要求】
1.技术设备或技术过程的一种操作和观察系统，所述操作和观察系统用于操作所述设备或所述过程的组件以及用于呈现所述组件的测量值、过程参量和/或状态消息，所述操作和观察系统具有至少一个大屏幕和多个操作工作场所，所述至少一个大屏幕用于呈现所述技术过程或所述技术设备的所述组件，其特征在于，在所述屏幕和所述操作工作场所上安装运动识别和运动控制软件，所述运动识别和运动控制软件能够借助操作者的身体运动实现所述技术设备或所述技术过程的所述组件、所述组件的测量值、过程参量和/或状态消息的操作和/或查询。
2.根据权利要求1所述的操作和观察系统，其特征在于，所选择的组件、所述组件的测量值、过程参量和/或状态消息被呈现为可通过姿势操作的对象，所述对象可通过操作者的运动流程控制。
3.根据以上权利要求中任一项所述的操作和观察系统，其特征在于，提供至少一个记录单元，所述记录单元记录操作者的预先定义的运动和姿势，将其转换成运动信号，并且提供所述运动信号给安装在所述屏幕和所述操作工作场所上的软件，用于进一步处理。
4.根据以上权利要求中任一项所述的操作和观察系统，其特征在于，借助运动模型和/或面部识别模块提供位于屏幕前的人的标识并且根据人的标识可呈现根据标识的人特别定制的视图。
5.根据以上权利要求中任一项所述的操作和观察系统，其特征在于，如果不存在相关的人的标识，则自动关闭具有敏感信息的视图。
6.根据以上权利要求中任一项所述的操作和观察系统，其特征在于，提供至少一个其他的记录单元，用于记录所说的话，所述至少一个其他的记录单元和与其连接的处理单元共同作用，所述处理单元从所述记录中可实现所述技术设备或所述技术过程的所述组件、所述组件的测量值、过程参量和/或状态消息的操作和/或查询。
7.根据权利要求6所述的操作和观察系统，其特征在于，为此在所述屏幕和所述操作工作场所上安装语音识别软件。
8.根据权利要求7所述的操作和观察系统，其特征在于，所选择的组件、所述组件的测量值、过程参量和/或状态消息被呈现为可通过所说的指令操作的对象。
9.一种用于操作技术设备或技术过程的组件以及用于在至少一个大屏幕和多个操作工作场所上呈现所述组件的测量值、过程参量和/或状态消息的方法，在所述至少一个大屏幕和多个操作工作场所上呈现所述技术过程或所述技术设备的所述组件、所述组件的测量值、过程参量和/或状态消息，其特征在于，在所述屏幕和所述操作工作场所上安装运动识别软件，利用所述运动识别软件、借助操作者的身体运动实现所述技术设备或所述技术过程的所述组件、所述组件的测量值、过程参量和/或状态消息的操作和/或查询。
10.根据权利要求9所述的方法，其特征在于，检测位置最靠近大屏幕的人的间距并且根据位置最靠近大屏幕的人的所述间距的大小来优化所述大屏幕的显示。
11.根据权利要求9或10中任一项所述的方法，其特征在于，当在预先确定的时间间隔内没有登记任何运动时，所述运动识别软件生成信号。
【文档编号】G06F3/01GK103492980SQ201280018581
【公开日】2014年1月1日 申请日期:2012年3月30日 优先权日:2011年4月15日
【发明者】J.多佩尔哈默, K.胡索伊, M.霍伦德, M.里萨南, T.恩克鲁德 申请人:Abb 技术有限公司