专利名称：用于设备的自动定位的装置和方法
技术领域：
本发明涉及一种用于定位诸如显示屏之类的设备的装置和方法。
诸如视频监视器、仪表面板、防护隔板和显示屏及其它显示器之类的许多设备在应用时必须对于用户保持可见或便于接近。这些设备可单独使用或作为诸如医学成像系统或机床之类的复杂系统的部件。当需要保持屏幕或其它设备可见时，用户必须在规定区域内经常改变位置。
特别是，视频监视器经常在旋转的或在枢轴上转动的台架上进行旋转或被定位，或者可以利用剪形装置、轭(yoke)或其它样式的支架被移动到一个位置上。问题是用户或其他人通常必须靠体力移动监视器。如果移动是经常性的，或者该监视器或包括一个或多个监视器的组件较重，就可能存在重复性劳损(RSI)的危险。无论如何，这都存在相当大的效率损失。
将监视器或其它设备人工定位和重新定位在最佳位置处需要时间，用户可能没有这段时间或者这会中断正在进行的工作。例如，如果需要两只手来定位屏幕，或者如果操作者必须处于不方便的位置或必须将他或她的注意力从其它工作上移开，则移动视频监视器或其它设备不仅可能是相当不方便的，而且对于操作者、病人或其他人会产生严重的危险。
因此，在许多情况下，用户在使用设备时必须不断调整设备的位置，这不仅不便和低效，而且还会造成伤害用户和其他人的危险。医学系统经常必须用双手进行操作。当操作者移动时，监视器或其它设备不移动。为了提高可视性的过劳会导致RSI，还可增加医疗过程所需的时间。
通过采用监视器的自动定位可减少与工作有关的损失。特别是，临床超声具有人机工程学的缺陷。多达80％的超声波医师报告说在他们的职业生涯中RSI有时导致请假。约28％的人由于RSI离开了该行业。这不仅使人类付出极大的代价，而且还加重了有限的超声波医师供给的压力，所以经常有报告说工作时间更长而休息更少。诊断医学超声协会建议的“人机工程学设计的超声设备”包括一个外部监视器。
当前用于自动定位的系统能力有限，尤其是在设备如何被支撑、移动范围以及调整位置并考虑障碍物的能力的方面的限制，且在解决这些问题方面并不十分有效。例如，两个美国专利公开了利用有限移动来提供有限跟踪用户和视频监视器的系统。Jeong的美国专利no.6,348,928公开了一种系统，在该系统中可视显示单元能够通过检测体温来跟随观察者向右或向左自动旋转显示屏。Hazra的美国专利no.6,311,141公开了一种用于显示器的方法和装置，其中确定和监视在显示器与观察者之间的物理关系，且显示器在桌面上旋转或移动以保持该物理关系。
这样的系统存在的问题是，由于在移动或观察范围内的障碍物或其它固有限制，通常不能获得监视器或其它设备的理想位置。
因此，本发明的一个目的是提供一种在无需人的参与或关注的情况下将屏幕或其它设备移动到所需预定位置的装置和方法。
本发明的另一个目的是提供一种随着屏幕或其它设备的用户的移动而改变屏幕或其它设备的所需位置的装置和方法。
本发明的这些和其它进一步的目的将通过考虑下面本发明的详细描述而变得明显。
根据本发明，对于使用的设备计算最接近最佳位置的可达到位置，并且从而在无需用户参与或关注的情况下定位该设备。除其它原因外，由于无需用户的交互操作，从而提高了效率和工效。
这些目的通过在本发明的一个方面中提供一种包括传感器的装置来实现，该传感器检测对象的存在和位置，并将该信息发送到可操作地连接到臂组件的处理器，该对象通常为系统的用户。该装置跟踪用户的位置，尤其是他或她的面部和/或眼睛的位置，从而自动定位屏幕以使用户获得最佳观察。屏幕位置可按时间间隔或通过在更新发生前限定移动边界来进行更新。
该传感器典型地为利用可见光进行成像的摄影机。在其它的可选择装置中，对于该传感器可使用红外摄影机，尽管附加热的特定标记可更易于识别远处两个可互换的用户。该传感器还可以是一个发射器，其通过例如电磁线圈阵列检测和传递关于用户的位置和方向信息。可以使用多个传感器。
来自传感器的信息被输入到处理器子系统，该处理器子系统识别用户的位置并确定该设备的最佳位置和方向。该处理器子系统可以处于分布式计算环境中。
该处理器为一个或多个计算机。其计算屏幕的位置以及臂组件将屏幕移动到该位置时所跟随的路径。该计算基于臂组件的控制机的致动器的能力、监视器尺寸和附近禁止区域，例如墙壁、病人位置等。
可利用反向运动的计算来找到满足机构的给定运动学模型的约束条件和一组在组成该机构的所选择物体上的位置约束条件的连接位置变量的向量。
典型地，在向最接近最佳位置的可达到位置移动时，该装置将简单地把该设备定位在“连接界限”处。在更复杂的系统中，例如，如果人的面部转动，则该系统可通过首先确定距离眼睛中心位置N英寸(例如令N＝18)之内的位置来计算位置。接下来计算眼睛的方向。如果头部倾斜，可记录眼睛角度。这限定了设备中心的最佳位置和方向以及该设备将要朝向的方向。此最佳位置(端点)可用于直接输入到某些机器人系统中，或可计算反向运动。
臂组件是能够在具有3-6自由度的三维空间内在结构上支撑和定位设备的单元。设备被连接到臂组件的一端。臂组件可由单点支撑，如柱、底脚、或墙板，以及臂组件。
例如，臂组件可以包括电机并利用电机的控制机进行定位，所述电机例如是伺服电机或步进电机。通常，这些机器或者通过引导单独的电机“设定点”或者通过为末端执行器提供位置而进行定位，由此，利用反向运动计算连接值。电机可以是旋转的或棱柱形的，其绕轴转动，或沿轴线性移动。
自由度是指定物体空间位置所需要的独立参数。例如，铰链门的空间位置可由一个参数即张角来设定。铰链门因此具有一个自由度。在一片平坦草地上操作的割草机的位置可由相对于相互垂直的x和y轴的x和y位置坐标来设定。在平面上的割草机因此具有两个自由度。在三维空间内物体的位置和方向可由指定的六个自由度设置，即三个位置坐标和三个方向角度。
能够通过指定两个至六个自由度来定位设备的机器人单元可以在市场上买到，并可有利地用作臂组件。用于具有多种相互作用自由度的机电式机械设备的控制和协调的技术是众所周知的。例如，由Unimation，Inc.制造的商品名称为PUMA 560的臂可将空间内的物体定位在由六个自由度指定的位置处。
臂组件还可拥有定位具有冗余自由度即六个以上自由度的设备的能力，尽管为了固定设备的位置和方向仅需要六个参数。
在一个实施例中，本发明是一个系统，该系统跟踪用户的位置，特别是他或她的面部、颈部和/或眼睛的位置，从而屏幕自动定位其自身以使其处在用户前面，而且通过屏幕为用户提供最佳可能的人或物体的图像。例如，该屏幕可定位成防止在手术过程产生的如血液或其它液体之类的物质扩散到操作者身上。该屏幕可以是透镜和盾状保护器(thyroid protector)，即铅玻璃或其它材料的板，其在由诊断或干涉X线过程生成的辐射到达用户之前吸收该辐放。屏幕位置可以每N秒或通过在更新发生前限定移动的边界来进行更新。
红外或其它接近检测器可被提供来检测在臂或设备附近存在的障碍物(如另一件设备)或除用户以外的第二人。该检测器可与控制机相连接以当障碍物或第二人在附近时防止臂和设备的移动。
本发明的这些和其它方面将从下面描述的实施例变得显而易见，并通过参照下面描述的实施例进行阐明。
在附图中
图1示出根据本发明的监视器台架的实施例。
图2是本发明的定位屏幕的方法的流程图。
图1示出体现本发明的监视器台架1。监视器2被安装在臂组件(在此为垂直臂)3上。臂组件3被支撑在柱4上。监视器2上的传感器5接收用户7的图像6，并将该图像数据发送给处理器10。
传感器5可以是集成于监视器中的摄影机，由处理器10检测图像6并识别面部。监视器2具有旋转电机或高度调节电机。阅读舒适的标称距离如18英寸(约0.5米)通常是优选的。监视器理想地定位以使用户的眼睛相对于屏幕居中。如果高度不可调，或高度为最大值，则屏幕可以向上或向下转动角度以改进可视性。这于是假设监视器具有附加的自由度。
在此简单的实例中，多用户工作空间内的监视器2可只能自动调节高度。传感器5检测到下一个人是例如6’6”，且处理器10确定理想高度调整8为比中性位置高1英尺。然而，可能的移动范围可以仅为+8英寸。在该情况下，监视器将延伸8英寸，其为最近可达到位置。
在一个简单的实例中，可以存储预定位置的坐标。而后用户识别可简单地将设备位置设置在最近预定位置的位置和方向处。在此情况下，不发生自适应定位。
监视器2在三维空间内还可具有更大的移动范围，在另一种情况下，监视器2甚至可“保持朝向”用户，但当用户接近时向后退，从而允许在完全不用双手情况下的屏幕操作。监视器的最佳观察姿势可包括距离和方向(典型地为“一直向前”、零度、0.5米)。必须测试移动范围以确保监视器具有有限的移动范围，而不影响工作空间。
虽然传感器5示出为嵌入在监视器内的摄影机，但这并不是必需的。传感器的位置也是无关紧要的，只要它的性能不被监视器或其它周围物体干扰。例如，作为传感器的RF应答器具有与需要视线的摄影机不同的位置需要(例如对射频干扰或RFI的敏感性)。
图2是本发明的方法的流程图。在图2的实施例中，利用本发明的系统来定位监视器或其它屏幕包括七个主要步骤。该过程开始于200。规定201放置监视器的控制连接的允许位置(其可包括移动期间的中间位置)的最大窗口。此窗口有时被称为工作包络或构形空间。全部组合中的允许连接角的范围确定了窗口。它们可以被预先规定，由技术人员手工输入，或者通过移动组合中的连接并存储连接角(如从编码设备中)进行训练。此计算可包括在局部区域中监视器或传感器(例如摄影机)以及任何经常预期的机器的位置或限制。
利用观察者或其它用户的位置校准202传感器。在校准传感器时，利用一个或多个识别和确定人或物体坐标的算法处理传感器数据，如下所述，以通过确定所识别观察者在三维空间内的坐标来识别观察者并放置该观察者。理想地，对于本发明的许多实施例，观察者的位置为眼睛中点的位置和方向。可以使用来自可佩带传感器(例如RF应答器)的位置的距离和/或方向偏移，或者观察者的位置可直接从传感器计算得出(例如从摄影机图像计算眼睛位置)。
对于诸如医学成像系统之类的应用，可对每个用户规定舒适的监视器距离。此外，重要的是屏幕不要过于频繁地移动，这也可对每个用户或情形的类型进行规定。
计算203用于监视器的理想观察位置。例如，在距离用户18英寸或45cm且将屏幕顶端放置成与用户眼睛中心对准的位置可认为是最佳的。
计算204最接近理想观察位置的可达到位置。
利用控制机例如机器人的致动器将屏幕移动205到可达到位置。机器人将被限制停留在由步骤201所规定设置的工作包络内。
计算206观察者的位置并与重新定位标准进行比较207。指导208观察者位置的重新计算，直到满足209重新定位标准。例如，该标准可以是观察者已经移动一个大于所计算阈值的距离(Δx，Δy，Δz)或已经旋转一个大于所计算阈值的角度(Δrx，Δry或Δrz)。该重新定位标准还可基于已经经过例如5秒的最小或最大时间量。
如果满足209重新定位标准，则基于修正的观察者位置计算203理想观察位置，并重复步骤204、205、206和207以设定和保持新的可达到位置。以下示例性重新定位标准确定用户是否基本上已经移动(对于此应用而言)以及监视器是否最近未移动假设用户的眼睛中央位置由x、y、z限定，如果(Δx2+Δy2+Δz2＞6)且(自上次移动以来的时间＞10秒)，则重新定位监视器。
如果该位置位于监视器的“达到”之外，则通过从监视器位置直到可达到位置内的一个位置追踪眼睛的位置来得到最近点。理想地，该追踪为最小距离。对于多个连接角，该追踪可通过利用臂和所连接的设备的“构形空间”中的最小距离进行计算，并利用一种方法进行模拟，该方法例如是在L.Dorst和K.Trovato的美国专利no.5,808,887，Animation of Path Planning中公开的路径设计，该专利的内容在此作为参考被并入，并作为此处的一部分。
视觉系统已用于追踪物体。所需的摄影机在目前并不昂贵。有许多用于从视频序列追踪物体的算法和技术。例如，由南加利福尼亚大学的机器人与智能系统学院出版的G.Medioni等人的“EventDetection and Analysis from Video Streams”中公开了从视频流中提取移动物体轨迹的检测和追踪模块。
在图像帧中定位面部特征的姿势识别系统可从下述中得知，例如J.B.Bishop等人的文章“Automatic Head and Face GestureRecognition”，技术报告no.FUTH TR001，其于2001年9月1日在Future of Technology and Health，LC，Iowa City，Iowa上发表。能够不依赖于面部模样而在视频序列中识别面部的3-D面部识别方法公开于University of Maryland Center for Automation Research，College Park，Maryland and The Robotics Institute，CarnegieMellon University，Pittsburgh，Pennsylvania的V.Krüger等人的“Appearance-based 3-D Face Recognition from Video”。
还有另一种3-D面部识别方法是采用澳大利亚堪培拉SeeingMachines，Inc.的称为“faceLABTM V1.1.”的商业产品。该产品不仅能够追踪头部位置，而且能够追踪眼睛目光、眨眼和其它更为精细的行为。
Kent State University计算机科学系的Zhong Guo于2001年11月发表的题为“Object Detection and Tacking in Video”调查论文中列举了许多用于物体检测和跟踪的方法，包括利用运动信息实现的可变形模板匹配和基于区域的物体跟踪方法。
这些方法可以识别和提供感兴趣区域的大致位置，包括诸如反射器或甚至人的面部之类的预定物体的位置和/或方向。还有公知的立体镜和其它技术来确定物体离摄影机的距离。这些方法一般分析从两个摄影机观察到的图像几何形状。可以利用单个摄影机的图像数据。例如，Daphna Weinshall，Mi-Suen Lee，Tomas Brodsky，MiroslavTrajkovic和Doron Feldman在2002年5月在哥本哈根发表在Proceedings7th European Conference of Computer Vision上的题为“New View Generation with a Bi-centric Camera”的文章中，已经提出从单个未校准的摄影机收集到的2D视频中提取3D信息的方法。
只利用位置(不用方向)，Tuttle在美国专利No.5,914,671中描述了一种用于定位携带便携式无线应答机设备的个人的系统。其它无线电(RF)技术可用于识别人或其它物体的位置和方向。可以在市场上买到能够计算小型接收器在空间移动时的位置和方向的部件。例如，可以从Colchester，Vermont的Polhemus，Inc.获得名称为ISOTRAKII的系统，该系统包括电源、接收器、发射器和硬件及软件，以生成和检测磁场并计算位置和方向，以及与主计算机相连。该系统追踪物体移动的六个自由度。
除上述方法之外，还有许多检测物体位置的方法。从该信息可以计算人眼中点的相对位置的估计。
要定位的设备不限于视频监视器、其它显示屏和防护屏。
该设备可以是在执行任务期间跟随用户的移动的“协作设备”，例如是在手术期间相对于外科医生的双手或相对于器械保持适当位置的摄影机。例如，本发明还可以相对于收听者的耳朵动态地移动扬声器，或相对于双手移动键盘，或移动电话托架和按键以与用户的高度相匹配。
传感器可以指示已有N(例如30)分钟没有人使用该系统，因此该设备移动到更为中性的位置，即让下一个用户更易配置的位置，或者移动到远离呆在该区域内的人们的“休息”位置。
用户具有从臂和设备移动的构形空间中去除区域的能力。
如果臂和设备在构形空间的某些区域内，则会在显示屏上显示警告标志或符号，例如闪动的边界或警告。
处理器还可监视用户相对于物体的位置，并当用户的位置已发生变化而有可能使显示器扰乱用户，特别是当用户移动使得所显示图像的方向发生变化时，提供指示、警告提示或报警。
“包括”不排除其它元件或步骤。“一”或“一个”不排除多个。单个处理器或其它单元可实现权利要求书中所记载的几个装置的功能。
权利要求
1.一种装置，包括设备；具有连接到固定支撑上的第一端和连接到该设备上的第二端的臂组件，所述臂组件具有用于定位该设备的致动装置；被配置为检测和提供关于该设备的检测范围内对象的信息的传感器；以及处理所述信息的处理器，该处理器被配置为确定该对象的位置，确定该设备的第一位置并控制致动装置以移动该臂组件，以将该设备定位在接近第一位置的第二位置处。
2.根据权利要求1所述的装置，其中第一位置和第二位置是相同的。
3.根据权利要求1所述的装置，其中处理器利用反向运动确定臂组件移动到第二位置的路径。
4.根据权利要求1所述的装置，其中处理器利用路径设计确定臂组件移动到第二位置的路径。
5.根据权利要求1所述的装置，其中处理器利用反向运动确定第二位置。
6.根据权利要求1所述的装置，其中固定支撑为单个点。
7.根据权利要求6所述的装置，其中固定支撑为柱体。
8.根据权利要求1所述的装置，其中设备为屏幕。
9.根据权利要求8所述的装置，其中屏幕为防护屏。
10.根据权利要求9所述的装置，其中防护屏为透镜和盾状保护器。
11.根据权利要求8所述的装置，其中屏幕为显示屏。
12.根据权利要求11所述的装置，其中显示屏为视频监视器。
13.根据权利要求1所述的装置，其中从两个或多个预定位置选择第二位置。
14.根据权利要求1所述的装置，其中如果未检测到对象，则处理器就使臂组件的致动装置将设备移动至休息位置。
15.根据权利要求1所述的装置还包括第二传感器，该第二传感器被配置为检测对象以外的人的存在，并可操作地连接到臂组件上，以在检测到任何所述对象以外的人时防止臂和设备的移动。
16.根据权利要求1所述的装置，其中第一位置基于设备的最佳观察被确定。
17.根据权利要求1所述的装置，其中第一位置基于由对象对该设备的最佳使用而被确定。
18.根据权利要求1所述的装置，其中第一位置基于由对象通过该设备进行的最佳观察而被确定。
19.根据权利要求1所述的装置，其中对象和设备的彼此相对位置被监视，并且如果检测到所述位置的某些变化就在屏幕上显示警告。
20.根据权利要求1所述的装置，其中对象和设备的彼此相对位置被监视，并且如果检测到所述位置的某些变化就启动报警。
21.一种用于定位设备的方法，包括(a)计算允许位置的窗口(201)；(b)相对于第一用户的位置校准传感器(202)；(c)基于第一用户的位置计算该设备的理想位置(203)；(d)在所述窗口内计算最接近理想位置的可达到位置(204)；以及(e)在允许位置的窗口内将该设备移动到可达到位置(205)。
22.根据权利要求21所述的方法，还包括在确定第一用户位置之后根据采集的传感器数据计算(206)第二用户位置；将第二用户位置与重新定位标准相比较；重复在确定第一用户位置之后根据采集的传感器数据计算(206)第二用户位置并将第二用户位置与重新定位标准相比较的步骤，直到满足(209)重新定位标准；以及重复权利要求21的步骤(c)和(d)，以基于第二用户位置和第二可达到位置计算该设备的第二理想位置；以及在允许位置窗口内将该设备移动至第二可达到位置(205)。
全文摘要
一种用于自动定位设备的装置和方法。传感器检测用户的位置。根据来自传感器的信号，处理器确定使用该设备的理想位置。接着，计算用于支撑该设备的臂的移动的坐标以及用于将该设备定位在最接近理想位置的可达到位置的坐标，考虑到了约束条件，例如传感器、致动器和移动该设备的电机、以及附近的障碍物比如墙的限制。调整臂以将该设备移动至可达到位置。该设备随用户的移动每隔一段时间进行重新定位。一旦未检测到用户，则该设备移动到默认位置。
文档编号A61B19/00GK1720008SQ200380104986
公开日2006年1月11日 申请日期2003年11月24日 优先权日2002年12月6日
发明者K·I·特罗瓦托 申请人:皇家飞利浦电子股份有限公司