直观的姿势控制的制作方法

直观的姿势控制的制作方法
【专利摘要】计算单元通过显示装置将三维结构的图像向计算单元的用户输出。图像可以是透视图。计算单元规定中点位于该结构内部的球体并且确定与该球体相对应的、位于显示装置前面的球形的体积区域和其中点。计算单元根据用户命令将与输出的图像相关的操纵可能性插入到其图像区域中。图像采集装置采集深度图像的序列并且将其传输到计算单元。计算单元据此确定用户是否指向图像区域并且必要时确定指向哪个图像区域，是否实施预定义的、与指向输出的图像或图像区域不同的姿势，或者是否关于体积区域进行抓取运动。根据分析结果，计算单元激活与用户所指向的图像区域相对应的操纵可能性，实施与对输出的图像的操纵不同的动作，或者根据该抓取运动将三维结构转动。
【专利说明】直观的姿势控制

【技术领域】
[0001] 本发明涉及一种用于计算单元的控制方法，
[0002] -其中由计算单元通过显示装置将三维结构的透视图向计算单元的用户输出，
[0003] -其中由图像采集装置采集深度图像的序列并且传输到计算单元。
[0004] 本发明还涉及一种用于计算单元的控制方法，
[0005] -其中由计算单元通过显示装置将结构的至少一个图像向计算单元的用户输出，
[0006] -其中由图像采集装置采集深度图像的序列并且传输到计算单元，
[0007] -其中由计算单元根据深度图像的序列确定，用户是否利用手臂或手来指向 (deuten)图像的图像区域并且必要时确定指向图像的多个图像区域的哪一个图像区域。
[0008] 本发明还涉及一种用于计算单元的控制方法，
[0009] -其中由计算单元通过显示装置将结构的至少一个图像向计算单元的用户输出， [0010]-其中由图像采集装置采集深度图像的序列并且传输到计算单元。
[0011] 本发明还涉及一种计算机装置，
[0012]-其中计算机装置包括图像采集装置、显示装置和计算单元，
[0013]-其中计算单元与图像采集装置和显示装置相连以用于数据交换，
[0014]-其中计算单元、图像采集装置和显示装置按照上述种类的至少一个控制方法彼 此协作。

【背景技术】
[0015] 这样的控制方法和计算机装置是公知的。纯示例性地参见微软公司的Kinect系 统。
[0016] 与计算机装置的无接触交互是所谓的自然输入方法（NUI = Natural User Input) 领域内一个明显趋势。这一点一般地在信息处理以及特别地在医学领域中都成立。例如在 手术室中应用到无接触交互，在所述手术室中手术医生在手术期间想要观察患者的与手术 相关的图像。在该情况下手术医生出于卫生原因不接触计算机装置的通常的交互装置（例 如计算机鼠标、键盘或触摸屏）。尽管如此还是必须也能够控制显示装置。特别地必须可以 控制，哪个图像在显示装置上显示以及如何显示。通常还必须可以操作在显示装置上显示 的开关面（Schaltfiiichen )等。
[0017] 公知的是，手术医生之外的其他人根据通过医生的相应指令来操作交互装置。这 一点是麻烦的、花费宝贵的时间并且常常导致在手术医生和该其他人之间的通信问题。上 面解释的公知的姿势控制在此表示宝贵的优点，因为治疗医生本身可以与计算装置通信， 而无需触摸计算装置的任何装置。
[0018] 对于姿势控制，通常确定所谓的深度图像，S卩，一种图像，在该图像中本身二维的 图像的每个点都附加地对应于关于在三维空间中的第三方向的信息。这样的深度图像的采 集和分析是本身公知的。这样的深度图像例如可以借助两个通常的照相机来采集，所述照 相机共同提供一个立体图像。替换地，例如可以，将正弦调制图案在空间中投影并且根据正 弦调制图案的失真确定深度信息。
[0019] 特别地在医学领域中，简单和可靠的交互是重要的，不管其是借助姿势控制还是 其他的来进行。
[0020] 在外科介入中自多年来越来越多地倾向于微创介入。也就是仅进行小的切割，通 过所述切割将手术仪器引入到患者身体中。外科医生由此不是直接用其眼睛看见其利用相 应的手术仪器工作的位置。而是（例如借助X射线技术）采集图像并且通过显示装置向外 科医生显示。此外通常在手术的准备阶段也多次建立图像。在此可以是单个的二维图像， 是三维的体积图像组和是图像的序列，其中所述序列在空间上（在该情况下大多在与图像 正交的第三维度上）和/或时间上先后跟随。这样的图像、体积数据组和序列通常在手术 的范围内也被需要和分析。
[0021] 在体积数据组的情况下该体积数据组在各种情况下显示三维结构，例如血管系 统。这样的三维结构通常按照透视图通过显示装置向用户输出。这样的图示在实践中通常 必须被旋转和转动，因为（根据转动位置的不同）三维结构的确定的细节可见或被遮蔽。转 动的参数，即特别是转角和旋转轴线，通常由计算单元的用户给出到计算单元。
[0022] 在现有技术中通常借助计算机鼠标、键盘或触摸屏进行该给出。在姿势控制的范 围内该预先给出通常通过如下进行，即，将用户的类似擦拭运动转换为围绕与类似擦拭运 动正交的旋转轴线的转动。由此该工作方式对于操作者特别是非直观的，因为纯的二维运 动（即类似擦拭运动）被转换为三维运动（即结构的转动运动）。


【发明内容】

[0023] 本发明的第一任务在于，实现可能性，借助该可能性，向用户给出引起通过显示装 置显示的三维结构转动的直观可能性
[0024] 按照本发明，对于计算单元的控制方法，
[0025] -其中由计算单元通过显示装置将三维结构的透视图向计算单元的用户输出，和
[0026] -其中由图像采集装置采集深度图像的序列并且传输到计算单元。
[0027] 通过如下构造，
[0028] -使得由计算单元规定球体，该球体的中点位于三维结构的内部，
[0029] -使得由计算单元确定与该球体相对应的、位于显示装置前面的球形的体积区域 和其中点，和
[0030] -使得由计算单元根据深度图像的序列确定，用户是否关于体积区域进行了抓取 运动，并且根据该抓取运动这样来改变通过显示装置输出的三维结构的透视图，使得三维 结构围绕包含了该球体的中点的旋转轴线转动。
[0031] 在最简单的情况下与抓取运动的依赖关系在于，抓取运动本身触发透视图的改 变，而松开则终止透视图的改变。对于用户来说，三维结构的图示例如表现为，就像其将球 体在手中握住并且将球体在其手中转动。
[0032] 可以预先确定旋转轴线。在该情况下旋转轴线例如可以水平或垂直地取向。替换 地也可以的是，旋转轴线由计算单元根据抓取运动来确定。当用户利用手的手指抓取了与 球体相对应的体积区域时，计算单元例如可以按照最好拟合算法确定体积区域的表面积上 的、与手的手指具有最小距离的那个圆。旋转轴线在该情况下与该圆正交地延伸。又可以 的是，旋转轴线由用户借助与抓取运动不同的规定向计算单元预先给出。在此原则上任意 的规定都是可以的。
[0033] 替换地也可以的是，计算单元
[0034]-根据深度图像的序列确定利用用户的至少一只手的手指对体积区域的抓取和松 开以及在抓取体积区域之后进行的、用户的至少一个手指相对于体积区域的中点的取向的 改变，
[0035] -在抓取体积区域的情况下确定在抓取体积区域时存在的、用户的至少一个手指 相对于体积区域的中点的取向，
[0036] -根据在抓取体积区域之后进行的、用户的至少一个手指的取向的改变，这样改变 三维结构的、通过显示装置输出的透视图，使得三维结构围绕球体的中点的转动与在抓取 体积区域之后进行的、用户的至少一个手指的取向的改变相对应，和
[0037] -在松开体积区域的情况下终止透视图的改变。
[0038] 该工作方式的一种可能构造在于，计算单元通过如下确定对体积区域的抓取和松 开，即，其根据深度图像的序列，将对体积区域的抓取和松开作为整体识别，并且计算单元 将通过用户的至少一个手转动而引起的、用户的至少一个手指的取向的改变作为整体来确 定。
[0039] 该工作方式是特别直观的，因为用户可以好像是将由其抓取的体积区域在其手中 (或在其双手中）转动并且三维结构的转动1 :1地与由其进行的其手的转动一致。在足够 可靠地识别抓取和松开的情况下甚至可以的是，用户利用其一只手抓取体积区域、转动一 部分、然后利用其另一只手抓取、之后才利用其该一只手松开并且利用其该另一只手继续 转动。替换地也可以的是，用户将体积区域松开，抓取的手转动回来（在此三维结构不一起 转动）并且然后又抓取和继续转动。
[0040] 该工作方式的另一个可能构造在于，计算单元通过如下来确定对体积区域的抓取 和松开，即，其根据深度图像的序列识别对体积区域的表面的点的触摸和松开，并且计算单 元根据至少一个手指在体积区域的表面上的位置的改变确定至少一个手指的取向的改变。 用户例如可以抓取球体，就像在该球体上有一个把手或把柄，并且将球体通过转动把手或 把柄来围绕球体的中点转动。替换地，用户例如可以这样，就像人在现实中将一个手指放置 到球上并且将球通过手指的运动来转动那样，也仅将一个手指放置在体积区域的表面上并 且运动手指。
[0041] 最后提到的工作方式也可以进一步构造。特别地可以的是，计算单元在抓取体积 区域之后根据深度图像的序列附加地确定，用户是否利用至少一只手的至少一个手指进行 向着或离开体积区域的中点的运动并且计算单元根据手指向着和离开体积区域的中点的 运动来改变该计算单元在确定图示时所使用的缩放系数。由此可以除了旋转之外还实现变 焦。
[0042] 实践中向着和离开体积区域的中点的微小运动是不可避免的。为了还能够保证三 维结构的稳定图示，可以的是，计算单元仅当向着和离开体积区域的中点的运动是明显的 时候才进行变焦。例如计算单元可以在向着和离开体积区域的中点的运动与至少一个手指 的取向的改变同时进行的情况下，当（关于在体积区域的表面积上走过的路径的长度）向 着和离开体积区域的中点的运动保持低于预定的百分比时，禁止变焦。独立于至少一个手 指的取向的改变（也就是在任意情况下）可以的是，当向着和离开体积区域的中点的运动， 关于手指与体积区域的中点的初始的或瞬时距离来说，保持低于预定的百分比时，计算单 元禁止变焦。
[0043] 在另一个优选构造中，计算单元将球体的中点和在球体表面上布置的网格插入到 三维结构的透视图中。由此对于用户来说一方面可以识别，其完全处于如下模式中，在该模 式中，进行三维结构的旋转。此外转动运动的采集对于用户来说是特别简单可行的。提到 的优点可以通过如下进一步加强，即，计算单元附加地将旋转轴线插入到三维结构的透视 图中。
[0044] 三维结构围绕旋转轴线的旋转是对于显示的图像的操纵可能性。该操纵可能性特 定地在三维结构中给出。然而不取决于于，示出的（本身二维的）图像是三维结构的透视 图还是（例如）三维数据组的层图像，或者示出的图像是否已经基于本身二维的图像（例 子：单个的X射线检查图），通常关于示出的图像给出多个不同的操纵可能性。因此例如可 以调节缩放系数（变焦系数）。在输出二维图像的仅一部分的情况下，例如可以选择图像区 域，例如通过相应的枢转（Panning,摇镜头）来选择。也可以改变对比度（Windowing)。其 他操纵可能性，例如从部分图像切换到全图像（Blow up)或浏览（scrolling)空间上或时 间上先后跟随的图像的序列也是可能的。空间上先后跟随的图像的序列例如是层图像的序 列。时间上先后跟随的图像的序列例如是血管造影情景。
[0045] 不同的操纵可能性必须是由用户以简单和可靠的方式可激活的。监视器上的常规 的开关面（软按键）对于在姿势控制的情况下的这样的切换仅在有限的范围内是合适的， 因为在姿势控制的情况下用户所指向的区域只能由计算单元相对粗略地确定。此外在姿势 控制的情况下例如与计算机鼠标的操作不同不再提供多个鼠标键。
[0046] 本发明的第二任务在于，实现可能性，借助所述可能性，向用户给出能够激活不同 的与图像相关的操纵可能性的简单可操作的可能性。
[0047] 按照本发明，对于计算单元的控制方法，
[0048]-其中由计算单元通过显示装置将结构的至少一个图像向计算单元的用户输出， [0049]-其中由图像采集装置采集深度图像的序列并且向计算单元传输，和
[0050] -其中由计算单元根据深度图像的序列确定，用户是否用手臂或手来指向图像的 图像区域并且必要时确定指向图像的多个图像区域的哪个图像区域，
[0051] 通过如下来构造，
[0052] -使得由计算单元根据用户命令将与输出的图像相关的操纵可能性插入到输出的 图像的图像区域中，以及
[0053] -使得计算单元必要时激活输出的图像的、与用户所指向的图像区域相对应的操 纵可能性。
[0054] 通过将操纵可能性插入到输出的图像本身的图像区域中，与现有技术不同，提供 大的开关面，也就是图像区域，其在姿势控制的情况下也能够由计算单元简单地互相区别。
[0055] 优选地，图像区域在其总体上覆盖整个输出的图像。由此可以将开关面的大小最 大化。
[0056] 优选地，操纵可能性由计算单元半透明地插入到输出的图像中。由此输出的图像 本身保持可见和可识别。由此，用户激活其实际上期望的操纵可能性的可靠性得到提高。
[0057] 此外优选的是，由计算单元在将操纵可能性插入到输出的图像之前从原则上可实 施的操纵可能性的整体中确定关于该输出的图像可实施的操纵可能性，并且是，由计算单 元仅将这些可实施的操纵可能性插入到该输出的图像中。由此可以将插入到输出的图像中 的操纵可能性的数量最小化，从而反过来又提供对于单个操纵可能性的更大的开关面。
[0058] 优选地，将互相相邻的图像区域以互相不同的颜色和/或互相不同的亮度插入到 输出的图像中。由此各个图像区域可以由用户快速和简单地互相区别。
[0059] 可能的是，在特定的时刻由计算单元通过显示装置仅将唯一一个图像向用户输 出。替选地可以由计算单元通过显示装置除了结构的该图像之外还将结构的至少另一个图 像和/或另一个结构的另一个图像向计算单元的用户输出。
[0060] 在该情况下本发明的优选构造在于，
[0061] -由计算单元根据用户命令将与该另一个图像相关的操纵可能性也插入到该另一 个图像的图像区域中，
[0062]-由计算单元根据深度图像的序列确定，用户是否用手臂或手来指向该另一个图 像的图像区域并且必要时确定指向哪个图像区域，和
[0063]-计算单元必要时激活涉及的图像区域所布置于其中的那个图像的、与用户所指 向的图像区域相对应的操纵可能性。
[0064] 通过该工作方式，给出了图像之一的以及关于选择的图像要激活的操纵可能性的 同时选择。上面解释的在操纵可能性的插入情况下的优选构造由计算单元优选也关于该另 一个图像实施。
[0065] 除了图像的操纵之外还给出其他的、用户的全局系统交互，其不是关于一个特定 的图像区域或图像的一个特定的视图。例如这样的系统交互是加载特定的患者的数据组 (其中该患者的数据组可以包含多个二维和三维图像）或例如（与其中在图像的序列中始 终选择在当前选择的图像之前或之后的图像的浏览不同）跳到特定的图像，例如到序列的 第一个或最后的图像。
[0066] 本发明的第三任务在于，实现可能性，借助该可能性，向用户给出能够进行全局系 统交互的简单可行的可能性。
[0067] 按照本发明，对于计算单元的控制方法，
[0068]-其中由计算单元通过显示装置将结构的至少一个图像输出到计算单元的用户， 并且
[0069]-其中由图像采集装置采集深度图像的序列并且传输到计算单元，
[0070] 通过如下构造，
[0071]-使得由计算单元根据深度图像的序列确定，用户是否实施预定义的、与指向输出 的图像或输出的图像的图像区域不同的姿势，
[0072] -使得由计算单元在用户实施预定义的姿势的情况下实施动作，以及
[0073] -该动作是与输出的图像的操纵不同的动作。
[0074] 由此也可以简单地实施不是与图像相关的动作。姿势可以按照需要来确定。例如 用户可以用特定的身体部位（特别是手）实施圆形运动或与数字（例如数字8)类似的运 动或招手。其他姿势也是可能的。
[0075] 动作本身可以根据要求来确定。特别地可以的是，动作是计算单元到一种状态中 的过渡并且该状态独立于输出的图像或者对于输出的图像和至少另一个、替选于输出的图 像的可输出的图像是相同的。正是通过这样的动作可以实现用户的全局系统交互，其不是 与特定的图像区域或图像的特定视图相关。
[0076] 在按照本发明的控制方法的优选构造中，状态是具有多个菜单项的选择菜单的调 用并且菜单项可以由用户通过对相应的菜单项的指向选择。由此特别地可以实现在（特别 是多级别的）菜单树中的简单的导航。
[0077] 优选将选择菜单由计算单元插入到输出的图像中。特别地，选择菜单可以由计算 单元半透明地插入到输出的图像中。
[0078] 在试验中证明为有利的是，选择菜单由计算单元作为圆插入到输出的图像中并且 菜单项作为圆的扇形显示。
[0079] 此外有利的是，由计算单元在选择菜单项之后等待用户的确认并且选择的菜单项 由计算单元在规定了通过用户的确认之后才执行。由此可以避免失误地选择实际上不是所 指向的菜单项。
[0080] 该确认可以根据要求来确定。例如该确认可以作为通过用户的预定姿势的规定， 作为用户的与姿势不同的命令或者作为等待时间的流逝来构造。
[0081] 上面提到的任务还通过开头提到的计算机装置来解决，在该计算机装置中，计算 单元、图像采集装置和显示装置按照根据上述控制方法之一彼此协作。

【专利附图】

【附图说明】
[0082] 上面描述的本发明的特征、特点和优点以及如何实现这些的方式关于对结合附图 中详细解释的实施例的以下描述变得清楚和明显可理解。其中示意性地：
[0083] 图1示出计算机装置，
[0084] 图2示出流程图，
[0085] 图3示出通过显示装置显示的图像，
[0086] 图4示出流程图，
[0087] 图5示出图2的图像的修改，
[0088] 图6示出流程图，
[0089] 图7示出图2的图像的修改，
[0090] 图8示出多个通过显示装置显示的图像，
[0091] 图9示出流程图，
[0092] 图10示出了图2的图像的修改，
[0093] 图11和12示出了流程图，并且
[0094] 图13和14分别示出了手和体积区域。

【具体实施方式】
[0095] 按照图1，计算机装置包括图像采集装置1、显示装置2和计算单元3。图像采集装 置1和显示装置2与计算单元3相连以用于交换数据。特别地，由图像采集装置1采集深 度图像B1的序列S并且传输到计算单元3。由图像采集装置1采集的深度图像B1由计算 单元3分析。根据分析的结果可以由计算单元3作出合适的反应。
[0096] 计算单元3例如可以构造为通常的PC、工作站或类似的计算单元。显示装置2可 以构造为通常的计算机显示器，例如构造为IXD显示器或TFT显示器。
[0097] 图像采集装置1、显示装置2和计算单元3可以按照图2如下互相作用：
[0098] 计算单元3在步骤S1中通过显示装置2将结构4的（至少）一个图像B2向计算 单元3的用户5输出（见图3)。结构4可以是（例如）根据图3中的图示的患者的血管 树。结构4可以是三维结构，其在透视图中输出。但是这一点并非强制要求的。
[0099] 由图像采集装置1连续地分别采集深度图像B1并且传输到计算单元3。计算单元 3在步骤S2中接收分别采集的深度图像B1。
[0100] 深度图像B1如专业人员公知的那样是二维空间分辨的图像，其中深度图像B1的 各个图像元素（必要时除了其图像数据值之外）对应于深度值，该深度值对于与各自的图 像元素对应的、与图像采集装置1的距离是特征性的。这样的深度图像B1的采集本身是专 业人员公知的。例如按照图1中的图示的图像采集装置可以包括多个单图像传感器6,其采 集从不同的视线采集的情景。替换地例如也可以，借助合适的光源将条纹图案（或另一种 图案）投影到由图像采集装置1采集的空间中并且根据在由图像采集装置1采集的深度图 像B1中的图案的失真来确定各自的距离。
[0101] 由于深度图像B1可以实现三维分析这一情况，特别地可以通过计算单元3可靠分 析深度图像B1，S卩，可靠识别用户5的各自的姿势。为了清楚识别姿势，可以在用户5上布 置特殊标记。例如用户5可以佩戴特殊的手套。但是这一点并非强制要求。计算单元3在 步骤S3中进行该分析。
[0102] 在步骤S4中，计算单元3相应于在步骤S3中进行的分析来反应。该反应可以是 任意的特征。该反应可以（但不必）是显示装置2的控制的改变等。一旦计算单元3返回 到步骤S2,则步骤S2、S3和S4的序列被重复地遍历。在重复地执行步骤S2、S3和S4的过 程中由图像采集装置1由此采集深度图像B1的序列S并且传输到计算单元3。
[0103] 图4示出了用于分析和相应地反应的可能工作方式。S卩，图4示出了图2的步骤 S3和S4的可能实现。
[0104] 按照图4,计算单元3在步骤S11中根据深度图像B1的序列S确定，用户5是否实 施了预定义的姿势。姿势可以根据要求来定义。但是其与对输出的图像B2的指向不同。特 别地也不指向着图像B2的部分（图像区域）。例如计算单元3可以通过选择深度图像B1 的序列S来检查，用户5是否抬起一只手或双手，用户5是否拍手一次或两次，用户5是否 利用一只手或双手来招手，用户5是否利用一只手在空中画出数字（特别是数字8)，等等。 根据步骤S11的检查结果，计算单元3转到步骤S12或步骤S13。当用户5已经实施了预定 义的姿势时计算单元3转到步骤S12。当用户没有实施预定义的姿势时计算单元3转到步 骤 S13。
[0105] 在步骤S12中计算单元3执行动作。该动作可以根据要求来确定。但是在任何情 况下其是与对输出的图像B2的操纵不同的动作。特别地该动作在于，计算单元3过渡到一 种状态，其中该状态独立于通过显示装置2输出的图像B2。或者也可以的是，通过显示装 置2可以输出多个互相不同的图像B2并且该状态分别对于多个这样的图像B2的组是相同 的。也就是例如可以的是，当通过显示装置2向用户5输出第一组可输出的图像B2的任意 图像B2时计算单元3总是过渡到第一状态中。相反，当通过显示装置2输出第二组可输出 的图像B2的任意图像B2时，计算单元3总是过渡到与第一状态不同的第二状态中。
[0106] 特别地可以的是，相应于在图4和5中的图示，状态是对选择菜单6的调用。选择 菜单6具有多个菜单项7。
[0107] 可以的是，选择菜单6替代输出的图像B2通过显示装置2被输出到用户5。但是 优选地，由计算单元2相应于图5中的图示将选择菜单6插入到输出的图像B2中。该插入 特别地相应于在图5中的虚线图示可以是半透明的，从而用户5既可以识别输出的图像B2 也可以识别选择菜单6。
[0108] 选择菜单6的图示可以是根据要求的。优选地，选择菜单6按照图5由计算单元 3作为圆插入到输出的图像B2中。菜单项7优选作为圆的扇形示出。
[0109] 菜单项7可以由用户5通过对相应的菜单项7的指向来选择。计算单元3在步骤 S13中通过分析深度图像B1的序列S来检查，用户5是否指向所示出的菜单项7。步骤S13 的检查特别地还包括检查，步骤S12到底是否已经被执行，也就是选择菜单6通过显示装置 2被输出到用户5。根据检查的结果，计算单元3转到步骤S14或转到步骤S15。当用户5 指向所示出的菜单项7时计算单元3转到步骤S14。当用户5没有指向所示出的菜单项7 时计算单元3转到步骤S15。
[0110] 在步骤S14中计算单元3在显示的选择菜单6中标记用户已经指向的那个菜单项 7。相反地还不执行进一步的反应。用户5对相应的菜单项7的指向由此虽然相应于预选 择，但是不相应于最终的选择。
[0111] 在步骤S15中计算单元2等待，是否由用户5向其规定了确认。步骤S15的检查 特别地还包括检查，步骤S12和S14到底是否已经被执行，也就是用户5已经选择了菜单项 7。根据检查的结果，计算单元2转到步骤S16和S17或者转到步骤S18。当用户5向计算 单元3规定了确认时，计算单元3转到步骤S16和S17。如果用户5没有规定确认，则计算 单元3转到步骤S18。
[0112] 在步骤S16中计算单元3删除通过显示装置2输出的选择菜单6。也就是选择菜 单6不再被插入到输出的图像B2中或替代输出的图像B2被显示。在步骤S17中计算单元 3执行（现在为最终的）选择的菜单项7。相反在步骤S18中计算单元3执行另一个反应。 该另一个反应可能纯粹是另一个等待。
[0113] 计算单元3所等待的用户5的确认可以根据要求来确定。例如该确定可以构造为 通过用户5输入的预定的姿势。例如可以要求，用户5拍手一次或两次。其他姿势也是可以 的。例如用户5可以是必须利用手10实施抓取姿势或者必须先后地首先将手10离开显示 装置2然后又向着显示装置2移动。相反的顺序也是可以的。替换地或附加地可以的是， 用户5向计算单元3给出与姿势不同的命令，例如语音命令或对脚踏开关或脚踏按键的操 作。此外可以的是，所述确认是等待一个等待时间的流逝。等待时间必要时在少数几秒的 范围内移动，例如最小2秒和最大5秒。
[0114] 以下结合图6至8解释在通过用户5对计算单元3进行姿势控制的范围内的其他 可能的构造。这些构造涉及对通过显示装置2输出的图像B2的操纵。这些构造同样至少 从按照图1的计算机装置及其按照图2的工作方式出发。在该情况下图6示出了图2的步 骤S3和S4的可能构造。或者也可以的是，图6至8的工作方式在图3至5的工作方式之 上构造。在该情况下图6示出了图4的步骤S18的可能构造。
[0115] 在按照图6的工作方式中也就是从如下出发，S卩，由计算单元3通过显示装置2将 结构4的至少一个图像B2向计算单元3的用户5输出。此外从如下出发，S卩，由图像采集 装置1采集深度图像B1的序列S并且传输到计算单元3。这一点在上面结合图1和2已经 解释。
[0116] 按照图6,计算单元3在步骤S21中检查，用户5是否向其输入了用户命令C，按照 该命令应当将对输出的图像B2的操纵可能性插入到输出的图像B2的图像区域8中（见图 7)。用户命令C可以由用户5通过根据深度图像B1的序列S所识别的姿势或另外地，例如 通过语音命令给出到计算单元3。
[0117] 当用户5给出了用户命令C时，计算单元3转到步骤S21的是-分支。在步骤S21 的是-分支中，计算单元3优选地实施步骤S22,但是在任何情况下都实施步骤S23。在步 骤S23中，计算单元3相应于在图7中的图示将与输出的图像B2相关的操纵可能性插入到 图像区域8中。操纵可能性例如可以涉及缩放系数的调整、待输出的图像部分的选择或对 比度特征的调整。给出其他操纵可能性。
[0118] 当不存在步骤S22时，在步骤S23中将所有关于输出的图像B2原则上可实施的操 纵可能性，也就是其整体，插入到图像区域8中。但是通常关于具体的输出的图像B2的一 些操纵可能性是不可能的或者说不允许的。例如结构4的旋转只有当结构4是三维的时才 有意义。当输出的图像B2基于二维结构4时，旋转由此是不可能的。待输出的图像部分通 过枢转（Verschwenken)的选择例如仅当图像的仅一部分被输出时，即能够选择时，才是有 意义的。当存在步骤S22时，计算单元3首先从原则上可实施的操纵可能性的整体中确定 关于输出的图像B2可实施的操纵可能性。在该情况下在步骤S23中仅将这些可实施的操 纵可能性插入到输出的图像B2中。
[0119] 在步骤S21的否-分支中，计算单元3首先执行步骤S24。在步骤S24中，计算单 元3通过分析深度图像B1的序列S检查，用户5是否利用手臂9或手10来指向图像区域 8。必要时计算单元3在步骤S24的范围内通过分析深度图像B1的序列S也确定，用户5 是指向着哪个图像区域8。步骤S24的检查此外也包括检查，（前面）是否已经给出了用户 命令C，也就是到底是否将操纵可能性插入到输出的图像B2中。
[0120] 当计算单元3在步骤S24中识别了对图像区域8的指向时，其转到步骤S25和S26。 在步骤S25中计算单元3将在步骤S23中插入的操纵可能性从输出的图像B2中又移出。在 步骤S26中计算单元3激活在步骤S24中选择的操纵可能性，也就是如下的操纵可能性，用 户5指向了与该操纵可能性相对应的图像区域8。
[0121] 图像区域8可以根据要求来确定大小。优选地，其相应于在图7中的图示在其总 体上覆盖整个输出的图像B2。此外操纵可能性相应于在图7中的图示优选半透明地插入到 输出的图像B2中。也就是对于用户5来说，输出的图像B2以及操纵可能性同时都是可见 的和可识别的。为了清楚地互相界定图像区域8,此外相应于在图7中的图示优选将互相相 邻的图像区域8以互相不同的颜色和/或互相不同的亮度插入到输出的图像B2中。
[0122] 当计算单元3在步骤S24中没有识别到对图像区域8的指向时，其转到步骤S27。 在步骤S27中计算单元3通过分析深度图像B1的序列S检查，用户4是否通过姿势控制向 其输入了相应于所选的操纵可能性的动作。如果是，则计算单元3在步骤S28中执行所给 出的动作。否则计算单元3转到步骤S29,在该步骤中其执行另一个反应。步骤S27的检查 此外隐含了，步骤S26已经被执行，也就是对于输出的图像B2的确定的操纵可能性被激活。
[0123] 当通过显示装置2在特定的时刻仅将唯一一个图像B2向计算单元3的用户5输出 时，前面解释的工作方式按照图7是可能的。但是替换地相应于在图8中的图示可以的是， 由计算单元3通过显示装置2除了结构4的图像B2之外还将至少另一个图像B2向计算单 元3的用户5输出。该另一个图像B2可以例如是相同结构4的另一个图像。例如图像B2 之一是三维结构4的透视图，其中三维结构4通过三维数据组确定，而另一个图像B2 (或多 个另外的图像B2)显示三维数据组的层图像。替换地，可以涉及另一个结构4的图像。例 如图像B2之一可以如前面那样是三维结构4的透视图，而另一个图像B2 (或多个另外的图 像B2)显示血管造影分析。
[0124] 相应于在图8中的图示，在通过显示装置2输出多个图像B2的情况下，在步骤S23 的范围内对于每个输出的图像B2分别将关于各自的输出的图像B2的操纵可能性插入到各 自的图像B2中。计算单元3在该情况下在步骤S24的范围中不仅确定用户5是指向哪个 图像区域8,计算单元3在该情况下附加地还确定，这是关于哪个图像B2进行。也就是计算 单元3在该情况下在步骤S24的范围内一方面确定输出的图像B2,用户5已经指向了所述 图像，并且附加地确定在该图像B2的内部的图像区域8,用户5已经指向了所述图像区域。 在步骤上S26的范围中在该情况下由计算单元3仅关于用户5已经指向了的输出的图像B2 来激活与此相关地选择的操纵可能性。
[0125] 在同时多个图像B2通过显示装置2输出到用户5的情况下，实现上面解释的优选 构造也是优选的。也就是对于输出的图像B2成立，
[0126] -图像区域8在其总体上相应地覆盖整个输出的图像B2，
[0127] -操纵可能性由计算单元3半透明地插入到分别输出的图像B2中，
[0128] -步骤S22存在并且单独地对于每个输出的图像B2执行，从而由计算单元3在步 骤S23中分别仅将可实施的操纵可能性插入到每个输出的图像B2中，以及
[0129] -互相相邻的图像区域8,按照互相不同的颜色和/或互相不同的亮度插入到输出 的图像B2中。
[0130] 以下结合图9至14解释在通过用户5对计算单元3的姿势控制的范围内的另外 的可能构造。这些构造特别具体地对于由计算单元3通过显示装置2向用户5输出的图像 B2是三维结构4的透视图的情况而涉及对通过显示装置2输出的图像B2的操纵。以下结 合图9解释的工作方式还涉及示出的三维结构4的（虚拟）旋转，也就是通过显示装置2 输出的、三维结构4的透视图的相应匹配和改变。由此假定，计算单元3处于相应的工作状 态中，在该工作状态中其允许这样的旋转。
[0131] 计算单元3被置于相应的工作状态的方式在图9的范围中是下级的含义。可以的 是，相应的工作状态在完全或部分地没有姿势控制的共同作用的情况下被假定。在该情况 下，下面结合图9解释的步骤S31至S38是图2的步骤S3和S4的构造。但是同样可以的 是，相应的工作状态在姿势控制的共同作用情况下被假定。在该情况下以下结合图9解释 的步骤S31至S38是图4的步骤S18的构造或图6的步骤S29的构造。
[0132] 在图9的工作方式的范围内计算单元3在步骤S31中开始旋转。特别地，计算单 元3在步骤S31中规定球体11及其中点12 (也见图10)。球体11涉及三维结构4。特别 地，球体11的中点12位于三维结构4的内部。
[0133] 优选地，计算单元3按照图10中的图示在步骤S32中将球体11的中点12插入到 三维结构4的透视图B2中。此外计算单元3按照图10中的图示在步骤S32中优选将布置 在球体11的表面上的网格12插入到三维结构4的透视图B2中。网格13优选（但并非强 制）类似于地理学的经度和纬度构造。然而步骤S32仅是可选的并且由此图9仅虚线示出。
[0134] 在步骤S33中计算单元3确定体积区域14。该体积区域14是球形的并且具有中 点15。体积区域14按照图1位于显示装置2前面，特别地在显示装置2和用户5之间。体 积区域14与球体11相对应。特别地，体积区域14的中点15与球体11的中点12相对应 并且体积区域14的表面与球体11的表面相对应。用户5关于体积区域14所进行的姿势， 由计算单元3在确定三维结构4的旋转的范围内（更确切来说：这样改变通过显示装置2 输出的三维结构4的透视图，使得三维结构4显得围绕包含了球体11的中点12的旋转轴 线16进行转动）考虑。
[0135] 按照图9,计算单元3在步骤S34中检查，其是否应当激活旋转（或者说该旋转在 中断之后应当被重新激活）。特别地，计算单元3在步骤S34中检查，用户5是否关于体积 区域14进行了抓取运动。如果是，则计算单元转到步骤S35,在该步骤中其执行旋转。也就 是在步骤S35中由计算单元3将通过显示装置2输出的三维结构4的透视图B2这样激活， 使得三维结构4围绕旋转轴线16转动。该转动根据用户5的抓取运动进行，因为仅从步骤 S34转到步骤S35。
[0136] 如果步骤S34的检查得到否定的结果，也就是如果不存在用户5的抓取运动，则计 算单元3在步骤S36中检查，用户5是否关于体积区域14进行了松开运动。如果是，则计 算单元3转到步骤S37,在该步骤中其将旋转解除激活，也就是结束。否则，计算单元3转到 步骤S38,在该步骤中其执行另一个反应。
[0137] 以下结合图11解释图9的步骤S35的可能构造。
[0138] 在按照图11的构造中旋转与抓取运动的依赖关系在于，抓取运动本身就触发了 旋转，也就是透视图的改变。这在图11中在步骤S41中示出。由此松开相应地终止了旋转。
[0139] 在图11的工作方式的范围中可以的是，旋转轴线16是事先固定地预定的，例如水 平或坚直地取向或与坚直线具有预定的倾角。或者也可以的是，旋转轴线16由计算单元3 根据抓取运动来确定。例如可以的是，体积区域14具有例如5cm至20cm(特别地8cm至 12cm)的合适的直径d并且用户5利用手10的手指17将体积区域14作为整体抓取。在 该情况下手指17在体积区域14的表面上的触摸点通常（或多或少）形成圆。例如可以的 是，计算单元3确定触摸点并且根据触摸点确定相应的圆。旋转轴线16在该情况下可以例 如通过如下来确定，即，其正交于与该圆相对应的、在球体11的表面上的圆延伸。然而其他 的工作方式也是可能的。例如可以由计算单元3按照预定的标准确定单个触摸点。在该情 况下例如旋转轴线16可以通过如下来确定，S卩，其正交于与该触摸点相对应的、在球体11 的表面上的点与球体11的中点12的连接线地延伸。替换地又可以的是，旋转轴线16由用 户5借助与抓取运动不同的另外的规定来给出到计算单元3。例如用户5可以进行语音输 入，在该语音输入中其向计算单元3给出旋转轴线16的取向。例如用户5可以向计算单元 3给出音规定"旋转轴线水平"、"旋转轴线坚直"或"旋转轴线相对于坚直线（或水平线）以 角度XX取向"。
[0140] 类似于球体11的中点12和网格13,由计算单元3优选也将旋转轴线16插入到 三维结构4的透视图B2中。相应的步骤S42在该情况下布置在步骤S41前面。然而步骤 S42仅是可选的并且由于该原因在图11中仅虚线地示出。如果旋转轴线16固定地给出到 计算单元3,则在按照图11的构造的情况下也可以结合步骤S32就已经执行步骤S42。
[0141] 替换前面结合图11解释的工作方式，可以的是，对体积区域的抓取虽然激活三维 结构4的转动，但是还不是直接起作用。在以下结合图12详细解释这一点。
[0142] 按照图12,同样存在步骤S34。在步骤S34中计算单元3根据深度图像B1的序列 S检查，用户5是否利用至少一只手10的手指17抓取体积区域14。步骤S34具体地涉及 抓取运动本身，也就是过程，但是不涉及其中用户5抓住了体积区域14这一状态。
[0143] 替代步骤S35,按照图12存在步骤S51和S52。如果步骤S34的检查得到肯定的 结果，则计算单元3首先转到步骤S51。在步骤S51中计算单元3激活三维结构4的旋转， 但是还不执行旋转。在步骤S51的范围内，特别地（也）可以通过显示装置2相应地显示， 旋转已经被激活。例如可以确定一个触摸点或多个触摸点，用户5在该触摸点上触摸了体 积区域14,并且标记球体11的相对应的点。在步骤S52中计算单元3确定用户5的至少一 个手指17相对于体积区域14的中点15的现有取向。因为步骤S52在步骤S34的是-分 支中被执行，所以取向由计算单元3在通过用户5抓取体积区域14的情况下来确定。
[0144] 如果步骤S34的检查得到否定的结果，则计算单元3 (如结合图9已经解释的）转 到步骤S36。在步骤S36中计算单元3根据深度图像B1的序列S检查，用户5是否利用其 手10的手指17松开了体积区域14。步骤S36 (类似于步骤S34)具体地涉及松开运动本 身，也就是过程，但是不涉及其中用户已经松开了体积区域14这一状态。
[0145] 如果步骤S36的检查得到肯定的结果，则计算单元3转到步骤S37。在步骤S37中 计算单元3终止透视图B2的改变。因为步骤S37在步骤S36的是-分支中被执行，所以终 止在通过用户5松开体积区域14的情况下进行。
[0146] 如果步骤S36的检查得到否定的结果，则计算单元3转到步骤S53。在步骤S53中 计算单元3检查，用户5是否已经抓取了体积区域14。例如计算单元3在步骤S51的范围 内可以设置标识并且将该标识在步骤S37的范围内复位。在该情况下，步骤S53的检查降 低到对标识的查询。替换地可以的是，计算单元3根据深度图像B1的序列S本身确定步骤 S53的检查。
[0147] 如果步骤S53的检查得到肯定的结果，则计算单元3转到步骤S54。在步骤S54中 计算单元3通过分析深度图像B1的序列S检查，用户5是否进行了用户5的至少一个手指 17相对于体积区域14的中点15的取向的改变以及必要时检查是何种改变。因为步骤S54 在步骤S53的是-分支中被执行，所以该确定在通过用户5抓取体积区域14之后，也就是 在其中用户5已经抓取了体积区域14的状态中进行。
[0148] 在步骤S55中计算单元3改变通过显示装置2输出的三维结构4的透视图B2。计 算单元3根据在抓取体积区域14之后进行的用户5的至少一个手指17的取向的改变来确 定该改变。特别地计算单元3通常这样进行该改变，使得三维结构4围绕球体11的中点12 的转动与用户5的至少一个手指17相对于体积区域14的中点15的取向的改变1 :1地相 对应。
[0149] 体积区域14通过用户5的抓取和松开可以由计算单元3例如通过如下来确定， 艮P，其（见图13)根据深度图像B1的序列S将对体积区域14的抓取和松开作为整体来识 另|J。用户5的至少一个手指17相对于体积区域14的中点15的取向的改变可以由计算单 元3在该情况下例如通过如下来确定，即其将用户5的至少一只手10的扭转作为整体来确 定。
[0150] 替换地可以的是，计算单元3按照图14通过如下来确定对体积区域14的抓取和 松开，使得其根据深度图像B1的序列S识别用户5利用至少一个手指17触摸还是松开体 积区域14的表面的点18。例如用户5可以类似于利用两个或多个手指17 "抓取"表面的 相应的点，就像其能够抓取小的操纵杆的控制杆一样。表面的被触摸的点18与球体11的 表面的点19相对应（见图10)。至少一个手指17关于体积区域14的中点15的取向的改 变可以由计算单元3在该情况下例如根据至少一个手指17在体积区域14的表面上的位置 的改变来确定。
[0151] 如果步骤S53的检查得到否定的结果，则计算单元3转到步骤S56,在该步骤中其 执行另一个反应。
[0152] 可以的是，图12的工作方式通过步骤S57和S58来补充。但是步骤S57和S58仅 是可选的并且由此在图12中虚线地示出。在步骤S57中计算单元3确定，至少一个手指17 与体积区域14的中点15的距离r是否已经改变。如果是，则用户5利用其手10的至少一 个手指17执行向着和离开体积区域14的中点15的运动。如果计算单元3在步骤S57中 识别到这样的改变，则计算单元3在步骤S58中根据由其识别的运动来改变缩放系数。计 算单元3在确定图示B2的情况下使用该缩放系数。缩放系数相应于变焦系数。
[0153] 类似于按照图11的工作方式，在按照图12的工作方式中也可以存在步骤S59和 S60。在步骤S59和S60中（类似于图11的步骤S42)由计算单元3将旋转轴线16插入到 三维结构4的透视图B2中。但是步骤S59和S60(类似于图11的步骤S42)仅是可选的并 且由此在图12中虚线地示出。
[0154] 本发明具有许多优点。特别地，可以以简单、直观和可靠的方式对计算单元3进行 广泛的姿势控制。这一点既特殊地对于三维结构4的旋转也一般地对于图像操纵以及对于 全局的系统交互都成立。此外通常可以仅利用一只手10进行整个姿势控制。仅在非常罕 见的例外情况下需要双手10。
[0155] 尽管通过优选实施例详细示出和描述了本发明，但是本发明不受公开的例子限制 并且可以由专业人员从中导出其他变化，而不脱离本发明的保护范围。
[0156] 附图标记列表
[0157] 1图像采集装置
[0158] 2显示装置
[0159] 3计算单元
[0160] 4 结构
[0161] 5 用户
[0162] 6选择菜单
[0163] 7菜单项
[0164] 8图像区域
[0165] 9 手臂
[0166] 10 手
[0167] 11 球体
[0168] 12 球体的中点
[0169] 13 网格
[0170] 14 体积区域
[0171] 15 体积区域的中点
[0172] 16 旋转轴线
[0173] 17 手指
[0174] 18 体积区域的表面的点
[0175] 19 球体的表面的点
[0176] B1 深度图像
[0177] B2 输出的图像
[0178] C 用户命令
[0179] d 直径
[0180] r 距离
[0181] S 深度图像的序列
[0182] S1 至 S60 步骤
【权利要求】
1. 一种对于计算单元（3)的控制方法， -其中，由计算单元（3)通过显示装置（2)将三维结构（4)的透视图（B2)向计算单元 (3)的用户（5)输出， -其中，由图像采集装置（1)采集深度图像（B1)的序列（S)并且传输到计算单元（3)， -其中，由计算单元（3)规定球体（11)，该球体的中点（12)位于三维结构（4)的内部， -其中，由计算单元（3)确定与该球体（11)相对应的、位于显示装置（2)前面的球形的 体积区域（14)和其中点（15)，并且 -其中，由计算单元⑶根据深度图像（B1)的序列⑶确定，用户（5)是否关于体积区 域（14)进行了抓取运动，并且根据该抓取运动这样来改变通过显示装置（2)输出的三维结 构⑷的透视图，使得三维结构⑷围绕包含了该球体（11)的中点（12)的旋转轴线（16) 转动。
2. 根据权利要求1所述的控制方法，其特征在于，与抓取运动的依赖关系在于，抓取运 动本身触发透视图（B2)的改变，而松开则终止透视图（B2)的改变。
3. 根据权利要求2所述的控制方法，其特征在于，所述旋转轴线（16)是预先确定的，或 者由计算单元（3)根据抓取运动来确定，或者由用户（5)借助与抓取运动不同的规定向计 算单元（3)给出。
4. 根据权利要求1所述的控制方法，其特征在于，所述计算单元（3) -根据深度图像（B1)的序列（S)确定利用用户（5)的至少一只手（10)的手指（17)对 体积区域（14)的抓取和松开以及在抓取体积区域（14)之后进行的、用户（5)的至少一个 手指（17)相对于体积区域（14)的中点（15)的取向的改变， -在抓取体积区域（14)的情况下确定在抓取体积区域（14)时存在的、用户（5)的至少 一个手指（17)相对于体积区域（14)的中点（15)的取向， -根据在抓取体积区域（14)之后进行的、用户（5)的至少一个手指（17)的取向的改 变，这样改变三维结构（4)的、通过显示装置（2)输出的透视图（B2)，使得三维结构（4)围 绕球体（11)的中点（12)的转动与在抓取体积区域（14)之后进行的、用户（5)的至少一个 手指（17)的取向的改变相对应，和 -在松开体积区域（14)的情况下终止透视图（B2)的改变。
5. 根据权利要求4所述的控制方法，其特征在于，所述计算单元（3)通过如下确定对体 积区域（14)的抓取和松开，即，其根据深度图像（B1)的序列⑶，将对体积区域（14)的抓 取和松开作为整体识别，并且所述计算单元（3)将通过用户（5)的至少一只手（10)转动而 引起的、用户（5)的至少一个手指（17)的取向的改变作为整体来确定。
6. 根据权利要求5所述的控制方法，其特征在于，所述计算单元（3)通过如下来确定 对体积区域（14)的抓取和松开，S卩，其根据深度图像（B1)的序列（S)识别对体积区域（14) 的表面的点（18)的触摸和松开，并且所述计算单元（3)根据至少一个手指（17)在体积区 域（14)的表面上的位置的改变确定所述至少一个手指（17)的取向的改变。
7. 根据权利要求6所述的控制方法，其特征在于，所述计算单元（3)在抓取体积区域 (14)之后根据深度图像（B1)的序列⑶附加地确定，用户（5)是否利用至少一只手（10) 的至少一个手指（17)进行向着或离开体积区域（14)的中点（15)的运动，并且所述计算单 元⑶根据所述手指（17)向着和离开所述体积区域（14)的中点（15)的运动来改变所述 计算单元（3)在确定图示（B2)时所使用的缩放系数。
8. 根据上述权利要求中任一项所述的控制方法，其特征在于，所述计算单元（3)将球 体（11)的中点（12)和在球体（11)表面上布置的网格（13)插入到三维结构⑷的透视图 (B2)中。
9. 根据权利要求8所述的方法，其特征在于，所述计算单元（3)附加地将旋转轴线 (16)插入到三维结构⑷的透视图（B2)中。
10. -种对于计算单元（3)的控制方法， -其中，由计算单元（3)通过显示装置（2)将结构（4)的至少一个图像（B2)向计算单 元⑶的用户（5)输出， -其中，由图像采集装置（1)采集深度图像（B1)的序列（S)并且向计算单元（3)传输， -其中，由计算单元（3)根据深度图像（B1)的序列（S)确定，用户（5)是否用手臂（9) 或手（10)来指向图像区域⑶并且必要时确定指向多个图像区域⑶的哪个图像区域， -其中，由所述计算单元（3)根据用户命令（C)将与输出的图像（B2)相关的操纵可能 性插入到输出的图像（B2)的图像区域（8)中，并且 -其中，所述计算单元（3)必要时激活输出的图像（B2)的、与用户（5)所指向的图像区 域（8)相对应的操纵可能性。
11. 根据权利要求10所述的控制方法，其特征在于，所述图像区域（8)在其总体上覆盖 整个输出的图像（B2)。
12. 根据权利要求10或11所述的控制方法，其特征在于，所述操纵可能性由所述计算 单元（3)半透明地插入到所述输出的图像（B2)中。
13. 根据权利要求10、11或12所述的控制方法，其特征在于，由所述计算单元（3)在将 操纵可能性插入到所述输出的图像（B2)之前从原则上能够实施的操纵可能性的整体中确 定关于该输出的图像（B2)能够实施的操纵可能性，并且，由所述计算单元（3)仅将这些能 够实施的操纵可能性插入到该输出的图像（B2)中。
14. 根据权利要求10至13中任一项所述的控制方法，其特征在于，将互相相邻的图像 区域（8)以互相不同的颜色和/或互相不同的亮度插入到所述输出的图像（B2)中。
15. 根据权利要求10至14中任一项所述的控制方法，其特征在于， -由所述计算单元（3)通过显示装置（2)除了结构（4)的该图像（B2)之外还将结构 (4) 的至少另一个图像（B2)和/或另一个结构的另一个图像（B2)向计算单元（3)的用户 (5) 输出， -由所述计算单元（3)根据用户命令（C)将与该另一个图像（B2)相关的操纵可能性也 插入到该另一个图像（B2)的图像区域（8)中， -由所述计算单元⑶根据深度图像（B1)的序列⑶确定，用户（5)是否用手臂（9) 或手（10)来指向该另一个图像（B2)的图像区域（8)并且必要时确定指向哪个图像区域 (8)，并且 -所述计算单元（3)必要时激活所涉及的图像区域（8)布置于其中的图像（B2)的、与 用户（5)所指向的图像区域⑶相对应的操纵可能性。
16. 根据权利要求15所述的控制方法，其特征在于， 由所述计算单元（3)也关于该另一个图像（B2)执行按照权利要求11至14中任一项 所述的控制方法。
17. -种对于计算单元（3)的控制方法， -其中，由所述计算单元（3)通过显示装置（2)将结构（4)的至少一个图像（B2)输出 到所述计算单元（3)的用户（5)， -其中，由图像采集装置（1)采集深度图像（B1)的序列（S)并且传输到所述计算单元 ⑶， -其中，由所述计算单元（3)根据深度图像（B1)的序列（S)确定，用户（5)是否实施预 定义的、与指向输出的图像（B2)或输出的图像（B2)的图像区域（8)所不同的姿势， -其中，由所述计算单元（3)在用户（5)实施预定义的姿势的情况下实施动作，并且 -其中，该动作是与对所述输出的图像（B2)的操纵不同的动作。
18. 根据权利要求17所述的控制方法，其特征在于，所述动作是所述计算单元（3)到一 种状态中的过渡，并且该状态是独立于所述输出的图像（B2)的或者对于所述输出的图像 (B2)和至少另一个、替选于所述输出的图像（B2)的能够输出的图像是相同的。
19. 根据权利要求18所述的控制方法，其特征在于，所述状态是对具有多个菜单项（7) 的选择菜单￠)的调用，并且所述菜单项（7)是能够由用户（5)通过对相应的菜单项（7) 的指向来选择的。
20. 根据权利要求19所述的控制方法，其特征在于，将所述选择菜单（6)由所述计算单 元（3)插入到所述输出的图像（B2)中。
21. 根据权利要求20所述的控制方法，其特征在于，所述选择菜单（6)由所述计算单元 (3)半透明地插入到所述输出的图像（B2)中。
22. 根据权利要求20或至21所述的控制方法，其特征在于，所述选择菜单￠)由所述 计算单元（3)作为圆插入到所述输出的图像（B2)中，并且所述菜单项（7)作为该圆的扇形 显不。
23. 根据权利要求19至22中任一项所述的控制方法，其特征在于，由所述计算单元 (3)在选择所述菜单项（7)之一之后等待用户（5)的确认，并且所选菜单项（7)在通过用户 (5)规定确认之后才由该计算单元（3)执行。
24. 根据权利要求23所述的控制方法，其特征在于， 该确认作为通过用户（5)的预定姿势的规定、作为用户（5)的与姿势不同的命令或者 作为等待时间的流逝来构造。
25. -种计算机装置， -其中，所述计算机装置包括图像采集装置（1)、显示装置（2)和计算单元（3)， -其中，所述计算单元（3)与所述图像采集装置（1)和显示装置（2)相连以用于交换数 据， -其中，所述计算单元（3)、所述图像采集装置（1)和显示装置（2)按照根据权利要求 1至24中至少一项所述的控制方法彼此协作。
【文档编号】G06T19/00GK104156061SQ201410192658
【公开日】2014年11月19日 申请日期:2014年5月8日 优先权日:2013年5月13日
【发明者】R.伯奇, T.弗里斯, T.戈斯勒, M.马腾斯 申请人:西门子公司