用于关于操作人员显示扩展现实的系统的制作方法

本发明涉及一种用于关于操作人员显示扩展现实的系统。

背景技术：

医学成像装置、例如计算机断层成像(CT)或磁共振装置(MR装置)向应用者提供非常宽范围的可能性，用于从检查对象、例如患者产生图像。然而这样的成像装置的运行强烈取决于，能够正确操作这样的装置的有经验的操作人员是否在场。尤其是，在操作MR装置时必须注意不同的方面，诸如HF线圈的定位、受检人员的位置、用于生理学上监视患者的附加设备(EKG/呼吸皮带)的安装和连接、成像序列的选择等。

此外结合医学成像装置，执行治疗措施或介入应用，例如用于切除组织或用于执行小手术。执行人员为此可能还需要其他物品。所有这些物品必须处于随手可取的正确位置，由此可以保证检查平稳进行。

对于检查的平稳进行重要的是经过培训的操作人员，其中必须进行持续的培训。

附加地，已知纸质或电子形式的手册，其能够在操作成像装置时帮助操作人员。然而这样的操作指导在实践中在成像的准备中是不实用的，因为必须携带该操作指导。为了操作人员的健康和出于经济的原因，值得期望的是，最小化成像装置中受检人员的停留时间以及操作中的错误。

技术实现要素：

由此本发明的任务是，进一步改进医学成像装置的操作。尤其是操作人员应该能够快速识别，必须执行具有多个运行步骤的运行协议中的哪个下一个操作步骤，从而在操作中出现更少的错误。

按照第一方面，提供一种用于在处理具有多个运行步骤的运行协议时自动辅助操作人员的方法，其中利用运行协议在医学成像装置中对受检人员进行检查。该方法具有确定要对受检人员执行的运行协议的步骤。此外采集图像数据，其从操作人员的角度显示医学成像装置的周围和受检人员的至少一个环境的视野。确定运行协议的下一个运行步骤，其中由操作人员执行操作步骤。此外产生视觉信息，利用所述视觉信息通知操作人员关于待执行的操作步骤。该视觉信息在用于显示扩展现实的视觉装置中投影到操作人员的视野中，其中显示扩展了视觉信息的视野。

通过使用具有用于显示扩展现实的视觉装置的系统，可以直观地和简单地向操作人员通知下一个步骤。下一个要执行的操作步骤作为视觉信息被投影到视野中。通过遵照视觉信息，操作人员于是可以正确地执行下一个操作步骤。从操作人员的角度显示视野的图像数据例如可以包含医学成像装置，其中医学成像装置的位置和取向在图像数据中被确定。此外采集操作人员的视觉位置，从该视觉位置，操作人员看到所述视野，其中视觉位置在考虑所确定的医学成像装置的位置和取向的条件下被确定。为了将视觉信息对于操作人员正确地投影到视野中，有利的是，识别精确的视觉位置，即，操作人员查看发生的事件的位置。为此必须识别所采集的图像数据中的物品或标记，以便从识别的物品的方位推断出视觉位置和视野。医学成像装置本身是与众不同的对象，其中从成像装置的位置和取向可以很好地推断出视觉位置。尤其是，尽可能确定成像装置的形状，从而可以从成像装置的方位推断出视觉位置和视野。

此外可以从待执行的运行协议自动确定受检人员相对于医学成像装置的定位，其中将受检人员相对于医学成像装置的定位作为视觉信息投影到视觉装置中。通常可以从对于成像装置的运行协议中获悉，应当检查受检人员的哪个部位。如果例如应当拍摄膝盖或头部的图像，则这是可以从运行协议中识别的。当识别了待检查的区域时，也可以推断出，必须如何相对于成像装置定位受检人员。这可以作为视觉信息例如投影到视野中，从而操作人员可以正确执行受检人员的放置。

除了视觉信息，还可以确定人员相关信息，所述信息是关于受检人员的，其中该人员相关信息也被投影到视野中。作为人员相关信息，例如可以将受检人员的姓名投影到视野中。该信息可以帮助操作人员改进整个运行，因为该信息在一些操作步骤中是有用的。

也可以从确定的运行协议中自动确定，运行协议的执行需要哪些附加设备。为此可以产生关于附加地所需的设备的设备信息并且投影到视觉装置中。例如检查可能需要监视一定的生理参数，诸如心跳或呼吸，或者需要注射造影剂。为此所需的设备从运行协议得到。通过设备信息，操作人员立即知道，对于检查的运行，哪些附加设备是需要的。在此例如可以根据采集的图像数据或从成像装置的信息确定，哪些附加设备已经准备好被布置在操作人员的视野中。于是可以确定仍然缺少的设备，其中投影的设备信息还仅提供关于仍然缺少的或尚没有位于正确的位置的设备的信息。

根据所采集的成像装置的环境的图像数据，还可以检查该图像数据，是否在图像数据中包含了操作错误，其中操作错误相应于医学成像装置或受检人员中与运行协议不一致的情形。如果在图像数据中发现这样的情形，则可以确定错误信息并且投影到视野中。如果例如识别到受检人员的放置不正确，例如脚朝前而不是头朝前，则这可以通过视觉装置在视野中强调并且作为错误标记出来，或者可以通过视觉装置将正确的方位投影到视野中。

下一个待执行的操作步骤也可以转换为音频信息并且向操作人员播放。

此外可以确定医学成像装置的当前状态，其中从该当前状态确定状态信息，其与视觉信息并列投影到视野中。例如根据图像数据可以识别，协议的哪些操作步骤或运行步骤已经被执行了并且哪些步骤还缺乏。已经执行的或还缺乏的步骤可以相应地被投影到操作人员的视野中。

当医学成像装置是MR装置时，可以的是，作为下一个待执行的操作步骤，需要将HF线圈定位在受检人员上。投影到视野中的视觉信息于是可以包含HF线圈相对于MR装置和受检人员的定位。线圈在受检人员上和相对于MR装置的定位形成通常的错误源。该错误可以通过视觉地显示应当如何将线圈固定在受检人员和MR装置上来改进。

本发明还涉及一种用于显示如上所述的扩展现实的系统，所述系统具有用于操作人员的视觉装置，视觉信息投影到所述视觉装置中。此外设置用于采集图像数据的图像采集单元和构造为执行上述步骤的处理器单元。

附图说明

以下结合附图详细解释本发明。

图1示意性地示出了在MR装置中使用用于显示扩展现实的系统的装置。

图2示意性地示出了对MR装置和受检人员进行查看的操作人员的视野。

图3示出了图2的例子中操作人员的视野。

图4示出了操作人员的视野，视觉信息被投影到所述视野中，以改善对下一个操作步骤的识别。

图5示出了具有在用于显示扩展现实的系统中可以执行的步骤的流程图。

图6示出了具有用于操作图1的使用用于显示扩展现实的系统的MR装置的步骤的流程图。

具体实施方式

以下说明如何能够借助用于显示扩展现实的系统来简化医学成像装置的操作，从而尤其是出现更少的操作错误和最小化操作的持续时间。

以下对实施方式的描述结合作为医学成像装置的MR装置进行。但是当然，本发明也可以在其他医学成像装置中、诸如在CT或任何其他医学成像装置、诸如X射线装置中使用。

图1示意性地示出了具有用于产生极化场B0的磁体11的MR装置10，其中位于卧榻13上的受检人员12可以被推入磁体11中。MR装置10具有控制单元20，所述控制单元具有用于控制HF脉冲的入射的HF控制器21以及用于在成像期间控制磁场梯度的接通的梯度控制器22。图像序列控制器23用于根据选择的成像序列控制HF脉冲和磁场梯度的使用的时间序列，从而图像序列控制器23也监视和控制HF控制器21和梯度控制器22。此外设置有输入单元24，操作人员可以利用所述输入单元控制MR装置，其中输入单元例如具有键盘、触敏屏、鼠标等。在显示器25上可以规划检查以及显示产生的MR图像。MR装置10可以通过输入/输出单元26与其他单元通信，例如与后面还要详细描述的用于显示扩展现实的系统100通信。在存储器单元27中可以存储拍摄不同的解剖区域的MR图像所需的不同的运行协议。

如何能够在MR装置中通过接通HF脉冲、磁场梯度和检测MR信号产生MR图像，是专业人员公知的，并且在此不详细解释。用于显示扩展现实的系统100具有输入和输出单元110，系统可以利用其与其他装置、诸如MR装置10通信。在系统100和MR装置10之间的通信连接可以是有线通信或无线通信，而在中央的控制单元20和磁体附近的部件之间的连接优选有线地进行。系统100还具有视觉装置。例如视觉装置可以是操作人员佩戴并且如后面还要详细解释的、视觉信息可以投影到其中的眼镜或类似装置。系统还包括具有一个或多个处理器的处理器单元130。处理器单元负责系统的工作方式并且控制各个功能部件的彼此之间的运行以及系统总体上的工作方式。在存储器140中例如可以存储程序代码，其中在通过处理器单元130执行程序代码时可以执行上面已经解释的或后面还要详细解释的系统100的步骤。图像采集单元150设置为采集显示操作人员的视野的图像数据。图像采集单元，例如CCD照相机等，例如可以是固定在操作人员头部的照相机，其产生与操作人员的视野类似的图像数据，从而可以推断出操作人员的视野。此外系统可以具有用于输出音频信号的至少一个扬声器160，例如用于向操作人员不仅视觉地而且还通过音频信息通知下一个要执行的操作步骤。系统100优选是便携式系统，尤其是，视觉装置120和图像采集单元150作为便携式系统构造并且可以由操作人员作为头盔或眼镜佩戴。全部功能单元110至150不一定综合在单个物理单元中，也可以的是，处理器和存储器单元在空间上包含在另一个壳体中并且不同的单元互相有线或无线地通信。

处理器单元130尤其是负责图像处理、在采集的图像数据中识别对象和将视觉信息投影到操作人员的视野中。当然，系统100还可以包含其他部件，诸如用于更精确地确定系统的位置的单元，诸如加速度传感器、磁场传感器、超声波传感器、例如与光电探测器组合的光源、或例如与HF线圈组合的HF源。可以的是，处理器单元130构造为，用于接收按照前面提到的传感器类型的一个或多个传感器的相应的传感器数据。于是，处理器单元130可以构造为，例如在图像数据中至少部分地基于传感器数据确定系统的位置和/或取向。例如借助磁场传感器可以测量MR装置10的磁体11的事先在校准例程中预先测量的杂散场。其典型地具有特征性的位置依赖性并且可以用于精确定位。从测量的数据与从校准例程获得的参考数据的比较，于是可以推断出瞬时位置。替换地或附加地，借助磁场传感器可以确定照相机的方向改变/旋转；这例如可以在3D磁场传感器情况下通过改变测量的磁场的方向或例如在2D磁场传感器的情况下通过改变磁场的强度，例如结合加速度传感器来实现。在MR装置和系统100位于其中的空间中，可以布置其他光学辅助，例如条形码、标志等，其可以由图像采集单元150采集并且其简化对图像采集单元150或操作人员的精确定位。

这样的用于显示扩展现实的系统、即所谓的增强现实系统，原则上如何精确工作，以将信息投影到应用者的视野中，是专业人员公知的并且在此不详细解释。

除了示出的功能单元，系统100还可以具有麦克风、操作元件等。

可以在考虑医学成像装置的元件、诸如卧榻13和其形状是系统100已知的MR装置或壳体的条件下，确定系统100在空间中的取向和定位，由此确定操作人员的视野。当通过后处理在图像数据中识别出MR装置的位置和取向时，可以推断出操作人员的位置和视野。为此可以附加地使用位置传感器，诸如超声波、光或高频和/或加速度传感器和/或磁场传感器。尤其是，可以通过加速度传感器或位置传感器借助超声波、光或高频来确定运动，即，视野的位置改变。操作人员的精确的定位和取向和由此视觉位置的识别是重要的，以便将视觉信息投影到视野中，使得其定位在相应于操作人员的视觉角度的位置中。如果例如在下一个处理步骤中应当将特定的设备定位在特定的地点，则可以作为视觉信息将该设备投影到图像数据中。然而为了操作人员在正确的位置看见该设备，必须已知视觉位置，即操作人员的视野，以及对象在视野中的位置。

图2示意性地示出了操作人员15如何处理对受检人员12的测量，其中该受检人员已经位于卧榻13上。此外显示操作人员15的视野16，其中该视野包括MR装置10、受检人员12和患者卧榻13中的一部分。在图3中此时从操作人员的角度示出操作人员如何看见MR装置10和位于卧榻13上的受检人员12的情形。该视野也由图像采集单元150采集。虽然图像采集单元150的视野稍微转移，因为图像采集单元150相对于眼睛移位地例如布置在操作人员的头部上或头部旁边，但是尽管如此还可以的是，从图像采集单元150相对于操作人员的已知的位置推断出操作人员的视觉位置和视野。

图4此时示出了如何能够借助系统100来辅助操作人员处理MR测量。

在图4中此时示出了，系统100如何能够通过将不同的信息插入到操作人员的视野中，来辅助操作人员。在示出的例子中，要对受检人员12的心脏进行血管造影检查。在示出的例子中已知受检人员的姓名，姓名例如已经由操作人员输入到MR系统中或已经从患者信息系统中提取了姓名。此外已知要执行哪一个运行协议。该运行协议可以从医学问题中得到，在该情况中应当拍摄心脏的MR图像，尤其是血管造影图像，即，显示血流的MR图像。对于不同的医学问题，在存储器单元27中存储不同的运行协议。通过调用和选择运行协议，确定应当执行哪些MR检查，其中由此也确定所需的MR线圈和受检人员在MR装置中的位置。MR系统此时可以向系统100提供状态信息，例如关于卧榻位置、线圈的存在或关于运行协议的信息。在图4中在左上方的图像边缘示出了人员相关信息30，其包含患者姓名和患者信息，其中在右上方的图像边缘作为状态信息32示出了具有不同的运行步骤的运行协议。关于运行协议和与之相关联的状态信息32，还示出了已经执行了哪些运行步骤，在示出的例子中步骤1和2作为已经处理的示出。该信息可以来自于MR装置或者该信息通过系统100确定，例如通过对采集的图像数据的图像后处理，从所述图像数据中例如可以识别，受检人员12已经位于卧榻上。在右上角示出的状态信息32此时告知操作人员，要执行运行协议的下一个运行步骤3。该步骤3包含正确的HF线圈在MR装置中的正确位置上和在受检人员12的正确位置上的安装。系统100此时识别下一个待执行的运行步骤，并且通过由图像采集单元150拍摄的图像数据识别操作人员的视野。由此系统100知道，在图像数据中在哪个位置上操作人员看到受检人员。系统100例如还从MR装置获得信息，下一个步骤是必须由操作人员执行的HF线圈的定位。系统100，尤其是处理器单元130，此时计算，在图像数据中的何处，线圈作为操作人员的视觉信息必须投影到操作人员的视野中，由此操作人员立即识别，必须如何进行线圈在受检人员12和MR装置10上的正确安装。由此视觉信息31被投影到视野中的特定位置，即如下位置，在该位置，从操作人员的角度，线圈必须被安装到受检人员上。此外示出了线圈与MR装置、在此与卧榻13的连接。

作为其他信息，系统100确定MR装置的当前状态，其中该信息例如可以由MR装置提供，或者可以由系统100通过图像后处理和识别采集的图像数据中的对象来确定。该状态信息32在图4中在左下方和右下方的图像边缘处示出，并且例如包含运行协议的名称和MR装置的一些部件的当前状态、诸如HF线圈是否连接，卧榻13的位置等。

在示出的情况中，状态信息32和人员相关信息30被放置为，使得其尽可能少干扰操作人员的视野并且或多或少与对象在视野中的位置无关。状态信息和人员相关信息优选在采集的图像数据的边缘区域中、即在预先确定的固定的子区域中显示，而对于视觉信息31的定位，必须知道受检人员12的和MR装置10的精确方位和位置，由此线圈和线圈与MR装置10的连接元件可以正确地投影到图像数据中。这意味着，产生的视觉信息相对于在图像数据中识别的对象的相对方位是有意义的。处理器单元130计算视觉信息相对于在图像数据中识别的物品、诸如人员12和卧榻13的方位，而进一步投影的状态信息和系统信息基本上与识别的对象在图像数据中的位置无关。

图5总结由系统100为了产生对于操作人员的视觉信息而执行的步骤。该方法在步骤S50开始，并且在步骤S51确定在成像装置中应当执行的运行协议。运行协议具有多个步骤，诸如受检人员的定位，对象、诸如HF线圈在受检人员上的安装，或者其他设备、诸如用于测量心率的EKG电极或用于确定呼吸运动的装置等的安装。在步骤S52，进一步通过图像采集单元150采集图像数据并且从中确定操作人员的视野，由此系统100知道操作人员如何感知周围。由此在视野中也确定在图像数据中对象的位置。在此，确定操作人员的视觉位置和视野。此外在步骤S53，确定哪个操作步骤必须作为下一个由操作人员执行。为此确定运行协议的实际状态，即，哪些运行步骤可能已经被执行。然后确定运行步骤，尤其是操作人员要用来执行操作步骤的运行步骤。如果已知该下一个操作步骤，则然后在步骤S54中可以确定所属的视觉信息。在图4的例子中，下一个操作步骤是HF线圈的安装。对于视觉信息的确定，还必须已知MR装置、受检人员和卧榻13的位置。另一个例子是EKG电极的安装。如果下一个操作步骤是电极的安装，则可以作为视觉信息标记EKG电极在受检人员12上的位置与电极。这可以通过对采集的图像数据的图像后处理确定。当此时确定了，受检人员和患者卧榻位于图像数据中的何处和由此操作人员的视野中的何处时，可以确定待投影的视觉信息的位置，然后将视觉信息投影到操作人员的视野中的计算的位置上(步骤S55)。

该方法在步骤S56结束。

视觉信息也可以作为电影播放，例如产生视觉信息，使得操作人员识别，HF线圈如何布置在受检人员12上和HF线圈如何与MR装置相连。该动画显示使操作人员对操作步骤的正确执行简单和简化。除了视觉信息，例如还可以产生向操作人员播放的音频信息，其中音频信息例如可以包含要如何执行下一个操作步骤的指示。

如果下一个要执行的操作步骤例如是按下成像装置上的特定的操作元件，则该操作按键可以视觉地在视野中被强调地显示，例如通过该操作按键的闪烁或其他方式突出，由此操作人员知道，下一个应当执行哪个操作步骤。

对于一些检查或运行协议，需要附加的设备，例如用于监视诸如心跳的生理参数的设备或用于注射造影剂的装置、用于确定呼吸运动的呼吸带等。系统100可以从采集的图像数据中识别，这些设备是否已经布置在视野中的正确的位置上，该位置是按照运行协议其应当所在的位置。如果否，则还可以通知操作人员，还缺乏这些设备中的哪个，其中可以产生被投影到视野中的设备信息，其作为还缺乏哪些设备的一般的信息，或者具体地在哪个位置还缺乏设备的信息。也可以使示出的状态信息与有效的运行协议匹配，从而仅显示在选择的运行协议下可能的选项。

当运行协议被处理完时，最后可以作为状态信息的另一个可能性显示列表，其显示所有要执行的步骤是否都已经正确地执行。

此外可以的是，系统在采集的图像数据中识别何时发生了操作错误。例如需要的子部件诸如HF线圈被错误地定位，或者受检人员被错误地定位在卧榻上。这可以通过模式识别和图像后处理由系统100识别，其中系统然后产生错误信息，其向操作人员显示，在操作中在何处发生了错误，例如可以突出地显示错误布置的部件，以通知在所突出的部件处存在错误。关于错误的信息也可以由成像装置检测并且传输到系统100。

系统100还可以具有输入装置，操作人员可以利用所述输入装置控制MR装置，其可以是触敏表面或其他操作元件如操纵杆或手柄，利用其可以控制成像装置的各部分，例如卧榻的运动。

结合图6示出，如何能够在使用系统100的条件下执行MR测量。该方法在步骤S60开始，并且在步骤S61登记受检人员。在下一个步骤S62收集不同的信息。该信息可以来自于MR设备的存储器单元27，例如对期望的运行协议的选择。由图像采集单元150产生的图像数据也提供信息，其可以被评估，以收集将视觉信息投影到正确的位置所需的信息。此外MR系统本身可以提供信息。如结合图5详细地描述的，然后可以在步骤S63产生视觉信息并且对操作人员显示，由此得到具有扩展了视觉信息的现实的视野。这是其中附加地投影了视觉信息的图像数据。在步骤S64中检验，运行协议是否结束。如果否，则系统返回到步骤S62，并且重复步骤S62至S64，直到执行了所有步骤为止。如果是，则可以在步骤S65开始MR测量。

图6示出了两个系统、即MR系统10和用于显示扩展现实的系统100的协作。

如上所述，本发明实现了一种用于显示扩展现实的系统，利用其，没有太多培训的操作人员也可以正确执行要执行的操作步骤。由此可以降低在执行运行协议时的错误率并且总体上可以加速成像。用于显示扩展现实的系统具有处理器单元和存储器单元，其中在存储器单元中存储命令，所述命令在通过处理器单元执行时使得系统执行上面描述的步骤。

在另一个实施中，系统具有用于确定待执行的运行协议，用于采集图像数据，用于确定下一个运行步骤和所属的操作步骤的装置。此外存在用于产生视觉信息和将视觉信息投影到视野中的装置。

利用上面描述的系统，可以去除在成像装置本身上存在的显示和控制信息，或者可以减小其范围，因为所需信息通过系统100提供给操作人员。