具有3D用户界面集成的系统的制作方法与工艺

文档序号:11995448阅读:267来源:国知局
具有3D用户界面集成的系统的制作方法与工艺
本发明总体上涉及包括手持设备和至少一个显示器的方法和系统。

背景技术:
3D可视化在许多工业和医疗领域非常重要,其中3D信息变得越来越占主导地位。显示和检查3D信息本质上是非常困难的。为了在屏幕上完全理解3D物体或全部环境,用户通常应该能旋转该物体或场景,这样许多或者优选地所有的表面都被显示。这甚至对3D显示(例如,立体式或全息式)来说是真实的,其中从给定的视角位置并采用给定的视角角度,用户将仅仅看见任意3D环境的某些表面。通常,用户也非常想放大成细节或者缩小以概览。各种用户交互设备用于显示3D数据的软件,这些设备是:3D鼠标、空间球和触摸屏。当前这些交互设备的操作要求物理接触它们。物理接触用户交互设备在医疗应用中或是在肮脏环境的工业应用中存在缺点,其中,在医疗应用中,由于在病人之间或者病人和手术者之间存在交叉感染的危险。在医疗应用中用于3D数据视图的几种非接触用户界面已经在著作中进行了描述。Vogt等人(2004)描述了一种3D医学成像数据的现场可视化的非接触式交互系统。该用户界面基于反射标记物的跟踪,其中照相机安装在医师头部。Graetzel等人(2004)描述了一种非接触式系统,其将手势解释为鼠标动作。其基于立体视图并且旨在在微创外科手术中使用。仍然存在改进这样系统的问题,该系统要求用于视图控制的用户界面,例如可用于临床目的。

技术实现要素:
所公开的系统包括手持设备和至少一个显示器,其中该手持设备适于执行物理3D环境中的至少一个动作,其中该至少一个显示器适于可视化表示该物理3D环境,并且其中该手持设备适于远程控制所述3D环境表示在该显示器上的视图。该系统可适于在执行物理3D环境中的至少一个动作和远程控制3D环境表示在该显示器上的视图之间进行切换。这里所公开的系统执行将3D用户界面功能与任何其他手持设备以及其他操作功能进行集成,这样操作者理想地仅触摸该将要进行触摸的后面的设备。这种手持设备的一种特定实施例是记录某些3D结构的一种,例如手持3D扫描仪。该手持设备是多功能设备,诸如双功能或者两用设备,即既能执行物理3D环境中的动作(例如测量和操作)又能远程控制该3D环境在显示器上的视图的设备。结构上,视图由实际观察者/照相机相对于该3D环境或其可视化表示物的位置和方位来确定。如果该显示器是二维的,该视图也由投影类型来确定。视图还可由放大因子来确定。实际观察者和3D环境的位置和方位通常彼此相关。根据用户在具有3D输入设备的软件系统中的经历,用户可感受,例如,他/她在他/她本身保持静止的同时移动该3D环境,但是通常是实际观察者/照相机在显示器上给出了同样结果的等效移动。通常,3D软件系统的描述采用了术语“平移(pan)”来表示3D环境的明显的平移运动,“旋转”来表示3D环境的旋转运动,“缩放”来表示放大因子的变化。图表上,视图可通过照片或者例如计算机图表之类的某种可视化表示物或类似物来表示3D环境。计算机图表可例如以文本和/或阴影和/或实际光源和/或用于表面特性的光模型来显示。计算机图表还可是3D环境的简化表示,例如网格、轮廓或其他简化表示。所有或部分3D环境还可采用某些透明度来显示。视图可以其整体或仅仅是部分来表示该3D环境。所有的这些非接触式现有技术系统仅仅是3D用户界面设备。在许多现有技术的应用中,采用这种用户界面设备的操作者还将持有另一设备并且采用另一设备工作,该设备真正是整个应用(例如医疗仪器)的核心设备。因此本系统的优点是该3D用户界面功能集成在核心设备中,用于执行某种动作。在某些实施例中,该手持设备适于远程控制该放大,其中3D环境采用该放大表示在显示器上。在某些实施例中,该手持设备适于在显示器上改变该3D环境的显示。在某些实施例中,该视图限定为视觉角度和/或视觉位置。在某些实施例中,该至少一个动作包括下列动作中的一个或多个:-测量;-记录;-扫描;-操作;-修正。在某些实施例中,该3D环境包括一个或多个3D物体。在某些实施例中,该手持设备适于由操作者保持在一只手中。在某些实施例中,该显示器适于从多个视图表示该3D环境。在某些实施例中,该显示器适于从不同的视觉角度和/或视觉位置表示该3D环境。在某些实施例中,3D环境在至少一个显示器中的视图至少部分由保持所述设备的操作者的手的运动来确定。在某些实施例中,表示在至少一个显示器中的放大至少部分由保持所述设备的操作者的手的运动来确定。在某些实施例中,该手持设备适于记录该3D环境的3D结构。因此,该手持设备可以是口腔牙科扫描仪,其记录病人牙齿的3D结构。操作者可沿着病人的牙齿移动该扫描仪,用于捕获相关牙齿,例如全部牙齿的3D结构。该扫描仪可包括运动传感器,用于在产生所扫描的牙齿的3D模型的同时考虑扫描仪的移动。牙齿的3D模型可在显示器上示出,显示器例如可以是PC屏幕等等。用户界面功能可包括将运动传感器组合到扫描仪中,这样用户可通过移动该扫描仪来在屏幕上确定该视图。向下指该扫描仪可以给定的向下视角来示出所扫描的牙齿。在水平位置保持该扫描仪可使得视角同样也是水平的。在某些实施例中,该手持设备包括至少一个用户界面元件。用户界面元件是其中用户可进行操作以便启动该软件用户界面上的功能的元件。典型地,该用户界面是图表式呈现在系统的显示器上。该手持设备还可设置有致动器,其使得该手持设备在执行至少一个动作和远程控制该视图之间进行切换。通过提供这种手动切换功能,操作者容易控制要执行的那些,其中该手动切换功能使得操作者在执行该至少一个动作和远程控制该视图之间切换。这种致动器可以例如是以按钮、开关或触头的形式。在其他实施例中,其可以是触敏式表面或者元件。在另一实施例中,致动器可以是设置在手持设备中的运动传感器,在其注册运动的特定类型时,例如,如果操作者摇晃该手持设备时,其可用作致动器。这种运动传感器的实施例将在本文中相对用户界面元件进行描述,然而,本领域技术人员根据本文中公开的内容知道,这种运动传感器也可用作如上所述的致动器。例如,在一个实施例中,该手持设备可以是牙科医生使用的口腔3D扫描仪。该扫描仪设定为当致动器位于一个位置时执行扫描牙齿区域的动作。当致动器切换到第二位置时,该手持设备设定为控制该视图,其中3D环境采用该视图显示在显示器上。这可能是例如当牙科医生扫描完牙弓的部分或全部预定区域时,他可启动该致动器,然后使得该牙科医生通过采用该手持设备来远程控制所扫描的区域在显示器上的3D显示视图。例如,该致动器可以是按钮。当快速按压按钮时,该手持设备准备扫描,即,其设定为在物理3D环境中执行至少一个动作,扫描程序。当第二次快速按压该按钮时,停止扫描。在执行扫描的同时,可视化3D显示可视化地构建在该显示器上。用户现在可按压并保持该按钮。这将使得手持设备进入到控制器模式,其中该手持设备适于远程控制视图,其中采用该视图,诸如所扫描的牙齿之类的3D环境显示在显示器上。在保持按钮按压的同时,该系统将使用来自手持设备中的运动传感器的信号来确定如何去显示实际3D环境的视图。因此,如果用户转向或者另外移动保持该手持设备的手,那么实际3D环境在显示器上的视图因此将改变。因此,牙科医生可采用相同的手持设备,用于同时扫描区域并且随后识别扫描已经正确执行,而不必从病人处移开或者触摸除已经呈现在他手中的之外的任何其他设备。在一个实施例中,该用户界面元件与致动器相同,或者当有几个用户界面元件时,其中的至少一个也用作致动器。该系统可配有按钮,作为提供用户界面功能的附加元件。在一个实施例中,该手持设备是手持口腔扫描仪,并且该显示器是计算机屏幕。操作者或用户可以是牙科医生、助手和/或其他。该设备的操作功能可以记录某些口腔的3D结构,该用户界面功能可以是在计算机屏幕上旋转、摇动和缩放被扫描的数据。在某些实施例中,至少一个用户界面元件是至少一个运动传感器。因此,将用户界面功能在设备中的集成可以由运动传感器来设置,其可以是扫描仪内的加速计,其读取决定了由扫描仪获得的牙齿的3D模型在屏幕上的显示方位。其他的功能,例如,启动/停止扫描,可由按钮来提供。该按钮可以位于操作者或用户的食指可以方便到达的地方。现有技术中的口腔扫描仪采用触摸屏,轨迹球或者鼠标来确定显示器中的视图。这些现有技术的用户界面设备可以是不方便使用的、不合适使用的或者难以使用的,并且它们可以是劳动密集型的,因此需要花费成本进行杀菌或消毒。口腔扫描仪通常应该在扫描不同的病人之间进行消毒,这是因为扫描仪要进入到将要被扫描的病人的口腔或其他部分内,或者与口腔或其他部分接触。操作者或者用户,例如,牙科医生,可以使用一只手或者双手来在扫描的同时保持该口腔扫描仪,并且该扫描仪可以足够轻和舒适,以便在扫描的同时可以仅仅采用一只手来保持足够长的时间。该设备也可采用一只手或者两只手来保持,同时采用该设备作为例如改变显示器中视图的远程控制。无接触式用户界面功能的好处在于:在医疗情形下,操作者可以保持双手洁净、消毒或者甚至无菌的状态。该系统的好处在于其可以在3D环境中进行重复过程,而不用在所述过程中释放该手持设备。对于上述的口腔扫描系统的实例,操作者(例如牙科医生)可以采用成为口腔扫描仪的手持设备记录某些牙齿表面的结构,检查通过采用相同的手持设备记录的表面覆盖面,以便移动(例如旋转)在诸如计算机屏幕之类的显示器上被记录的表面,检测所扫描的牙齿覆盖面中可能的缝隙或孔洞,然后例如将扫描仪安排在缝隙所在的并且继续记录那儿的牙齿表面几何结构的区域中。在这全部的重复环节之上,其可重复超过一次,诸如与得到牙齿预定扫描覆盖面所需的多次,牙科医生不必将该手持口腔扫描放置在他或她的手之外。在某些实施例中,3D用户界面功能拓展到除操作功能之外的单个位置中。对于上述的口腔扫描系统实例,该扫描操作在病人的口腔内执行,而当该扫描仪位于病人口腔之外时该用户界面功能更灵活地扩展。再一次,该系统主要的特性和优点在于牙科医生可以拓展为扫描仪的双重以及集成功能(即操作和用户界面)而不用将其放置在他或她的手之外。上述的口腔扫描系统是实施例的一个实例。操作功能或者执行动作的其他实例可以是钻孔、焊接、研磨、切割、钎焊、摄影、拍摄、测量、执行某些外科手术过程等等。系统的显示器可以是2D计算机屏幕,投射立体图像对的3D显示器,产生3D效果的立体显示器(诸如扫描体显示器)静态体显示器,视差屏障显示器,全息显示器等等。即使采用3D显示器,操作者相对于同一时刻的3D环境仅仅具有一个视觉位置和视觉角度。操作者可移动他/她的头部来假定另一物理视觉位置和/或视觉角度,但是通常来说,可以更方便使用具有其内置用户界面功能的手持设备(例如远程控制)来改变展示在显示器中的视觉位置和/或视觉角度。在某些实施例中,该系统包括多个显示器,或者分成多个区域的一个或多个显示器。例如,在PC屏幕上的几个子窗口可以表示3D环境的不同视图。该手持设备可以用于改变其全部的视图,或者仅仅改变其部分的视图。在某些实施例中,用户界面功能包括使用手势。例如由操作者形成的手势可以用于改变、转移或者在子窗口之间切换,并且该用户界面功能可以限制为有效的子窗口或者几个显示器中的一个。在某些实施例中,手势适用于由至少一个运动传感器来检测。手势可由范围传感器或记录身体运动的其他传感器来交替和/或另外检测。操作者不必一直监测系统的该至少一个显示器。在许多应用中,操作者将采用该手持设备在观察和可能的操作该显示器以及执行另一操作之间转换。因此其好处在于操作者不必接触其他用户界面设备。然而,在某些情形中,操作者不可能全部避免接触其他设备,并且,在这些情况下,其好处是与其中手持设备根本不提供任何用户界面功能的系统相比,要求进行较少的接触。在某些实施例中,至少一个显示器设置成与该手持设备分开。在某些实施例中,至少一个显示器定义成第一显示器,并且其中该系统还包括第二显示器。在某些实施例中,该第二显示器设置在该手持设备上。在某些实施例中,该第二显示器设置在该手持设备上使得在操作者操作该手持设备的同时该显示器适于被操作者观察的位置中。在某些实施例中,该第二显示器显示出该手持设备相对于该3D环境进行定位的地方。在某些实施例中,该第一显示器和/或第二显示器为操作者提供了指令。该显示器可以多种方式设置。例如,它们可以安装在墙壁上,设置在某种看台或者手推车(cart)上,设置在架子上或者桌子上,或者其他。在某些实施例中,至少一个显示器安装在设备本身上。其好处在于:采用这种设置可以使得在设备本身上具有显示器,操作者的眼睛不必交替在不同的距离之间聚焦。在某些情况下,操作功能要求在操作的设备以及3D环境的附近来近距离地观察,这样可以远离操作者的手尽量远的距离来进行观察。尤其是在诸如牙科诊所、手术室、或者工业工作间之类的嘈杂环境中,难以放置离该设备较近的外部显示器。在某些实施例中,在除第一显示器之外的一个或多个装置上提供视觉信息给操作者。在某些实施例中,将给操作者的音频信息提供给操作者。因而在某些实施例中,该系统提供了另外的信息给操作者。在某些实施例中,该系统包括在除显示器之外的其他装置上显示的其他视觉线索,该其他装置例如该设备上的LED。在某些实施例中,该系统提供音频信息给操作者,该音频信息例如通过不同的声音和/或通过语音。提供给该操作者的所述信息可以包括用于使用的指令、警告等等。该信息有助于改进该设备的动作执行或操作功能,例如通过显示将要执行的动作或操作如何,和/或有助于改进动作或操作容易性和/或动作或操作结果质量的指令。例如,LED可以改变色彩和/或闪烁频率。在一个扫描仪中,信息可涉及所扫描的3D环境如何好地聚焦和/或扫描质量和/或扫描覆盖面。该信息可包括如何最好地定位该扫描仪的指令,例如获得好的扫描质量和/或扫描覆盖面。该指令可用于计划和/或执行托架定位。该指令可以是给操作者的消息系统的形式。在某些实施例中,某些3D用户界面功能由嵌入于该设备中的至少一个运动传感器来提供。运动传感器的实例是加速计,陀螺仪,以及磁强计等等。这些传感器可以感测旋转、横向运动和/或其组合。其他运动传感器使用红外感测。例如,至少一个红外传感器可安装在该设备上,至少一个红外发射器可安装在该设备的周围。相反,该至少一个发射器可安装在该设备上,该至少一个传感器安装在周围。另一种可能性是在该设备上使用红外反射器以及在其周围使用传感器和发射器,或者再次相反。因此运动可通过各种原理来感测。通过恰当的信号处理,某些传感器可重新识别其他的操作者的动作;例如诸如轻敲、挥手或者摇动该手持设备之类的手势。因此,这些手势还可扩展到3D用户界面功能中。在某些实施例中,该手持设备包括提供传感器联合的至少两个运动传感器。传感器联合可用于从例如原始陀螺仪、加速计和/或磁强计数据获得更好的运动信号。传感器联合可以诸如InvenSenseMPU300之类的IC来实现。在某些实施例中,该手持设备包括除至少一个运动传感器之外的至少一个用户界面元件。在某些实施例中,该至少一个其他用户界面元件是触敏式元件。在某些实施例中,该至少一个其他用户界面元件是按钮。在某些实施例中,该至少一个其他用户界面元件是滚轮。在某些实施例中,用户界面功能通过设备上其他的元件来提供。因而这些其他的元件例如是按钮、滚轮、触敏式场区、近距离传感器等等。该其他用户界面元件可扩展或使用在对于设备的应用场合来说合适的工作流中。该工作流可以某些用户软件应用来实现,其中该用户软件应用也可控制该显示器并且因此控制表示在其上的视图。给定的界面元件可提供多个用户输入给软件。例如,按钮既可提供单击,也可提供双击。例如,双击可意味着在工作流中优先进行连续的步骤。对于口腔扫描的实例,该工作流中的三个步骤可用于扫描口腔下部、口腔上部以及咬合。触敏式场区可在多个方向上提供敲击,每个方向具有不同的效果,等等。从用户界面元件提供多个用户输入是有益的,这是因为相对于其中每个用户界面元件仅仅提供一个用户输入的情形可以减小设备上用户界面元件的数量。该运动传感器还可扩展到工作流中。例如,举起该设备,其可通过加速计进行感测,可表示某种类型的用户输入,例如启动某些动作。在其是扫描仪的设备中,其可以启动扫描。相反,将设备放置在某种支撑器之后,由于某个时间段上没有加速出现因而可通过加速计感测到,可停止所述动作。如果由该设备执行的动作是某种记录,例如扫描,例如3D扫描,那么记录的结果也可以扩展为用户输入,可能与来自其他用户界面元件的用户输入一起。例如,采用具有有限场区深度的3D扫描仪,通过检测任何3D点是否被记录而可以检测出是否3D环境中的任何物体表示在与该场区深度对应的体积中。用户输入可取决于这种检测的出现。例如,口腔扫描仪上的按钮点击可提供不同的用户输入,该用户输入取决于扫描仪是否在口腔内,其中可检测到牙齿,或者明显检测出牙齿远离口腔或者位于口腔外部。同样,运动传感器信号的效果可对于每个情况进行不同的解释。例如,扫描仪当其位于口腔之外时,可仅改变表示在该显示器上的视图。在某些实施例中,该手持设备适于改变该视觉角度,其中3D环境采用该视觉角度表示在该至少一个显示器上。在某些实施例中,该手持设备适于改变放大因子,其中该3D环境可采用该放大因子表示在该至少一个显示器上。在某些实施例中,该手持设备适于改变视觉位置,其中该3D环境可采用该视觉位置表示在该至少一个显示器上。在某些实施例中,该3D环境的视图包括视觉角度、放大因子和/或视觉位置。在某些实施例中,该3D环境的视图包括以文本和/或阴影的显示。在某些实施例中,该至少一个显示器分成多个区域,每个区域以不同的视图显示该3D环境。因而,在某些实施例中,该用户界面功能包括改变视图,其中3D环境采用该视图显示。视图中的变化可包括视觉角度、视觉位置、放大因子等等的变化。视角的变化可以自然地通过旋转该设备来影响。旋转自然地借助于陀螺仪和/或相对于由加速计感测的重力来感测。缩放,即,放大的改变,可例如分别通过向前和向后推动该手持设备来实现。视图位置的平移变化,例如淘选,可例如通过向上/向下和/或侧向推动手持设备来实现。在某些实施例中,该用户界面功能包括挑选或选择显示器上的项或由本领域公知的计算机中的图形用户界面提供的任何其他功能。操作者可执行挑选。3MESPE出售的LavaC.O.S扫描仪已经在该手持设备上具有了其他的按钮,但是它不可以通过这些按钮来操作视图。它们仅有的目的是通过菜单系统进行导航,并且启动/停止扫描。在某些实施例中,该用户界面功能包括操作显示在屏幕上的3D环境。例如,操作者可以影响3D环境中物体的变形或者改变物体的位置或方位。因此,在某些实施例中,该用户界面功能包括虚拟用户界面功能,其可以是3D数据被操作,但是其中设备操作的物理3D环境并不被操作。在某些实施例中,该手持设备是口腔扫描仪和/或耳内扫描仪。如果扫描仪包括尖端,该尖端可以互换,借此,扫描仪可以变为适合在口内扫描或者在耳内扫描。由于耳朵的腔比口腔小,因此安装到耳朵中的尖端小于安装在口腔内的尖端。在某些实施例中,该手持设备是外科手术仪器。在某些实施例中,该外科手术仪器包括至少一个运动传感器,其内置于该仪器内。在某些实施例中,该手持设备是机械工具。在某些实施例中,该工具具有至少一个内置的运动传感器。在其他实施例中,其他用户界面元件同样内置,其他用户界面元件例如是按钮、滚轮、触敏式场区或者近距离传感器。在某些实施例中,该3D环境的3D结构是现有公知的或者该环境的3D表示是本领域公知的,即在动作执行之前已经知道的该环境的3D表示。例如,在外科手术中,CT扫描可以在手术过程之前开始。本实施例的手持设备可以是医师需要在正确的3D位置进行应用的外科手术仪器。为了确保达到该正确的位置,有益的是可以从多个交互的透视图中观察该3D环境,即,不必释放该手术仪器。该系统在上述外科手术中的好处还在于:该手持设备能够至少部分地记录3D环境,典型地在其小于表示在现有数据中的体积的3D场区视图中记录3D环境。由该手持设备记录的3D数据可以采用现有数据实时注册,这样可检测到设备的位置和方位。在某些实施例中,该3D结构包括该环境的3D表面。在某些实施例中,该3D结构包括该环境的3D立体表示。因此,该3D环境可作为立体数据显示,或者作为表面显示,或者作为其组合显示。立体数据典型地表示为体素。体素可包括多个标量值。表面数据典型地表示为网格,诸如三角形网格,或者点云。该扫描可通过LED扫描,激光扫描,白光扫描,X射线扫描和/或CT扫描来执行。本发明涉及包括上述系统的不同方面以及下文中对应的系统、方法、设备、用途和/或产品装置,每个都具有结合上述的第一方面描述的一个或多个优点和好处,并且每个都具有与结合上述的第一方面和/所附权利要求公开的内容描述的实施例对应的一个或多个实施例。尤其是,本文中所公开的内容是一种在手持设备和至少一个显示器之间交互的方法,其中该方法包括下列步骤:-通过该手持设备执行物理3D环境中的至少一个动作;-通过至少一个显示器可视化表示该物理3D环境;以及-通过该手持设备远程控制所表示的3D环境在显示器上的视图。此外,本发明涉及一种计算机程序产品,包括程序代码装置,用于当所述程序代码装置在该数据处理系统上执行时使得数据处理系统执行根据任何实施例的方法,以及一种计算机程序产品,包括计算机可读取媒介,其存储在程序代码装置上。根据另一方面,公开了一种系统,包括用于在3D环境中操作的手持设备以及用于可视化所述环境的至少一个显示器,其中该显示器适于从多个透视图表示所述环境,其中所述设备适于由操作者保持在一只手中,并且其中表示在至少一个显示器中的透视图至少部分由保持所述设备的操作者的手的运动来确定。根据另一方面,公开了一种系统,包括用于在3D环境中操作的手持设备以及用于可视化所述环境的至少一个显示器,其中该显示器适于在多个视图中表示所述环境,其中所述设备适于由操作者保持在一只手中,其中表示在至少一个显示器中的视图至少部分由保持所述设备的操作者的手的运动来确定,并且其中该设备具有至少一个触敏式用户界面元件。操作者手的运动典型地由设置在该手持设备中的运动传感器来确定。定义:3D结构:三维空间中的物质系列或其虚拟表示。3D环境:在三维空间中每个具有3D构型的物理物体系列。视图:3D环境表示在显示器上的一种方式。结构上而言,视图由虚拟的观察者/照相机的位置和方位来确定。如果显示器是二维的,那么视图也由投影的类型来决定。视图还可由放大因子来决定。图形上而言,视图可以通过照片或者诸如计算机图表等之类的某种虚拟表示来示出3D环境。计算机图表可包括例如用于表面特性的文本和/或阴影和/或虚拟光源和/或光模型。计算机图表还可以是3D环境的简化表示,例如,网格,略图或其他简化的表示形式。该3D环境的全部或部分还可具有某些程度的透明度。视图可以整体或仅其局部来表示3D环境。功能:目的或将要进行的用途。执行动作或者操作功能:包括与3D环境交互的某种类型的动作或功能,例如测量、修正、操作、记录、触摸、感测、扫描、移动、变换、切割、焊接、化学处理、清除等等。术语“操作”因此并不指外科手术过程,但是操作可以包括外科手术过程。用户界面功能:用于在人类用户和具有显示器的机器之间进行交互的功能。手持设备:具有至少一个功能并且可由人类操作者的一只手或双手在执行该至少一个功能的同时保持的物体。3D扫描仪:分析实物世界物体或3D环境以其形状或可能的外观来收集数据的设备。扫描覆盖面:在扫描操作后由所记录的数据所表示的物理表面所能到达的程度。运动传感器:检测运动的传感器。运动可以通过以下内容来检测:声音(声音传感器),光学(光学和红外传感器以及视频图像处理器),地磁学(磁力传感器,磁强计),传输能量的反射(红外激光雷达,超声波传感器,以及微波雷达传感器),电磁感应(感应环检测器),以及振动(摩擦电的、地震的以及惯性开关传感器)。MEMS加速计,陀螺仪,以及磁强计是运动传感器的实例。工作流:以软件实现的任务序列。附图说明参考下面的附图,本发明的上述和/或其他目的、特征和优点将通过本发明实施例的示意性的和非限定性的详细描述来进一步阐述,其中:图1示出了包括手持设备和显示器的该系统的实例。图2示出了采用该手持设备以远程控制形式的用户界面功能的实例。图3示出了该手持设备的实例。图4示出了在手持设备和显示器之间交互的方法的流程图的实例。具体实施方式在下面的描述中,参考附图,其中附图以演示的方式示出了本发明是如何实践的。图1示出了包括手持设备和显示器的该系统的一个实例。该手持设备100在本实施例中是口腔牙齿扫描仪,其记录病人牙齿的3D结构。操作者102沿着病人104的牙齿移动该扫描仪,用于捕获相关牙齿(例如全部牙齿的)3D结构。扫描仪包括运动传感器(未示出),用于在形成被扫描牙齿的3D模型105的同时考虑扫描仪的运动。显示器101在本实施例中是显示由扫描仪记录的数据的PC屏幕。图2示出了采用该手持设备的以远程控制形式的用户界面功能的实例。通过移动该手持设备100,手持设备100(例如扫描仪)中的运动传感器(未示出)使得用户102可以确定显示器101(例如屏幕)上示出的视图。图2a)示出了向下指设备100提供了从向下的视觉角度中示出被扫描牙齿的3D模型。图2b)示出了在水平位置保持该扫描仪提供了同样水平地来自前方的视觉角度,使得被扫描牙齿的3D模型从前部示出。图3示出了手持设备的实例。手持设备100在本实例中是具有手枪式手柄的口腔扫描仪。该扫描仪包括壳体106以及适于插入病人口中的尖端108,该壳体106包括手枪式手柄部107。在该实施例中,扫描仪还配备有按钮103,其是提供用户界面功能的附加元件。图1、图2和图3所示的该实施例系统包括设备100和显示器101,该设备100是手持口腔扫描仪,显示器101是计算机屏幕。操作者102可以是牙科医生,助手等等。在一个实施例中,设备100的动作执行或操作功能是记录某些口腔的3D结构,并且该用户界面功能是在计算机屏幕101上旋转、平移和缩放被扫描数据的3D模型105。设备100中的用户界面功能的集成可由运动传感器(未示出)提供,该运动传感器可以是扫描仪100内的加速计,其读数确定由扫描仪100所获取的牙齿的3D模型105在屏幕上的显示方位,如图2a和2b所示。例如启动/停止扫描之类的其他功能,可由按钮103提供,如图3所示。在本实施例系统中,按钮103位于其中用户的食指可以方便到达的地方。在图1中,牙科医生102采用两只手在扫描的同时来保持该口腔扫描仪100,但是应该理解,该扫描仪100还可以在扫描的同时用一只手进行保持。该设备100还可以采用一只或两只手来保持,同时改变3D模型105在显示器101中的透视图。图1所示的实施例因而演示了非接触式用户界面功能的优点,因为在许多诊所情形下,操作者102应保持双手洁净、消毒或者甚至无菌。3D用户界面功能可扩展到操作功能之外的单个位置中。对于上述的口腔扫描系统实例而言,该扫描操作在病人的口腔内执行,如图1所示,同时用户界面功能更灵活地在扫描仪位于病人口腔之外时进行扩展,如图2和3。图4示出了在手持设备和显示器之间交互的方法的流程图的实例。在步骤101中,通过该手持设备执行在物理3D环境中的至少一个动作。该动作可以是如图1所示的牙齿的扫描。在步骤102中,该物理3D环境由该至少一个显示器进行可视化显示。这可以是如图1所示的被扫描的牙齿的3D模型显示。在步骤103中,在显示器上示出的所表示的3D环境的视图在显示器上通过该手持设备进行远程控制。这可以成为如图2所示的3D模型视觉角度的控制。本方法中的所有步骤可以重复一次或多次。其中步骤执行的顺序可以不同于上述的顺序,其在图中由虚线示出。如果该步骤中的一个或多个执行多次,那么该步骤的顺序也可以是不同的。尽管某些实施例已经详细描述和示出,但是本发明并不局限于此,而还可以以所附权利要求限定的主题的范围内的其他方法实施。特别是,应该理解,只要不脱离本发明的范围,可以采用其他实施例和进行结构上和功能上的变形。在设备权利要求中,枚举了几种装置,这些装置的几种可以由一种硬件或同款的硬件来实施。其事实仅仅是特定的测量值重新引用在互不相同的从属权利要求中或描述在不同的实施例中,其并不显示为这些测量值的组合不能一起使用。应该强调,使用在本说明书中的术语“包括”用于指明所阐述的特征、集成物、步骤或成分的出现,但是并不排除一个或多个其他特征、集成物、步骤、成分或其组合的出现或添加。上述以及下文中的方法的特征可以软件形式实现,并在数据处理系统或由计算机可执行指令执行所导致的其他处理装置来实现。这些指令可以是通过计算机网络从存储媒介或另一计算机加载到存储器中的程序代码装置。该存储器例如RAM。可替换地,所述的特征可以通过代替软件的硬件电路或者与软件组合来执行。文献:C.Graetzel,T.Fong,S.Grange,和C.Baur的ANon-ContactMouseforSurgeon-ComputerInteraction.TechnologyandHealthCare12(3),2004VogtS.,KhameneA.,NiemannH.,SauerF.的AnARsystemwithintuitiveuserinterfaceformanipulationandvisualizationof3Dmedicaldata,Stud.HealthTechnol.Inform.2004;98,pp.397-403。实施例:下面的实施例涉及由本文说明书所描述的系统的一个方面。1.一种系统,包括手持设备和至少一个显示器,其中该手持设备适于在物理3D环境中执行至少一个动作,其中该至少一个显示器适于可视化表示该物理3D环境,并且其中该手持设备适于远程控制该视图,其中该3D环境可采用该视图表示在该显示器上。2.根据上述实施例中的任何一个或多个实施例的系统,其中该视图定位为视觉角度和/或视觉位置。3.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备适用于远程控制该放大,其中该3D环境采用该放大表示在该显示器上。4.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备适于改变该3D环境在该显示器上的显示。5.根据上述实施例中的任何一个或多个实施例的系统,其中该至少一个动作包括下列中的一个或多个:-测量;-记录;-扫描;-操作,和/或-修正。6.根据上述实施例中的任何一个或多个实施例的系统,其中该3D环境包括一个或多个3D物体。7.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备适于由操作保持在一只手中。8.根据上述实施例中的任何一个或多个实施例的系统,其中该显示器适于从多个视图中表示该3D环境。9.根据上述实施例中的任何一个或多个实施例的系统,其中表示在该至少一个显示器中的3D环境的视图至少部分由保持所述设备的操作者的手的运动来确定。10.根据上述实施例中的任何一个或多个实施例的系统,其中表示在至少一个显示器中的放大至少部分由保持所述设备的操作者的手的运动来确定。11.根据上述实施例中的任何一个或多个实施例的系统,其中,该手持设备适于记录3D环境的3D结构。12.根据上述实施例中的任何一个或多个实施例的系统,其中,该3D环境的3D结构是现有技术公知的。13.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备包括至少一个用户界面元件。14.根据上述实施例中的任何一个或多个实施例的系统,其中该至少一个用户界面元件是至少一个运动传感器。15.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备包括提供传感器联合的至少两个运动传感器。16.根据上述实施例中的任何一个或多个实施例的系统,其中该用户界面功能包括使用手势。17.根据上述实施例中的任何一个或多个实施例的系统,其中该手势由该至少一个运动传感器检测。18.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备包括除该至少一个运动传感器之外的至少一个用户界面元件。19.根据上述实施例中的任何一个或多个实施例的系统,其中该至少一个其他的用户界面元件是触敏式元件。20.根据上述实施例中的任何一个或多个实施例的系统,其中该至少一个其他的用户界面元件是按钮。21.根据上述实施例中的任何一个或多个实施例的系统,其中该至少一个其他的用户界面元件是滚轮。22.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备适于改变视觉角度,其中3D环境采用该视觉角度显示在该至少一个显示器上。23.根据上述实施例中的任何一个实施例的系统,其中该手持设备适于改变放大因子,其中该3D环境采用该放大因子表示在该至少一个显示器上。24.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备适于改变视觉位置,其中该3D环境采用该视觉位置显示在该至少一个显示器上。25.根据上述实施例中的任何一个或多个实施例的系统,其中该3D环境的视图包括视觉角度、放大因子和/或视觉位置。26.根据上述实施例中的任何一个或多个实施例的系统,其中该3D环境的视图包括文本和/或阴影的显示。27.根据上述实施例中的任何一个或多个实施例的系统,其中该至少一个显示器分成多个区域,每个区域采用不同的视图来示出该3D环境。28.根据上述实施例中的任何一个或多个实施例的系统,其中该3D结构包括该环境的3D表面。29.根据上述实施例中的任何一个或多个实施例的系统,其中该3D结构包括该环境的3D立体表示。30.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备是口腔3D扫描仪。31.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备是外科手术仪器。32.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备是机械工具。33.根据上述实施例中的任何一个或多个实施例的系统,其中该手持设备是耳内3D扫描仪。34.根据上述实施例中的任何一个或多个实施例的系统,其中该至少一个显示器设置成与该手持设备分开。35.根据上述实施例中的任何一个或多个实施例的系统,其中该至少一个显示器设置在手推车上。36.根据上述实施例中的任何一个或多个实施例的系统,其中该至少一个显示器定义为第一显示器,并且其中该系统还包括第二显示器。37.根据上述实施例中的任何一个或多个实施例的系统,其中该第二显示器设置在该手持设备上。38.根据上述实施例中的任何一个或多个实施例的系统,其中该第二显示器设置在手持设备中这样的位置上:使得该显示器适于由操作者进行观察,同时该操作者操作该手持设备。39.根据上述实施例中的任何一个或多个实施例的系统,其中该第二显示器显示该手持设备相对于该3D环境定位在哪。40.根据上述实施例中的任何一个或多个实施例的系统,其中该第一显示器和/或第二显示器为操作者提供指令。41.根据上述实施例中的任何一个或多个实施例的系统,其中将视频信息在除第一显示器之外的一个或多个装置上提供给操作者。42.根据上述实施例中的任何一个或多个实施例的系统,其中将给操作者的音频信息提供给该操作者。43.根据上述实施例中的任何一个或多个实施例的系统,其中该扫描通过LED扫描、激光扫描、白光扫描、X射线扫描和/或CT扫描来执行。44.一种在手持设备和至少一个显示器之间交互的方法,其中该方法包括下列步骤:-通过该手持设备执行物理3D环境中的至少一个动作;-通过至少一个显示器可视化表示该物理3D环境;以及-通过该手持设备远程控制在显示器上所表示的3D环境的视图。45.一种计算机程序产品,包括程序代码装置,其用于当所述程序代码装置在数据处理系统上执行时,使得数据处理系统执行上述实施例中任意一个或多个实施例的方法。46.根据上述实施例的一种计算机程序产品,包括已经存储在程序代码装置上的计算机可读取媒介。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1