专利名称：用于牙科学的虚拟现实训练系统和方法
技术领域：
本发明涉及用于牙科学的虚拟现实训练系统。它还涉及该系统所采用的学习方法，及其在训练和模拟治疗方法上的用途。
在培训牙科手术领域的学生时，基本操作技能的训练通常是在死亡后取出的天然牙齿上进行的。这种牙齿稀少并且昂贵，而且难于获得，它构成了大学和培训中心的沉重的预算负担。另外，通常这种来源不明的牙齿会使其使用者受到无法接受的污染危险。可以通过商业渠道获得人造牙齿，但是最廉价的人造牙齿是由同一种材料制成的，这种牙齿不能再现牙齿的结构(釉质、牙质、齿髓)，而异质人造牙齿更真实一些，但是因为它们超过了培训预算而难于被接受。
更常见的是，包括对固体物体进行无法恢复的操作，如刺穿、钻孔、刮削或雕刻的用于治疗或工业目的的任何机械治疗技术的学习，都会受到获得用于治疗的物体的问题的影响。
Denx有限公司出售一种被称为DentSim的虚拟现实牙科操作台，该操作台包括一个装有与计算机连接的传感器的模拟患者，一整套牙科手术器械，以及为用户提供模拟患者下颌的三维图像的软件工具。由Denx有限公司所拥有的专利US5688118披露了一种用于牙科学的图像、声音和感觉模拟系统，该系统包括一个便携式钻头，在钻头中装有一个三维传感器，用于为该系统提供所述钻头的空间位置和方向，以及一个数据处理和显示装置。该模拟系统的用户在安装在模拟患者的假人的人造下颌里的人造牙齿上进行操作。该系统还包括用于控制通向所述钻头的压缩空气流的装置，并因此控制钻头的转速，以便模仿相应于通过具有不同的硬度的牙齿的各层钻孔操作时的声音和感觉。
虽然该系统确实能提供用于牙科学教育的训练方法，但是它具有一种复杂的结构，特别是该结构涉及到安装一压缩空气源，这必然会导致很高的成本，这对于所有牙科学培训中心来说，并不是都可以接受的。
本发明的一个主要目的是通过提供一种虚拟现实训练系统解决上述问题，该系统使得接受初步训练或正在训练的学生或开业医生能学习正确的方法和操作，并且，其成本也显著低于特别是包括必需的旋转设备的常规牙科操作台的成本。
另外，除了训练需要之外，特别是在牙科手术中也存在需求，特别是在治疗和介入方法模拟中需要，例如，在正牙学中，其中治疗是在牙模型(typodonts)上模拟的，而受到正牙力的人造牙齿被埋在蜡支持物中，该支持物必须通过加热软化。
因此，本发明的另一个目的是提供一种虚拟现实软件应用，它能为开业医生提供一种用于确定介入策略的模拟工具。
上述目的是通过用于获得牙科学的手术方法的虚拟现实训练系统而实现的，该系统包括--一个可以手持的真实辅助设备，--用于在所述真实辅助装置上提供位置和方向信息的装置，--基于计算机的装置，用于在一个屏幕上提供虚拟物体的三维图像，特别是一个虚拟的牙齿或一套虚拟的牙齿，以及相应于所述真实辅助装置的有效空间位置的虚拟手工工具的空间显示，和--一个触摸式人-机界面装置，它包括所述可以手持的真实辅助装置，并且包括由所述基于计算机的装置控制的驱动器，以便在所述虚拟手工工具与虚拟物体互动时，给将所述真实辅助装置握在手中的用户提供一个力反馈。
根据本发明，所述模拟装置包括用于模拟所述虚拟物体的异质结构，以及根据所述异质结构和所述虚拟手工工具的功能特征，给所述控制装置提供力反馈的装置。
因此，可以提供这样一种训练系统，它只需要一台常见类型的计算机或IT操作台和一个触摸式人-机界面装置作为其硬件基础。与上述专利文件US5688118中所披露的训练系统不同，没有必要在真实的钻头和人造牙齿之间提供真实的物理互动。在本发明中，所提供的唯一的真实机械操作，就是对用户所持的真实训练辅助装置产生的力反馈，这样就显著降低了实施该方法的成本，因为触摸式人-机界面是现有的。
在本发明系统的一种具体实施方案中，所述人-机界面装置还包括一个被设计用于在其一端容纳所述真实辅助装置的以铰链形式相连的机械结构。
本发明的系统优选还包括用于模拟所述虚拟手工工具和虚拟物体之间的互动的装置。
所述触摸式界面装置还可以与所述计算机配合工作，以便用户可以从一组可供利用的虚拟手工工具中选择一种虚拟手工工具。所述工具可以包括其一部分可以以可调节的速度旋转的手工工具。
可以用推荐的虚拟手工工具制造一种虚拟手工工具。另外，可以取消虚拟手工工具在模型上的某些操作。
还可以在本发明的系统中提供用于根据所述虚拟手工工具和虚拟物体之间的预定互动播放预定的声音的装置，以及用于模拟在与所述虚拟手工工具互动期间，所述虚拟物体内的热效应的装置。
所述真实辅助装置可以是一个探头，它具有类似于真实手工工具的物理特征和大小特征。该探头还可以由一个以可以拆卸的方式安装在所述铰链连接的机械结构末端的真实手工工具构成。
应当指出的是，一种异质触摸式结构可以提供单一的虚拟辅助装置(或模型)。
可以通过所述虚拟手工工具的内在特征改变所述虚拟辅助装置的触摸特征(该手工工具的转速、所述辅助装置和手工工具之间的接触时间)。
用户可以通过虚拟手工工具赋予改进(虚拟从原始模型上除掉材料)部位一种触摸特征，产生一种新的异质模型。
还可以规定本发明的前提，以便通过模拟虚拟的镜子，以间接方式在所述模型上操作(颠倒用户移动和显示的虚拟手工工具之间的方向)。
根据本发明的另一方面，提供了用于本发明系统中的用来获得牙科学的操作过程的一种虚拟现实训练方法，该方法包括--获得真实手持辅助装置的空间位置数据，--虚拟物体，特别是虚拟牙齿在屏幕上的三维图像，--提供能够在所述虚拟物体上操作的虚拟手工工具，以及模拟所述虚拟手工工具和所述虚拟物体之间的互动，--处理空间位置信息，以便提供相应于所述真实辅助装置的有效空间位置的所述虚拟手持工具的空间显示，所述真实手持辅助装置属于一种触摸式人-机界面装置，它包括受控制的驱动器，以便在所述虚拟手工工具与所述虚拟物体互动时，为用手握住所述真实辅助装置的用户提供一个力反馈。
本发明训练方法的特征是，一方面，它在所述触摸式界面装置内，在空间位置获取功能和力反馈驱动器控制功能之间采用了一种软件界面，另一方面，虚拟物体和手工工具的模拟和三维图像是在所述计算机内完成的。
本发明的方法优选还包括模拟所述虚拟物体的异质结构，并且根据所述异质结构和所述虚拟手工工具的功能特征产生力反馈数据。
本发明的训练方法优选包括提供由用户实施工作的数字数据的可能性(去除、添加的虚拟材料的体积；工作时间，手工工具通过所述异质结构内的某些解剖学标志的情况)。
另外，可以改变所述模型的所述异质部分之一的透明度，以便显示所述辅助装置的内部结构。
还可以设计成能产生由用户所选择的所述虚拟模型的X光或射线照相术的图像。
另外，本发明的训练方法可以优选包括显示由用户所进行的工作的录像序列(回放)。
本发明的虚拟现实训练系统和方法被直接应用在牙科学领域，其中，虚拟物体是牙齿，而虚拟手工工具是手术手工工具。所述虚拟牙齿可以插入虚拟下颌中，而它本身构成了虚拟头部的一个整体部分。
这种用途同样涉及在牙科学中的训练或模拟治疗方法。
通过以下说明可以进一步了解本发明的其他特征和优点。在作为非限定性实施例提供的附图中
图1A是本发明虚拟现实训练系统的框图，其中，真实辅助装置是钻头；图1B表示所述真实辅助装置为探头的具体应用；图2A是通过本发明方法治疗的牙齿的简化剖视图；图2B是在本发明的触摸式虚拟现实方法中产生力反馈的功能性示意图；和图3是实施本发明的触摸式虚拟现实方法的软件程序的框图。
下面结合图1A对本发明的虚拟现实训练系统的一般结构进行说明。系统S包括一个触摸式界面装置1，以及一台与该触摸式界面装置连接的计算机6，所述触摸式界面装置包括一个铰链式连接的臂3，在其自由末端有一个真实辅助装置2，例如一个钻头或一个钻头的模型或拷贝，该辅助装置可以握在用户手M中。
本发明的虚拟现实训练方法可优选采用，但不限于由SensAble技术公司生产并出售的PHANTOMTM/DESKTOP触摸式系统，该系统包括一个具有力反馈的完整的触摸式界面装置。
例如，所述铰链式连接臂3包括3个铰链40、41、42，和一个与装有电源和控制电路的底座3连接的旋转接头43。每一个铰链装有一个角度位置传感器和一个电力驱动器，例如，压电驱动器或任何其他能够提供力反馈的电-机转换技术。
计算机6装有一个屏幕7，以便可以显示虚拟牙齿T和在所述虚拟牙齿上操作的虚拟手工工具OV的三维图像，以及可以由该系统用户输入的虚拟手工工具01-04的调色板P。
应当指出的是，如图1B所示，还可以提供铰链式连接臂30，在其末端安装一个简单的探头20，该探头可以拿在用户的手中。
下面结合图2A和2B说明在本发明的触摸式虚拟现实方法中所采用的牙齿异质结构的处理。
虚拟牙齿T被认为具有异质结构，其中，该结构是通过牙齿内部的不同区域釉质、牙质D和齿髓P而被预先模拟的。当在虚拟牙齿T的顶端进行钻孔操作时，会依次通过以上三个区E、D和F。为了将特定水平的机械阻力R与每一个区联系在一起，开发了所述异质结构的模型MH。
当用户移动探头手工工具2进行真实操作时，触摸式界面装置1的传感器提供所述探头手工工具的空间位置数据，对该数据进行处理，以便决定虚拟手工工具OV和虚拟牙齿T之间互动的水平，并且获得在考虑了所述异质模型MH被操作的牙齿的三维模拟。通过该模拟，可以产生由于虚拟牙齿的不同部位具有不同的阻力而导致的作用力信息，该信息被转换成所述触摸式界面装置的驱动器的指令，该触摸式界面最终会给用户提供一个力反馈。
为了在牙科学的特定场合实施本发明的触摸式虚拟现实方法而开发的软件程序L包括，例如，参见图3，用于触摸式界面装置1的驱动器程序LP，它具有在牙科学领域使用所需要的所有基本特征，以及适用于本发明的虚拟现实系统的销售部门的用户界面程序LU。
驱动器程序LP负责处理由传感器接受到的位置数据，控制力反馈驱动器，虚拟牙齿、虚拟手工工具和该牙齿和/或手工工具互动的三维模拟，以及力反馈的运算。
用户界面程序LU负责牙齿和虚拟手工工具的三维曲线图显示，管理虚拟牙齿和手工工具库，控制图像指令，如变焦、移动、旋转等，以及从一系列可供选用的手工工具中选择虚拟手工工具。
探头手工工具2可以是一般用途类型的或者可以是能拆卸的，并且具有牙科手术手工工具的大小和物理特征(重量、材料和外表面)。
驱动器程序可以显示并且真实地再现三维物体的操作，以及通过虚拟手工工具对它进行的修饰。通过所述铰链式连接臂的力反馈，将构成虚拟物体的材料的阻力考虑在内虚拟物体的阻力越大，要操作的物体就越硬。
必须选择性能足够强大的计算机，以便能流畅地实施真实的三维物体。作为一种非限定性实施例，可以使用PC类型的双处理器计算机，其中的一台处理器专门用于显示功能，而另一台处理器专门用于运算功能。
本发明的触摸式虚拟现实系统和方法在牙科学上的应用，包括模拟一组接受治疗的类型的牙齿，以及用于牙科手术中的多种基本手工工具。具体地讲，所述工具是定速或变速钻头，和具有不同钻头模式的涡轮，以及钩子、模具、托架和正牙牙弓。
本发明的虚拟现实训练系统的主要功能可包括--考虑现实世界相对于虚拟图像的可调整比例因子，--在虚拟牙齿上作用机械操作，特别是钻孔、刮削、添加材料(填充汞合金或复合树脂)，并且在模具中压模成型，--通过阻力变化显示牙齿异质结构，--无论变焦水平如何，相对所述牙齿和手工工具的虚拟图像进行同位转换，--在牙齿的每一部分釉质、牙质、齿髓中，所述手工工具的转速与阻力降低之间的相关性。
还可以选择性地提供一定功能--增加下颌开度的可能性，
--作用在用户手臂上的振动力反馈(振动)，模拟钻头使用，--添加到虚拟牙齿上的材料随着时间的推移而硬化，--通过选择被插入到下颌中的牙齿组成一个常见模型的可能性。
在本发明的场合下，可以建立一个虚拟牙齿库，以便包括在牙科学实践中所遇到的所有类型的牙齿。所述虚拟牙齿可以单独显示，或者插入一个虚拟下颌中，虚拟下颌本身又可以被插入一个虚拟面部。
当然，本发明不局限于上面所披露的实施例，并且，在不超出本发明范围的前提下可以对上述实施例进行多种改进。因此，可以设计出不同于上述结构的其他触摸式界面装置结构。另外，还可以通过一个或多个连接网络，特别是通过互联网，将触摸式界面装置与一台远程计算机连接。
还可以在本发明的训练系统上提供用于根据虚拟手工工具和虚拟物体之间的预定互动播放预定声音的装置。所述声音可以包括模拟由真实工具所产生的噪音，所述噪音可以根据所述手工工具的具体转速和所通过的生理学层而改变，或者还可以模拟患者对正在进行的操作过程的反应。另外，该系统还可以包括用于模拟在与所述虚拟手工工具互动期间，所述虚拟物体内的模拟热效应的装置。
权利要求
1.用于获得牙科学的操作方法的虚拟现实训练系统(S)，该系统包括--一个可以手持的真实辅助设备(2，20)，--用于在所述真实辅助装置上提供位置和方向信息的装置，--基于计算机的装置(6)，用于在一个屏幕(7)上提供虚拟物体(T)的三维图像，特别是一个虚拟的牙齿或一口虚拟的牙齿，以及相应于所述真实辅助装置(2)的有效空间位置的虚拟手工工具的空间显示，和--一个触摸式人-机界面(IHM)装置(1)，它包括所述可以手持的真实辅助装置(2)，并且包括由所述基于计算机的装置(6)控制的驱动器，以便在所述虚拟手工工具(OV)与虚拟物体(T)互动时，给将所述真实辅助装置握在手中的用户提供一个力反馈，其特征在于，所述模拟装置包括用于模拟所述虚拟物体(T)的异质结构，以及根据所述异质结构和所述虚拟手工工具(OV)的功能特征，给所述控制装置提供力反馈的装置。
2.如权利要求1的系统(S)，其特征在于，所述人-机界面装置(1)还包括一个被设计用于在其一端容纳所述真实辅助装置(2)的铰链连接的机械结构(3)。
3.如权利要求1或2中任意一项的系统(S)，其特征在于，它还包括用于模拟所述虚拟手工工具(OV)和虚拟物体(T)之间的互动的软件装置。
4.如权利要求1-3中任意一项的系统(S)，其特征在于，所述触摸式界面装置(1)与所述基于计算机的装置(6)配合工作，以便用户可以从一组可供利用的虚拟手工工具(01-04)中选择一种虚拟手工工具(OV)。
5.如权利要求1-4中任意一项的系统(S)，其特征在于，所述虚拟手工工具可以包括其一部分可以以可调节的速度旋转的手工工具(OV)。
6.如权利要求1-5中任意一项的系统(S)，其特征在于，所述模拟装置还包括用于模拟一组虚拟物体的装置。
7.如权利要求1-6中任意一项的系统(S)，其特征在于，所述真实辅助装置是一个探头(20)。
8.如权利要求7的系统(S)，其特征在于，所述探头具有类似于真实手工工具的物理特征和大小特征。
9.如权利要求8的系统(S)，其特征在于，所述探头还可以由一个以可以拆卸的方式安装在所述铰链连接的机械结构(3)末端的真实手工工具(2)构成。
10.如权利要求1-9中任意一项的系统(S)，其特征在于，它还包括根据虚拟手工工具(OV)和虚拟物体(T)之间的预定互动播放预定声音的装置。
11.如权利要求1-10中任意一项的系统(S)，其特征在于，它还包括用于在与所述虚拟手工工具(OV)互动期间，模拟所述虚拟物体(T)内的热效应的装置。
12.如上述权利要求中任意一项的系统(S)，其特征在于，它还包括相同虚拟辅助装置的异质触摸式结构(或模型)。
13.用于上述任意一项权利要求的系统中的用于获得牙科学的操作过程的一种虚拟现实训练方法，该方法包括--获得真实手持辅助装置(2，20)的空间位置，--虚拟物体(T)在屏幕(7)上的三维图像，--提供能够在所述虚拟物体(T)上操作的虚拟手工工具(OV)，以及模拟所述虚拟手工工具(OV)和所述虚拟物体(T)之间的互动，--处理空间位置信息，以便提供相应于所述真实辅助装置(2)的有效空间位置的所述虚拟手持工具的空间显示，所述虚拟手持辅助装置(2，20)属于一种触摸式人-机界面(IHM)装置(1)，它包括受控制的驱动器，以便在所述虚拟手工工具(OV)与所述虚拟物体(T)互动时，为用手握住所述真实辅助装置(2)的用户提供一个力反馈其特征在于，一方面，它在所述触摸式界面装置内，在空间位置获取功能和力反馈驱动器控制功能之间采用了一种软件界面，另一方面，虚拟物体和手工工具的模拟功能和三维图像显示功能是在所述计算机内完成的。
14.如权利要求13的方法，其特征在于，它还包括模拟所述虚拟物体(T)的异质结构，并且根据所述异质结构和所述虚拟手工工具(OV)的功能特征产生力反馈数据。
15.如权利要求13或14的方法，其特征在于，它还包括通过所述虚拟手工工具的内在特征改变所述虚拟辅助装置的触摸特征。
16.如权利要求13-15中任意一项的方法，其特征在于，它还包括通过虚拟手工工具赋予改进部位一种触摸特征，产生一种新的异质模型。
17.如权利要求13-16中任意一项的方法，其特征在于，它还包括模拟虚拟的镜子。
18.如权利要求17的方法，其特征在于，所述模拟虚拟的镜子包括颠倒用户移动和显示的虚拟手工工具之间的方向。
19.如权利要求13-18中任意一项的方法，其特征在于，它还包括提供由用户完成的工作的定量信息。
20.如权利要求19的方法，其特征在于，所述提供的定量信息包括有关去除或添加的虚拟材料的体积的信息。
21.如权利要求19或20的方法，其特征在于，所述提供的定量信息包括有关所述用户工作时间的信息。
22.如权利要求19-21中任意一项的方法，其特征在于，所述提供的定量信息包括有关手工工具通过所述异质结构内的某些解剖学标志的信息。
23.如权利要求13-22中任意一项的方法，其特征在于，还包括改变所述模型的所述异质部分之一的透明度，以便显示所述辅助装置的内部结构。
24.如权利要求13-23中任意一项的方法，其特征在于，还包括产生表示由用户所选择的所述虚拟模型的X光或射线照相术的图像。
25.如权利要求13-24中任意一项的方法，其特征在于，还包括显示由用户所进行的工作的录像序列。
26.上述任意一项权利要求的系统和方法用途，其特征在于，所述虚拟物体是牙齿，而虚拟手工工具是手术手工工具。
27.如权利要求26的用途，其中，所述虚拟牙齿可以插入虚拟下颌中。
28.如权利要求27的用途，其中，所述虚拟下颌被插入一个虚拟头部。
29.上述任意一项权利要求的系统用于牙科学训练的用途。
30.上述任意一项权利要求的系统和方法用于模拟治疗方法用途。
全文摘要
本发明涉及一种用于虚拟现实培训系统以便获得牙科医术的程序化运动，即在显示屏(7)上检测与真实手持元件(2)的空间位置、虚拟物体(T)的三维显示相关的数据，对所述空间位置数据进行加工，以便提供与所述真实元件(2)的真实空间位置相应的虚拟仪器(0V)的空间显示，提供虚拟仪器(01－04)，用于在所述虚拟物体(T)上操纵，并且模拟所述虚拟仪器和所述虚拟物体(T)之间的互动。所述手持元件(2)属于触摸式人－机界面(IHM)，它包括受控制的驱动器，用于在所述虚拟仪器(0V)与所述虚拟物体(T)互动时，给在手中持有所述真实元件(2)的用户提供一个力反馈。本发明可用于教学目的和职业目的。
文档编号G09B23/28GK1439149SQ018118
公开日2003年8月27日 申请日期2001年4月25日 优先权日2000年4月26日
发明者J·阿泽拉德, J·布兰查德, Y·毛林 申请人:巴黎大学－丹尼斯·迪德罗特第七分校