专利名称：面向手眼协调操作的力觉视觉融合显示平台的制作方法
技术领域：
本发明涉及一种用于虚拟现实系统的力觉-视觉融合显示的硬件平台，能够实现 力觉-视觉显示信息在空间内的准确匹配。本平台可以增强虚拟现实系统的沉浸感和 交互性，为各类需要手眼协调操作的虚拟现实应用领域提供通用的技术基础。
技术背景真实世界中的物体，其自身就具备颜色、形状、硬度等各种物理属性，人可以通 过感觉器官(如眼、耳、手、鼻等)感知该物体的视觉、听觉、触觉、嗅觉等多种信 息。而VR系统中的虚拟物体，其本身并不具备任何物理属性，它所反馈给人的视觉、 力觉、听觉等信息，均由不同的物理设备构造生成，只有保证这些由不同物理设备合 成的多通道感知信息的一致性，才能保证人对虚拟物体的感知不产生歧义。早期的VR系统，主要致力于研究各个通道信息的独立显示再现，近来，学者 们开始关注视觉信息和力觉信息通道间的融合显示问题。典型融合显示系统包括 瑞典SenseGraphics公司的3D-MIW，瑞典Reachin公司的Reachin Display, 美国Immersive公司的Immersive Touch以及美国Ohio大学的Ji等人提出的 虚拟骨科手术系统。这些系统中，运用平面镜的光学反射原理，使操作者看到真 实的、正在进行力觉交互的手，使得用户有一种"所见即所触"的幻觉。上述系 统均未对设备之间的位置进行配准，同时也未公开一种普适性的支架结构来对各 设备(如力觉交互设备、光学合成设备、仿真计算机等)进行位置布局。 发明内 容本发明的目的是提供一种面向手眼协调操作的力觉视觉融合显示平台，该平台包 括有计算机2、图像生成设备2a、反射镜3、力学交互设备5、照明设备8、安装架 1、底座4、外罩组件7，安装架l、外罩组件7、力学交互设备5安装在底座4上， 图像生成设备2a、反射镜3、照明设备8安装在安装架1上，图像生成设备2a、反射镜3、力学交互设备5、照明设备8、安装架1罩在外罩组件7内。该平台通过A 横梁21在A角钢11与B角钢12上滑动实现图像生成设备2a的俯仰角度调节， 通过B框架32上固定连接的B横梁22、 C横梁23在C角钢13、 D角钢14上转 动实现反射镜3的俯仰角度调节，以及目视点与目视平面中心点之间的夹角、图像 生成设备2a与台面4a的夹角、反射镜3与台面4a的夹角配准，设计了具有一定 的自由度以便于调节和验证设计原理，补偿加工误差，满足后续需要进行的力-视觉 空间配准的要求，并适应不同身高操作者对舒适性的不同要求。如①操作者操作 时，眼部和手部的位置符合人机工程学的舒适要求；②反射镜在反射显示器图像 的同时，不反射操作者的面部图像；③且操作者不会遮挡或受到头部上方的图像 的干扰； 应该可以适合不同身高的人使用。
图1是本发明显示平台的外部结构图。图1A是无外罩的显示平台结构图。图1B是外罩架的结构图。图ic是无外罩组件的显示平台结构图。图2是本发明安装架的结构图。图2A是A框架与夹具的俯视图。图2B是A框架与夹具的仰视图。图2C是夹具的俯视图。图2D是夹具的仰视图。图3是本发明显示平台的装配简示图。图中 121.B滑槽 15.E角钢 22.B横梁 302.B边架 351.凹槽l.安装架13.C角钢151.A通孔23.C横梁312.B滑槽352.正面307.B移动连杆371.C滚珠轴承ll.A角钢 lll.A滑槽 12.B角钢131.U形口 14.D角钢 141.U形口16.F角钢 161.B通孔 21.A横梁31.A框架 301.A边架 311.A滑槽303.C边架 304.D边架 305.夹具306.A移动连杆 361.A滚珠轴承 362.B滚珠轴承372.D滚珠轴承32.B框架 321.C滑槽322.D滑槽 3.反射镜 7.外罩组件 714.B圆孔323.A支臂 4.底座71. 外罩72. 外罩架324.B支臂 4a.台面711.A目视孔 721.A连杆2.计算机 5.力学交互设备 712.B目视孔 722.B连杆2a,图像生成设备6.操作空间 713.A圆孔 723.C连杆724.D连杆 725.第一U形框751.上框边 752.下框边 726.第二U形框 761.上框边762.下框边 8.照明设备具体实施方式
参见图1、图1A、图1B、图1C所示，本发明的一种面向手眼协调操作的力觉视觉融合显示平台，包括有计算机2、图像生成设备2a、反射镜3、力学交互设备5、照明设备8、安装架1、底座4、外罩组件7，安装架1、外罩组件7、力学交互设备5安装在底座4上，图像生成设备2a、反射镜3、照明设备8安装在安装架1上，图像生成设备2a、反射镜3、力学交互设备5、照明设备8、安装架1罩在外罩组件7内。在本发明中，力学交互设备5可以采用一台、或者两台，应用两台时力学交互 设备对称安装于底座4上。应用一台力学交互设备可以实现单手提供力反馈操作， 应用两台力学交互设备可以实现双手提供力反馈操作。在本发明中，照明设备8—方面用于提供操作空间6所需的光照，另一方面用 于实现虚实图像的融合。照明设备8包括有蛇形管、灯罩、灯泡，灯泡安装在灯罩 内，灯罩与蛇形管的一端连接，蛇形管的另一端安装在B框架32上。灯泡提供的出 射光能够提供给操作者看见操作空间6中的虚拟图像，以及通过人手(握持力学交 互设备5的手持端的人手)进行的操作训练。力学交互设备5除手持端外，其余部 分隐藏在黑暗中。照明设备8可以是一台灯，或者是舞台用的追光灯。在本发明中，计算机2用于构建虚拟物体的各种属性，通过图像生成设备2a传 递给操作者虚拟物体的视觉信息；通过力觉交互设备5传递给操作者虚拟物体的力 觉信息；通过反射镜3实现虚拟物体视觉显示空间的转移，并向真实场景进行叠加。在本发明中，外罩组件7包括有外罩71和外罩架72。外罩71可以是由双层布 经缝纫技术制成，也可以是由单层尼龙布经缝纫技术制成。外罩71的前罩面701 上设有A目视孔711、 B目视孔712、 A圆孔713、 B圆孔714; A目视孔711与 B目视孔712用于实现操作者的人眼看见力觉视觉融合显示平台内的操作空间6; A圆孔713、 B圆孔714用于操作者的手通过，并握紧力学交互设备5的手持端在操 作空间6(该操作空间6是指力学交互设备5的手持端在人手的握持条件下所运行的 轨迹)中运动；(参见图1B所示)外罩架72包括有第一U形框725、第二 U形框 726、 A连杆721、 B连杆722、 C连杆723、 D连杆724， A连杆721与B连杆 722平行，且A连杆721、 B连杆722两端分别与第一 U形框725的上框边751、 第二 U形框726的上框边761连接，C连杆723连接在第一 U形框725的上框边 751、下框边752之间，D连杆724连接在第二U形框726的上框边761、下框 边762之间。外罩架72的第一 U形框725的下框边752、第二 U形框726的下 框边762安装在底座4的台面4a上，外罩71罩在外罩架72上。外罩组件7为力 觉视觉融合显示平台提供了一封闭的、黑暗的操作环境。在本发明中，安装架1通过A通孔151、 B通孔161安装在底座4的台面4a 上，反射镜3安装在安装架1的B框架32上；图像生成设备2a安装在安装架1的 A框架31上，图像生成设备2a可以是液晶显示器，也可以是投影仪，图像生成设 备2a与计算机2相连接。在本发明中，计算机2是一基于计算机的装置，用于在一 个图像生成设备2a上提供虚拟物体的三维图像的显示，以及提供力学交互设备5的 操作空间6 (即有效空间位置)的虚拟图像。参见图2所示，安装架1包括有由多个角钢构成的安装架体、A框架31、 B框 架32; A角钢11、 C角钢13平行放置，且固定连接在E角钢15上，A角钢11 的内侧面上设有A滑槽lll， C角钢13上端部开有U形口 131; B角钢12、 D角 钢14平行放置，且固定连接在F角钢16上，B角钢12的内侧面上设有B滑槽121, D角钢14上端部开有U形口 141; E角钢15、 F角钢16分别通过其上设有的A 通孔151、 B通孔161固定连接在底座4的台面4a上；A角钢11与B角钢12之 间连接有A横梁21， A横梁21上固定连接有A框架31; C角钢13上端的U形口 131上放置有B横梁22的转动端，B横梁22的另一端固定连接在B框架32的A 支臂323外侧上；D角钢14上端的U形口 141上放置有C横梁23的转动端，C 横梁23的另一端固定连接在B框架32的B支臂324外侧上；所述B框架32为 U形结构，在B框架32的A支臂323的内侧设有C滑槽321 ，在B框架32的B 支臂324的内侧设有D滑槽322。反射镜3的一镜边从A支臂323、 B支臂324 的滑槽中插入，实现将反射镜3安装在B框架32上。在本发明中，A横梁21的两端分别在A滑槽111、 B滑槽121中运动，通过 调节A横梁21的上下、俯仰位置可以实现A框架31在以底座4为基准面的高度、 俯仰角度，进而实现显示器21相对于反射镜3的高度、角度。当调节好A横梁21 的上下、俯仰位置后，通过销钉将A横梁21顶紧在滑槽内。对于B横梁22、 C横 梁23可以通过转动B框架32使得B横梁22、 C横梁23分别在C角钢13的U 形口 131、 D角钢14的U形口 141中转动，从而实现B框架32的俯仰位置调节， 进而使得安装在B框架32上的反射镜3的俯仰角度调节到最佳。参见图2A 图2D所示，A框架31包括有由四个边框(A边框301、 B边框 302、 C边框303、 D边框3(H)组成的四边形框架体，以及用于安装图像生成设 备2a的夹具305，以及用于带动夹具305在框架体中上下运动的A移动连接杆306、 B移动连接杆307; A移动连接杆306的两端分别连接有A滚珠轴承361、 B滚珠 轴承362， A滚珠轴承361、 B滚珠轴承362分别在A滑槽311、 B滑槽312中 滑动；B移动连接杆307的两端分别连接有C滚珠轴承371、 D滚珠轴承372, C 滚珠轴承371、 D滚珠轴承372分别在A滑槽311、 B滑槽312中滑动；夹具305 的正面352上设有凹槽351，凹槽351内安装有图像生成设备2a，夹具305的背 面与A移动连接杆306、 B移动连接杆307固定连接，且A移动连接杆306与B 移动连接杆307平行放置；A边框301的内侧边上开有A滑槽311 ， B边框302 的内侧边上开有B滑槽312， A移动连接杆306、 B移动连接杆307的两端分别在 A滑槽311、 B滑槽312中滑动。通过A移动连接杆306、 B移动连接杆307在A 滑槽311、 B滑槽312中的滑动，从而实现图像生成设备2a与反射镜3的镜面之 间的夹度调节。参见图3所示,在本发明中，A框架31距B框架32的高度h2为200 340mm ， A框架31与底座4的台面形成的夹角"有一5~30° (夹角"即为图像生成设备2a 的俯仰角)；B框架32距底座4的台面的高度、为200 280mm， B框架32与 底座底座4的台面4a形成的夹角-有0 30。(夹角-即为反射镜3的俯仰角)； 目视点(即人眼通过设在外罩71的前罩面701上的A目视孔711、 B目视孔712 两个圆孔形成的人眼入射角度)的入射角^为45° ，目视点与虚拟投影平面垂直， 且垂直点A即为虚拟投影点。在本发明中，安装在夹具305上的图像生成设备2a与A横梁21和A框架31 的装配，实现了图像生成设备2a的俯仰角、上下升降、前后移动的位置调节。安装 在B框架32上的反射镜3与B框架32、 B横梁22和C横梁23的装配，实现了 反射镜3的俯仰角、上下升降、前后移动的位置调节。在本发明中，A框架31与B框架32分别在A角钢11、 B角钢12、 C角钢 13、 D角钢14上的调节装配，实现了图像生成设备2a (图像生成设备2a中显示 的虚拟图像场景信息是由计算机2控制产生的)提供的虚拟场景经反射镜3反射后 产生的虚拟图像与操作者人手的真实图像在力学交互设备5提供的操作空间6内重 合。图像生成设备2a提供的虚拟场景与操作者的人手在操作空间6的精确重合，使 得操作者通过操作空间6在同一空间不伹可以看见真实的人手，同时还能够看见人 手与虚拟物体的整个操作过程。在本发明中，图像生成设备2a采用LG的液晶显示器L1730S作为显示设备， 力觉交互设备5采用SensAble公司的Phantom Desktop作为力觉交互设备，反 射镜3采用透过率为14%、厚1 5mm、茶色的半反射镜。计算机2的最低配置为 Pentium4, CPU 2.80GHz，内存l.OOGB，操作系统为Windows XP;计算机2 中的虚拟与现实的演示软件系统开发平台为Visual C++，是基于OpenGL构建的虚 拟场景。本发明的面向手眼协调操作的力觉视觉融合显示平台，为构建"所见即所触、手 眼协调、实时交互、双手操作"的虚拟现实系统提供通用的技术平台。本平台可以用 到需要双手协同、手眼协调的各类精细操作任务中，例如医疗领域，包括牙科手术、 腹腔镜微创手术、眼科手术等，还可以用到军事、航天等训练领域。
权利要求
1、一种面向手眼协调操作的力觉视觉融合显示平台，包括有计算机(2)，其特征在于还包括有图像生成设备(2a)、反射镜(3)、力学交互设备(5)、照明设备(8)、安装架(1)、底座(4)、外罩组件(7)；安装架(1)、外罩组件(7)、力学交互设备(5)安装在底座(4)上，图像生成设备(2a)、反射镜(3)、照明设备(8)安装在安装架(1)上，图像生成设备(2a)、反射镜(3)、力学交互设备(5)、照明设备(8)、安装架(1)罩在外罩组件(7)内；所述外罩组件(7)包括有外罩(71)和外罩架(72)，外罩(71)的前罩面(701)上设有A目视孔(711)、B目视孔(712)、A圆孔(713)、B圆孔(714)；外罩架(72)包括有第一U形框(725)、第二U形框(726)、A连杆(721)、B连杆(722)、C连杆(723)、D连杆(724)，A连杆(721)与B连杆(722)平行，且A连杆(721)、B连杆(722)两端分别与第一U形框(725)的上框边(751)、第二U形框(726)的上框边(761)连接，C连杆(723)连接在第一U形框(725)的上框边(751)、下框边(752)之间，D连杆(724)连接在第二U形框(726)的上框边(761)、下框边(762)之间；所述安装架(1)包括有由多个角钢构成的安装架体、A框架(31)、B框架(32)；A角钢(11)、C角钢(13)平行放置，且固定连接在E角钢(15)上，A角钢(11)的内侧面上设有A滑槽(111)，C角钢(13)上端部开有U形口(131)；B角钢(12)、D角钢(14)平行放置，且固定连接在F角钢(16)上，B角钢(12)的内侧面上设有B滑槽(121)，D角钢(14)上端部开有U形口(141)；E角钢(15)、F角钢(16)分别通过其上设有的A通孔(151)、B通孔(161)固定连接在底座(4)的台面(4a)上；A角钢(11)与B角钢(12)之间连接有A横梁(21)，A横梁(21)上固定连接有A框架(31)；C角钢(13)上端的U形口(131)上放置有B横梁(22)的转动端，B横梁(22)的另一端固定连接在B框架(32)的A支臂(323)外侧上；D角钢(14)上端的U形口(141)上放置有C横梁(23)的转动端，C横梁(23)的另一端固定连接在B框架(32)的B支臂(324)外侧上；所述A框架(31)包括有由A边框(301)、B边框(302)、C边框(303)、D边框(304)组成的四边形框架体，以及用于安装显示器(2a)的夹具(305)，以及用于带动夹具(305)在框架体中上下运动的A移动连接杆(306)、B移动连接杆(307)；A移动连接杆(306)的两端分别连接有A滚珠轴承(361)、B滚珠轴承(362)，A滚珠轴承(361)、B滚珠轴承(362)分别在A滑槽(311)、B滑槽(312)中滑动；B移动连接杆(307)的两端分别连接有C滚珠轴承(371)、D滚珠轴承(372)，C滚珠轴承(371)、D滚珠轴承(372)分别在A滑槽(311)、B滑槽(312)中滑动；夹具(305)的正面(352)上设有凹槽(351)，凹槽(351)内安装有图像生成设备(21a)，夹具(305)的背面与A移动连接杆(306)、B移动连接杆(307)固定连接，且A移动连接杆(306)与B移动连接杆(307)平行放置；A边框(301)的内侧边上开有A滑槽(311)，B边框(302)的内侧边上开有B滑槽(312)；所述B框架(32)为U形结构，在B框架(32)的A支臂(323)的内侧设有C滑槽(321)，在B框架(32)的B支臂(324)的内侧设有D滑槽(322)；所述照明设备(8)包括有蛇形管、灯罩、灯泡，灯泡安装在灯罩内，灯罩与蛇形管的一端连接，蛇形管的另一端安装在B框架(32)上。
2、 根据权利要求1所述的力觉视觉融合显示平台，其特征在于力学交互设备(5) 为一台，或者两台。
3、 根据权利要求1所述的力觉视觉融合显示平台，其特征在于照明设备(8) — 方面用于提供操作空间(6)所需的光照，另一方面用于实现虚实图像的融合。
4、 根据权利要求l所述的力觉视觉融合显示平台，其特征在于A框架(31)距B 框架(32)的高度h2为200 340mm， A框架(31)与底座(4)的台面(4a) 形成的夹角"有一5 3(T ; B框架(32)距底座(4)的台面(4a)的高度h, 为200 280mm， B框架(32)与底座(4)的台面(4a)形成的夹角/ 有0 30° ;目视点的入射角^为45° 。
5、 根据权利要求1所述的力觉视觉融合显示平台，其特征在于A横梁(21)和A 框架(31)的装配，能够实现图像生成设备(2a)的俯仰角、上下升降、前后 移动的位置调节。
6、 根据权利要求1所述的力觉视觉融合显示平台，其特征在于B框架(32)、 B 横梁(22)和C横梁(23)的装配，能够实现反射镜(3)的俯仰角、上下升 降、前后移动的位置调节。
7、 根据权利要求1所述的力觉视觉融合显示平台，其特征在于反射镜(3)釆用 透过率为14%、厚1 5mm、茶色的半反射镜。
8、 根据权利要求1所述的力觉视觉融合显示平台，其特征在于图像生成设备(2a) 是与计算机(2)相连的显示器，或者是与计算机(2)相连的投影仪。
9、 根据权利要求l所述的力觉视觉融合显示平台，其特征在于显示器提供的虚拟 场景经反射后产生的虚拟图像与操作者人手韵真实图像在力学交互设备(5)提 供的操作空间内重合。
全文摘要
本发明公开了一种面向手眼协调操作的力觉视觉融合显示平台，该平台包括有计算机(2)、图像生成设备(2a)、反射镜(3)、力学交互设备(5)、照明设备(8)安装架(1)、底座(4)、外罩组件(7)，安装架(1)、外罩组件(7)、力学交互设备(5)安装在底座(4)上，图像生成设备(2a)、反射镜(3)、照明设备(8)安装在安装架(1)上，图像生成设备(2a)、反射镜(3)、力学交互设备(5)、照明设备(8)、安装架(1)罩在外罩组件(7)内。照明设备(8)一方面用于提供操作空间(6)所需的光照，另一方面用于实现虚实图像的融合。计算机(2)用于构建虚拟物体的各种属性，通过图像生成设备(2a)传递给操作者虚拟物体的视觉信息；通过力觉交互设备(5)传递给操作者虚拟物体的力觉信息；通过反射镜(3)实现虚拟物体视觉显示空间的转移，并向真实场景进行叠加。本发明的面向手眼协调操作的力觉视觉融合显示平台，可以应用到外科手术的模拟培训，虚拟装配操作，以及人手康复等领域中。
文档编号G09B25/00GK101217009SQ20081005648
公开日2008年7月9日 申请日期2008年1月18日 优先权日2008年1月18日
发明者俊 吴, 周万琳, 张玉茹, 瑜 王, 王党校 申请人:北京航空航天大学