一种实现空中显示和虚拟交互的三维数据体绘制的方法与流程

本发明属于虚拟显示与医学图像绘制领域，更具体地，涉及一种基于空中显示和虚拟交互的三维数据体绘制方法。

背景技术：

三维医学图像绘制是医学领域的重要内容，它是由一系列规则排列的体素组成，每个体素的值表示该体素的颜色，因此，其数据的基本信息就是长、宽、高方向的体素数及每个体素值。对于医生而言，比较关心三维数据所呈现的物体，于是，对每个体素赋予一定的透明度，使得医生在某个角度观测三维数据时，可以看到一定深度内的物体，而非仅能看到表面一层，从而可以直观地获取更多信息。

随着虚拟现实技术的发展，出现了多种三维显示的设备，这些设备多数需要特定的载体，或者观测者需要带特定的眼镜或头盔，使得观测者受限。另一方面，在医学领域中，医学数据三维可视化中现有的交互方式基本还是通过键盘鼠标或显示屏进行交互，医生在做手术的过程中，需要通过图像实时了解病人的情况时，同时也需要和图像或者程序进行交互，而此时医生带着手套，不方便与键盘鼠标或者显示屏有接触。

技术实现要素：

本发明解决了现有技术中观测者观测图像时需借助观测工具而造成观测受限，以及交互需要接触式进行造成操作不便的技术问题。

按照本发明的目的，提供了一种实现空中显示的三维数据体绘制的方法，含有以下步骤：

(1)将图像的三维数据体素的灰度值加权叠加后的灰度值作为显像时的像素值，显示三维图像；

(2)将步骤(1)所述的三维图像镜像扩展到显示屏上；

(3)将步骤(2)所述的显示屏放置于暗箱中，所述暗箱的其中一侧开口，显示屏上的图像与所述开口相对；将空中成像玻璃板放置于暗箱开口处；所述暗箱除开口一侧以外其它的侧面不反光；

(4)将显示屏上的图像通过所述空中成像玻璃板进行反射，在空中聚焦后显像；该空中显像与空中成像玻璃板之间的夹角与所述显示屏与空中成像玻璃板之间的夹角相同，且该空中显像与空中成像玻璃板之间的距离与所述显示屏与空中成像玻璃板之间的距离相同。

优选地，所述显示屏与空中成像玻璃板之间的夹角为25度-65度；所述空中成像玻璃板为aska3d-plate。

优选地，步骤(3)所述暗箱内侧由无反光的黑布或黑色漆遮盖，以防止暗箱内光线的反射。

优选地，步骤(2)所述显示屏表面覆盖了防窥膜。

按照本发明的另一方面，提供了一种实现空中显示和虚拟交互的三维数据体绘制的方法，含有以下步骤：

(1)将图像的三维数据体素的灰度值加权叠加后的灰度值作为显像时的像素值，显示三维图像；

(2)将步骤(1)所述的三维图像镜像扩展到显示屏上；

(3)将步骤(2)所述的显示屏放置于暗箱中，所述暗箱的其中一侧开口，显示屏上的图像与所述开口相对；将空中成像玻璃板放置于暗箱开口处；所述暗箱除开口一侧以外其它的侧面不反光；

(4)将显示屏上的图像通过所述空中成像玻璃板进行反射，在空中聚焦后显像；该空中显像与空中成像玻璃板之间的夹角与所述显示屏与空中成像玻璃板之间的夹角相同，且该空中显像与空中成像玻璃板之间的距离与所述显示屏与空中成像玻璃板之间的距离相同；

(5)利用传感器获取人的手势信息，将该手势信息映射为空间平移量、旋转量或缩放倍数，根据所述空间平移量、旋转量或缩放倍数对步骤(1)所述三维数据进行变换，得到交互后的三维数据；将该交互后的三维数据体素的灰度值加权叠加后的灰度值作为显像时的像素值，使步骤(1)所述三维图像进行相应的平移、旋转或缩放，显示交互后的三维图像；转入步骤(2)-(4)，得到在空中聚焦而成的交互后的图像。

优选地，步骤(5)所述的传感器为leapmotion传感器。

优选地，所述显示屏与空中成像玻璃板之间的夹角为25度-65度；所述空中成像玻璃板为aska3d-plate。

优选地，步骤(3)所述暗箱内侧由无反光的黑布或黑色漆遮盖，以防止暗箱内光线的反射。

优选地，步骤(2)所述显示屏表面覆盖了防窥膜。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

(1)本发明在三维数据体绘制和虚拟现实技术的基础上，设计了一种三维医学图像空中显示和虚拟交互的系统。该系统一方面可以应用于三维产品的展示，比如博物馆文物的三维显示，用户可以直观地、完整地观测展览模型，也可以通过非接触式进行交互，增加趣味性。另一方面可以应用在医学领域中，医生在做手术的过程中，需要通过图像实时了解病人的情况时，同时也需要和图像或者程序进行交互，而此时医生带着手套，不方便与键盘鼠标或者显示屏有接触，而本发明设计的空中显示和体感感知的三维图像绘制及交互系统，可以有效地解决此问题。

(2)本发明不需要借助其他观测工具，使得观测者可以自由地进行图像观测。图像在空中显示，不依赖于任何的载体和空气介质，不但用户视觉感知效果好，而且为非接触式的交互提供了空中菜单。通过非接触式进行旋转、平移和缩放等操作，相比传统改变视点的方法，操作和算法均简单。针对临床手术和产品展示等应用交互的需求，本发明提供了一种基于空中成像和虚拟交互的三维数据绘制方法，此方法硬件结构相对简单，成本低，对用户没有限制约束，通过非接触式的交互达到实际应用的目的，而且用户的真实感和参与感强，真实体验感和浸入感好。

(3)本发明中空中成像玻璃板是将图像经过两次反射在空中再聚焦成像的一种具有特殊结构的玻璃板，图像将直接显示在空中，观测者裸眼即可观测到图像，不需要借助其他观测工具，使得观测者可以自由随性地进行图像观测；另一方面，体感检测设备可以实时地检测到人手的动作，将人手的动作代替计算机鼠标和键盘的操作，使用者可以通过非接触式的方式与计算机进行交互操作。

附图说明

图1是本发明实施的基于空中成像玻璃板和体感传感器的三维数据空中显示与交互的流程图。

图2(a)是装置结构示意图，图2(b)是成像位置关系示意图；其中1-暗箱，2-空中成像玻璃板，3-显示屏，4-暗箱开口，5-空中图像。

图3是本发明实施例的空中成像效果图；其中图3(a)是为未旋转的效果图，图3(b)是旋转后的效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1

如图1所示，本发明实施例的基于空中成像玻璃板和体感传感器的三维数据体绘制空中显示与手势交互系统，包括如下步骤：

(1)利用c++编程语言，设计三维数据体绘制程序。将三维数据载入到计算机内存，首先开辟一个连续的数组，大小为三维数据中体素数，把每个体素的值存储到数组中；

(2)确定显示图像在显示器中的位置和大小，默认显示窗口与三维数据自身的x,y坐标系平行，于是，屏幕上每个像素对应于三维数据中一列体素，即不同z的体素的灰度值的加权叠加将作为屏幕对应像素的灰度值；

(3)建立暗箱，大小与空中成像玻璃板的尺寸对应，一般选择40cm*40cm*40cm-100cm*100cm*100cm，箱体内侧粘贴上黑色无反光的布，开口处放置空中成像玻璃板；暗箱为一个六面体暗箱，一侧是开口，开口大小略微小于空中成像玻璃板；暗箱内侧由无反光的黑布粘贴，防止反光；

(4)通过数据线将ipad与计算机相连，基于数据通讯的软件，实现在ipad上实时显示计算机图像的功能，很多软件均可以实现该功能，选择的duet实现效果很好；ipad固定在暗箱中；

(4-1)为了取得良好的显示效果，需要对ipad贴防窥膜，使得观测者只能从正面才能看到ipad上的内容，从而避免侧面的漏光(侧面的漏光通过箱体内部的反射，造成伪影和重影等现象)；

(4-2)ipad的外侧需要用黑色无反射的布粘贴，边框经过空中成像玻璃板反射后将不会成像，使空中成像观感更为真实；aska3d-plate是日本asukanet公司开发的具有特殊结构的玻璃板；它由两个平面镜垂直相交组成，光线通过垂直相交的两面镜子，经历两次反射，第一次的入射角和第二次的出射角与其反射角度分别相同，最后以板为对照的轴在一比一的空间中显示实像；

(5)将空中成像玻璃板安放在暗箱的开口处，下方放置ipad，ipad与空中成像玻璃板之间的夹角为45度左右，显示效果较好，将ipad显示的图像通过空中成像玻璃板两次反射在空中聚焦成像；

(6)将体感传感器与计算机相连，如leapmotion传感器，安装好驱动程序之后，可以实时地获取人的手势动作，捕捉到手势动作之后，代替鼠标将其转换为对体绘制图像相应的操作如：左手的旋转移动对应于旋转；双手相对的同时移动表示平移；双手相对放置时两手掌距离的远近改变表示图像的放大或缩小；单手握拳表示暂停操作等；右手的挥手动作表示一切操作还原，图像恢复到初始打开的位置和大小状态；

(6-1)将这些动作及其运动量化后，映射为空间移动量、旋转量和缩放倍数等；

(6-2)根据这些空间变换量，对三维数据进行变换操作，实际上变换坐标系，生成新的三维数据；

(6-3)基于步骤(2)中的策略，按照一定的方案将一系列体素值进行加权累加，得到对应像素的值，完成三维数据的非接触式交互操作；如图3所示，图3(a)为未交互之前的成像，图3(b)为旋转后的交互成像。

(6-4)将每次的操作量(投影矩阵)积累起来，图像的连续操作，并非对上次操作数据连续操作，而是根据累计的投影矩阵，直接从原始三维数据进行操作，减少重采样过程误差的累计；

(6-5)对图像进行选择需要进行重采样，通常采用双三次方法；

(6-6)leapmotion传感器放置在人体站立位置附近，正对人的手势，距离不超过40cm；体感设备与计算通过数据线相连，实时跟踪人的手势；每次最多跟踪两只手，即每次跟踪视野范围内最多出现两只手，以保证跟踪手势的精度；手势的操作要尽量避免包含关系，以避免手势识别混乱导致操作不够精准；对三维数据旋转涉及到数据的重新内插，插值方法为最近邻域插值、双线性插值或双三次插值，优选地，双三次插值比较好；

(7)观测者可以站在暗箱前面，可以观测到空中的三维图像，同时可以利用手势进行图像操作，代替鼠标键盘的操作，有效实现非接触空中三维医学图像显示与交互。

实施例2

一种实现空中显示的三维数据体绘制的方法，含有以下步骤：

(1)将图像的三维数据体素的灰度值加权叠加后的灰度值作为显像时的像素值，显示三维图像；

(2)将步骤(1)所述的三维图像镜像扩展到显示屏3上；

(3)将步骤(2)所述的显示屏3放置于暗箱1中，所述暗箱1的其中一侧开口4，显示屏3上的图像与所述开口4相对；将空中成像玻璃板2放置于暗箱开口4处；所述暗箱1除开口一侧以外其它的侧面不反光；

(4)将显示屏上的图像通过空中成像玻璃板2进行反射，在空中聚焦后显像5；该空中显像5与空中成像玻璃板2之间的夹角与所述显示屏3与空中成像玻璃板2之间的夹角相同，为25度-65度，且该空中显像5与空中成像玻璃板2之间的距离与所述显示屏3与空中成像玻璃板2之间的距离相同。图2(a)是装置结构示意图，图2(b)是成像位置关系示意图。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。