基于原位立体增强显示的显微系统及显微方法
【专利摘要】本发明公开了一种基于原位立体增强显示的显微系统以及显微方法，使得使用者能够在较大的视场范围内对实体清晰、连续的观察。其中本发明实施例的显微系统包括：实体观察装置，实体观察装置对准实体区域，用于让使用者实时地、直接地获取实体视觉图像；裸眼三维显示装置，用于提供与实体视觉图像内容相关的裸眼真三维图像；原位立体显示装置，原位立体显示装置分别与实体观察装置和裸眼三维显示装置相连，用于将实体视觉图像和裸眼真三维图像进行原位立体透视融合后显示给使用者。本发明具有结构简单、操作灵活度大、能满足不同需求、可以实现高分辨率的立体融合显示、或者可以实现系统轻便小型化等优点。
【专利说明】
基于原位立体增强显示的显微系统及显微方法
【技术领域】
[0001]本发明涉及显微技术，具体涉及一种基于原位立体增强显示的显微系统及显微方法。
【背景技术】
[0002]显微系统在临床医学、生物学、药学等研究领域的运用越来越广泛。传统的显微显示是通过显微镜直接获得的。以蔡司公司的产品OPMI PENTER0 900手术显微镜和Ax1Imager 2正置式研究显微镜平台为例，其观察系统由主物镜、双目镜筒和变倍单元组成，通过搭配不同倍率的目镜与物镜达到不同实体放大倍数与工作距离的要求。同时镜内投射功能让使用者在实体中融合显示一定的附加影像信息，引导使用者的操作。但这种显微镜的视野直径很小，且仅能进行直线观察，易产生观察死角。同时，镜内能投射显示附加影像信息十分有限，采用现有的平面显示方式，虽然可以为试用者提供宝贵的各种所需的影像信息，但是欠缺直观性。
[0003]为解决视野与影像信息显示等问题，人们对三维头戴式显示器进行了大量研究。如:北卡罗来纳大学利用透视头戴式显示器制作的立体“听诊器”和用于内窥镜手术规划和术前模拟的头戴装置。头戴式显示器在佩戴者左右眼各自的视场中分别放置微显示器，基于左右眼观察不同图像时能产生立体视觉的原理，利用可自动变焦高清立体摄像设备获取实体视觉图像，将观察实体与实体的三维图像数据结合起来，在头戴显示器中呈现出增强现实融合显示的实时图像。报道指出，三维显示下使用者的理解准确度和操作准确性有所提高，且操作时间也可缩短。但目前头戴式显示器的发展中存在较明显的限制，例如当对原位融合图像的分辨率要求提高时，微显示器的尺寸也会相应增加，设备整体尺寸与重量也会增加；此外，头戴式显示器会引起使用者辐辏与焦点调节的不一致。为了保证逼真的三维成像，头戴式显示器存在着体积较大、观察时幅辏与焦点调节不一致等问题，在长时间使用时很易产生视觉疲劳、头晕不适等现象。人眼观察真实物体时辐辏与焦点调节是一致的，而观看立体影像时，眼睛调节处于屏幕上，而辐辏却处于视差合成的虚拟立体图像上，因此长期观看必然会导致视觉疲劳。
[0004]由上可知，目前的显微系统虽能直接观察实体，但视野区域较小，也难以进行三维图像原位增强显示；而头戴式显示器虽能进行高清三维图像融合，但难以同时保证使用者舒适感与融合图像的清晰度，易有不适感。目前尚无既满足三维立体图像原位增强显示、且保证足够视野的显微显示系统，无法为使用者提供真实直观、三维增强显示的实体原位融合的显微信息。
【发明内容】
[0005]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的目的在于提出一种具有结构简单、操作灵活度大的基于原位立体增强显示的显微系统及显微方法。
[0006]根据本发明实施例的基于原位立体增强显示的显微系统，可以包括:实体观察装置，所述实体观察装置对准实体区域，用于让使用者实时地、直接地获取实体视觉图像；裸眼三维显示装置，用于提供与所述实体视觉图像内容相关的裸眼真三维图像；原位立体显示装置，所述原位立体显示装置分别与所述实体观察装置和所述裸眼三维显示装置相连，用于将所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后显示给使用者。
[0007]另外，根据本发明上述实施例的显微系统还可以具有如下附加技术特征:
[0008]可选地，所述裸眼三维显示装置包括裸眼真三维图像图像源和投影部件，所述投影部件用于根据所述裸眼真三维图像图像源在空间中投影显示出对应的裸眼真三维图像，其中，当裸眼三维显示装置为基于立体全像技术型时，所述投影部件为透镜阵列；当裸眼三维显示装置为基于光场技术型时，所述投影部件为透镜阵列；当裸眼三维显示装置为基于全息技术型时，所述投影部件为干涉装置。
[0009]可选地，所述原位立体显示装置包括:第一固定件，用于固定所述裸眼三维显示装置中的投影部件；第二固定件，用于固定所述实体观察装置；半透半反装置，所述半透半反装置与所述第一固定件和所述第二固定件的相对位置满足如下条件:所述实体视觉图像和所述裸眼真三维图像在所述半透半反装置处进行原位立体透视融合后显示给使用者，其中，所述实体视觉图像透过所述半透半反装置后显示给使用者，所述裸眼真三维图像经过所述半透半反装置反射后显示给使用者。
[0010]可选地，所述原位立体显示装置中，所述裸眼真三维图像与所述半透半反装置之间还包括:空间影像融合单元以及光程可控的反射单元，以实现可扩展紧凑式融合投影结构。
[0011]可选地，还包括:实体图像放大单元、真三维图像缩放单元和融合图像缩放单元中的至少之一，其中，所述实体图像放大单元用于放大进行原位立体透视融合前的所述实体视觉图像的尺寸，所述真三维图像缩放单元用于缩放进行原位立体透视融合前的所述裸眼真三维图像的尺寸，所述融合图像缩放单元用于缩放所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后的图像尺寸。
[0012]可选地，还包括:像差校正处理模块，所述像差校正处理模块用于校正像差。
[0013]可选地，所述原位立体显示装置中，将所述实体视觉图像和所述裸眼真三维图像进行配准后进行原位显示后显示给使用者，其中配准的方式为基于标志点的配准或者无标志点的配准。
[0014]根据本发明实施例的基于原位立体增强显示的显微系统，可以包括以下步骤:A.实时地、直接地获取实体视觉图像；B.提供与所述实体视觉图像内容相关的裸眼真三维图像；C.将所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后显示给使用者。
[0015]另外，根据本发明上述实施例的显微系统还可以具有如下附加技术特征:
[0016]可选地，所述步骤B具体包括:提供裸眼真三维图像图像源，通过投影部件在空间中投影显示出对应的裸眼真三维图像，其中，当裸眼三维显示方法为基于立体全像技术型时，所述投影部件为透镜阵列；当裸眼三维显示方法为基于光场技术型时，所述投影部件为透镜阵列；当裸眼三维显示方法为基于全息技术型时，所述投影部件为干涉装置。
[0017]可选地，所述步骤C中，通过半透半反装置将所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后显示给使用者，其中，所述实体视觉图像透过所述半透半反装置后显示给使用者，所述裸眼真三维图像经过所述半透半反装置反射后显示给使用者。
[0018]可选地，进行光路设计时采用可扩展紧凑式融合投影结构。
[0019]可选地，还包括下列步骤中的至少之一:放大进行原位立体透视融合前的所述实体视觉图像的尺寸；缩放进行原位立体透视融合前的所述裸眼真三维图像的尺寸；缩放所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后的图像尺寸。
[0020]可选地，还包括步骤:进行像差校正处理。
[0021]可选地，所述步骤C中，将所述实体视觉图像和所述裸眼真三维图像进行配准后进行原位显示后显示给使用者，其中配准的方式为基于标志点的配准或者无标志点的配准。
[0022]根据本发明实施例的基于原位立体增强显示的显微系统以及显微方法，令使用者能够在较大的视场范围内对实体进行显微观察与操作的同时，为观察者提供真三维裸眼立体实体原位增强显示图像，在透视融合图像的辅助下实现对实体的内外部结合的清晰、直观与连续的观察。本发明还具有结构简单、操作灵活度大、能满足不同需求、可以实现高分辨率的立体融合显示、或者可以实现系统轻便小型化等优点。
【专利附图】
【附图说明】
[0023]图1是本发明实施例的基于原位立体增强显示的显微系统的结构框图。
[0024]图2是本发明实施例的原位立体显微装置的结构示意图。
[0025]图3是本发明实施例的可扩展紧凑式融合投影结构示意图。
[0026]图4a是真三维图像缩放单元将裸眼真三维图像的尺寸缩小的显微系统的示意图；图4b是真三维图像缩放单元将裸眼真三维图像的尺寸放大的显微系统的示意图。
[0027]图5a是未进行消像差处理的基于原位立体增强显示的显微系统的示意图；图5b是进行消像差处理的基于原位立体增强显示的显微系统的示意图。
[0028]图6是本发明实施例的基于原位立体增强显示的显微方法的流程图。
【具体实施方式】
[0029]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0030]本发明第一方面实施例的基于原位立体增强显示的显微系统如图1所示，包括实体观察装置10、裸眼三维显示装置20和原位立体显示装置30。
[0031]实体观察装置10对准实体区域，用于让使用者实时地、直接地获取实体视觉图像。所谓实体视觉图像，是指使用时视力所及的范围内的图像。例如，如果手术操作时患者头部需要进行手术治疗，则医生直接肉眼观察到的该患者头部的毛发、皮肤、骨骼、血管、器官(后面几项开颅后可见)等内容均属于实体视觉图像的内容。最简单的实体观察装置10可以是一个由一或多个光学镜头，该光学镜头对准实体区域以便于使用者直接肉眼观察获得实体视觉图像。优选地，实体观察装置10也可以使用显示屏与图像采集装置的组合形式，为观察者提供观察实体实时图像。当然，实体观察装置10也可以配备遮光罩、防尘透明罩等附件结构，本文不做赘述。
[0032]裸眼三维显示装置20用于提供与实体视觉图像内容相关的裸眼真三维图像。这里意味着两层意思:第一，裸眼三维显示装置20所提供的图像，是形成在空间中的、裸眼看上去具有立体感的、三维的虚拟的图像。裸眼三维显示装置20是指基于光学成像原理、能够在空间中显示出被使用者裸眼看到具有三维立体感的像的装置。第二，裸眼真三维图像的内容与实体视觉图像的内容相关。例如，某次手术过程中实体区域为患者头颅，实体视觉图像为直观所见的头颅的图像，此时，裸眼三维显示装置20提供的裸眼真三维图像的内容也应该为与头颅相关的图像，而不是与胸腔等其他位置相关的图像。
[0033]需要说明的是，裸眼真三维图像用于给使用者(例如医生)提供丰富的数据信息，便于使用者做出分析判断。用于生成裸眼真三维图像的裸眼真三维图像图像源可以是计算机断层成像(CT)、计算机三维建模等方法生成的体数据，也可以是X光透射、光学相干断层成像(OCT)等成像方法生产的二维断层图像，还可以是相机、结构光等方法生成的表面纹理图像。此外，裸眼真三维图像的内容既可以是操作前获得的，也可以是操作中实时获取的，也可以是将操作前与操作中的图像进行实时配准融合后的结果。
[0034]需要说明的是，裸眼三维显示装置20包括裸眼真三维图像图像源21和投影部件
22。裸眼真三维图像图像源21即提供裸眼真三维图像的内容来源的部件，它可以是某些图像数据获取设备(例如X光投射扫描装置及相关图像处理模块)，也可以是存储有裸眼真三维图像对应的原始图像的存储器件(例如存储有二维超声图像的硬盘)，本领域技术人员可以根据需要灵活选择，本文不做限制。投影部件22用于根据裸眼真三维图像图像源21在空间中投影显示出裸眼真三维图像。例如，将一块二维平面的发光显示屏作为裸眼真三维图像图像源21，让该发光显示屏呈现出预先设计好的图案，然后该发光显示屏发出的光经过投影部件22后在空间中投射出具有立体感的裸眼真三维图像。裸眼三维显示装置20的技术细节为本领域技术人员已知知识，可以根据需要灵活选择。当裸眼三维显示装置20为基于立体全像技术型时，投影部件22为透镜阵列。当裸眼三维显示装置20为基于光场技术型时，投影部件22为透镜阵列。当裸眼三维显示装置20为基于全息技术型时，投影部件22为干涉装置。需要说明的是，还可以选择本领域技术人员已知的其他的类型的裸眼三维显示装置，不改变本发明的原理。以及，需要说明的是，设计裸眼真三维图像对应的原始图像的算法与裸眼三维显示装置的类型有关。例如，裸眼三维显示装置20为基于立体全像技术型时，需要先编写电脑程序，利用体绘制或者面绘制的方法模拟三维空间物体中某一点发射的光线通过透镜阵列，处理得到裸眼真三维图像对应的原始图像。为在操作过程中实现裸眼真三维图像的动态实时更新，可以使用GPU等并行化处理方式进行裸眼真三维图像对应的原始图像的加速渲染。
[0035]原位立体显示装置30分别与实体观察装置10和裸眼三维显示装置20相连，用于将内容彼此相关的实体视觉图像和裸眼真三维图像进行原位融合后显示给使用者。原位立体显示装置30主要由一系列光学元件(透镜、反射镜、半透半反装置等等)按特定方式排布而成，同时通常也包括一些必要的、起支撑固定作用的壳体或支架等等。原位立体显示装置30的具体形式本发明不作限定，仅需要保证能让使用者同时看到实体视觉图像和裸眼真三维图像进行原位显示后的图像即可。
[0036]图2示出了本发明一个具体实施例的原位立体显示装置30的结构示意图。如图2所示，该原位立体显示装置30包括:第一固定件31、第二固定件32和半透半反装置33。第一固定件31用于固定裸眼三维显示装置20中的投影部件。第二固定件32用于固定实体观察装置10。半透半反装置33与实体观察装置10、第一固定件31及第二固定件32的相对位置满足如下条件:实体视觉图像和裸眼真三维图像在半透半反装置33处原位立体透视融合后显示给使用者，其中，实体视觉图像透过半透半反装置33后显示给使用者，裸眼真三维图像经过半透半反装置33反射后显示给使用者。需要说明的是，应当保证半透半反装置33到实体的光程与裸眼三维显示装置20到半透半反装置33的光程的一致性。优选地，半透半反装置33可以采用液晶屏式半透半反装置。该液晶屏式半透半反装置以实现可控的透射比与反射比。液晶屏本身还可用作显示屏，在特定应用场合中，可作为附加的平面显示器增加系统原位图像的信息量，或作为触摸屏采集使用者操作，增强系统与使用者的交互能力。
[0037]图2所示实施例的原位立体显示装置30中采用直线投影的方式完成裸眼三维显示装置20到半透半反装置33之间的光路传播，导致装置占据空间较大，在空间有限时造成了装置控制及使用者操作的不便。针对此情况， 申请人:还提出一种采用可扩展紧凑式融合投影结构的原位立体显示装置，下面结合图3进行详细介绍。
[0038]在本发明的一个实施例的基于原位立体增强显示的显微系统的原位立体显示装置30中，裸眼三维显示装置20到半透半反装置33之间还包括空间影像融合单元34以及光程可控的反射单元35，如图3所示。其中:空间影像融合结构34基于多半透半反装置机构，在投影装置前端通过光学硬件方式实现若干个独立、并排的三维裸眼立体像的空间融合，实现简单多模态影像信息的配准融合，提升系统显示信息的丰富性；同时，基于光学硬件的图像融合十分快速，以应用于对成像速度有高要求的场合。光程可控的反射结构35用于减少光轴长度，使系统结构更加紧凑。该实施例中通过采用光路内的缩放透镜阵列设计，以及间距可调的反射镜组，实现在缩减系统体积的情况下保证光程一致性，并扩大可视范围。
[0039]在本发明的一个实施例中，基于原位立体增强显示的显微系统还可以包括实体图像放大单元41、真三维图像缩放单元42和融合图像缩放单元43中的至少之一。其中:实体图像放大单元41用于放大进行原位立体透视融合前的实体视觉图像的尺寸，例如，实体图像放大单元41可以为位于实体区域和半透半反装置33之间的透镜或透镜组合。真三维图像缩放单元42用于缩放进行原位立体透视融合前的裸眼真三维图像的尺寸。例如，真三维图像缩放单元42可以包括位于投影部件和半透半反装置33之间的透镜或透镜组合。融合图像缩放单元43用于缩放实体视觉图像和裸眼真三维图像进行原位立体透视融合后的图像尺寸。例如，融合图像缩放单元43可以包括位于使用者眼睛和半透半反装置33之间的透镜或透镜组合。由上可知，使用者可以通过综合调控实体图像放大单元41、真三维图像缩放单元42和融合图像缩放单元43的各自的缩放倍数以得到最好的观测效果。
[0040]需要说明的是，实体图像放大单元41、真三维图像缩放单元42以及融合图像缩放单元43中除了透镜或透镜组合之外，还具有与之配套的操动装置。控制操动装置用于将透镜或者透镜组移动到合适的工作位置。操动装置可以灵活设置，可以为电机形式自动操动，也可为导轨形式手动操动等等。
[0041]需要说明的是，真三维图像缩放单元42对裸眼真三维图像的缩放意义最为重大。下面结合图4a和图4b举例说明。
[0042]在本发明一个实施例中，真三维图像缩放单元42可以将裸眼真三维图像的尺寸缩小。如图4a所示，将初始的裸眼真三维图像标记为A，该A经过真三维图像缩放单元42缩小尺寸，这相当于在空间中形成了缩小尺寸的虚拟像A’，最后A’经过半透半反装置33反射映入使用者眼中。该实施例中，可以将原本大尺寸裸眼真三维图像进行缩小集中到小尺寸后与实体视觉图像融合，降低了对原先的裸眼真三维图像图像源的分辨率要求，提高了融合后图像的清晰程度。
[0043]在本发明另一个实施例中，真三维图像缩放单元42可以将裸眼真三维图像的尺寸放大。如图4b所示，将初始的裸眼真三维图像标记为B，该B经过真三维图像缩放单元42放大尺寸，这相当于在空间中形成了放大尺寸的虚拟像B’，最后B’经过半透半反装置33反射后映入使用者眼中。该实施例中，可以将原本小尺寸裸眼真三维图像进行放大扩展到大尺寸后与实体视觉图像融合，可以降低了裸眼三维显示装置中投影部件的面积要求，有利于整个显微系统的硬件小型化。
[0044]在本发明的一个实施例中，基于原位立体增强显示的显微系统还包括:像差校正处理模块50，该像差校正处理模块50用于消除像差。由于实际光学元件的不完善性，会导致成像发生模糊、变形等缺陷。如图5a所示。原始裸眼真三维图像C经过缩小处理后，产生了具有像差的C’，以至于使用者观察到的融合图像中出现了较明显的像差，这时需对成像系统进行像差校正处理。这里可以使用计算机仿真技术定量测算光学系统的像差值，像差校正处理一般有两种途径:①基于像差值对初始光学设计参数进行优化，重新调整相关缩放单元中各光学部件的焦距、半径、间距等参数，以达到像差最小。②基于像差值对裸眼立体显示图像进行调整，使裸眼立体图像经过透镜组的成像后像差达到最小。根据具体应用情况可以选择其中一种像差校正方法，也可以将两种方法结合使用。图5b给出一个实施例，在图5a的基础上将真三维图像缩放单元42中的透镜换成胶合镜，并且提供具有预变形补偿的裸眼真三维图像D，该D经过胶合镜之后得到无像差的虚拟像D’，使用者最终观察到无像差的三维虚拟融合图像。
[0045]在原位立体显示装置30中，在进行图像融合时，需要将实体视觉图像和裸眼真三维图像进行配准，以保证使用者观察到的图像能正确融合在原位。其中配准的方式包括两种:基于标志点的配准和无标志点的配准。当使用基于标志点的配准算法时，可基于自动或手动确定的标记点，使用最优化理论计算与立体图像的配准关系。同时需要术中定位设备对实体目标进行术中的持续跟踪，实现目标运动时配准信息的实时更新。当使用无标志点的配准算法时，可以使用三维场景的重建方法，基于三维表面轮廓信息使用最优化理论计算与立体图像的配准关系。同时，需要使用术中定位设备对实体目标进行术中的持续跟踪，实现目标运动时配准信息的实时更新。基于上述有标志点或无标志点的配准结果，计算两者间最优空间坐标转换关系，并基于实体目标尺寸调整立体图像显示的尺寸。此步骤为本领域技术人员的已知知识，本文不赘述。
[0046]需要说明的是，若使用中系统的放大倍数发生改变，或实体目标位姿发生改变时，需要重新进行立体融合图像与实体目标实体的配准，更新立体融合图像显示内容。放大倍数改变时，根据倍数对显示图像进行缩放；实体目标位置改变时，需要使用术中定位设备对实体目标进行使用中的持续跟踪，根据目标表面标志点或表面轮廓信息进行再次配准，根据配准结果再次更新显示图像。
[0047]综上所述，本发明实施例的基于原位立体增强显示的显微系统，使得使用者能够在较大的视场范围内对实体及立体融合图像进行清晰、连续的观察，具有结构简单、操作灵活度大、能满足不同需求、可以实现高分辨率的立体融合显示、或者可以实现系统轻便小型化等优点。
[0048]本发明第二方面实施例的基于原位立体增强显示的显微方法，如图6所示，包括以下步骤:
[0049]A.实时地、直接地获取实体视觉图像；
[0050]B.提供与实体视觉图像内容相关的裸眼真三维图像；
[0051]C.将实体视觉图像和裸眼真三维图像进行原位立体透视融合后显示给使用者。
[0052]在本发明的一个实施例中，步骤B具体包括:提供裸眼真三维图像图像源，通过投影部件在空间中投影显示出对应的裸眼真三维图像。进行裸眼三维显示的方法有许多种，可以根据需要灵活选择。当裸眼三维显示方法为基于立体全像技术型时，投影部件为透镜阵列；当裸眼三维显示方法为基于光场技术型时，投影部件为透镜阵列；当裸眼三维显示方法为基于全息技术型时，投影部件为干涉装置。
[0053]在本发明的一个实施例中，步骤C中，通过半透半反装置将实体视觉图像和裸眼真三维图像进行原位立体透视融合后显示给使用者。其中，实体视觉图像透过半透半反装置后显示给使用者，裸眼真三维图像经过半透半反装置反射后显示给使用者。
[0054]在本发明的一个实施例中，进行光路设计时采用可扩展紧凑式融合投影结构。这样可以缩小设备体积，减少对安装场地大小受限程度。
[0055]在本发明的一个实施例中，还可以对图像进行缩放。具体地，可以包括下列步骤中的至少之一:放大进行原位立体透视融合前的实体视觉图像的尺寸；缩放进行原位立体透视融合前的裸眼真三维图像的尺寸；缩放实体视觉图像和裸眼真三维图像进行原位立体透视融合后的图像尺寸。由上可知，使用者可以通过综合调控实体视觉图像、裸眼真三维图像和融合图像三者各自的缩放倍数以得到最好的观测效果。
[0056]在本发明的一个实施例中，还包括:进行像差校正处理。经过像差校正处理之后，能够让使用者最终观察到无像差的三维虚拟融合图像。
[0057]在本发明的一个实施例中，将实体视觉图像和裸眼真三维图像进行配准后进行原位显示后显示给使用者，其中配准的方式为基于标志点的配准或者无标志点的配准。
[0058]综上所述，本发明实施例的基于原位立体增强显示的显微方法，使得使用者能够在较大的视场范围内对实体及立体融合图像进行清晰、连续的观察，具有流程简单、操作灵活度大、能满足不同需求、可以实现高分辨率的立体融合显示、或者可以实现系统轻便小型化等优点。
[0059]在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底” “内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0060]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0061]在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0062]在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0063]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属【技术领域】的技术人员所理解。
[0064]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0065]尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
【权利要求】
1.一种基于原位立体增强显示的显微系统，其特征在于，包括: 实体观察装置，所述实体观察装置对准实体区域，用于让使用者实时地、直接地获取实体视觉图像； 裸眼三维显示装置，用于提供与所述实体视觉图像内容相关的裸眼真三维图像； 原位立体显示装置，所述原位立体显示装置分别与所述实体观察装置和所述裸眼三维显示装置相连，用于将所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后显示给使用者。
2.根据权利要求1所述的显微系统，其特征在于，所述裸眼三维显示装置包括裸眼真三维图像图像源和投影部件，所述投影部件用于根据所述裸眼真三维图像图像源在空间中投影显示出对应的裸眼真三维图像，其中， 当裸眼三维显示装置为基于立体全像技术型时，所述投影部件为透镜阵列； 当裸眼三维显示装置为基于光场技术型时，所述投影部件为透镜阵列； 当裸眼三维显示装置为基于全息技术型时，所述投影部件为干涉装置。
3.根据权利要求2所述的显微系统，其特征在于，所述原位立体显示装置包括: 第一固定件，用于固定所述裸眼三维显示装置中的投影部件； 第二固定件，用于固定所述实体观察装置； 半透半反装置，所述半透半反装置与所述第一固定件和所述第二固定件的相对位置满足如下条件:所述实体视觉图像和所述裸眼真三维图像在所述半透半反装置处进行原位立体透视融合后显示给使用者，其中，所述实体视觉图像透过所述半透半反装置后显示给使用者，所述裸眼真三维图像经过所述半透半反装置反射后显示给使用者。
4.根据权利要求3所述的显微系统，其特征在于，所述原位立体显示装置中，所述裸眼真三维图像与所述半透半反装置之间还包括:空间影像融合单元以及光程可控的反射单元，以实现可扩展紧凑式融合投影结构。
5.根据权利要求3所述的显微系统，其特征在于，还包括:实体图像放大单元、真三维图像缩放单元和融合图像缩放单元中的至少之一，其中，所述实体图像放大单元用于放大进行原位立体透视融合前的所述实体视觉图像的尺寸，所述真三维图像缩放单元用于缩放进行原位立体透视融合前的所述裸眼真三维图像的尺寸，所述融合图像缩放单元用于缩放所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后的图像尺寸。
6.根据权利要求1所述的显微系统，其特征在于，还包括:像差校正处理模块，所述像差校正处理模块用于校正像差。
7.根据权利要求1所述的显微系统，其特征在于，所述原位立体显示装置中，将所述实体视觉图像和所述裸眼真三维图像进行配准后进行原位显示后显示给使用者，其中配准的方式为基于标志点的配准或者无标志点的配准。
8.一种基于原位立体增强显示的显微方法，其特征在于，包括以下步骤: A.实时地、直接地获取实体视觉图像； B.提供与所述实体视觉图像内容相关的裸眼真三维图像； C.将所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后显示给使用者。
9.根据权利要求8所述的显微方法，其特征在于，所述步骤B具体包括:提供裸眼真三维图像图像源，通过投影部件在空间中投影显示出对应的裸眼真三维图像，其中， 当裸眼三维显示方法为基于立体全像技术型时，所述投影部件为透镜阵列； 当裸眼三维显示方法为基于光场技术型时，所述投影部件为透镜阵列； 当裸眼三维显示方法为基于全息技术型时，所述投影部件为干涉装置。
10.根据权利要求9所述的显微方法，其特征在于，所述步骤C中，通过半透半反装置将所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后显示给使用者，其中，所述实体视觉图像透过所述半透半反装置后显示给使用者，所述裸眼真三维图像经过所述半透半反装置反射后显示给使用者。
11.根据权利要求10所述的显微方法，其特征在于，进行光路设计时采用可扩展紧凑式融合投影结构。
12.根据权利要求10所述的显微方法，其特征在于，还包括下列步骤中的至少之一: 放大进行原位立体透视融合前的所述实体视觉图像的尺寸； 缩放进行原位立体透视融合前的所述裸眼真三维图像的尺寸； 缩放所述实体视觉图像和所述裸眼真三维图像进行原位立体透视融合后的图像尺寸。
13.根据权利要求8所述的显微方法，其特征在于，还包括步骤:进行像差校正处理。
14.根据权利要求8所述的显微方法，其特征在于，所述步骤C中，将所述实体视觉图像和所述裸眼真三维图像进行配准后进行原位显示后显示给使用者，其中配准的方式为基于标志点的配准或者无标志点的配准。
【文档编号】G02B27/22GK104280886SQ201410498047
【公开日】2015年1月14日 申请日期:2014年9月25日 优先权日:2014年9月25日
【发明者】廖洪恩, 张欣然 申请人:清华大学