专利名称：立体视频观察和图象放大系统的制作方法
技术领域：
本发明一般涉及立体观察系统，以及更具体而言涉及要用于手术和其它医疗应用中的立体视频观察和放大系统。
背景技术：
当前执行外科手术和其它医疗操作的外科医生不得不在一系列不同的手术期间或者甚至在单个手术期间中使用不同的观察方法。每种观察方法涉及使用不同的仪器和设备。尽管对于一些独立的手术操作来说自然观察就足够了，但是许多种手术需要操作视场的放大以及外科医生视觉的增强。通过使用具有相关放大能力范围的一系列光学设备，向执行这种手术程序的外科医生提供他们所操作的区域的放大图像。手术放大设备的组合中包括各种光学系统，例如简单的小型放大器、具有或没有头灯的可佩带的双目小型放大镜，或者在显微外科的情况下采用的手术显微镜。一般来说，小型放大镜辅助的观察提供在2至3倍的放大(也可以获得较大的放大倍率，只是这样的设备是笨重并且不常用的)，而显微镜的放大倍率范围一般为8倍或更多。利用各种观察方法以及相关设备是当前的手术观察技术的明显缺点。没有这样一种技术提供“直接通过眼睛观察”的功能，或者能够把外科医生所看到的图像传送到外科医生助手以及执行手术操作的其它专家的眼睛中。
现代手术的趋势向着更少入侵以及最少入侵手术技术的发展方向而发展，其提供更少的暴露，因此需要更多放大和增强视觉和视力的工具。这种更少入侵式的手术技术包括需要手术显微镜的显微手术、使用腹腔镜和内窥镜的内窥手术、计算机铺助手术、通过使用与增强现实技术特定程序以及传统手术程序相关的计算机铺助系统实现的机器人和远程手术、或者涉及最少到达操作场所的直接最少入侵手术。
在上文所述的一些手术中，例如内窥手术和计算机辅助、机器人和远程手术需要特殊的观察系统，并且另外需要使用接口放大和增强视觉设备。例如显微手术和传统手术程序这样涉及使用手术室外科显微镜的其它手术方法要求放大的增强外科医生的视觉。在手术过程以及一般手术步骤中难以暴露和到达的远处器官和解剖空间的处理，例如显微手术解剖、缝合技术、游离皮瓣、动脉和静脉接合、插入血管移植、端到面的接合、神经移植、上颌面显微手术、输精管吻合术、器官移植手术、输卵管接合等等将充分地受益于放大的三维在线成像。现代的手术程序需要提高视觉条件，以改进手术质量、减少手术时间、减少对病人的伤害从而减少并发症和住院治疗的时间。
先进的视觉工具将是一种综合的系统，包括具有可调节显示器的实时成像系统，其将提供平衡和优化的三维高分辨率彩色图像，自动和动态地处理在手术过程中改变的条件、宽范围的放大工具并且容易由操作员使用以能够根据主要的状态改变手术参数。本系统还在手术操作过程中向外科医生提供“透明”选项。本系统还通过把显示给外科医生的相同图像传送到在操作过程中在场的其它人员的眼中，以向助手和专家提供“直接通过眼睛观察”的功能。另外，本系统应当提供记录功能，以便于重放该操作过程的记录，以便于学习、分析、存档等等。现有技术的系统不提供这种功能。
发明内容
本发明一个方面是关于向操员实时地显示手术操作空间的动态、可变放大倍率、优化和立体图像的方法，以有助于观察和操纵在该操作空间中的对象，本方法包括通过图像感应设备产生操作空间的动态图像，把所产生的图像编码为电信号，把表示动态图像的信号传送到位于操作员的眼睛光学对齐的显示设备，解码表示动态图像的信号并且把所得的再现图像显示给操作员的眼睛。
本发明的第二方面关于向操作员提供实际操作环境的彩色、高清晰度、可变放大倍率、立体、定性优化和再现图像的一种方法，以便于在与该环境中的对象相关的观察和操纵期间有助于操作。该方法包括通过摄像机观察该过程的图像，把该图像转换为视频信号，把该视频信号通过一组适当的通道发送到位于操作环境和操作员的眼睛之间的各个观察屏幕，把表示视频图像的视频信号解码为再现图像，并且在观察屏幕上显示所再现的视频图像。
本发明的第三方面关于一种立体观察和放大系统，其中包括机械连接并且嵌入在可由操作员所佩带的摄象机模块中的两个摄像机，嵌入在可由操作员所佩带的头部固定的显示单元中的两个显示屏幕，操作员控制单元，接口和处理单元，连接到该摄像机和显示屏幕的适当视频电路，摄像机通过该电路发送表示操作环境的动态图像的视频信号，串行通信链路和电路，通过它把摄像机的图像质量控制参数值发送到该接口以及操作员控制单元，以便于提供监视，从而平衡和定性优化所述再现图像。
本发明的每个以及所有上述方面提供改进的观察质量。
本发明的每个以及所有上述方面提供改进的对象操纵质量以及减少操作时间。
附图简述从下文结合附图的详细描述中，本发明将得到更好的理解，其中
图1为示出与人体相关的部件的功能位置的系统的主要部件的示意图；图2为示出以功能方式相互连接的系统主要部件的简化方框图；图3为定义在一对摄像机和所观察对象之间的与立体观察相关的空间关系的几何因素的图形表示；图4为取决于在给定摄像机中瞳孔间距离到物距的变化的立体系统的性能的曲线图；图5为系统部件放置的图形表示；图6为示出接口和处理单元的硬件和软件部件的功能框图；图7为该系统的主要操作功能的高阶流程图；图8为对操作员控制器单元的控制作用的程序的高阶流程图；图9为与使用摄像机的照明数据的数据显示装置的视频信号电平控制相关的高阶流程图；图10为使用摄像机的数据显示装置的聚焦控制的高阶流程图；图11为使用聚焦的以前读数与IPD和DA值的调节相关的高阶流程图；以及图12A、12B和12C示出包括电机和控制瞳孔间距离(IPD)以及会聚角(DA)的相关机械设备的摄像机模块的机械结构。
用于执行本发明的最佳方式以及工业应用性本发明通过提供一种新型多用途的立体观察系统来克服现有技术的缺点，以便于辅助进行手术以及在操作空间中需要细节放大的其它医疗处理。
所提出的发明是一种计算机化的用于手术目的的立体观察和放大系统。本系统结合高分辨率的视频图像质量、灵活的高倍缩放以及通过计算机自动控制而实现的易用性。通过使用这种强大和有效机构，外科医生将能够更加有效和准确地工作，因此能够在短时间内进行有难度和复杂的手术。该系统提供优化的性能，以及最佳的自动控制，以便于提高外科医生的注意力，并且减少在复杂和漫长的手术过程中所消耗的体力。如果需要的话，本系统通过使用相同的设备在相同的期间内提供可变的视野，从大约1倍(与裸眼相同)到大约10倍的放大的连续控制。整个系统重量轻并且功耗低，这使得紧急救援队可以把它用作为现场设备。另外，该系统提供一系列先进的特点，例如“透明(see-through)”功能、“通过某人的眼睛观察”选项以及记录和再现功能。
现在参见示出该系统的主要部件的图1和图2，该系统被设计为用于近距离观察和对象的手动或半手动操作期间的一种辅助工具。容易理解，该系统的用户可以是在不同的领域中的几种工作人员中的一种，这些领域涉及对任意受限制的实际操作空间中的对象进行手动或半手动操作，这需要对所操纵对象的集中、注意观察，因此只要该操作继续进行，就需要可变的观察放大倍率。所公开的实施例仅仅是所提出的发明的一个例子。在此公开的具体细节不被认为是限制而仅仅是作为有助于更加清楚地理解本发明的方式。
在本发明的优选实施例中，用户10是利用本系统作为执行手术这样的医疗过程的辅助工具的一个医生，例如，外科医生。用户10最好在其身体上或贴身携带本系统的主要部件。摄像机模块(CM)20包括一对轻量的传感器设备，专用于图像接收、图像解码和图像发送，例如安装在用户10头部上的头带、头戴式耳机或者头盔这样的支持装置上的摄像机。头具(headgear)和两个摄像机按这样的方式构成，使得表示两个单一视觉的适当数字编码的电子信号被同时但空间上略有差别地传送到用户10的眼睛，从而用户10可以用立体的方式观察操作空间。表示现实图像的电子信号被摄像机所接收，并且通过适当的通到发送到松散地附加在用户10的身体上的接口和处理单元(IPU)50。该附加是通过使用例如带状安装设备等等这样的适当装置而实现的。接口和处理单元(IPU)50自动处理数字信号并且根据通过操作员控制器(OC)40输入的用户10的手动指令自动处理该数字信号。该用户通过手动激法各种控制而输入指令，例如位于OC40的上表面上的按键。如图所示，OC40由例如条带或者维可牢尼龙搭扣这样的适当装置附加到用户10的上臂。所处理的信号通过适当的电缆发送到头部固定的显示器(HMD)30。头部固定的显示器30位于用户10的眼睛和所观察的操作空间之间。与所有其它提出的系统的主要部件相同，HMD30也是可配带的，并且在本发明的优选实施例中，以类似于放大镜的方式位于用户10的眼睛的前方。发送到HMD30的信号被解码，构成相应的图像，并且显示在例如液晶显示器(LCD)眼镜等等这样的一对显示设备上。
本领域内的专业人员容易理解，对于本发明的其它实施例，所述部件的结构位置、位置和排列可以不同。例如，在本发明的一个不同实施例中，操作员控制器单元可以通过手腕、脚、触摸或者声音而激活该操作控制。在此公开的具体细节仅仅是下文权利要求的基础。
在图3中所述的系统采用两个图像传感设备，例如对应于观察者的双眼的两个摄像机22和24。摄像机22和24相距称为瞳孔间距离(IPD)25这样的间距，并且与对象32相距一段距离28。每个摄像机从略有不同的角度对着该对象32，从而视线汇聚在对象32上。该视线形成一个会聚角(DA)34。利用图1的头部固定显示器HMD30，由每个摄像机所摄取的图像被显示到观察者的相应眼睛。大脑通过利用深度感知的能力把两幅图像转换为三维场景。
参见图4，其中示出根据IPD和会聚距离D的数值的变化的立体系统的性能。已经对给定的情况经过测试以建立所谓的“理想三维系统”。当建立最佳IPD和会聚距离(D)时，测试结果表明存在获得最佳性能的参数范围。把IPD与摄像机(D)距该对象的距离之间的比值作为主要的测量，可以区别出次立体视觉(IPD太小)、最佳立体视觉38以及过立体视觉42(IPD太大)。在次立体视觉中，感觉到缺少深度感。过立体视觉在短时间之后产生混淆和疲劳。为了使立体观察的性能最佳，IPD最好根据到该对象的距离而重新调节。与其它三维视频系统不同，所提出的系统能够动态操作IPD和会聚角，以便于实现光学立体视觉，从而使深度效果最佳，而没有与不集中精力或疲劳相关的不良影响。
本系统采用两个电荷耦合器件(CCD)或嵌入在摄像机模块中的固态传感器摄像机。对于摄像机，可以使用Sony出品的日本型号为EVI 370DG的产品。该摄像机应当具有嵌入的DSP(数字信号处理器)以便于能够用全自动模式工作，或者通过例如RS232/VISCAT这样的串行通信端口使用Sony专用的协议进行外部控制。该摄像机的全部工作参数可从远程计算机来控制(或者通过适当的接口单元进行控制)。摄像机模块被设计为安装在例如头盔、运动的手臂或者固定的吊杆这样的不同表面上，该摄像机模块包括使用至少两个日本制造的连接的微型电机这样的电机设备改变摄像机之间的瞳孔间距离(IPD)和会聚角(DA)所需的机构。
现在参见图5，其中示出图2的系统的部件的更加详细的示图。两个摄像机22和24被组装为一个摄像机模块。两个摄像机具有大约X12的变焦透镜，提供大约48.8°至大约4.3°水平视野。该摄像机使用串行通信链路54和56进行控制，使得每个摄像机可以被分别控制，以改变系统参数，并且平衡与每个摄像机相关的分离的视频通道。S-视频(超级VHS)视频信号作为用于形成更好质量的图像的两个亮度和色度成份而发出。本系统的摄像机最好具有S-视频输出端。为了实现摄像机之间的视频信号电平的优化和平衡，亮度(y)用于控制视频信号电平。
摄像机22和24由IPD/会聚角机构46所连接和控制的机械手44机械链接。摄像机22通过通道48以及摄像机24通过通道52把视频信号发送到IPU50。对应于摄像机22和24的各种工作参数的控制信号被通过能道54和56分别发送到IPU50。由IPU50的数字信号处理所得的控制信号被从IPU50通过通道58发送到IPD/会聚角控制机构，以执行摄像机22和24的相互正确定位。IPU50通过控制通道80链接到操作员控制器(OC)40，并且通过通道82链接到HMD30。HMD30包括一对显示单元62和64，例如LCD眼镜。对于该显示器，已知的头部固定显示器可以使用例如Sony的日本型号为LDI-D100BE等等的产品。该型号LDI-D100BE的产品是一种高分辨率显示器，适合于具有“透明”特征的立体视觉。从IPU50接收的视频信号被解码并且显示在显示单元62和64上。在本发明的优选实施例中，OC40被固定布线连接到IPU50上。在本发明的另一个实施例中，OC40被改进用于IR(红外线)通信控制器(类似于家用电视)，通过声音激活，无线发送，或者用于现在还不存在或者以后发展适用于本目的的任何其它通信形式。
摄像机模块连接到接口和处理单元(IPU)。该接口和处理单元，其作为本系统的“大脑”，控制该摄像机、改变摄像机位置(例如，IPD和会聚角)的机构以及显示器。IPD50控制几种功能布件。电源控制器67是本系统的主控制器以及位于IPU50上的唯一的手动控制器。电源控制器67最好是避免意外关闭的保护型开关。IPU50的其它功能部件将在下文参照附图描述。
操作员控制器单元(OC)40通过通道80连接到IPU50。OC40由用户10用于把指令发送到IPU50，并且从IPU50接收本系统的设置相关的数据以及本系统的一般状态。用户10通过位于OC40的一组控制器与系统进行通信。当用户10开始一个观察/操纵期间，该初始化控制器68被激活，以调用启动-复位程序，以设置本系统的基本参数，例如视野、快门速度、焦聚、IPD以及会聚角(DA)的初值。当操作员要确认本系统是否调节好时，或者当改变例如环境光这样的环境参数时，使用重新调节控制器70。激活重新调节控制器70将自动替换一些通常实时优化本系统所需的自动调节器。
“透明(See-through)”是以两种不同模式工作的现有显示设备的先进特征a)图像显示模式，以及b)透明模式。在图像显示模式中，该屏幕显示由正确连接的图像传感设备所产生和发送的图像，而在透明模式中，从显示屏幕上除去已经变得透明的图像，以便于使观察者观看该屏幕之外的实景。当被激活时，透明控制器72通过使各个显示屏幕变得透明，把显示单元62和64转变为透明模式，从而使该观察设备平衡，并且使观察者通过他的眼睛在自然的视线上观看场景。再按一下透明控制器72把显示设备返回到由通过各个视频通道来自摄像机22和24的图像所提供的场景。当显示单元62和64处于透明模式时，包括摄像机22和24在内的该系统的其它部分继续正常工作。
模式控制74用于循环工作。为了使用户10能够改变特定的参数，模式控制74被重复间断地激活，以便于选择正确的模式和要改变的相关参数。向上控制78和向下控制76用于选择各个参数的数值。例如，在本系统的正常操作过程中，缺省模式被设置为视野(FOV)。在FOV模式中，操作员可以控制所显示图像的放大倍率。通过激活向上控制78和向下控制76，设置适当的数值FOV，实现相应的放大或缩小效果，并且该图像被有效放大或减小尺寸。当操作员要改变不同参数时，模式控制74被激活，并且当前模式被切换到自动白平衡(AWB)。AWB是平衡图像的颜色成份以产生自然的色彩的一种方法。在切换到所需模式之后，表示新的选择的相应指示将出现在显示屏幕66上。当选择AWB模式时，向上控制78或向下控制76的激活将导致适当选择AWB的预设参数值，例如，户内、户外或者自动。进一步激活模式控制74将导致选择稳定器模式，并且向上空制78和向下控制76将设置与稳定器模式相关的参数值，例如，开或关。屏幕66可以另外显示本系统状态、焦聚、缩放和各种错误消息。
可以容易认识到可以把附加的单元连接到上述主单元上。例如任何类型的附加显示单元(其它头部固定的显示器、监视器或者投影仪)可以添加到本系统的基本结构中，以便于使其它人员能够观察由用户10用看到的图像。该图像还可以通过电缆或者无线装置发送到手术室外部，用于教学和指导的目的。另外，本系统可以利用通信编码器，以把该视频图像以压缩格式发送到远程位置，用于在线专家协助。
现在参见图6，其提供接口和处理单元(IPU)的部件的详细示图。IPU50包括处理器设备88、存储设备84、定时和控制单元86、电源/DC转换器96、控制单元接口98、HMD命令接口100、伺服接口90、摄像机命令接口92以及摄像机视频接口94。图6的存储设备84以可执行二进制文件的方式保存操作软件功能。软件功能是由按照适当的数据结构存储的适当预定和预设参数值所控制的计算机程序。摄像机22和24所表示视频图像的信号发送到摄像机视频接口94。该信号通过HMD命令接口100发送到HMD30，以显示在各个显示设备上。如果需要的话，摄像机22和24还把表示亮度数据的数据信号发送到处理器设备88进行处理和作用。根据从摄像机22和24接收的数据，处理器设备88通过摄像机命令接口92和串行通信线路54和56把命令发送到摄像机22和24，以改变与图像质量相关的参数值，例如摄像机22和24的焦距。处理器88还通过伺服接口90把命令发送到IPD/会聚角机构46，以便于适当地改变摄像机22和24相互之间的空间位置，从而建立最佳的IPD和相关的会聚角，以为用户获得最佳的深度感觉，而不容易疲劳。
操作员控制器(OC)40连接到处理器设备88。OC40使用户10控制本系统的特定参数，例如视野、聚焦、自动白平衡等等。用户10的指令被传送到处理器单元88，并且由处理器设备88利用编码为可执行的二进制格式并且存储在存储设备84中的软件功能转换为特定的命令。该命令被通过摄像机命令接口92和伺服接口90传送到摄像机22和24以及IPD/会聚角控制机构46。
摄像机22和24具有几个自动的内置功能，例如自动光控制(ALC)，用于通过透镜光圈和快门速度控制摄像机的视频信号电平。自动的内置功能被用于纠正重要的操作参数，例如焦距，从而使处理器设备88在所有方面提供图像通道的自动平衡。处理器88在分析所接收数字控制信号之后，设置摄像机22和24的各个参数。两个图像被纠正用于正确的聚焦、视频信号电平、以及色彩平衡。处理器88还负责各种系统级的任务，例如中断处理、错误恢复等等。
所提出的系统的性能取决于对系统的有效工作来说重要的几个参数。由于摄像机接近于对象而工作，因此必须保持正确的焦距和色温。该摄像机应当在这些方面保持平衡，以在给定期间内的任何时刻实现两个摄像机之间一致的性能。
现在参见图7，其中示出本系统的主要操作功能的逻辑流程。在步骤140，当操作员启动图5的电源控制67时，电源被开启。接着在步骤106，该系统被初始化。该初始化过程是本系统的启动，在该过程中，所有功能参数被复位为存储在存储设备84上的例如表格等等这样的特定数据结构中的预定数值。下面将结合附图详细描述初始化过程。在步骤108中，图5的OC40被存取，以读出通过例如图5中所示的按键这样的特定控制手动输入的操作员指令。在步骤110中，OC命令被图6的处理器设备88所处理。下面将结合附图给出该处理的详细描述。在步骤112中，从两个摄像机读出平均视频信号电平，并且用该视频信号电平来平衡该摄像机。下面将结合附图给出该处理的详细描述。在步骤114，从两个摄像机读出焦距设置，并且用该焦距来平衡该摄像机。下面将结合附图给出该处理的详细描述。在步骤116，根据以前获得的焦距数值设置IPD和DA。下面将结合附图给出该处理的详细描述。
现在参见图8，其中示出在操作员控制器40上激活的控制序列。由操作员利用OC40控制的本系统的操作的基本程序和模式如下a)初始化模式b)重新调节模式c)正常运行(自动模式)d)系统参数的手动改变通过OC40，向该操作员提供激活所有上述程序和操作的选项。图7的初始化106程序将在两种情况下发生作用当图5的电源开关67被激活之后该电源被开启时，或者当采用图5的初始化控制68时。通过采用图5的初始化68，该操作员激活存储在图6的存储设备84中将由图6的处理器设备88自动执行的一系列预定功能。在步骤120中，初始化程序开始启动本系统，然后所有功能参数被复位为特定的预定数值。在初始化程序中执行的操作进程如下a)在步骤122，摄像机22和24被开启；b)在步骤124，在摄像机22和24上的自动白平衡被设置为户内数值；c)在步骤126，视野被设置为大约35度；d)在步骤128，快门速度被设置为大约1/60秒；e)在步骤130，自动增益控制(AGC)被调节为关闭。AGC是通过增加或降低所输入的信号补偿音频或视频输入电平的改变的电子电路，以匹配预设的电平。使用AGC，改变输入电平可以使输出保持在单个恒定的设置上；f)在步骤132，光圈被设置为自动，以进入快门优先模式；g)在步骤134，聚焦被设置为大约1.5米(大约5英尺)的数值；h)在步骤136，瞳孔间距离(IPD)被设置为大约75毫米(大约3英寸)的数值，并且会聚角被设置为大约2-4度(最好为2.9度)；i)在步骤138，稳定器被设置为开启，以避免当前参数的自动改变。
初始化功能将把控制返回到主要功能，并且随后进入正常运行(自动模式)操作，以开始操作系统参数的连续调节处理。
当例如环境光的强度这样的环境因素改变时，调用重新调节程序150，关于IPD和会聚角的摄像机定位被快速改变，或者与摄像机22和24相关的视频通道变得不平衡。在重新调节程序150过程中执行的步骤与初始化程序120相类似，但是不把本系统的所有参数设置为预定的缺省值。在重新调节程序150过程中，最好启动图5的透明控制72，以避免要显示给用户10的图像发生快速改变。在图5的重新调节控制70启动之后，将从存储设备84装载各种功能并由图5的处理器设备88所执行。由该功能所执行的步骤如下a)在步骤152，快门速度被设置为大约1/60秒；
b)在步骤154，自动增益控制被设置为关闭；c)在步骤156，光圈被设置为自动模式；d)在步骤157，相对于视频信号电平来平衡该摄像机；e)在步骤158，聚焦被设置为自动；f)在步骤159，相对于焦距平衡该摄像机。
重新调节功能将把控制返回到主要逻辑功能，结果将进入正常运行(自动模式)，以便于开始连接、自动和在线的操作系统参数的调节。
向操作员提供利用图5的模式控制手动改变本系统的几个参数的选项。通过重复和间断地在步骤140启动模式控制74，该操作员选择所需的工作模式，其中可以改变特定的参数。所有改变将作用于两个摄像机。根据所作的选择，对于所选模式特定的可见指示符将出现在图5的显示屏幕66上。缺省模式是FOV或者视野的调节。在步骤142通过启动向上控制76或向下控制78调节FOV，在FOV模式中这两个控制分别对应于放大和缩小操作。FOV数值改变的结果是有效地增加和减少所接收的图像尺寸。结果，按照这种方式实现图像的放大。
在步骤144，另外选择AWB模式。在AWB模式中，对两个摄像机调节白平衡。向用户提供在白平衡调节的三个预定值之间切换的选项。该数值如下a)户内根据人工照明纠正图像的色彩；b)户外把图像的色彩纠正为大约6500K(开尔文)的自然光。
c)自动-执行自动AWB。
在步骤146，该操作员平衡摄像机之间的聚焦。如果需要的话，检查和调节两个摄像机的焦距。当对该摄像机修改焦距时，计算并改变IPD。由于当IPD的一般平均值为能够进行立体观察的观察者与所观察空间的最接近清楚观察对象之间的距离的1/20时立体感最佳，因此IPD的数值被设置为大约焦距的1/20，最小值约为50-60毫米(最好为53毫米)。在IPD改变之后，通过存取例如查找表这样的适当数据结构并且提取适当的数值，获得会聚角DA。
现在转到图9，其中示出自动平衡视频信号电平112的过程。在步骤166中，从两个摄像机读出照明平均视频信号电平，以及在步骤168中，从摄像机获得的数值被相互比较。在步骤170中，确定两个摄像机之间的视频信号电平的差别是否大于预定数值，例如10％。如果该差别大于预定数值，则在步骤172中，检查每个摄像机，以确定哪个摄像机具有偏离预定设置的视频信号电平值的设置，例如大约1.0伏的峰-峰值。根据在步骤176或步骤174的结果，把各个摄像机的光圈调节到预定的设置数值。然后，控制返回到步骤168以重复该平衡处理。当在步骤168发现摄像机的视频信号电平之间的差别小于预定数值，则该控制返回到步骤166，以再次获得摄像机的照明视频信号电平。
现在参见图10，其中示出与摄像机相互之间相对的焦距设置114的自动平衡相关的控制流。在步骤180，获得两个摄像机的焦聚设置并且在步骤182比较它们之间的差别。当没有发现差别时，则控制返回到步骤180，以重复该平衡处理。如果在步骤186发现该设置不同，则确定哪个摄像机的焦距设置大于另一个摄像机的数值。根据该结果，在步骤190或步骤188中，把具有较高焦距数值的摄像机的焦距复位为另一个摄像机的数值。
现在参见图11，其中示出与IPD和DA116的自动设置相关的逻辑流程图。在步骤194中读取两个摄像机的焦距设置，并且在步骤196中计算IPD。在步骤198中设置该IPD，以及在步骤202中，通过IPD的数值能够从在步骤200保存与存储设备中的查找表提取DA的数值。在步骤204设置DA的数值。该结果被传送到图6的伺服接口90，被转换为适当的信号并且发送到图6的IPD/DA控制机构46。然后，功能控制返回到步骤194，以从两个摄像机获得焦距设置的读数，并且重复该处理。
现在参见图12A、12B以及12C，其中示出图6的摄像机模块20的机械结构，其中包括具有相关机械部件的电机216和210。从底座218悬吊摄像机22和24，其中该机构固定到底座218上的固定点是支承两个电机210和216的螺栓。前方电机216具有双侧轴，其具有相反方向的螺纹。螺栓固定的摄像机22和24具有相同的螺纹，因此当电机216在一个方向上旋转时，摄像机22的前侧212和214分别相互靠近或者相互远离。为了能够进行所述的运动，螺栓和摄像机22和24的壳体之间的连接可以自由旋转而不改变位置。后电机210还具有带螺纹的转轴，其移动两个支臂206和208。从而，摄像机22和24的后部之间的距离将根据电机210运动的方向而增加或减小。所述的机构提供IPD和会聚角的控制。
本领或的专业人员将容易认识到，上文描述仅仅是说明本发明的下位概念，并且仅仅对于能够在所提出的系统的制造中实现的许多可能的设计方案中的一种可能结构进行描述。
在本发明的另一个实施例中，可以添加辅助设备，例如记录和回放，声音和通信，以便于对应一般手术室的结构。
在本发明的另一个优选实施例中，将提供添加光源的更加紧凑的系统，它以电池或车载电池连接器进行工作。在本实施例中，该系统可以由在户外活动的军队或紧急救援队伍来使用。
在本发明的另一个优选实施例中，所提出的系统将包含单色增强摄像机(ICCD)，用于军队进行微光操作。
本领域的技术人员将认识到本发明不限于在此具体示出和描述的内容。本发明的范围仅仅由下面的权利要求来确定。
权利要求
1.一种向操作员实时地显示手术操作空间的动态、可变放大倍率、优化和立体仿真图像的方法，以有助于近距离观察处理，以及操纵在所述操作空间中的对象，该方法包括通过图像产生设备产生所述操作空间的动态图像；把所述动态图像编码为电信号；把表示动态图像的所述编码的电信号传送到位于与操作员的眼睛光学对齐的显示设备；把表示动态图像的所述编码信号解码为再现的信号；把所再现的图像显示给操作员的眼睛。
2.根据权利要求1所述的方法，其中进一步包括如下步骤把所述图像产生设备的图像质量控制参数编码为数字信号；把表示所述图像质量控制参数数值的所述数字信号发送到数字信号处理设备；监控表示该图像产生设备的图像质量控制参数数值的数字信号；自动平衡该图像产生设备的图像质量控制参数设置；自动调节与立体观察质量相关的图像产生设备的实际位置。
3.根据权利要求1所述的方法，其中进一步包括手动控制图像产生设备的图像质量控制参数的步骤。
4.根据权利要求3所述的方法，其中手动控制图像质量控制参数的步骤包括如下步骤初始化图像产生设置的图像质量控制参数数值；有选择地重新调节该图像产生设备的所述图像质量控制参数数值；有选择地复位该图像产生设备的至少一个图像质量控制参数数值；稳定该图像产生设备的图像质量控制参数数值；有选择地使该图像产生设备从所述显示设备上断开，以允许通过该显示设备在视线上观察所述操作空间。
5.根据权利要求4所述的方法，有选择地复位的步骤包括如下步骤控制视野和所显示图像的放大倍率；调整所显示图像的色彩平衡；调节所显示图像的清晰度；设置所显示图像的亮度。
6.根据权利要求2所述的方法，自动平衡图像质量控制的步骤包括如下步骤监控第一图像产生设备的图像质量控制参数数值；监控第二图像产生设备的图像质量控制参数数值；比较所述第一图像产生设备和所述第二图像产生设备的图像质量控制参数数值；使该第一图像产生设备和第二图像产生设备的图像质量控制参数数值相等；重复上述步骤。
7.根据权利要求2所述的方法，自动调节立体观察质量的步骤包括如下步骤监控图像产生设备的图像质量控制参数数值；根据所述监控的图像质量控制参数数值计算最佳的立体观察质量控制参数数值；把所述计算的最佳立体观察质量控制参数数值发送到空间控制设备；把所述计算的最佳立体观察质量控制参数数值转换为适当的实际位置信号；把该图像产生设备实际定位到最佳产生有效的立体观察图像的空间位置；以及重复上述步骤。
8.一种向操作员提供实际操作环境的彩色、高清晰度、可变放大倍率、立体、定性优化和再现视频图像的方法，以便于在与所述环境中的对象相关的观察和操纵期间有助于该操作员，该方法包括通过摄像机查看所述观察和操作过程的动态图像；把所述动态图像转换为编码的视频信号；把所述编码的信号通过一组适当的通道发送到位于操作环境和操作员的眼睛之间的各个观察屏幕；把表示该动态图像的电信号解码为再现的视频图像；以及在所述观察屏幕上显示所述视觉构造的视频图像。
9.根据权利要求8所述的方法，进一步包括如下步骤把摄像机的图像质量控制参数数值转换为适当的数字信号；把所述数字信号通过一组通道发送到具有数字信号处理能力的特定计算设备；监控偶然、手动或自动对所述工作的图像质量控制参数作出的改变；在摄像机之间平衡所述图像质量控制参数数值，以便于在所述观察屏幕上获得统一的图像；自动优化摄像机相对的实际位置。
10.根据权利要求8所述的方法，进一步包括由操作员手动调节摄像机的工作图像质量控制参数数值。
11.根据权利要求10所述的方法，手动调节的步骤包括如下步骤把摄像机的工作设置初始化为预先选择的数值；有选择地把该摄像机的所述工作设置重新调节为预先选择的数值；有选择地把摄像机的至少一个工作设置复位为所确定的数值；禁止自动调节摄像机的工作设置；不在观察屏幕上显示视频图像，以允许操作员在视线上的清楚地进行观察。
12.根据权利要求11所述的方法，初始化工作设置的步骤包括如下步骤启动摄像机；把色彩平衡控制设置为预定数值；把放大倍率设置为预定数值；把快门速度设置为预定数值；断开自动增益控制；启动自动光圈控制；把焦距设置为预定数值；根据焦距计算瞳孔间距离的数值；根据瞳孔间距离的数值获得会聚角的数值；实现摄像机根据瞳孔间距离和会聚角而运动；稳定摄像机控制。
13.根据权利要求11所述的方法，有选择地重新调节的步骤包括如下步骤把快门速度设置为预定数值；禁止自动增益控制；启动自动光圈控制；启动自动聚焦控制；相对于亮度级平衡摄像机；相对于焦距平衡摄像机。
14.根据权利要求9所述的方法，其中自动优化的步骤包括如下步骤监控摄像机的焦距设置；计算瞳孔间距离和相应会聚角的最佳数值；通过工作伺服电机接口，把所得数值转换为适当的电子控制信号；启动伺服电机设备的工作，以适当地确定摄像机的相对位置；重复上述步骤。
15.根据权利要求14所述的方法，所述瞳孔间距离计算的结果是通过把焦距除以预定数值而获得的。
16.根据权利要求14所述的方法，计算会聚角的结果是通过根据所计算瞳孔间距离从预定表格提取所需数值而获得的。
17.一种立体观察和放大系统，其中包括机械连接并且嵌入在可由操作员所佩带的摄像机模块中的两个摄像机；嵌入在可由操作员所佩带的头部固定的显示单元中的两个显示屏幕；可由操作员所佩带的操作员控制单元；接口和处理单元；连接到所述两个摄像机和所述两个显示屏幕的适当视频电路，该摄像机通过该电路发送表示操作环境的动态图像的适当电信号，以显示在该显示屏幕上；串行通信链路和串行电路，通过它把表示摄像机的图像质量控制参数值的数字信号发送到该接口以及操作员控制单元，以便于进行监视，从而自动平衡和定性优化所再现图像。
18.根据权利要求17所述的系统，该计算机模式进一步包括连接到摄像机的第一伺服电机，用于实现该摄像机相对于两个摄像机之间距离的定位；连接到两个摄像机的第二伺服电机，用于实现该摄像机相对于由到达操作空间中的对象的各个视线所形成的会聚角的定位；从而形成可控制的瞳孔间距离/会聚角机构。
19.根据权利要求17所述的系统，其中该操作员控制器单元包括显示屏，其表示系统状态、图像质量控制参数数值以及当前工作模式；初始化控制，其向操作员提供把图像质量控制参数设置为预定数值的选项；重新调节控制，其向操作员提供重新调节图像质量控制参数数值的选项；模式控制，其用于手动选择图像质量控制参数；向上控制和向下控制，其用于手动调节关于当前模式的参数值；以及透明控制，其用于断开由摄像机发送到观察屏幕的视频信号，以允许操作员通过自然视线观察操作空间。
20.根据权利要求19所述的系统，其中该控制为按键。
21.根据权利要求17所述的系统，该接口和处理单元包括开启和关闭本系统的主控制设备；摄像机接口，用于处理从摄像机接收的视频信号；摄像机命令接口，用于处理从摄像机接收的对应于图像质量控制参数数值的数字信号，以及把所处理的数字信号从处理器设备发送到各个摄像机；头部固定显示器接口，用于把对应于视频图像的电信号发送到观察屏幕；伺服接口，用于把与摄像机定位相关的控制信号转换为适当的伺服命令，并且把所述伺服命令发送到各个位置调节机构；存储设备，用于保存可执行控制功能、控制表和预定图像质量控制参数数值；处理器设备，用于对于图像质量控制参数数值处理数字信号；控制单元接口，用于接收来自操作员的命令；电源/直流转换器设备；以及定时和控制单元。
22.根据权利要求21所述的系统，其特征在于主控制设备是一个保险开关。
23.根据权利要求17所述的系统，其特征在于该观察屏幕是液晶显示设备。
24.根据权利要求17所述的系统，其特征在于该摄像机具有S-VHS输出端。
25.根据权利要求17所述的系统，其特征在于该观察屏幕具有内置的透明功能。
26.根据权利要求17所述的系统，其中进一步包括记录和回放所产生的动态的图像的功能。
全文摘要
一种立体观察和放大系统,其中包括摄像机模块、头部固定的显示单元、操作员控制单元、接口和处理单元、视频电路和串行通信链路,以把嵌入到摄像机模块的摄像机所产生的所再现图像的可变放大三维显示提供到嵌入在头部固定的显示单元上的显示屏幕。该系统用于自动平衡该摄像机,以及用于所再现图像的自动定性优化。
文档编号H04N13/02GK1373969SQ00812758
公开日2002年10月9日 申请日期2000年7月6日 优先权日1999年7月13日
发明者G·科什卡斯 申请人:瑟吉维森有限公司