摄像机透照镜电子可变棱镜的制作方法

文档序号:19688445发布日期:2020-01-14 18:31阅读:163来源:国知局
摄像机透照镜电子可变棱镜的制作方法

本公开整体涉及用于在外科手术期间辅助外科医生的所有类型的透照镜。

关于政府资助研究或开发的声明

不适用。



背景技术:

内窥镜式外科手术在医疗领域正经历迅速的发展。内窥镜检查是一种微创外科手术,用于通过将管状构件通过较小切口或极微切口插入体腔内来分析体腔的内部或器官的内表面。常规的内窥镜通常为具有光源和图像传感器或装置的器械,该图像传感器或装置用于将体腔的内部可视化。已经为内窥镜的一般领域开发了多种应用,包括但不限于:关节镜、血管镜、支气管镜、胆道镜、结肠镜,细胞检查镜、十二指肠镜、肠窥镜、食管-十二指肠镜(胃镜)、喉镜、鼻咽-肾内窥镜、乙状结肠镜、胸腔镜和子宫内窥镜(下文统称为“内窥镜”或“透照镜(scope)”)。内窥镜的优点包括较小的手术切口和较小的软组织损伤。因此,患者的不适和疼痛显著减少,并且恢复时间减少。

在内窥镜的帮助下执行微创手术的优点在医学领域是熟知的和理解的。因此,越来越多的装置与内窥镜一起用于将诊断、监测、治疗、操作器械、工具和附件(统称为“工具”)递送到医师的内窥镜的观察场和工作空间中。

作为形成手术部位的图像的一部分,内窥镜包括光源和图像传感器。内窥镜也可结合用于在体内观察或操作的多于一个的管状构件,诸如用于通过内窥镜传递诊断、监测、治疗或外科工具的工作通道。内窥镜包括玻璃透镜和可调节的眼部或眼睛件、用光导体的横向连接、允许聚焦的适配器、以及相机头部。该配置也被称为视频内窥镜。常规的内窥镜使用物理棱镜将光引导到手术场景中。遗憾的是,使用物理棱镜还导致内窥镜的顶端成角度,并且需要使用者旋转物理棱镜以允许外科医生看到外科手术场景的不同部分。

大多数透照镜是用特定尺寸的孔口(诸如例如,5mm的透照镜)来实现的。5mm的透照镜没有插入身体中超过5mm直径的部件。常规的5mm透照镜或其他透照镜用零度(钝角)轴顶端或成角度的轴尖端(例如,在约三十度轴尖端至约七十度轴尖端的范围之间)来实现。在某些情况下,可使用其他尖端来提供较窄或较宽的视场。

该常规技术的一个缺点是,例如,为了将视场从三十度改变到七十度,外科医生必须从人的身体中取出透照镜,移除附连的三十度尖端,并将七十度的尖端施加到该透照镜(或使用两个透照镜,一个具有三十度尖端,一个具有七十度尖端)。然而,恒定的尖端(或透照镜)变化是不期望的,因为改变尖端(或透照镜)会引起外科延迟,从而延长外科手术的长度。另外,多次取出和重新插入透照镜(或不同透照镜)的风险是,组织将在外科手术期间被损坏(例如,在重新插入透照镜时意外撞到神经)。外科医生常常发现,由于不期望调节或改变透照镜的尖端以看到不同的视场,因此他们宁愿对场景具有不太理想或至少不期望的视图,而不是针对外科手术的不同部分不断地调整视场。因此,当给定场景的不太理想的视图或切换或调节内窥镜之间的选项时,外科医生通常将在不太理想的场景视图的情况下操作。

因此,当用不从身体取出透照镜或不需要改变物理装置或尖端的透照镜操作时,外科医生需要获得他们所期望的场景视图。还需要提供场景的真实高清晰度视图,同时能够选择性地选择所需的视场。

本公开的特征与优势将在下面的说明书中予以阐述,并且根据说明书将是部分显而易见的,或者本公开的做法无需过度的实验即可被借鉴。本公开的特征和优点可通过所附权利要求书中特别指出的器械和组合来实现和获得。



技术实现要素:

在一个实施方案中,公开了一种系统。该系统包括透照镜,该透照镜还包括透镜。该系统还包括手持件。系统还包括成像传感器。该成像传感器包括两千像素乘两千像素的像素阵列。该系统还包括界面元件,当被致动时该界面元件使得通过透镜提供的视角在单个图像读出帧中改变。

在另一个实施方案中,公开了一种透照镜。该透照镜包括设置在该透照镜的远侧尖端中的透镜。该透照镜包括手持件。该透照镜还包括成像传感器。成像传感器包括两千像素乘两千像素的像素阵列。该透照镜还包括界面元件,该界面元件在被致动时使得通过透镜提供的视角在单个读出帧中改变。

在另一个实施方案中,公开了一种方法。该方法包括提供在透照镜的远侧尖端具有透镜的透照镜。该透照镜还具有一个或多个界面元件。例如,处理器从一个或多个界面元件中的一个接收指示以改变提供给显示装置的视角。处理器识别图像传感器上与所指示的视角相对应的一千像素乘一千像素的像素集,该图像传感器具有两千像素乘两千像素的像素阵列。处理器从与所指示的视角相对应的一千像素乘一千像素的像素集接收成像数据。

附图说明

通过考虑结合附图呈现的随后的具体实施方式,本公开的特征和优点将变得显而易见,其中:

图1示出了与电子可变棱镜一起使用的示例性透照镜;

图2示出了4k图像传感器,其可连接到图1中所示的示例性透照镜;

图3示出了在图1中所示的透照镜结合50°棱镜时实现的视图图案的实施方案;

图4a-4d示出了当图1中所示的透照镜结合50°棱镜并且被调节以提供30°视角时实现的视图图案的实施方案;

图5a-5d示出了当图1中所示的透照镜结合50°棱镜并且被调节以提供70°视角时实现的视图图案的实施方案;

图6a-6d示出了当图1所示的透照镜结合50°棱镜并且被调节以提供50°视角时实现的视图图案的实施方案;

图7a-7d示出了在图1中所示的透照镜使用数字棱镜提供30°视角时实现的视图图案的实施方案;

图8a-8d示出了在图1中所示的透照镜使用数字棱镜提供70°视角时实现的视图图案的实施方案;

图9a-9d示出了在图1中所示的透照镜使用数字棱镜提供50°视角时实现的视图图案的实施方案;

图10示出了一种用于识别4k像素阵列中的像素的选择以在特定视角处提供视图的方法;

图11示出了4k传感器和电磁发射器的系统的实施方案的示意图,该系统用于在使用图1中所示的透照镜在光不足的环境中产生图像时使用;

图12示出了互补系统硬件的示意图;

图12a-12d示出了用于构造一个图像帧的传感器的操作循环;

图13示出了电磁发射器的实施方案的操作的图示;

图14示出了改变发射电磁脉冲的持续时间和量值以便提供曝光控制的图示;

图15示出了将图12a-15的传感器的操作循环、电磁发射器和发射电磁脉冲组合的本公开的实施方案的图示,其示出了操作期间的成像系统;并且

图16示出了在从t(0)到t(1)的时间段内的两个不同过程的示意图,该过程用于记录用于全光谱光和分区光谱光的视频帧。

具体实施方式

为了促进对根据本公开的原理的理解的目的,现在将参考附图中所示的实施方案,并且将使用特定的语言来描述这些实施方案。然而,应当理解,因此并不旨在限制本公开的范围。本文所示的本发明特征的任何改变和进一步修改,以及如本文所示的本公开的原理的任何附加的应用(其对于相关领域的技术人员和了解本公开内容的人通常将会发生)将被认为在受权利要求书保护的公开的范围内。

在公开和描述用于提供单次使用成像装置和图像或视图优化组件的装置、系统、方法和过程之前,应当理解本公开不限于本文所公开的具体实施方案、配置或过程步骤,因为此类实施方案、配置或过程步骤可有所不同。另外应当了解,本文所用的术语只是为了描述具体实施方案的目的,并不旨在进行限制,因为本发明的范围将仅由所附权利要求书来限定。

在描述及对本公开的主题提出权利要求时,将根据下列定义使用以下术语。

应当指出的是,如本说明书和所附权利要求书中使用的单数形式“一种”、“一个”和“该”包括多个指代物,除非上下文中明确表示其他含义。

必须理解,如本文所用,“视场”旨在考虑在液体中衍射的度或角度方面可看到的图像的量。

必须理解,如本文所用,“视角”旨在设想视场在液体中衍射时以度或角度成角度的角度。

如本文所用,术语“包括”、“包括”、“包含”、“其特征在于”以及它们的语法同等成分是非遍举的或开放式的术语,不排除额外的、未述及的要素或方法步骤。

如本文所用,短语“由……组成”及其语法同等成分排除未载入权利要求书的任何要素、步骤或成分。

如本文所用,短语“主要由……组成”及其语法同等成分将权利要求的范围限制于规定的材料或步骤以及本质上不影响被要求保护的本公开的之一种或多种基本及新颖特征的材料或步骤。

如本文所用,如关于装置或电子通信所用,术语“主动的”是指由硬件或软件驱动的具有与其操作和/或其状况有关的决策或逻辑处理能力的任何装置或电路。相反,与成像装置或电子通信相关使用的术语“被动的”是指仅写入和读取的硬件装置,或不具有任何存储器或其他电子或物理跟踪器具的装置,并且不包括关于其操作和/或其状况的任何决策或逻辑处理能力。

现在参考附图,具体地参见图1,将大体讨论本公开的特征的实施方案。图1示出了提供用于外科使用的透照镜125的透照镜系统100。透照镜系统100包括连接到透照镜125的手持件105。手持件105可实现图像传感器,诸如cmos传感器(图1中未示出但下文论述)。手持件105还可实现交互元件110,该交互元件可实现为按钮、拨盘、触摸屏或本领域已知的其他常规交互元件。手持件105可通过缆线115进一步连接到图像采集和处理电路120,该缆线用于在图像采集和处理电路120与手持件105之间传送来自cmos传感器的信息、光脉冲以及其他信息。图像采集和处理电路120可包括元件,诸如光引擎、激光引擎、图像处理器、用于显示从cmos图像传感器获得的图像的显示单元,以及向透照镜的远侧尖端处的外科场景提供光脉冲并接收由cmos传感器获得的图像信息所必需的其他元件。

透照镜125可包括任选的柄部130和被构造成将光传输到透照镜125的远侧端部并从内窥镜的远侧端部处的外科场景获得信息的各种元件。例如,各种线材、传输线、纤维光缆、管腔和其他元件可设置在透照镜125内,并且可延伸穿过管135至透照镜125的远侧端部。

在管135的远侧端部处,可设置棱镜(或下文将讨论的透镜)140。例如,可以实现棱镜140以某种程度或角度来偏置视场。在一个实施方案中,可使用50°棱镜使从透照镜125发射的光成角度以进入到手术场景中,但可使用任何棱镜来使光成角度或衍射光,使得光以0°至90°之间的特定角度定向。然而,由于大多数外科医生似乎更喜欢30°或70°的视角,因此50°的棱镜在该实施方式中尤其适用,因为30°和70°各自距50°相距20°。下文将进一步讨论该实施方式。图像传感器(诸如cmos传感器(图1中未示出但下文讨论))可在管或透照镜135的远侧端部内实现。

图2示出了可连接到图1中所示的示例性透照镜的4k图像传感器200。图像传感器200可为cmos传感器并且可被称为4k传感器,因为图像传感器200包括被布置为至少具有两千个像素的高度205和两千个像素的宽度210的四百万像素。换句话讲,图像传感器200可以是具有像素阵列的正方形传感器,该像素阵列具有布置为包括两千像素乘两千像素正方形的四百万个单独像素。

如图2所示,图像传感器200可被细分成较小部分。也就是说,在四百万像素的阵列中,像素阵列中存在几乎无限数量的一千像素乘一千像素的集。像素的“集”和像素的“阵列”可在本文中互换使用,但为了描述的目的,阵列中的像素的“集”包括可用像素阵列的一部分或更少的像素。图2示出了一千像素乘一千像素的第一像素阵列215,该像素阵列占据传感器的左上部分并且刚好包括图像传感器200中的总像素的四分之一。图2还示出了第二像素阵列220、第三像素阵列225和第四像素阵列230,它们各自为占据图像传感器200的不同部分的非重叠阵列并且全部为一千像素高乘一千像素宽。第五像素阵列235被示出为占据图像传感器200的中心部分,因为像素阵列235的左侧距图像传感器200的左边缘的距离与像素阵列235的右侧距图像传感器200的右边缘的距离相同。另外,识别第五像素阵列235使得像素阵列235的顶侧距图像传感器200的顶部边缘的距离与像素阵列235的底侧距图像传感器200的底部边缘相同。

第一像素阵列215、第二像素阵列220、第三像素阵列225、第四像素阵列230和第五像素阵列235仅指示可由图像传感器200中的两千乘两千像素阵列形成的五个子像素阵列。然而,如前所述,独特的一千像素乘一千像素的阵列的总数可实际上是无限的。换句话讲,图像传感器200中的每个单独像素可为不同于一千像素乘一千像素的每个和任何其他阵列的独特的一千像素乘一千像素的阵列的一部分。因此,可选自两千乘两千像素阵列的独特的一千像素乘一千像素的阵列的数量相当大。因此,4k图像传感器诸如图像传感器200可尤其适于提供显著种类的一千乘一千像素的阵列,该像素阵列可被选择用于特定目的,如下文将讨论的那样。

图3示出当相对于上文图1示出和描述的透照镜125结合可设置在透照镜125的远侧端部中的50°棱镜305时实现的视图图案300的实施方案。可将来自棱镜305的视图图案300以宽视场310投影到4k传感器诸如上文参考图2所讨论的图像传感器200上。视场310可足够宽以结合30°视角315、50°视角320和70°视角325,如图3所示。另外,在使用50°棱镜的实施方案中,可在液体诸如例如盐水中获得85°视场,这在外科情况下是常见的情况。85°视场还对应于四百万像素的像素阵列上的一千像素乘一千像素的像素阵列。因此,从30°视角315、50°视角320和70°视角325中的每一者导出的信息可由上述4k图像传感器诸如图像传感器200完全捕获。下文将讨论视图图案300的具体实施方式。

图4a示出了当图1中所示的透照镜125结合50°棱镜并且被调节以提供30°视角时实现的视图图案400的实施方案,该视图图案可类似于图3中所示的视图图案300。视图图案400包括图像传感器405的表示,该图像传感器可为4k图像传感器。图像传感器405可以与上文讨论的图像传感器200类似的实施方式和描述来实现。视图图案400包括宽视场410,该宽视场包括可通过50°棱镜观察的总视场。如图4a所示,视场410被放置在图像传感器405上以示出从图像传感器405上的场景收集图像信息的每个像素的大致位置。视图图案400还示出了表示图像传感器405的中心部分的中心焦点415。

视图图案400还包括对应于由凹口425所标识的视图的特定部分处的30°的场景的特定一个一千像素乘一千像素的阵列420a的表示。通过使用图1所示的界面元件110操纵透照镜125,外科医生可改变或旋转特定的30°视角以观察外科场景的不同30°部分。凹口425为外科医生提供了外科医生正在查看的外科场景的30°部分的取向点,使得外科医生可识别哪个方向是上、下、左或右。

然而,当外科医生旋转视角时,正在接收期望的图像信息的像素阵列405上的像素的对应位置发生变化。换句话讲,特定的一千像素乘一千像素的阵列420a可与由凹口425指定的特定视角相关联。如图4a所示,30°视角可使得图像信息被存储在一千像素乘一千像素的阵列420a中,该像素阵列420a设置在与凹口425直接正对的图像传感器405上。这样,可以使用下文进一步描述的技术来识别外科医生在30°视野处期望的图像传感器405中的图像数据的位置,并将其显示在外科医生的显示器上。实际上,50°棱镜的焦点在图4a中向左移动20°(基于凹口425的位置)以聚焦于由一千像素乘一千像素的阵列420a内的圆形区域所识别的30°视场。

图4b-4d示出了被外科医生旋转凹口425改变以观察视场的特定30°部分的视图图案400。图4b示出了外科医生正在查看的视场的顶部部分的视图。图4c示出了外科医生正在查看的视场的右部部分的视图。图4d示出了外科医生正在查看的视场的底部部分的视图。

该实施方式的另一个优点是,外科医生仍可根据需要通过视场旋转视角。然而,外科医生还可将观察角度从30°切换至50°或70°,例如实现为界面元件110中的一个。另一个优点是,图像传感器405内的一千像素乘一千像素的阵列420a可以大约每秒240帧读取。由于期望的图像质量可利用比每秒240帧更慢的读出速率获得,因此图像采集和处理电路120可识别凹口425的微小旋转,并在透照镜100旋转时重新计算新的一千像素乘一千像素的阵列420a的位置。换句话讲,可利用240帧中的每帧来识别新的一千乘一千像素的阵列420a,并且仍然提供期望的图像输出。这允许外科医生在旋转凹口425时保持恒定的视图。

图5a示出了当图1中所示的透照镜125结合50°棱镜并且被调节以提供70°视角时实现的视图图案500的实施方案,该视图图案可类似于图3中所示的视图图案300。视图图案500包括图像传感器505的表示,该图像传感器可为4k图像传感器。图像传感器505可以与上文讨论的图像传感器200类似的实施方式和描述来实现。视图图案500包括宽视场510,该宽视场包括可通过50°棱镜观察的总视场。如图5a所示,视场510被放置在图像传感器505上以示出从图像传感器505上的场景收集图像信息的每个像素的大致位置。视图图案500还示出了表示图像传感器505的中心部分的中心焦点515。

视图图案500还包括对应于由凹口525所识别的视图的特定部分处的场景的70°的特定的一千像素乘一千像素的阵列520a的表示。通过使用图1中所示的界面元件110操纵透照镜125,外科医生可改变或旋转特定的70°视角以观察外科场景的不同70°部分。凹口525为外科医生提供了外科医生所查看的外科场景的70°部分的取向点,使得外科医生可识别哪个方向是上、下、左或右。

然而,当外科医生旋转视角时,正在接收期望图像信息的像素阵列505上的像素的对应位置发生变化。换句话讲,特定的一千像素乘一千像素的阵列520a可与由凹口525指定的特定视角相关联。如图5a所示,70°视角可使得图像信息被存储在一千像素乘一千像素的阵列520a中,该像素阵列直接设置在凹口525上的图像传感器505上(例如,被凹口平分)。这样,可以使用下文进一步描述的技术来识别外科医生在70°视图处所期望的图像传感器505中的图像数据的位置,并将其显示在外科医生的显示器上。实际上,在图5a中,50°棱镜的焦点向右偏移20°(基于凹口525的位置),以聚焦于由一千像素乘一千像素的阵列520a内的圆形区域所识别的70°视场。

图5b-5d示出了被外科医生旋转凹口525改变以观察视场的特定70°部分的视图图案500。图5b示出了外科医生正在查看的视场的顶部部分的视图。图5c示出了外科医生正在查看的视场的右部部分的视图。图5d示出了外科医生正在查看的视场的底部部分的视图。

该实施方式的另一个优点是,外科医生仍可根据需要通过视场旋转视角。然而,外科医生也可利用不多于按下按钮(例如,实现为界面元件110中的一个)来将视角从70°切换至50°或30°。另一个优点是,图像传感器505内的一千像素乘一千像素的阵列520a可以大约每秒240帧读取。由于期望的图像质量可利用比每秒240帧更慢的读出速率获得,因此图像采集和处理电路120可识别凹口525的微小旋转,并且在透照镜100旋转时重新计算新的一千像素乘一千像素的阵列520a的位置。换句话讲,可利用240帧中的每帧来识别新的一千乘一千像素的阵列520a,并且仍然提供所需的图像输出。这允许外科医生在旋转凹口525时保持恒定的视图。

图6a示出了当图1所示的透照镜125结合50°棱镜并且被调节以提供50°视角时实现的视图图案600的实施方案,该视图图案可类似于图3所示的视图图案300。视图图案600包括图像传感器605的表示,该图像传感器可为4k图像传感器。图像传感器605可以与上文讨论的图像传感器200类似的实施方式和描述来实现。视图图案600包括宽视场610,该宽视场包括可通过50°棱镜观察的总视场。如图6a所示,视场610被放置在图像传感器605上以示出从图像传感器605上的场景收集图像信息的每个像素的大致位置。视图图案600还示出了表示图像传感器605的中心部分的中心焦点615。

视图方案600还包括对应于由凹口625所识别的视图的特定部分处的场景的50°视图的特定的一千像素乘一千像素的阵列620a的表示。通过使用图1所示的界面元件110操纵透照镜125,外科医生可改变或旋转特定的50°视角以观察外科场景的不同50°部分。凹口625为外科医生提供了外科医生正查看的外科场景的50°部分的取向点,使得外科医生可识别哪个方向是上、下、左或右。

在该独特实施方案中,当外科医生旋转视角时,接收所需图像信息的图像传感器605上的像素的对应位置在图像传感器605上保持在相同位置,因为在透照镜125上安装了50°棱镜。因此,无论凹口625的位置如何,50°视角总是可与一个特定的千像素乘一千像素的阵列620a相关联。虽然凹口625可引导透照镜以识别不同的50°视角(例如,50°仰望或50°俯视),但接收图像数据的像素的位置通过使用50°棱镜保持相同。因此,如图6a所示,50°视角可使得图像信息被存储在一千像素乘一千像素的阵列620a中,该像素阵列被设置为使得一千像素乘一千像素的阵列620的中心像素为构成图像传感器605的两千乘两千像素阵列的中心像素。这样,可以使用下文进一步描述的技术来识别外科医生在50°视图中期望的图像传感器605中的图像数据的位置,并将其显示在外科医生的显示器上。

图6b-6d示出了被外科医生旋转凹口625改变以观察视场的特定50°部分的视图图案600。图6b示出了外科医生正在查看的视场的顶部部分的视图。图6c示出了外科医生正在查看的视场的右部部分的视图。图6d示出了外科医生正在查看的视场的底部部分的视图。

该实施方式的另一个优点是,外科医生仍可根据需要通过视场旋转视角。然而,外科医生也可利用不多于按下按钮(例如,实现为界面元件110中的一个)来将视角从50°切换至30°或70°。另一个优点是,图像传感器605内的一千像素乘一千像素的阵列620a可以大约每秒240帧读取。由于期望的图像质量可利用比每秒240帧慢的读出速率获得,因此图像采集和处理电路120可识别凹口625的微小旋转,并且在透照镜100旋转时读取与50°视角相关联的一千像素乘一千像素的阵列620a的已知位置。换句话讲,一千乘一千像素的阵列620a可与240帧中的每一者一起读取并提供期望的图像输出。这允许外科医生在旋转凹口625时保持恒定的视图。

图7a示出了视图图案700的实施方案,该视图图案对应于图1中所示的透照镜125的实施方式,该实施方式不像以前那样结合50°棱镜。相反,在图7a的实施方案中,透照镜125配有宽视场透镜,诸如具有0°偏移的180°透镜。其他透镜可替代180°透镜。通常,125°和180°之间的任何透镜均适用于该实施方式。用于该实施方案的透镜可以是或可以不是鱼眼透镜。然而,应当指出,该实施方案不使用棱镜来弯曲视角,并且在该实施方案中存在0°偏移。然而,通过识别图像传感器(诸如图像传感器705)的某些部分,可以使用下述技术,以与外科医生对透照镜的期望和经验一致的方式提供透镜视场内的特定视角。

视图图案700包括图像传感器705的表示,该图像传感器可以是4k图像传感器。图像传感器705可以与上文讨论的图像传感器200类似的实施方式和描述来实现。视图图案700包括宽视场710,该宽视场包括可通过宽视场透镜观察的总视场。如图7a所示,视场710被放置在图像传感器705上以示出从图像传感器705上的场景收集图像信息的每个像素的大致位置。视图图案700还示出了表示图像传感器705的中心部分的中心焦点715。

视图图案700还包括对应于由凹口725所识别的视图的特定部分处的场景的30°的特定一千像素乘一千像素的阵列720a的表示。然而,在该实施方案中,不需要透照镜125的物理旋转。相反,与界面元件110交互的外科医生可数字地改变视角和视场两者。作为响应,图像采集和处理电路120可识别一千像素乘一千像素的阵列720a以产生期望的视图,其在图7a中为朝右侧看的30°视角。图像传感器705有效地捕获每30°视角,并且可通过读出图像传感器705的包含对应于期望的30°视角的数据的部分来选择性地生成对应图像。凹口725仍可设置在显示器上以在外科场景中向外科医生提供参考点,使得外科医生可识别哪个方向是上、下、左或右。

然而,当外科医生通过使用透照镜125上的界面元件110来数字地旋转视角时,正在接收期望图像信息的像素阵列705上的像素的对应位置发生变化。换句话讲,特定的一千像素乘一千像素的阵列720a可与由凹口725指定的特定视角相关联。如图7a所示,30°视角可使得图像信息被存储在一千像素乘一千像素的阵列720a中,该像素阵列设置在图像传感器705上,该像素阵列可包括图像传感器705的中心部分,该中心部分垂直居中于图像传感器705的中心点并且在朝向凹口725的方向上延伸一千像素。这样,可使用下文进一步描述的技术来识别外科医生在30°视角下所期望的图像传感器705中的图像数据的位置,并将其显示在外科医生的显示器上。有效地,透镜的焦点可数字移位30°以在由透镜限定的视场中提供所选择的30°视角。

图7b-7d示出了由外科医生数字旋转凹口725改变以查看视场的特定30°部分的视图图案700。图7b示出了外科医生正在查看的视场的顶部部分的视图。图7c示出了外科医生正在查看的视场的右部部分的视图。图7d示出了外科医生正在查看的视场的底部部分的视图。

该实施方式的另一个优点是,外科医生可根据需要通过视场数字旋转视角,同时也例如使用界面元件110中的一个或多个将视角从70°数字切换至0°或30°。另一个优点是,图像传感器705内的一千像素乘一千像素的阵列720a可以大约每秒240帧读取。由于所需图像质量可利用比每秒240帧更慢的读出速率来获得,因此图像采集和处理电路120可对凹口725的微小数字旋转做出反应,并且在透照镜100被数字旋转时重新计算新的一千像素乘一千像素的阵列720a的位置。换句话讲,可利用240帧中的每帧来识别新的一千乘一千像素的阵列720a,并且仍然提供期望的图像输出。这允许外科医生在数字旋转凹口725的同时保持恒定的视图。

图8a示出了视图图案800的实施方案,其对应于图1所示的透照镜125的实施方式,其不像之前那样结合棱镜。相反,在图8a中所示的实施方案中,透照镜125配有宽视场透镜,诸如具有0°偏移的180°透镜。其他透镜可替代180°透镜。通常,125°和180°之间的任何透镜均适用于该实施方式。用于该实施方案的透镜可以是或可以不是鱼眼透镜。然而,应当指出,该实施方案不使用棱镜来弯曲视角,并且在该实施方案中存在0°偏移。然而,通过识别图像传感器(诸如图像传感器805)的某些部分,可以使用下述技术,以与外科医生对透照镜的期望和体验一致的方式提供透镜视野内的特定视角。

视图图案800包括图像传感器805的表示,该图像传感器可以是4k图像传感器。图像传感器805可以与上文讨论的图像传感器200类似的实施方式和描述来实现。视图图案800包括宽视场810,该宽视场包括可通过宽视场透镜观察的总视场。如图8a所示,视场810被放置在图像传感器805上以示出从图像传感器805上的场景收集图像信息的每个像素的大致位置。视图图案800还示出了表示图像传感器805的中心部分的中心焦点815。

视图图案800还包括对应于由凹口825所识别的视图的特定部分处的场景的70°的特定一千像素乘一千像素的阵列820a的表示。然而,在该实施方案中,不需要透照镜125的物理旋转。相反,与界面元件110交互的外科医生可数字地改变视角和视场两者。作为响应,图像采集和处理电路120可识别一千像素乘一千像素的阵列820a以产生期望的视图,其在图7a中为朝右侧看的70°视角。图像传感器805有效地捕获每一70°视角,并且可通过读出图像传感器805的包含对应于期望的70°视角的数据的部分来选择性地生成对应图像。凹口825仍可设置在显示器上,以向外科医生提供外科场景中的参考点,使得外科医生可识别哪个方向是上、下、左或右。

然而,当外科医生通过使用透照镜125上的界面元件110来数字地旋转视角时,正在接收期望图像信息的像素阵列705上的像素的对应位置发生变化。换句话讲,特定的一千像素乘一千像素的阵列820a可与由凹口825指定的特定视角相关联。如图8a所示,70°视角可使得图像信息被存储在一千像素乘一千像素的阵列820a中,该像素阵列设置在图像传感器805上,该像素阵列可包括图像传感器705的中心像素,该中心像素设置在一千像素乘一千像素的阵列的竖直边缘的中心中并沿朝向凹口725的方向从该竖直边缘延伸一千像素。这样,可使用下文进一步描述的技术来识别外科医生在70°视角下所期望的图像传感器805中的图像数据的位置,并将其显示在外科医生的显示器上。有效地,透镜的焦点可数字移位70°以在由透镜限定的视场中提供所选择的70°视位角。

图8b-8d示出了由外科医生数字旋转凹口825改变以查看视场的特定70°部分的视图图案800。图8b示出了其中外科医生正在查看的视场的顶部部分的视图(该一千像素乘一千像素的阵列由设置在一千像素乘一千像素的阵列的水平边缘的中心中的传感器805的中心点限定)。图8c示出了外科医生正在查看的视场的右部部分的视图。图8d示出了外科医生正在查看的视场的底部部分的视图。

该实施方式的另一个优点是,外科医生可根据需要通过视场数字旋转视角,同时也例如使用界面元件110中的一个或多个将视角从70°数字切换至0°或30°。另一个优点是,图像传感器805内的一千像素乘一千像素的阵列820a可以大约每秒240帧读取。由于期望的图像质量可利用比每秒240帧慢许多的读出速率获得,因此图像采集和处理电路120可对凹口825的微小数字旋转作出反应,并且当透照镜100被数字旋转时重新计算新的一千像素乘一千像素的阵列820a的位置。换句话讲,可利用240帧中的每帧来识别新的一千乘一千像素的阵列820a,并且仍然提供所需的图像输出。这允许外科医生在数字旋转凹口825的同时保持恒定的视图。

图9a示出了视图图案900的实施方案,其对应于图1中所示的透照镜125的实施方式,其不像之前那样结合棱镜。相反,在图8a中所示的实施方案中,透照镜125配有宽视场透镜,诸如具有0°偏移的180°透镜。其他透镜可替代180°透镜。通常,125°和180°之间的任何透镜均适用于该实施方式。用于该实施方案的透镜可以是或可以不是鱼眼透镜。然而,应当指出,该实施方案不使用棱镜来弯曲视角,并且在该实施方案中存在0°偏移。然而,通过识别图像传感器(诸如图像传感器905)的某些部分,可以使用下述技术以与外科医生对透照镜的期望和经验一致的方式提供镜片视场内的特定视角。

视图图案900包括图像传感器905的表示,该图像传感器可以是4k图像传感器。图像传感器905可以与上文讨论的图像传感器200类似的实施方式和描述来实现。视图图案900包括宽视场910,该宽视场包括可通过透镜观察的总视场。如图9a所示,视场图案910被放置在图像传感器905上以示出从图像传感器905上的场景收集图像信息的每个像素的大致位置。视图图案900还示出了表示图像传感器905的中心部分的中心焦点915。

视图图案900还包括对应于由凹口925所识别的视图的特定部分处的场景的0°视图的特定一千像素乘一千像素的阵列920a的表示。通过使用图1所示的界面元件110操纵透照镜125,外科医生可数字地改变或数字地旋转特定的0°视角,以观察外科场景的不同0°部分。凹口925为外科医生提供了外科医生正在观察的外科手术场景的0°部分的取向点,使得外科医生可识别哪个方向是上、下、左或右。

在该独特实施方案中,当外科医生数字地旋转视角时,图像传感器905上正接收所需图像信息的像素的对应位置保持在图像传感器905上的相同位置,因为在透照镜125上安装了不弯曲光入射角度的透镜。因此,无论凹口925的位置如何,0°视角总是可与一个特定的千像素乘一千像素的阵列920a相关联。虽然凹口925可引导透照镜以识别不同的0°视角(例如,0°仰望或0°俯视),但接收图像数据的像素的位置通过使用透镜保持相同。因此,如图9a所示,0°视角可使得图像信息被存储在一千像素乘一千像素的阵列920a中,该像素阵列设置为使得一千像素乘一千像素的阵列920的中心像素为构成图像传感器905的两千乘两千像素阵列的中心像素。这样,可以使用下文进一步描述的技术来识别外科医生在0°视图处所需的图像传感器905中图像数据的位置,并将其显示在外科医生的显示器上。

图9b-9d示出了由外科医生数字旋转凹口925改变以观察视场的特定0°部分的视图图案900。图9b示出了外科医生正在查看的视场的顶部部分的视图。图9c示出了外科医生正在查看的视场的右部部分的视图。图9d示出了外科医生正在查看的视场的底部部分的视图。

该实施方式的另一个优点是,外科医生可根据需要通过视场数字旋转视角,同时也例如使用界面元件110中的一个或多个将视角从0°数字切换至30°或70°。另一个优点是,图像传感器905内的一千像素乘一千像素的阵列920a可以大约每秒240帧读取。由于期望的图像质量可以比每秒240帧的读出率慢许多的方式获得,因此图像采集和处理电路120可对凹口925的微小数字旋转作出反应。与0°相关联的一千乘一千像素的阵列920a可用240帧中的每帧读出,并且仍然提供期望的图像输出。这允许外科医生在数字旋转凹口925的同时保持恒定的视图。

图10示出了用于识别4k像素阵列中的像素的选择以在视场中以特定视角提供视图的方法1000。方法1000在步骤1005处开始,在该步骤处,图1中所示的图像采集和处理电路120可通过使用处理器(将在下文更详细地描述)接收透照镜125的期望视场角度的指示。例如,根据实施方案,外科医生可操纵界面元件110以指示外科医生期望0°、30°、50°或70°视场角度。作为步骤1005的一部分并且接收透照镜125的期望视场角度的识别,处理器可通过物理或数字操纵凹口(诸如图4a-4d中所述的凹口425和其他附图中所述的其他凹口)来接收对视角的指示。一旦处理器已确定了透照镜125的期望视场和视角,在步骤1010,处理器就可图像传感器上的4k像素阵列中的一千像素乘一千像素的像素阵列,在该像素阵列内已识别出用于特定选定视场和视角的图像信息。

一旦已识别出与特定选定视场和视角相关联的具体的一千像素乘一千像素的阵列,则可在步骤1015处曝光所识别的一千像素乘一千像素的阵列以从外科场景接收图像数据。例如,光可被发射到可被图像传感器(诸如图2中所示的图像传感器200)中的像素感测到的外科场景中。图像传感器中的这些像素存储可用于提供外科场景的视频显示的光信息。通过在图像传感器上曝光像素而接收的该光信息可在步骤1020处从一千像素乘一千像素的阵列中读出。在步骤1025处,处理器可在步骤1030处处理相关读出数据并从读出数据生成视频图像。这样,以每秒240帧捕获的各种帧可组装在一起以在由外科医生确定的视场和视角下提供手术场景的基于视频的视图。

有利的是,由于仅需要图像传感器(诸如图2中所示的图像传感器200)的四分之一来在特定手术场景处提供特定视场和视角,因此当使用4k图像传感器时,可接收图像信息的其他像素可用于其他目的。例如,如果帧速率从每秒240帧减慢,则这些像素可用于从外科场景接收附加信息,诸如红外信息、颜色信息、光谱信息、紫外信息、增强的现实信息或其他信息。

还可通过编码来自视频流中的界面元件的信息,使得图像传感器(诸如图像传感器200)编码按钮状态并将该信息传输到图像采集和处理电路(诸如图1中所示的图像采集和处理电路120)来消除与相机头部的数据线连接,以用于从界面元件110接收信息。因此,图像采集和处理电路可适当地响应与界面元件110的交互。

还可以的是,处理器可读出整个4k传感器而不是仅读取一千像素乘一千像素的阵列,尽管帧速率为每秒60帧。然而,使用前述技术,可以通过识别在两个不同视角(如果有的话)之间重叠的像素来同时为特定视场提供两个视角。以此方式,可将用于第一视角的视频流提供给第一显示器,而可将用于第二视角的视频流同时提供给第二显示器。这些不同的视图可彼此重叠。例如,增强的现实视图可由图像传感器捕获,同时显示所需的视角,使得增强的现实视图可叠加在同一显示器上。

图11示出了使用图1中所示的透照镜用于在光不足的环境中产生图像的操作中的4k传感器和电磁发射器的系统的实施方案的示意图。图11示出了用于在光不足的环境中产生图像的操作中的成对传感器和电磁发射器的示意图。此配置允许在光控或环境光线不足的环境中增加功能性。

应当指出,如本文所用,术语“光”既是粒子又是波长,并且旨在表示可被像素阵列检测的电磁辐射,并且可包括来自电磁辐射的可见光谱和不可见光谱的波长。本文所用的术语“分区”是指电磁光谱的预定波长范围,其小于整个光谱,或者换句话讲,构成电磁光谱的某一部分的波长。如本文所用,发射器是可控制的光源,其可控制发射的电磁光谱的一部分,或可对其器件的物理性质、发射的强度或发射持续时间或以上所有操作。发射器可发射任何抖动的、漫射的或准直的发射中的光,并且可通过数字方式或通过模拟方法或系统来进行控制。如本文所用,电磁发射器是电磁能量突发的来源,并且包括光源,诸如激光、led、白炽光、或可进行数字控制的任何光源。

图像传感器的像素阵列可与发射器以电子方式配对,使得在操作期间它们被同步用于接收发射和系统内所进行的调节。如在图11中可见,发射器1100可被调谐成发射激光形式的电磁辐射,该电磁辐射可被脉冲以照亮对象1110。发射器1100可在对应于像素阵列1122的操作和功能的间隔处脉冲。发射器1100可脉冲多个电磁分区1105中的光,使得像素阵列接收电磁能量并产生与每个特定电磁分区1105对应(及时)的数据集。例如,图11示出了具有单色传感器1120的系统,该单色传感器具有像素阵列(黑色和白色)1122和支撑电路系统,像素阵列1122对任何波长的电磁辐射敏感。像素阵列1122可以是实现为类似于例如图2中所示的图像传感器200的4k图像传感器的4k像素阵列。图中所示的光发射器1100可以是能够以任何期望序列发射红色电磁分区1105a、蓝色电磁分区1105b和绿色电磁分区1105c的激光发射器。应当理解,其他光发射器1100可在不脱离本公开的范围的前提下用于图11中,诸如基于数字或模拟的发射器。

在操作期间,可由单色传感器1120针对任何单独脉冲产生的数据分配特定的颜色分区,其中该分配基于来自发射器1100的脉冲颜色分区的定时。即使像素1122不是专用颜色,也可基于关于发射器的先验信息为任何给定数据集分配颜色。

在一个实施方案中,可将代表red、green和blue电磁脉冲的三个数据集组合以形成单个图像帧。应当理解,在不脱离本公开的范围的情况下,本公开不限于任何特定的颜色组合或任何特定的电磁分区,并且任何颜色组合或任何电磁分区均可用于代替red、green和blue,诸如青色、洋红色和黄色;紫外线;红外线;前述的任何组合或任何其他其他颜色组合,包括所有可见波长和不可见波长。在图中,待成像的对象1110包含红色部分1110a、绿色部分1110b和蓝色部分1110c。如图所示,来自电磁脉冲的反射光仅包含对象的具有对应于脉冲颜色分区的特定颜色的部分的数据。这些单独的颜色(或颜色间隔)数据集然后可用于通过在1130处组合数据集来重建图像。

如图12所示,本公开的实施方式可以包括或利用专用计算机或通用计算机,包括计算机硬件,诸如例如一个或多个处理器和系统存储器,如下文详细讨论的。处于本公开的范围内的实施方式也可包括用于承载或存储计算机可执行指令和/或数据结构的物理及其他计算机可读介质。此类计算机可读介质可为可通过通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。输送计算机可执行指令的计算机可读介质为传输介质。因此,以举例而非限制性的方式,本公开的具体实施可包括至少两种明显不同的计算机可读介质:计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括ram、rom、eeprom、cd-rom、固态硬盘(“ssd”)(例如,基于ram)、闪存存储器、相变存储器(“pcm”)、其他类型的存储器、其他光盘存储器、磁盘存储器或其他磁存储器装置、或任何其他可用于存储所需的呈计算机可执行指令或数据结构的形式的程序代码工具并可通过通用或专用计算机来访问的介质。

“网络”是指一个或多个数据链路,其能够使电子数据在计算机系统和/或模块和/或其他电子装置之间进行传输。在一个具体实施中,传感器与相机控制单元可网络化,以便彼此通信,以及与通过它们所连接网络进行连接的其他器件进行通信。当信息通过网络或另外的通信连接(硬连接、无线或者硬连接或无线的组合)传送或提供至计算机时,计算机合理地将该连接视作传输介质。传输介质可包括网络和/或数据链路,该网络和/或数据链路可用于承载期望的呈计算机可执行指令或数据结构的形式的程序代码工具并可通过通用或专用计算机来访问。上述组合也应涵盖在计算机可读介质的范围内。

另外,在到达各种计算机系统器件时,呈计算机可执行指令或数据结构的形式的程序代码工具,其可由传输介质自动传送至计算机存储介质(装置)(反之亦然)。例如,通过网络或数据链路接收的计算机可执行指令或数据结构可缓存于网络接口模块(例如,“nic”)内的ram中,然后最终传送至计算机系统ram和/或计算机系统的非易失性计算机存储介质(装置)中。ram还可包括固态硬盘(ssd或基于pcix的实时存储器分层存储装置,诸如fusionio)。因此,应当理解,计算机存储介质(装置)可包括在计算机系统器件中,该计算机系统器件还(或甚至主要)利用了传输介质。

计算机可执行指令包括(例如)在处理器中运行时致使通用计算机、专用计算机或专用处理装置执行特定功能或功能群的指令和数据。计算机可执行指令可为(例如)二进制、中间格式指令(诸如汇编语言)、或者甚至为源代码。尽管在语言上针对结构特征和/或方法步骤阐述了本发明的主题,然而应当理解,随附权利要求书中所限定的主题未必仅限于上文所述的特征或步骤。更确切地说,上文所述的特征和步骤是作为实施权利要求书的例子形式而公开的。

本领域的技术人员应当理解,本公开可在网络计算环境中实现,该网络计算环境具有多种类型的计算机系统配置,包括个人电脑、台式计算机、笔记本电脑、信息处理器、控制单元、相机控制单元、手持装置、手持件、多处理器系统、基于微处理器的或可编程的电子消费品、网络pc、小型计算机、大型计算机、移动电话、pda、平板电脑、传呼机、路由器、交换机、各种存储装置等等。应当指出的是,任意上述计算装置都可由实体机构提供或位于实体机构内。本公开也可在分布式系统环境中实现,其中本地和远程计算机系统通过网络连接起来(通过硬连接数据链路、无线数据链路或硬连接数据链路与无线数据链路的组合),两者均可执行任务。在分布式系统环境中,程序模块可位于本地和远程存储器存储装置二者中。

另外,在适当的情况下,本文所述的功能可通过硬件、软件、固件、数字器件或模拟器件中的一种或多种来执行。例如,可对一种或多种专用集成电路(asic)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的系统器件。本领域的技术人员应当理解,器件可具有不同的名称。本文并非旨在从名称上而非从功能上区别各种组件。

图12是示出了示例计算装置1250的框图。计算装置1250可用于执行各种程序,诸如本文所讨论的那些程序。计算装置1250可用作服务器、客户端或任意其他计算实体。计算装置1250可执行本文所讨论的各种监控功能,并且可执行一种或多种应用程序,诸如本文所述的应用程序。计算装置1250可为各种计算装置中的任意一种,诸如台式计算机、笔记本电脑、服务器电脑、掌上电脑、相机控制单元、平板电脑等等。

计算装置1250包括一个或多个处理器1252、一个或多个存储器装置1254、一个或多个接口1256、一个或多个大容量存储装置1258、一个或多个输入/输出(i/o)装置1260以及显示装置1280,所有器件均耦接到总线1262。(一个或多个)处理器1252包括一个或多个处理器或控制器,其执行存储于(一个或多个)存储器装置1254和/或(一个或多个)大容量存储装置1258中的指令。(一个或多个)处理器1252还可以包括各种类型的计算机可读介质,诸如高速缓存存储器。

(一个或多个)存储器装置1254包括各种计算机可读介质,诸如易失性存储器(例如,随机存取存储器(ram)1264)和/或非易失性存储器(例如,只读存储器(rom)1266)。(一个或多个)存储器装置1254还可包括可写入rom,诸如闪存存储器。

(一个或多个)大容量存储装置1258包括各种计算机可读介质,诸如磁带、磁盘、光盘、固态存储器(例如,闪存存储器)等。如图2所示,特定的大容量存储装置为硬盘驱动器1274。各种驱动也可包括于(一个或多个)大容量存储装置1258中以能够从各种计算机可读介质中进行读取和/或写入。(一个或多个)大容量存储装置1258包括可移动介质1276和/或不可移动介质。

(一个或多个)i/o装置1260包括能够将数据和/或其他信息输入计算装置1250或从计算装置1250进行检索的各种装置。(一个或多个)示例i/o装置1260包括数字成像装置、电磁传感器和发射器、光标控制装置、键盘、小键盘、麦克风、监视器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、透镜、ccd或其他图像采集装置等等。

显示装置1280包括能够向计算装置1250的一个或多个用户显示信息的任意类型的装置。显示装置1280的示例包括监视器、显示终端、视频投影装置等等。

(一个或多个)接口1206包括允许计算装置1250与其他系统、装置或计算环境进行交互的各种接口。(一个或多个)示例接口1256可包括任意数量的不同网络接口1270,诸如连接局域网(lan)、广域网(wan)、无线网和因特网的接口。(一个或多个)其他接口包括用户接口1268和外围装置接口1272。(一个或多个)接口1256还可包括一个或多个用户接口元件1268。(一个或多个)接口1256还可包括一个或多个外围接口,诸如用于打印机、指示装置(鼠标、触控板等)、键盘等的接口。

总线1262使(一个或多个)处理器1252、(一个或多个)存储器装置1254、(一个或多个)接口1256、(一个或多个)大容量存储装置1258和(一个或多个)i/o装置1260能够彼此通信,并与耦接到总线1262的其他装置或器件进行通信。总线1262代表了若干种类型的总线结构(诸如系统总线、pci总线、ieee1394总线、usb总线等等)中的一种或多种。

出于示例性目的,本文所示的程序和其他可执行程序器件为分立块体,但应当理解,此类程序和器件可驻留在计算装置1250的不同存储器件中的各个时间,并由(一个或多个)处理器1252执行。或者,本文所述的系统和程序可通过硬件来实施,或通过硬件、软件和/或固件的组合来实施。例如,可对一种或多种专用集成电路(asic)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。

图12a示出了在滚动读出模式或在传感器读出1200期间使用的传感器的操作循环。帧读出可在竖直线1210处开始并且可由垂直线1210表示。读出周期由对角线或斜线1202表示。传感器可逐行读出,向下倾斜边缘的顶部为传感器顶行1212,向下倾斜边缘的底部为传感器底行1214。在最后一行读出和下一读出循环之间的时间可被称为消隐时间1216。应当指出,传感器像素行中的一些可覆盖有光屏蔽件(例如,金属涂层或另一种材料类型的任何其他大体上黑色的层)。这些被覆盖的像素行可被称为光学黑色行1218和1220。光学黑行1218和1220可用作校正算法的输入。如图12a所示,这些光学黑色行1218和1220可位于像素阵列的顶部上或像素阵列的底部或像素阵列的顶部和底部。图12b示出了控制曝光至像素从而被像素集成或积聚的电磁辐射(例如,光)的量的方法。应当理解,光子是电磁辐射的基本粒子。光子被每个像素集成、吸收或累积并转换为电荷或电流。电子快门或卷帘式快门(点划线1222所示)可用于通过重置像素来启动集成时间。然后光将集成直到下一读出阶段为止。电子快门1222的位置可在两个读出循环1202之间移动,以便控制给定量的光的像素饱和度。应当指出,该技术允许在两条不同的线之间恒定的集成时间,但在从顶行移动到底行时引入延迟。图12c示出了电子快门1222已被移除的情况。在该配置中,入射光的集成可在读出1202期间开始,并且可在下一读出循环1202处结束,该下一读出循环也限定下一集成的开始。图12d示出了没有电子快门1222但在消隐时间1216期间具有受控和脉冲光1230的配置。这确保所有行看到的光与从相同光脉冲1230发出的光相同。换句话讲,每行将在黑暗环境中开始其集成,这可在读出帧(m)的光学黑色背行1220处以获得最大的光脉冲宽度,并且然后将接收光通并且将在黑暗环境中结束其集成,这可位于下一个后续读出帧(m+1)的光学黑色前排1218以获得最大的光脉冲宽度。在例如图12d中,由光脉冲生成的图像将仅在帧(m+1)读出期间可用,而不会干扰帧(m)和帧(m+2)。应当指出,使光脉冲仅在一个帧中读出并且不干扰相邻帧的条件是在消隐时间1216期间击发给定的光脉冲。因为光学黑行1218、1220对光不敏感,所以可将帧(m)的光学黑色背行1220时间和帧(m+1)的光学黑色前行1218时间添加至消隐时间1216,以确定光脉冲1230的击发时间的最大范围。如图12a中所示,传感器可被循环多次,以便接收每种脉冲颜色(例如,红色、绿色、蓝色)的数据。每个循环可以是定时的。在一个实施方案中,循环可定时以在16.67ms的间隔内操作。在另一个实施方案中,循环可定时以在8.3ms的间隔内操作。应当理解,本公开设想了其他的定时间隔,并且旨在落入本公开的范围内。

图13以图形方式示出了电磁发射器的实施方案的操作。发射器可定时以对应于传感器的循环,使得电磁辐射在传感器操作循环内和/或传感器操作循环的一部分期间发射。图13示出了1302处的脉冲1、1304处的脉冲2和1306处的脉冲3。在一个实施方案中,发射器可在传感器操作循环的读出部分1202期间脉冲。在一个实施方案中,发射器可在传感器操作循环的消隐部分1216期间脉冲。在一个实施方案中,发射器可脉冲持续时间,该持续时间在两个或更多个传感器操作周期的部分期间。在一个实施方案中,发射器可在消隐部分1216期间或在读出部分1202的光学黑色部分1220期间开始脉冲,并且在读出部分1202期间或下一个后续循环的读出部分1202的光学黑色部分1218期间结束脉冲。应当理解,只要发射器的脉冲和传感器的循环相对应,上述的任何组合旨在落入本公开的范围内。

图14以图形方式表示改变发射的电磁脉冲的持续时间和量值(例如,在1402处的脉冲1、在1404处的脉冲2、在1406处的脉冲3)以控制曝光。具有固定输出幅值的发射器可在上文结合图12d和图13所述的任何循环期间脉冲一定间隔,以向像素阵列提供所需的电磁能量。具有固定输出量值的发射器可在较长的时间间隔内脉冲,从而为像素提供更多的电磁能量,或者发射器可在较短的时间间隔脉冲,从而提供较少的电磁能量。是否需要较长或较短的时间间隔取决于操作条件。

与调节发射器脉冲固定输出幅值的时间间隔相比,发射本身的量值可增大以便向像素提供更多的电磁能量。类似地,减小脉冲的量值可为像素提供较少的电磁能量。应当指出,如果需要的话,系统的实施方案可具有同时调节量值和持续时间的能力。另外,可调节传感器以根据最佳图像质量的需要来增加其灵敏度和持续时间。图14示出了改变脉冲的量值和持续时间。在图示中,1402处的脉冲1具有比1404处的脉冲2或1406处的脉冲3更高的量值或强度。另外,1402处的脉冲1具有比在1404处的脉冲2或1406处的脉冲3短的持续时间,使得由脉冲提供的电磁能由图示中所示脉冲下的面积示出。在图示中,当与1402处的脉冲1或1406处的脉冲3相比时,1404处的脉冲2具有相对低的量值或强度和较长的持续时间。最后,在图示中,当与1402处的脉冲1和1404处的脉冲2相比时,1406处的脉冲3具有中间量值或强度和持续时间。

图15为根据本公开的原理和教导内容的组合图12-14的操作循环、电磁发射器和发射的电磁脉冲以在操作期间显示成像系统的本公开的实施方案的图形表示。如在图中可见,电磁发射器主要在传感器的消隐周期1216期间脉冲发射,使得像素将被充电并且在传感器循环的读出部分1202期间准备读取。脉冲中的点划线部分(来自图13)示出了在需要或期望额外时间来脉冲电磁能的情况下,在读取循环(传感器循环)1200的光学黑色部分1220和1218期间发射电磁能量的可能性或能力。

图16示出了在从t(0)到t(1)的时间段内用于记录用于全光谱光和分区光谱光的视频的帧的两个不同方法的示意图。应当指出,颜色传感器具有滤色器阵列(cfa),用于滤除通常用于全光谱光接收的每像素特定波长的光。cfa的示例是拜耳图案。由于颜色传感器可包括阵列内的像素,该像素对整个光谱内的单个颜色敏感,因此由于像素阵列具有仅专用于整个光谱内的单个颜色的光的像素空间而导致分辨率降低的图像。通常,此布置方式形成在整个阵列上的棋盘型图案中。

相比之下,当使用分区的光谱时,可使传感器对所有光能量的量值敏感或有响应,因为将指示像素阵列感测来自每个循环中的电磁能量的全光谱的预定分区的电磁能量。因此,为了形成图像,传感器仅需要从全光谱内的多个不同分区循环,然后重新组装图像以显示阵列中每个像素的色值的预定混合物。因此,还提供了较高分辨率的图像,因为与颜色脉冲中的每个具有相同颜色灵敏度的像素中心之间的拜耳传感器相比,距离减小。因此,所形成的彩色图像具有更高的调制传递函数(mtf)。由于来自每个颜色分区帧循环的图像具有较高的分辨率,因此当将分区的光帧合并为全色帧时产生的所得图像也具有较高的分辨率。换句话讲,因为阵列内的每个像素(而不是至多,具有滤色器的传感器中的每隔一个像素)感测给定脉冲和给定场景的能量的幅值,仅相隔一段时间,因此针对需要引入较少的导出(较不准确)的数据的每个场景产生较高分辨率的图像。

例如,白色或全光谱可见光是红光、绿光和蓝光的组合。在图16中所示的实施方案中,可以看出,在分区光谱方法1620和全光谱方法1610中,捕获图像的时间为t(0)至t(1)。在全光谱方法1610中,在1612处发射白光或全光谱电磁能量。在1614处,感测白色或全光谱电磁能量。在1616处,处理并显示图像。因此,在时间t(0)和t(1)之间,图像已被处理和显示。相反,在分区光谱方法1620中,在1622处发射第一分区并在1624处进行感测。在1626处,发射第二分区,并且然后在1628处进行感测。在1630处,在1632处发射并感测第三分区。在1634处,处理并显示图像。应当理解,使用比白光循环快至少两倍的图像传感器循环的任何系统都旨在落入本公开的范围内。

如在图16中所示的实施方案中在时间t(0)和t(1)之间可图形地看出,用于分区光谱系统1620的传感器对全光谱系统中的每个循环了三次。在分区光谱系统1620中,三个传感器循环中的第一个用于绿色光谱1622和1624,三个传感器循环中的第二个用于红色光谱1626和1628,而第三个用于蓝色光谱1630和1632。因此,在其中显示装置(lcd面板)以每秒50-60帧操作的实施方案中,分区光系统应当以每秒150-180帧操作,以保持所显示视频的连续性和平滑度。

在其他实施方案中,可存在不同的捕获和显示帧速率。此外,平均捕获速率可以是显示速率的任何倍数。

在一个实施方案中,可期望并非所有分区在系统帧速率内均相等地表示。换句话讲,并非所有光源都必须以相同的规律性脉冲,以便根据用户的需要来强调和取消强调所记录场景的各个方面。还应当理解,电磁频谱的不可见分区和可见分区可在系统内脉冲到一起,其中它们的相应数据值被接合(stitch)到视频输出中,以用于向用户显示。

实施方案可包括如下脉冲循环图案:

绿色脉冲;

红色脉冲;

蓝色脉冲;

绿色脉冲;

红色脉冲;

蓝色脉冲;

红外(ir)脉冲;

(重复)

如在该示例中可见,ir分区可以与其他分区脉冲的速率不同的速率脉冲。这样做可强调场景的某个方面,其中ir数据仅与视频输出中的其他数据重叠以做出期望的强调。应当指出,添加第四电磁分区并不一定要求序列化的系统以全谱非串行系统的速率的四倍操作,因为每个分区不必在脉冲图案中相等地表示。如在该实施方案中所见,添加在脉冲图案(上述示例中的ir)中表示较少的分区脉冲将导致小于传感器的循环速度的20%的增加,以便适应不规则的分区取样。

在一个实施方案中,可发射对用于突出场景的各方面的染料或材料敏感的电磁分区。在该实施方案中,在不需要高分辨率的情况下突出染料或材料的位置可为足够的。在此实施方案中,染料敏感电磁分区可循环得远小于系统中的其他分区,以便包括所强调的数据。可将分区循环划分为适应或近似各种成像和视频标准。

应当理解,本文所公开的各种特征在本领域中提供了明显优势和进步。下列权利要求为那些特征中的一些的示例。

实施例

以下实施例涉及本公开的另外的实施方案的特征:

实施例1.一种系统,包括:

透照镜,所述透照镜包括透镜;

手持件;

成像传感器,所述成像传感器包括两千像素乘两千像素的像素阵列;

界面元件,所述界面元件在被致动时导致通过所述透镜提供的视角

在单个图像读出帧中被改变。

实施例2.示例性实施方案包括实施例1,其中所述透镜为125°-180°透镜。

实施例3.示例性实施方案包括实施例1和2中的任一项,其中所述视角可被改变为30°视角。

实施例4.示例性实施方案包括实施例1-3中的任一项,其中所述视角可被改变为70°视角。

实施例5.示例性实施方案包括实施例1-4中的任一项,还包括图像采集和处理电路,所述图像采集和处理电路识别所述两千像素乘两千像素的像素阵列中与曝光至所述视角的图像信息的像素相对应的一千像素乘一千像素的像素阵列。

实施例6.示例性实施方案包括实施例1-5中的任一项,其中当通过所述透镜提供的所述视角改变为第二视角时,图像采集和处理电路识别所述两千像素乘两千像素的像素阵列中与曝光至所述第二视角的图像信息的像素相对应的第二一千像素乘一千像素的像素阵列。

实施例7.示例性实施例包括实施例1-6中的任一项,其中所述视角响应于激活所述界面元件中的一个而可数字地旋转。

实施例8.示例性实施方案包括实施例1-7中的任一项,还包括图像采集和处理电路,所述图像采集和处理电路识别所述两千像素乘两千像素的像素阵列中与曝光至第一位置处的所述视角的图像信息的所述像素相对应的一千像素乘一千像素的像素阵列。

实施例9.示例性实施方案包括实施例1-8中的任一项,其中所述图像采集和处理电路检测所述视角已旋转至第二位置,并且作为响应,识别所述两千像素乘两千像素的像素阵列中与曝光至所述第二位置处的所述视角的图像信息的所述像素相对应的第二一千像素乘一千像素的像素阵列。

实施例10.示例性实施方案包括实施例1-9中的任一项,还包括凹口,所述凹口与从所述成像传感器检索到的信息一起显示在显示装置上。

实施例11.一种透照镜,包括:

透镜,所述透镜设置在所述透照镜的远侧尖端中;

手持件;

成像传感器,所述成像传感器包括两千像素乘两千像素的像素阵列;

界面元件,所述界面元件在被致动时导致通过所述透镜提供的视角在单个图像读出帧中被改变。

实施例12.示例性实施方案包括实施例11,其中透镜为125°-180°透镜。

实施例13.示例性实施方案包括实施例11和12中的任一项,其中所述视角为0°。

实施例14.示例性实施方案包括实施例11-13中的任一项,其中视角为30°。

实施例15.示例性实施方案包括实施例11-14中的任一项,其中视角为70°。

实施例16.示例性实施方案包括实施例11-15中的任一项,其中所述成像传感器识别所述两千像素乘两千像素的像素阵列内包含0°视角的图像信息的第一一千像素乘一千像素的像素阵列。

实施例17.示例性实施方案包括实施例11-16中的任一项,还包括图像采集和处理电路,所述图像采集和处理电路检测所述视角的旋转,并且作为响应,识别所述两千像素乘两千像素的阵列内包含表示旋转的0°视角的图像数据的第二一千像素乘一千像素的像素阵列。

实施例18.示例性实施方案包括实施例11-17中的任一项,其中所述成像传感器识别所述两千像素乘两千像素的像素阵列内包含30°视角的图像信息的第一一千像素乘一千像素的像素阵列。

实施例19.示例性实施方案包括实施例11-18中的任一项,还包括图像采集和处理电路,所述图像采集和处理电路检测所述视角的旋转,并且作为响应,识别在所述两千像素乘两千像素的阵列内包含表示旋转的30°视角的图像数据的第二一千像素乘一千像素的像素阵列。

实施例20.示例性实施方案包括实施例11-19中的任一项,其中所述成像传感器识别所述两千乘两千像素的像素阵列内包含70°视角的图像信息的第一一千像素乘一千像素的像素阵列。

实施例21.示例性实施方案包括实施例11-20中的任一项,还包括图像采集和处理电路,所述图像采集和处理电路检测所述视角的旋转,并且作为响应,识别在所述两千像素乘两千像素的阵列内包含表示旋转的70°视角的图像数据的第二一千像素乘一千像素的像素阵列。

实施例22.一种方法,包括:

提供透照镜,所述透照镜具有位于所述透照镜的远侧尖端中的透镜并具有一个或多个界面元件;

从所述一个或多个界面元件中的一个接收指示以改变提供给显示装置的视角;

通过处理器识别图像传感器上与所述指示的视角相对应的一千像素乘一千像素的像素集,所述图像传感器具有两千像素乘两千像素的像素阵列;

通过处理器从与所述指示的视角相对应的所述一千像素乘一千像素的像素集接收成像数据;以及

根据所述改变的视角从所述图像数据生成用于在所述显示装置上显示的图像。

实施例23.示例性实施方案包括实施例22,还包括将与所述指示的视角相对应的所述一千像素乘一千像素集曝光。

实施例24.示例性实施方案包括实施例22和23中的任一项,其中所述两千像素乘两千像素的像素阵列提供4k成像传感器。

实施例25.示例性实施方案包括实施例22-24中的任一项,其中所述视角从0°变化至30°。

实施例26.示例性实施方案包括实施例22-25中的任一项,其中所述视角从0°变化至70°。

实施例27.示例性实施方案包括实施例22-26中的任一项,其中所述视角从30°变化至70°。

实施例28.示例性实施方案包括实施例22-27中的任一项,其中所述视角从30°变化至0°。

实施例29.示例性实施方案包括实施例22-28中的任一项,其中所述视角从70°变化至0°。

实施例30.示例性实施方案包括实施例22-29中的任一项,其中所述视角从70°变化至30°。

实施例31.示例性实施方案包括实施例22-30中的任一项,还包括:通过处理器并且从所述一个或多个界面元件中的一个接收所述视角的旋转度的指示和与所述视角的所述指示的旋转度相对应的第二旋转视角,并且作为响应,通过处理器识别与所述第二旋转视角相对应的第二一千像素乘一千像素的像素阵列。

应当理解,上述布置方式、实施例和实施方案的任何特征可在包括从任何所公开的布置方式、实施例和实施方案中获得的特征的任何组合的单个实施方案中组合。

在上述本公开具体实施方式中,出于简化本公开的目的,将本公开的各个特征集中于单个实施方案中。本公开的方法不应理解为体现了这样的意图:受权利要求书保护的公开内容要求比每项权利要求中所明确列举的更多的特征。相反,创新方面未能体现上文公开的单个实施例的所有特征。

应当理解,上述设置只是本公开原理的示例性应用。在不脱离本公开精神和范围的前提下,本领域的技术人员可以设计许多修改和另选设置,并且所附权利要求书旨在涵盖这些修改和设置。

因此,当本公开以图示显示并且以特殊性和细节进行上述描述时,对于本领域的普通技术人员而言,在不脱离本文所述原则和理念的前提下,显而易见可进行大量修改,这些修改包括但不限于尺寸、材料、形状、形式、功能和操作方式、组装和使用方式的变化。

另外,在适当的情况下,本文所述的功能可通过在一个或多个硬件、软件、固件、数字器件或模拟器件中的一种或多种来执行。例如,可对一种或多种专用集成电路(asic)或现场可编程门阵列进行编程以执行本文所述的一种或多种系统和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的系统器件。本领域的技术人员应当理解,器件可具有不同的名称。本文并非旨在从名称上而非从功能上区别各种组件。

为了举例说明和描述的目的,已经提供了上述具体实施方式。这些具体实施方式并非意图为详尽的或将本公开限制为所公开的具体形式。根据上述教导内容可以对本公开进行许多修改和改变。另外,应当指出的是,任何或所有前述另选的具体实施可以任何期望的组合使用,以形成本公开的另外的混合的具体实施。

另外,虽然已描述和说明了本公开的特定具体实施,但是本公开并不限于如描述和说明的特定形式或部件布置。本公开的范围将由此处所附的权利要求、此处和不同申请中提交的任何未来的权利要求以及它们的等效物来限定。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1