一种用于在体内成像设备中控制照明或成像器增益的装置和方法

文档序号:882815阅读:228来源:国知局
专利名称:一种用于在体内成像设备中控制照明或成像器增益的装置和方法
背景技术
对生物体内的通道或腔体执行体内(in-vivo)成像的设备和方法在本领域是已知的。这种设备可能主要包括,各种内窥镜成像系统,和在各种体腔内部进行成像的设备。
现在参见图1,图1是举例说明一个自主的体内成像设备的实施例的示意图。设备10A通常包括一光学窗口21和一成像系统,该成像系统用于从体腔或管腔(lumen)诸如胃肠(GI)道内获得图像。该成像系统包括一照明单元23。照明单元23可包括一个或多个离散光源23A,或只包括一个光源23A。该一个或多个光源23A可以是白色发光二极管(LED),或任何其他现有技术已知的适当光源。设备10A包括用于获取图像的CMOS成像传感器24,和用于将图像聚焦在CMOS成像传感器24上的光学系统22。照明单元23通过光学窗口21照亮体腔内部。设备10A还包括发射器26和天线27,用于发送CMOS成像传感器24的视频信号,设备10A还包括一个或多个电源25。电源25可以是任何适当的电源,诸如氧化银电池,锂电池,或其他具有高能量密度的电化学电池或类似物,但不局限于此。电源25可向设备10A的电力部件提供电力。
通常,在胃肠应用设备中,当通过胃肠(GI)道传送设备10A时,设备10A的成像器,例如但不限于多像素CMOS传感器24可获得被处理并传送至由患者佩带的用于记录和存储的外部接收器/记录器(未示出)的图像(画面帧)。然后可将该记录数据从接收器/记录器下载到计算机或工作站(未示出)用于显示和分析,也可以使用其它适当的系统和方法。
在设备10A穿过GI道的移动过程中,成像器以固定的或可变的帧采集率来获取图像帧。例如,成像器(例如图1的CMOS传感器24,但不局限于此)以每秒两帧(2Hz)的固定速率来获取图像。然而,也可使用其它不同的帧率,主要依赖于所使用的特定成像器或摄像机或传感器阵列实现的类型和特性,并依赖于发射器26的可用传输带宽。下载的图像可通过工作站按所需帧率重放图像来进行显示。这样,可向检查该数据的专家或医生提供类似电影的视频重放,从而可使医生回顾设备通过GI道的过程。
电子成像传感器的一个局限性在于可能只有有限的动态范围。大多数现有的电子成像传感器的动态范围明显低于人眼的动态范围。因此,当成像的视场(field)包括成像对象的暗部和亮部时,成像传感器的有限动态范围可能导致视场的暗部曝光不足,或视场的亮部曝光过度,或两者都有。
可以使用各种方法来增加成像器的动态范围。这些方法可包括改变到达成像传感器的光量,例如通过改变光圈或成像设备中包含的光阑的直径来增加或减少到达成像传感器的光量,改变曝光时间的方法,改变成像器增益的方法,或改变照明强度的方法。例如,在静像照相机中,可以在胶片曝光期间改变闪光单元的强度。
当一系列连续的帧在诸如视频摄像机中成像时,可根据一个或多个先前帧中执行的亮度测量结果来调整当前成像帧内成像视场的照明强度。该方法是基于从一个帧到下一帧的照明条件不会突然改变的假设。
然而,在体内成像设备中,例如,对于GI道成像,该成像设备以低帧率工作并在体腔内移动(例如,由肠壁的蠕动来推进),照明条件从一个帧到下一帧可能会显著改变。因此,根据数据分析或先前帧的测量结果来控制照明的方法有时并不可行,特别是在低帧率的情况下。
发明概述本发明的实施例包括用于操作体内成像设备的设备和方法,其中该设备产生的照明的强度和/或持续时间可根据诸如由该设备产生的被反射回该设备而产生的照明量来改变其强度和/或持续时间。以这种方式,可控制照明并提高照明效率。


这里仅仅以举例的方式参照附图来描述本发明,其中相同的元件由相同的参考数字来表示,其中图1是表示现有技术中自主的体内成像设备的一个例子的示意图;图2是表示根据本发明实施例的具有自动照明控制系统的体内成像设备的一部分的方框图;图3是表示根据本发明实施例的具有自动照明控制系统和四个光源的体内成像设备的一部分的截面图;图4是图3所示设备的正视图;图5是表示根据本发明实施例的具有固定照明持续时间的体内成像设备中照明和图像采集的定时方法的示意图;图6是表示根据本发明的实施例中,与光敏二极管和发光二极管连接的照明控制单元的一种可能结构的示意图;图7是详细解释根据本发明实施例的图6所示照明控制单元的示意图;图8是用于解释在根据本发明实施例的体内成像设备中照明和图像采集的定时方法的示意图,该体内成像设备具有可变控制的照明持续时间;
图9是用于解释在根据本发明实施例的体内成像设备中照明和图像采集的定时方法的示意图,该体内成像设备具有可变帧率和可变控制的照明持续时间;图10A是表示根据本发明另一实施例中使用自动照明控制方法的体内成像设备的成像周期的时序图;图10B是表示根据图10A所示的本发明实施例,可能在使用自动照明控制方法时将光强表示为时间的一个函数的举例性示意图;图10C是表示根据图10A所示的本发明实施例,可能在使用自动照明控制方法时将光强表示为时间的一个函数的另一例子的示意图;图11是表示根据本发明的实施例,包括用于控制多个光源的多个感光单元的照明控制单元的示意图;图12是表示根据本发明的实施例,具有四个感光单元和四个光源的自主成像设备的正视图;图13是表示根据本发明的实施例,用于照明控制的CMOS成像器表面上的像素排列的顶视图;图14是表示根据本发明实施例的CMOS成像器的像素的顶视图,示出了适于用在成像设备的本地照明控制中的控制像素组的示例分布;图15A描述了根据本发明实施例的方法的一系列步骤;和图15B描述了根据本发明另一实施例的方法的一系列步骤。
发明详述这里将描述本发明的各个方面。为了便于说明,将描述特定的结构和细节以便于对本发明进行完整的理解。但是,本领域技术人员应当了解,本发明还可以脱离所述的特定细节来实现。另外,为了突出本发明,这里将省略或简化对公知特征的说明。
本发明的实施例主要是基于根据在一个单独帧的采集时间或其一部分内执行的光测量,控制体内成像设备提供的照明。
应当注意,虽然下面所示的本发明实施例适用于胃肠(GI)道成像,但是本文中所揭示的设备和方法也可用于其他体腔或空间的成像。
下面参见图2,图2是表示根据本发明实施例的具有自动照明控制系统的体内成像设备的一部分的方框图。设备30的结构可以为可吞咽的视频囊体(capsule),就像图1中设备10A或lddan等申请的美国专利US 5604531、或Glukhovsky等申请的共有未决美国专利申请No.09/800470中所揭示的一样。但是,本发明的系统和方法也可与其他体内成像设备一起结合使用。
该设备30可包括用于GI道成像的成像单元32。成像单元32可包括一图像传感器(未详细示出),例如但不局限于图1中的CMOS成像传感器24。但是,成像单元32还可包括本领域所知的其他任何适当类型的成像传感器。该成像单元32还可包括一光学单元32A,该光学单元32A包括一个或多个光学元件(未示出),例如一个或多个透镜(未示出),一个或多个复合透镜组件(未示出),一个或多个适当的滤光器(未示出),或如图1中光学单元22所公开的及本领域公知的任何可用于在成像传感器上将GI道图像进行聚焦的光学元件(未示出)。
光学单元32A可包括在成像单元32内集成的一个或多个光学元件(未示出),例如,现有技术已知的被附加,或安装,或制造,或相邻于成像器感光像素(未示出)的一个透镜(未示出)。
设备30还可包括与成像单元32适当连接的一个遥测单元34,用于将成像单元32采集的图像遥测地传输到外部接收设备(未示出),例如但不局限于,lddan等申请的美国专利US 5604531、或Glukhovsky等申请的共有未决美国专利申请No.09/800470中所揭示的接收器/记录器设备。
设备30还可包括与成像单元32适当连接的控制器/处理器单元36,用于控制成像单元32的操作。该控制器/处理器单元36包括任何适当类型的控制器,例如但不局限于,模拟控制器,诸如数据处理器,微处理器,微控制器,或数字信号处理器(DSP)的数字控制器。控制器/处理器单元36还可包括现有技术已知的混合模拟/数字电路。控制器/处理器单元36可被适当地连接到遥感单元34,用于控制遥感单元34对图像帧的传输。
控制器/处理器单元36可被适当地(可选择地)连接到成像单元32,用于向其发送控制信号。从而控制器/处理器单元36可以(可选择的)控制从成像单元32到遥感单元34的图像数据的传输。
设备30可包括用于照明GI道的照明单元38。照明单元38可包括一个或多个离散光源38A,38B,到38N或只包括一个光源;该光源可以是,例如但不局限于,图1的光源23A。照明单元38的光源38A,38B,到38N可以是白色发光二极管,例如Glukhovsky等申请的共有未决美国专利申请No.09/800470中所揭示的光源。然而,照明单元38的光源38A,38B,到38N也可以是现有技术已知的任何其他适当光源,例如但不局限于,白炽灯,闪光灯,气体放电灯,或任何其他适当光源。
应当注意,根据本发明实施例,该体内成像设备可包括一个单独光源(未示出)。
设备30还可包括与照明单元38的光源38A,38B,到38N适当连接的照明控制单元40,用于控制照明单元38的光源38A,38B,到38N的激励。照明控制单元40可用于对光源38A,38B,到38N中的一个或多个光源切换开或关,或控制光源38A,38B,到38N中的一个或多个光源所产生的光强,以下将对此详细说明。
控制器/处理器单元36可被适当地连接到照明控制单元40,用于(可选择地)向其发送控制信号。该控制信号可用于相对于成像单元32的成像循环期或周期,对照明单元38的光源38A,38B,到38N的激励进行同步或定时。照明控制单元40可被(可选择地)集成在控制器/处理器单元36中,或者作为一个单独的控制器。在某些实施例中,照明控制单元40和/或控制器/处理器单元36可作为遥感单元34的一部分。
设备30还可包括感光单元42,用于检测由照明单元38产生并从GI道的壁反射回来的光。感光单元42可包括一个单独的感光设备或光传感器,或者多个离散的感光设备或光传感器,例如但不局限于,光电二极管,光电晶体管等等。也可使用现有技术已知的具有适当特性的其它类型的光传感器来实现本发明实施例的感光单元。
感光单元42可被适当地连接到照明控制单元40,用于向照明控制单元40提供一个代表从胃肠道壁(或在成像单元32的视场内的任何其他物体)反射回来的光的强度的信号。在操作中,照明控制单元40可处理从感光单元42接收的信号,并根据处理后的信号按照上述或以下将详细说明的方式来控制光源38A,38B,到38N的操作。
设备30还可包括一电源44,用于向设备30的各元件供电。应当注意为了使示例图清楚,电源44和由其供电的设备30的电路或元件之间的连接关系并未详细示出。电源44可以是,例如,类似于设备10A的电源25的内部电源,即电池或其他的电源。然而,若设备30被构造为插入式设备(例如,内窥镜式设备,或导管式设备,或现有技术已知的任何其他类型的体内成像设备)则电源44也可以是被置于设备30外侧的外部电源(为了使示例图清楚,在图2中并未示出这种外部结构)。在具有外部电源的实施例(未示出)中,外部电源(未示出)可以通过适当的导体(未示出),诸如绝缘线等等被连接到成像设备的各需供电元件。
应当注意,对于例如设备10A等自主的或可吞咽的体内成像设备,电源25最好(但不是必须)是用于提供支流(DC)的小型电源,外部电源可以是本领域公知的任何合适的电源,包括但不局限于可提供交流(AC)或直流的电源或如本领域公知与电网耦合的电源。
现在参照图3和4,图3是表示根据本发明实施例的具有自动照明控制系统和4个光源的体内成像设备的一部分的截面图。图4是图3所示设备的正视图。
设备60(仅有一部分在图3中示出)包括一成像单元64。该成像单元64可与图2中的成像单元32或图1中的成像单元24相似。该成像单元64最好是一CMOS成像单元,但也可使用其它类型的成像单元。如本领域所公知,该成像单元64可包括CMOS成像器电路,但也可包括其他类型的支撑或控制电路,如本领域公知和例如lddan等在美国专利US5604531或Glukhovsky等在共有未决美国专利申请No.09/800470中所公开的那样。该设备60还包括一光学单元62,该光学单元62可包括对于上述图1中的光学单元22和图2中的光学单元32A所公开的多个透镜或多个光学元件。
该设备60包括一照明单元63,如图4所示,该照明单元63包括四个光源63A、63B、63C和63D,这四个光源分布在设备60中。光源63A、63B、63C和63D可以是如Glukhovsky等在共有未决美国专利申请No.09/800470中所公开的白色LED光源,也可以是其他任何合适类型的光源,包括但不局限于本领域公知或上面已经揭示的红外光源、单色光源、限带光源。
应当注意,根据本发明的一个实施例,光源63A、63B、63C、63D是相同的,本发明的其他实施例中可以具有不同的多个光源。一些光源的光谱分布于其他光源的不同。例如,在同样的设备内的光源中,一个光源可以是红色LED,另一个光源可以是蓝色LED,还有一光源可以是黄色LED。光源还可以是其他结构。
设备60还可包括一反射板70,该反射板70可以是圆锥形或它可以具有任何其他合适的形状。该反射板70中可以具有一通孔70A。该反射板70可被插入光源63A、63B、63C、63D和光学单元62之间,可以减少从63A、63B、63C、63D直接发出的并进入通孔70A的光量。该设备60可包括与图1中的光学圆顶或窗口21相似的透明光学圆顶61。光学圆顶61可以由合适的透明塑料材料或玻璃或其他任何合适的材料制成,这些材料对于由光源63A、63B、63C、63D所产生的光的波长中的至少一部分足够透明从而足以成像。
设备60还包括一感光单元67,用于感应从肠壁76反射或散射来的光。该感光单元与反射板70结合,从而使他的感光部分67A面向光学圆顶61。该感光单元67最好但不是必须位于反射板70的表面上,其所处的位置可以使感光单元67感应代表或与进入反射板70的通孔70A的光量成比例的一定量的光。当被照明的目标物是半扩散(像肠壁表面),当感光单元67的大小和它距离成像传感器轴75的距离与囊状设备60的直径D相比很小时,上述情况成立。
所示的设备60(图3)与肠壁76邻近。在操作中,由光源63A、63B、63C、63D所产生的光线72可以穿过光学圆顶61并由肠壁76发射。一些反射光线74可以穿过光学圆顶61并到达感光单元67。其他反射的光线(未示出)可以到达通孔70A并经过光学单元62聚焦在成像单元64上。
感光单元67测量到的光量可以与进入通孔70A的光量成比例。因此,可利用到达感光单元67的光强度的测量来控制由光源63A、63B、63C、63D的光输出,下面将要详细说明。
该设备60还包括一照明控制单元40A。该照明控制单元40A可与感光单元67和照明单元63耦合。照明控制单元40A可处理从感光单元67接收到的信号从而像下面将要说明的一样控制光源63A、63B、63C、63D。
设备60还包括一无线发射器单元(图3中未示出)和一天线(图3中未示出),例如但不局限于图1中的发射器26和天线27或者可以包括任何合适的遥测单元(例如但不局限于图2中的遥测单元34)。该遥测单元可以是一发射器或发射接收器,用于无线地发射(也可以接收)数据并控制信号到(也可以从)外部接收器/记录器(图3中未示出),如上面详细描述的那样。设备60还可以包括一个或更多电源,例如图1中的电源25、或其他本领域公知的任何合适的电源。
现在参照图5,图5是表示根据本发明实施例的具有固定照明持续时间的体内成像设备中照明和图像采集的定时方法的示意图。该定时方法的特征在于具有CMOS成像器的成像设备,但是也可用于具有其他类型成像器的设备中。
图像采集循环期或周期在时间T开始。该第一图像采集循环期在时间T1结束并具有ΔT1的持续时间。第二图像采集循环期在时间T1开始并在时间T2结束,具有ΔT1的持续时间。每个成像循环期或周期都包括两个部分,一个具有ΔT2的持续时间的照明持续时间90和一个具有ΔT3的持续时间的黑暗周期92。该照明周期90由图5中的阴影带来表示。在每个成像循环期的照明周期90内,照明单元(例如但不局限于图2中的照明单元38或图3中的照明单元63)被打开并提供用于照明肠壁的光。在每个成像循环期的黑暗周期92内,照明单元(例如但不局限于图2中的照明单元38或图3中的照明单元63)被关闭因此并不提供光。
如上所述,该黑暗周期92或其一部分可用于例如通过扫描成像器的像素从成像器采集一图像和用于处理成像器输出信号和用于向外部接收器或接收器/记录装置发射该输出信号或处理后的输出信号。
应当注意,为了简明起见,图5的图仅示出图像采集循环期持续时间是固定的且按照固定的帧率而不是强制性的执行成像的情况。因此,该帧率和图像采集循环期持续时间在成像期间可以根据测量参数例如成像设备在胃肠道内的速度而变化。
通常,为了确保足够的图像采集,可以使用不同类型的光控制方法。
在第一种方法中,在照明单元63对目标组织的照明期间,可以连续测量和记录照射在感光单元67上的光量,从而提供代表由该感光单元67检测到的光子的总累计数目的累计值。当该累计值达到了一特定值时,可以通过关闭包括在照明单元63内的光源63A、63B、63C、63D来关闭该照明单元63。这样,装置60就可以确保当所测量到的光量足以产生充足曝光的帧(在平均值上)时,关闭照明单元63。
第一种方法的一个优点在于如果光源(例如光源63A、63B、63C、63D)以他们的最大或近似最大的光输出能力工作,与在固定持续时间的照明周期(例如图5中的照明持续时间90)内的能量消耗相比,这种关闭可以节省能量。
第一种方法的另一优点在于与使用固定照明周期相比,它可确保缩短成像循环期内的照明周期的持续时间。在运动的成像设备例如设备60中,理想情况下,由于这样可以防止或减少由设备60在GI道内的运动导致的图像拖尾效应,因此希望照明周期实际上尽可能的短。因此,通常在运动成像装置中,照明周期越短,产生的图像将越锐利(假设照明单元产生足够的光来确保足够的图像曝光)。
这与在正常快门操作的照相机中增加快门速度以减少对光的曝光持续时间以防止运动目标物图像或图像的拖尾效应相似,除了本方法实施例中通常没有快门,且可控制缩短照明持续时间以减少由于在GI道中的设备运动而导致的图像脱尾效应。
现在参照图6和7。图6是表示根据本发明的实施例中,与光电二极管和发光二极管连接的照明控制单元的一种可能结构的示意图。图7是详细解释根据本发明实施例的图6所示照明控制单元的示意图。
图6的照明控制单元40B可与光电二极管67B适当连接,该光电二极管67B可被用作为一感光单元。也可使用其他任何适当的感应单元或光传感器。照明控制单元40B还可与发光二极管(LED)63E适当连接。该LED63E如上所述,可以是一个白色LED或者可以是其他可用于照明所成像的目标物(例如胃肠壁)的任何类型的LED。照明控制单元40B可以从光电二极管67B接收到一个直流信号。所接收到的信号可以与照射在光电二极管67B上的光的强度(由箭头81表示)成比例。该照明控制单元40B可以处理所接收到的信号,以判断在光测量时间周期的持续时间内照亮该光电二极管67B的光量。照明控制单元40B可以根据在光测量时间周期的持续时间内照明光电二极管67B的光量,来控制LED63E的激励。下面将详细说明这类处理和激励的控制的例子。照明控制单元40B还可以从包括在体内成像设备中的其它电路部件接收控制信号。例如,该控制信号可包括定时和/或同步信号,开/关切换信号,复位信号等。
该感光单元和光产生单元可以是任何除了二极管以外的适当的光产生或感应单元。
图7示出该照明控制单元40B的一个可能实施例。该照明控制单元40B可以包括例如积分器单元80,比较器单元82,和LED驱动器单元84。该积分器单元80与光电二极管67B耦合,以接收表示照射在该光电二极管67B上的光的强度的信号,并记录和累计照射在该光电二极管67B上的光量。该积分器单元80可以适当地与比较器单元82连接。
该积分器单元80可以记录并累计照射在该光电二极管67B上的光量,对接收的信号积分,并将积分后的信号输出到比较器单元82。该积分后的信号可以与在积分时间周期内照射在光电二极管67B上的光子的累计数目成正比,或者表示该累计数目。该比较器单元80可以与LED驱动器单元84适当地连接。该比较器单元80可以连续地对积分后信号的值与一个预定的阈值进行比较。当积分后信号的值等于该阈值时,比较器单元82控制LED驱动器单元84以切断对LED63E的供电,从而结束LED63E的操作。
照明控制单元40A的结构和操作将与图7和8中的照明控制单元40B相似。
应当注意,虽然图7所示的电路是由模拟电路实现的,但如下所述(参见图11)也可利用数字电路和/或者模/数混合电路实现该照明控制单元。
现在参见图8,图8是用于解释在根据本发明实施例的体内成像设备中照明和图像采集的定时方法的示意图,该体内成像设备具有可变控制的照明持续时间。
图像采集循环期或周期在时间T开始。该第一图像采集循环期在时间T1结束并具有ΔT1的持续时间。第二图像采集循环期在时间T1开始并在时间T2结束,具有ΔT1的持续时间。在每个成像循环期中,具有持续时间为ΔT4的时间周期限定了最大可允许照明周期。该最大可允许照明周期ΔT4通常应当是一个足够短的时间周期,从而可以实现不会有设备60在GI道内的运动导致的过分的图像拖尾或模糊的成像。时间TM是最大可允许照明周期ΔT4相对于第一成像循环期的开始时间的结束时间。
该最大可允许照明周期ΔT4可以由工厂预制,这是主要考虑到成像设备在GI道中能达到的通常或平均(或最大)速率,(在不同患者使用多个设备中被实验地确定),成像传感器(例如,设备50的CMOS传感器64)的类型以及他的扫描时间要求,和其他制造和定时因素。根据本发明的一个实施方式,当以每秒2帧ΔT1=0.5秒成像时,可以将ΔT4的持续时间的值设定为20-30毫秒的范围内。但是此时间仅仅是举例说明,该ΔT4还可以有其他不同的值。通常,使用小于30毫秒的最大可允许照明周期ΔT4会使大多数采集的图像帧具有可接受的图像质量,而不会有成像设备在GI道内的运动所产生的模糊而导致的过分图像恶化。
时间周期ΔT5被定义为整个成像循环期持续时间ΔT1和最大可允许照明周期ΔT4的差(ΔT5=ΔT1-ΔT4)。
在第一成像循环期开始时间T处,照明单元(例如但不局限于图3中的照明单元63)被打开并提供照明肠壁的光。该感光单元67对肠壁76反射和/或散射的光进行感应,并向设备60的照明控制单元40A提供信号。该信号可以与进入通孔70A的光的平均量成比例。可以利用照明控制单元40A按照图7和8的照明控制单元40B类似的方式对感光单元67提供的信号进行积分。
积分后的信号可以与预定的阈值进行比较(例如通过一个比较器,如图8中的比较器单元82)。当积分后信号等于该阈值时,照明控制单元40A结束照明单元63的光源63A,63B,63C和63D的操作。该时间TE1是照明控制单元在第一成像循环期内切断光源63A,63B,63C和63D的时间。从时间T开始到时间TE1结束的时间间隔是第一成像循环期的照明周期94(由标记为94的阴影带表示)。照明周期94的持续时间为ΔT6。可以看出对于第一成像循环期来说,ΔT6<ΔT4。
在时间TE1之后,CMOS传感器64的像素扫描开始,像素数据(也可能是其他数据)由设备60的发射器(图3中未示出)或遥感单元来发射。
最好,CMOS传感器64的像素扫描可以最早在照明中断的时间TE1开始。例如,照明控制单元40A可以在时间TE1向CMOS传感器发送一个控制信号,以起始CMOS传感器64的像素扫描。但是假设有足够的时间用于像素扫描和数据发射的操作时,该像素扫描也可以在时间TM后的一预定时间开始,该时间TM是最大可允许照明周期ΔT4的结束时间。
在第二成像循环期的开始时间T1处,照明单元63再次打开。该感光单元67感应从肠壁76反射和/或散射的光,并向设备60的照明控制单元40A提供一个信号。该信号与进入通孔70A的光的平均量成比例。
如前面对第一成像循环期所述的那样,感光单元67所提供的信号可以被积分,并与阈值进行比较。当积分后信号等于该阈值时,照明控制单元40A切断照明单元63的光源63A,63B,63C和63D。但是在图8所示的特定例子中,在第二成像循环期内到达感光单元67的光的强度小于在第一成像循环期内到达感光单元67的光的强度。
这种在不同成像循环期之间照明强度或强度与时间的特性图(profile)的差别主要是由设备60远离肠壁76的运动或设备60相对于肠壁76的位置或取向的变化,或肠壁76处于设备60视场范围内的那部分的光吸收或光反射或光散射的属性变化导致的。
因此,积分器单元的积分后信号输出需要更长的时间来达到该阈值。因此,照明控制单元40A在时间TE2切断照明单元63(注意,TE2>TE1)。
从时间T1开始到TE2结束的时间间隔是第二成像循环期的照明周期96。该照明周期96(由标记为96的阴影带表示)的持续时间为ΔT7。可以看出对于第二成像循环期ΔT7小于ΔT4。
因此,不同成像循环期内的照明周期的持续时间会主要根据到达感光单元67的光的强度而变化。
在时间TE2之后,CMOS传感器64的像素扫描开始,像素数据(也可能是其他数据)可以如图8中的第一成像循环期中的方式来发射。
应当注意,为了简明起见,图8示出了图像采集循环期持续时间ΔT1固定且以固定的帧率执行成像的情况,但这并不是强制性的。因此,帧率和图像采集循环期持续时间ΔT1可以在成像期间根据测量到的参数而变化,该测量到的参数例如成像设备在胃肠道中的速率。在这种情况下,为了增加或减小帧率,可以根据测量到的设备60的速率来缩短或增加成像循环期的持续时间。
例如,申请日为2000年5月15日、被转让给本申请的受让人且通过引用结合在本申请中的共有未决美国专利申请No.09/571,326主要公开了一种用于控制体内成像设备的帧率的设备和方法。
上述公开的自动照明控制方法可适用于具有可变帧率的设备中。这种适用考虑到成像循环期的变化的持续时间,其实施方式主要基于完成像素扫描和数据发送所需的时间量、可用于设备60的功率的可用量以及其他因素。
使用本方法的一个简单的方式是限制成像设备的最大帧率,从而即使当使用该最大帧率时,在时间周期内也有足够的时间用于像素扫描和数据发送。
现在参照图9,图9是用于解释在根据本发明实施例的体内成像设备中照明和图像采集的定时方法的示意图,该体内成像设备具有可变帧率和可变控制的照明持续时间。
图9中的第一成像循环期与图8中的第一成像循环期相似,只是图9的照明周期98的持续时间(由阴影带98表示)比图8中的照明周期94的持续时间长。图9的第一成像循环期在时间T开始、在时间T1结束并具有ΔT1的持续时间。时间TM表示最大可允许照明周期ΔT4的结束时间。图9的第二成像循环期在时间T1开始并在时间T3结束。该第二成像循环期的持续时间ΔT8小于第一成像循环期的持续时间ΔT1(ΔT8<ΔT1)。该第二成像循环期ΔT8的持续时间对应于成像设备中可用的最高帧率。照明控制单元根据上面详细描述的光强度来对第二成像循环期的照明周期100(由图9中的阴影带表示)定时。时间周期102(由标记为102的点线带表示)表示扫描成像器的像素和发射所扫描帧数据所需的时间量ΔT9。TM表示最大可允许照明周期相对于各成像循环期的开始时间的结束时间。因此,如果帧率增加,则即使在最高可能帧率下,也有足够的时间来扫描像素和发射数据。
应当注意,通常在具有固定帧率的体内成像设备示例中,扫描具有64000个像素的CMOS传感器(例如但不局限于256×256像素阵列布置的CMOS传感器)的像素和向外部接收机记录器发送模拟数据信号所需的时间大约为0.4毫秒(假设每个像素的扫描和数据发送时间大约为6微秒)。因此,假设最大照明周期大约为20-30毫秒,则该帧率将不会大于每秒2帧。也可使用其他帧率。
但是,可能缩短扫描像素和发送数据所需的时间。例如,通过增加CMOS像素阵列的时钟频率,可以将扫描单个像素所需的时间减少到3微秒或更少。另外,可能增加发射器26的数据发射率从而进一步缩短扫描阵列像素并将像素数据发送到外部接收器/记录器所需的全部时间。
因此,体内成像设备以及固定帧率设备中的可变帧率可以被实现为大约每秒4-8帧的帧率或更高。
当感光单元的积分输出达到用于确保良好平均图像质量的阈值时执行上述用于切断照明单元的方法时,设计者可以操作该照明单元(例如图3中的照明单元63)接近最大可用光输出能力。其优点在于缩短后的可用照明周期持续时间可以通过减小导致图像模糊的运动来实现提高图像的清晰度。
并不总是可能或希望操作照明单元接近最大可能光输出能力。因此,可能希望以给定光输出来开始照明单元63的操作,该给定光输出小于照明单元63的最大光输出。
在第二种照明控制方法中,图3的照明单元63可以在各成像循环期开始的时候以第一光输出级别操作。该感光单元67可用于测量很短的照明采样周期期间内的光量。
现在参照图10A、10B和10C。图10A是表示根据本发明另一实施例中使用自动照明控制方法的体内成像设备的成像周期的时序图。图10B是表示当使用图10A所示的自动照明控制方法时,将光强作为时间的一个函数的举例性示意图。图10C是表示当使用图10A所示的自动照明控制方法时,将光强作为时间的一个函数的另一例子的示意图。
在图10A、10B和10C中,图中的水平轴表示任意单元中的时间。在图10B和10C中,垂直轴表示照明单元63(图3)输出的光的强度I。
图10A所示的自动照明控制方法通过使用包括在总的照明周期108中的照明采样周期104来操作。成像循环期110包括总的照明周期108和黑暗周期112。照明单元63在总的照明周期108的持续时间内照明该肠壁76。黑暗周期112可用于如上所述的扫描CMOS成像器64的像素和处理并发送该图像数据。
成像循环期的总的照明周期从时间T开始并在时间TM结束。该时间TM相对于成像循环期110的开始时间T是固定的,表示最大可允许照明时间。实际上,如上所述可以选择该时间TM以减少图像模糊的可能性。例如,可以将该时间TM选择为从成像循环期110的开始时间T开始的20微秒(换句话说,总的照明周期108的持续时间可被设为30毫秒),但是也可以使用其他更长或更小值的时间TM以及总的照明周期108。
总的照明周期108可以包括照明采样周期108和主要照明周期106。该照明采样周期104从时间T开始并在时间TS结束。主要照明周期106从时间TS开始并在时间TM结束。
在该方法的示例性实施例中,照明采样周期104的持续时间可被设为大约2-5毫秒,也可以主要根据感光单元67的类型和特性、它对光的敏感度、它的信噪比(S/N)、在照明采样周期104期间照明单元63操作所采用的强度I1、以及其他实施和制造因素来使用其它更大或更小的持续时间值。
转到图10B和10C,在照明采样周期104期间,操作照明单元63从而使光强度为I1。感光单元67可以感应肠壁76反射和散射的光。该照明控制单元40A可以对强度信号进行积分以判断在照明采样周期104的持续时间内到达感光单元67的光量Q。该照明控制单元40A然后可以根据该值Q和主要照明周期106的公知持续时间来计算光强度IN,该照明单元63需要在主要照明周期106的持续时间内以该光强度操作,从而为CMOS传感器64提供足够的平均曝光。在一个实施例中,在一组成像循环期内,将接收到的光的估算总量基本保持恒定或保持在特定的目标范围内。可以通过例如从希望接收到的或被施加的固定的光量中减去在采样周期104期间记录的光量并使该结果除以固定的时间周期来执行计算,该固定的时间周期对应于主要照明周期106。执行计算的一个可能方式可以用下面的等式1IN=(QT-Q)/ΔTMAIN等式1其中,ΔTMAIN是主要照明周期106的持续时间,QT是需要在成像循环期内到达感光单元67从而确保CMOS传感器64的充分平均曝光的总的光量,Q是在成像循环期的照明采样周期104的持续时间内到达感光单元67的光量。
应当注意QT的值可以通过实验确定。
图10B示出照明单元63产生的光的强度作为示例性成像循环期的时间函数的图表。在照明采样周期104期间,光强度的值为I1。在照明采样周期104结束之后,可以根据等式1中揭示的方式或通过使用其他任何适当类型的模拟或数字计算方式来计算光强度IN=I2。
例如,如果通过图2的控制器/处理器36来数字地执行计算,则可以在与主要照明周期106的持续时间相比非常短的时间(例如小于1毫秒)内计算IN的值。
如果利用包括在图2的照明控制单元40或图6的照明控制单元40B或图3的照明控制单元40A中的模拟电路(未示出)来执行IN的计算,则与主要照明周期106的持续时间相比,计算时间也非常短。
在对于图10B中所示的成像循环期的I2计算完成之后,照明控制单元40A可以将成像设备的照明单元的光输出的强度变为I2。这例如可以通过增加图7中的LED驱动器单元84的电流输出量、或通过增加包括在照明控制单元40A中的一个或更多LED驱动器单元(未详细示出)输出的电流量从而向光源63A、63B、63C和63D提供电流来实现。在主要照明周期108的结束处(时间TM处),照明控制单元40A可以切断照明单元63直到达到时间T1,该时间T1是新成像循环期的开始时间(未示出)。在新成像循环期的开始时间,光强度再次被切换为值I1,新的照明采样周期开始。
图10C示出照明单元63产生的光的强度作为另一不同的示例性成像循环期的时间函数的图表。如上所述,该照明强度I1在整个照明采样周期104内都被使用。但是在该成像循环期内,对于照明采样周期104测量的Q的值大于对于图10B的照明采样周期测量的Q的值。这是由于例如成像设备60相对于肠壁76运动所导致的。因此,I3计算的值小于图10B所示的成像循环期的I2的值。I3的值也小于I1的值。因此,如图10C所示,照明单元63在主要照明周期106内发射的光的强度小于在图10C中照明采样周期104期间由照明单元63发射的光的强度。
应当注意如果I3的计算值等于I1的值(图10B-C未示出的情况),则在总的照明周期108的持续时间内,可以将照明强度保持在I1的初始值,在时间TM不需要执行照明强度的修改。
本文中所述的第二种照明控制方法的优点在于至少初始可以避免照明单元63以其最大光输出强度操作。这对于改进电源例如图1所示的电源25的性能是有利的,还可以延长其有效操作寿命。本领域技术人员公知当很多电池和电化学电池以接近其最大电流输出操作时,它们都不能最佳地工作。当利用第二照明方法时,光源(例如图3中的光源63A、63B、63C和63D)可以以光强度I1初始操作,该光强度I1只是其最大输出光强度的一部分。因此,在判断对于当前帧采集不需要最大光输出强度的情况下,可以以第二光强度级(例如小于光强度级I1的光强度级I3)来操作光源。因此,第二照明控制方法可以减少从成像设备的电池或其他电源输出的用于操作照明单元63的电流,从而延长该成像设备中使用的电池或其他电源的操作寿命。
本领域技术人员应当明白本发明实施例并不局限于使用单独感光元件和/或单独的光源。
现在参照图11,图11是表示根据本发明的实施例,包括用于控制多个光源的多个感光单元的照明控制单元的示意图。
该照明控制单元120包括多个感光单元122A、122B、…122N,它们分别与多个模数(A/D)转换单元124A、124B、…124N连接。A/D转换单元与处理单元126适当连接。该处理单元126与多个LED驱动器128A、128B、…128N适当连接,这些LED驱动器与多个LED光源130A、130B、…130N适当连接。
将表示感光单元122A、122B、…122N所感应到的光强度的信号分别馈送到A/D转换单元124A、124B、…124N,然后输出数字化的信号。处理单元126接收到这些数字化的信号,然后处理这些信号。例如,处理单元136可以对这些信号执行积分从而计算感光单元122A、122B、…122N所感应到的光量。计算得出的光量是由所有感光单元122A、122B、…122N一起感应到的光量的总和,或者可以是感光单元122A、122B、…122N中各单独感光单元所分别计算出的多个单独的光量。
处理单元136还可对计算得到的光量或多个光量进行处理,从而向LED驱动器128A、128B、…128N提供控制信号,这些LED驱动器128A、128B、…128N然后会像LED光源130A、130B、…130N提供适当的电流。
应当注意可以利用不同的处理和控制方法来操作图11中照明控制单元120。
根据本发明的一个实施例,所有的感光单元122A、122B、…122N都可被用作一单独的感光元件,利用合并后的光的总量执行计算从而同时控制所有的LED光源130A、130B、…130N的操作。在该实施例中,照明控制单元120可以利用如上所述及在图5、8和9中所示的第一种照明控制方法来实现,它使用固定的照明强度并计算照明的终止时间。
或者,根据本发明的另一实施例,可以利用如上所述及在图10A-10C所示的第二种照明控制方法来实现该照明控制单元120,如上所述该第二种照明控制方法使用照明采样周期内的第一照明强度I1并计算用于主要照明周期内的第二光强度IN。在这种情况下,在整个照明采样周期104内使用的照明强度I1(如图10A-10C所示)对于所有的LED光源130A、130B、…130N都是一致的,在主要照明周期106内使用的照明强度IN(见图10A-10C)对于所有的LED光源130A、130B、…130N都是一致的。
根据本发明的另一实施例,感光单元122A、122B、…122N中的每一个都可被用作单独的感光单元,可以利用由各感光单元122A、122B、…122N所感应到的各单独光量来执行计算,从而有差别地分别控制各LED光源130A、130B、…130N的操作。在第二实施例中,可以利用如上所述及在图5、8、9中所示的第一种照明控制方法来实现照明控制单元120,该第一种照明控制方法对各LED光源130A、130B、…130N使用固定的照明强度,并可以分别的计算各LED光源130A、130B、…130N的照明终止时间。这样,光源130A、130B、…130N的组(其中一组可能只包括一个)可以与传感器122A、122B、…122N的组配对。
或者,根据本发明的另一实施例,可以利用如上所述及在图10A-10C所示的第二种照明控制方法来实现该照明控制单元120,如上所述该第二种照明控制方法在照明采样周期内采用第一照明强度I1并计算用于主要照明周期内的第二照明强度IN。在这种情况下,照明强度I1对于所有的LED光源130A、130B、…130N都是一致的,照明强度IN对于所有的LED光源130A、130B、…130N都是一致的。
通常,本实施例可用于这样的情况,即成像设备中的光源130A、130B、…130N和感光单元122A、122B、…122N的定位可以确保能够适当有效地对照明进行“局部控制”,不同光源之间的串扰处于足够低的级别,从而可以通过处理控制回路中与一个或更多光源相联系的一个或更多感光单元输出的信号,对光源130A、130B、…130N中的一个或更多个产生的照明强度进行适当的局部控制。
现在参照图12,图12是表示根据本发明的实施例,具有四个感光单元和四个光源的自主成像设备的正视图。
设备150包括四个光源163A、163B、163C和163D和四个感光单元167A、167B、167C和167D。光源163A、163B、163C和163D可以是所述的白色LED光源,也可以是其他合适的光源。感光单元167A、167B、167C和167D附连在反射板70的表面上并包围该通孔62。设备150的前部可包括四个象限分区(quadrants)170A、170B、170C和170D。设备150可以包括一个照明控制单元(图12的正视图未示出),所有用于图像处理和发射的光学部件、成像部件、电路和电源都已经在上面详细说明并在附图中示出(见图1、2)。
分区由虚线之间的区域170A、170B、170C和170D表示。根据本发明的一个实施例,设备150可包括四个独立的局部控制回路。例如,位于分区170A内的光源163A和感光单元167A可以适当地与照明控制单元(未示出)耦合,其耦合方式类似于图2中光源38A-38N和感光单元42与照明控制单元40的耦合方式。感光单元167A输出的信号可用于利用上述的任何一种照明控制方法来控制光源163A的照明参数,形成用于分区170A的局部控制回路。
相似的,感光单元167B输出的信号可用于利用上述的任何一种照明控制方法来控制光源163B的照明参数,形成用于分区170B的局部控制回路,感光单元167C输出的信号可用于利用上述的任何一种照明控制方法来控制光源163C的照明参数,形成用于分区170C的局部控制回路,感光单元167D输出的信号可用于利用上述的任何一种照明控制方法来控制光源163D的照明参数,形成用于分区170D的局部控制回路。
应当注意,由于实际上光源163A产生的一些光会从肠壁上反射或散射并到达分别形成用于其他分区170B、170C、170D的局部控制回路的一部分的感光单元167B、167C、167D,因此不同局部控制回路之间会存在串扰或相关性。
可以通过设计感光单元167A、167B、167C和167D以及光源163A、163B、163C和163D的位置布置来减少这种串扰。
在本发明的其它实施例中,还可能使用例如“模糊逻辑”方法或神经网络方案等处理方法将不同局部控制回路的操作联系在一起。这样,不同的局部控制回路就可以被耦合在一起,从而使一个感光单元的输出信息可以影响对其他局部控制回路中光源的照明强度的控制。
应当注意,虽然图12所示的成像设备150包括四个光源和四个感光单元,但是光源的数目也可以变化,本发明实施例中成像设备可以具有不同数目(多于或少于四个)的光源。相似的,感光单元的数目也可以改变,可以使用任何合适的或实用数目的感光单元。另外,应当注意设备中感光单元的数目不需要与包括在设备中的光源数目一致。因此,例如,设备可以具有三个感光单元和六个光源。或者在另一个例中,设备可以具有十个感光单元和九个光源。
决定光源数目和感光单元数目的因素主要包括光源和感光单元在设备中的几何(二维和三维)布置以及它们彼此之间的相对布置,光源的大小和可用功率、感光单元的大小和灵敏度、制造和布线因素。
局部控制回路的数目也可以主要根据所希望的照明均匀度、不同局部控制回路之间的串扰度、照明控制单元可用的处理功率以及其他制造因素来确定。
本发明的发明人已经注意到还可能利用该成象器自身的一个或更多感光像素,而不是另外使用专用的感光单元来实现照明控制,该专用感光单元并不是该成像器的一部分。另外,还可能使用集成在CMOS成像器IC表面上的像素阵列中的特殊感光元件。
例如,在具有CMOS类型成像器的多个成像器中,该CMOS成像器中的一些像素可用于控制照明,或可在该成像器的像素阵列内形成特别制造的感光元件(例如,模拟光电二极管等)。
现在参照图13,图13是表示根据本发明的实施例,用于照明控制的CMOS成像器表面上的像素排列的顶视图。应当注意图13中的像素布置仅是示意性的,成像器上电路的实际物理布置并未示出。
CMOS成像器160的表面由包括144个正方形像素的12×12阵列示意性的表示出。常规像素160P由白色方块表示。CMOS成像器还包括十六个控制像素160C,由阴影方块表示。
应当注意,为了使示例图清楚简明,CMOS成像器160中的像素数目被任意地选择为144个,但如果需要也可使用更多或更少数目的像素。通常,使用更多数目的像素来提供足够的图像分辨率。例如256×256的像素阵列就适用于GI道成像。
根据本发明的实施例,控制像素160C可以是被指定作为控制像素工作的常规CMOS成像器像素。根据此实施例,可以在不同于常规成像像素160P的时刻对控制像素160C进行扫描。此实施例的优点是可以通过常规的CMOS像素阵列成像器来实现。
返回图10A,也可以使用图10A的时序图来说明使用控制像素的自动照明控制方法。该方法可利用在每个成像循环期110开始时对控制像素160C的快速扫描来进行操作。可在成像循环期110的开始时刻(时刻T)打开照明单元(未示出)。可以以类似于常规像素160P的扫描来执行控制像素160C的扫描,除了所有控制像素160C的扫描都发生在照明采样周期104以内。可以在照明采样周期104的持续时间内顺序扫描控制像素160C。上述技术是可行的,因为通过现有技术已知的对像素读出线(未示出)的适当寻址,可随机地扫描CMOS像素阵列中的任何所需像素。
应当注意,由于控制像素160C是顺序扫描的(一个接着一个),首先扫描的控制像素就比随后扫描的控制像素被曝光较短的时间周期。从而,每个控制像素是在曝光了不同的曝光时间周期之后被扫描的。
若假定从肠壁反射的光的强度在照明采样周期104的持续时间内没有显著改变,则可以通过计算校正所有控制像素160C的平均测量光强,或到达所有控制像素160C的光的计算平均量,来补偿此累计增加的像素曝光时间。例如,可以计算像素强度的加权平均值。
或者,根据本发明另一实施例,可以在照明采样周期104结束后关闭照明单元63(图10A中未示出关闭)。此关闭可启动控制像素160C的扫描,同时像素160C不曝光,从而避免了上述的控制像素的增量曝光。
在所有控制像素160C的扫描(读出)结束且扫描的控制像素信号值已被处理(通过模拟或数字的计算或处理)之后,照明控制单元40A(或图2的照明控制单元40)可计算出主要照明周期内所需的照明强度的值。
可按照上述方法,利用已知值I1(参见图10B),来执行所需照明强度或LED驱动单元84所需电流的计算,该计算可考虑或不考虑照明单元63被关闭的周期的持续时间。(该持续时间大约可从扫描控制像素160C的已知所需时间和从数据处理和/或压缩所需的大约时间而得知)。然后可利用计算的当前值而打开照明单元63(为了使示例图清楚,图10A中未示出打开)以产生所需的照明亮度值I2(参见图10B),直到主要照明周期106的结束时刻TM。
应当注意若控制像素160C的数目很小,则相对于总照明周期108的总持续时间,扫描控制像素160C所需的时间较短。例如,若扫描单个控制像素的扫描时间约为6微秒,则扫描16个控制像素约需要96微秒。由于计算所需光强的所花费时间也可能很短(可能需要几微秒或几十微秒),在照明采样周期104结束时关闭的照明单元63所用的时间的周期可包括主要照明周期108的一小部分,通常为20-30毫秒。
也可以这样计算加权平均值,其中对于每个像素所读取的强度可以根据该具体控制像素在整个像素阵列160中的位置被不同地加权。可以如现有技术已知的那样,使用此加权方法来获得中央偏置的强度加权(center biased intensity weighting),或现有技术已知的其他任何类型的偏置测量,包括但不局限于边缘(或周边)偏置加权,或现有技术已知的任何其他适当类型的加权。这种补偿或加权的计算可通过成像设备中包含的照明控制单元(未示出),或任何适当的处理单元(未示出),或包括图13所示CMOS成像器160的成像设备中包含的控制器单元(未示出)来执行。
从而,在控制像素的读出或任何类型的补偿或加权计算结束之后,若使用平均或加权的计算,则照明控制单元(未示出)可计算控制像素160C所感应的光量的加权(和/或补偿)值,并利用该值来计算值I2。
应当注意控制像素160C与常规像素160P的数目比率应当是一个较小的数字。所示比率16/144仅仅是举例(为了使图示清楚)。在实际操作中,该比率主要依赖于成像器的CMOS阵列中的像素总数和使用的控制像素的数目而变化。例如,在典型的256×256的CMOS像素阵列中,可以使用16-128个像素作为照明控制像素来控制照明。在256×256的CMOS像素阵列中的控制像素的数目也可以小于16个控制像素或大于128个控制像素。
通常,控制像素的数目和控制像素对常规像素的比率主要依赖于成像器像素阵列中的像素总数,特定成像器的像素扫描速度,分配用于扫描的时间内实际扫描的控制像素的数目,和照明采样周期的持续时间。
在利用自动照明控制方法的实施例中,CMOS成像器像素阵列的某些象素(例如图13所示的例子),该实施例的优点在于与成像器表面外部设置的光传感器(例如图3的感光单元67)相反,由于控制像素160C也是置于成像器表面的成像像素,因此它们实际上可感应到达成像器表面的光量。其优点主要是因为更高的感光精确度,且它可消除将感光单元在光学系统中精确定位在最佳位置的需要,另外,控制像素可具有类似于成像器的其他(非控制)像素的噪声特性和温度相关性质。
利用控制像素的其他优点是不再需要外部感光单元,从而可以降低成本并简化成像设备的组装。
应当注意在CMOS成像器,例如成像器160中,照明采样周期104之后控制像素160C的扫描不需要复位这些像素。因此,控制像素160C可以在主要照明周期106期间连续地感应光,并在时间TM之后与成像器160的其他常规像素160P一起被扫描。这样,由于控制像素160C和常规像素160P都已经曝光了相同的持续时间,因此所获得的图像包括全部像素信息。因此使用用于控制照明的控制像素160C不会显著影响图像质量或分辨率。
还应当注意虽然成像器160上的控制像素160C的布置相对于成像器的中心对称,但是也可以使用其他适合的像素布置方案。可以根据所使用的均衡类型来改变或选用成像器160上的控制像素的数目和分布。
另外,可以将控制像素分组,从而实现利用多个可单独控制的光源实现成像器种的局部照明控制,这些组可被分别处理。
现在参见图14,图14是表示根据本发明实施例的CMOS成像器的像素的顶视图,示出了适于用在成像设备的本地照明控制中的控制像素组的示例分布。
所示的成像器170是具有400个像素的20×20像素阵列。利用阴影方块170A,170B,170C,170D来示意性地表示控制像素,利用非阴影方块170P来示意性地表示剩余的成像器像素。成像器170上示出了四组控制像素。
第一像素组包括位于成像器170的表面左上象限内布置的四个控制像素170A。第二像素组包括位于成像器170的表面右上象限内布置的四个控制像素170B。第三像素组包括位于成像器170的表面右下象限内布置的四个控制像素170C。第四像素组包括位于成像器170的表面左下象限内布置的四个控制像素170D。
如果成像器170位于具有多个光源的自主成像设备(例如但不局限于图12的设备150)中,则可以按照上述方法扫描和处理控制像素170A,170B,170C,170D的四个组中的每一个,从而提供用于局部控制到达成像器170的四个象限中每一个的照明级(level)的数据。可以处理对应于四个组中每一个内的各个像素的扫描后数据,从而计算用于各成像器象限的照明强度的所需值。该利用分别的局部控制回路来控制照明的方法可与关于图12的设备150所揭示的方法类似,除了在设备150中,感光单元是位于成像器外部的单元,而在设备170中,用于感应的控制像素是作为成像器170的集成部分的成像器像素。
可以在集成的传感器信号达到本文中所述的阈级时利用终止照明的闭环方法,或者可以通过在采样照明周期内使用初始照明强度并根据本文中所述的那样基于控制像素扫描计算得到或确定的值,适应或修改照明强度(如果需要的话)来实现利用控制像素的照明控制方法。
可以利用平均或加权平均方法来处理多个像素组的信号或数据(表示像素电荷),从而执行中央偏置或周边偏置平均,或者也可以根据现有技术已知的其他任何平均或处理方法来实现。如上所述,处理的结果可用于控制光源(例如,位于成像设备内的四个光源,它们在成像设备内的布置形式与图12中四个光源163A、163B、163C、163D的布置相似)。
本领域技术人员应当知道控制像素的数目和控制像素在成像器表面上的分布主要是根据所需的平均类型、所需的局部照明控制组数目、成像设备中可用的光源的数目和位置、可用的处理单元可用的计算能力、照明控制单元的速度以及其他涉及因素而变化。
根据本发明的另一实施例,图13的控制像素可以是特别制造的像素,它们与常规像素160P的结构不同。根据本实施例,控制像素160C可被制成为模拟光电二极管,它具有本领域公知的适当的读出或采样电路(未示出)。该实施方式可使用特别制造的传统CMOS成像器,其中可以同时读取作为控制像素160C的模拟光电二极管,由于这样的读出或扫描时间小于顺序扫描具有同样像素结构的常规CMOS像素阵列中相同数目控制像素所需的时间,因此它是有优点的。
应当注意,当将模拟光电二极管或其他已知类型的专用传感器集成到成像设备的CMOS像素阵列中时,由于模拟光电二极管所处的区域没有与常规CMOS阵列像素一起被扫描,因此所获得的图像将具有“丢失”的图像像素。该图像数据也因此将具有“丢失像素”。但是如果在CMOS像素阵列中包括少量的模拟光电二极管或其他专用控制像素,则这些丢失像素就不会使图像质量产生显著的恶化。另外,这种专用模拟光电二极管或其他控制像素可以分布在像素阵列中,且彼此具有足够的间隔,从而使图像质量仅仅轻微地受到丢失图像像素的影响。
应当注意虽然仅公开用于自主成像设备例如图1中的设备10A中的照明控制方法,但是这些照明控制方法也可以在经过或不经过修改后在其他具有成像器和照明单元的体内成像设备例如具有成像传感器阵列的内窥镜或导管类设备中,或可通过内窥镜的工作通道插入的用于执行体内成像的设备中使用。
另外,这里所公开的照明控制方法也可用于照相机和视频摄像机中,它们包括合适的成像器例如CMOS成像器,且它们包括或与照明源有效连接。
另外,使用CMOS像素阵列成像器中的控制像素,利用所选择的常规像素作为控制像素或利用特别制造的控制像素例如模拟光电二极管等,可以控制闪光单元或其他照明单元的照明,这些闪光单元或其他照明单元可被集成在照相机内或位于该照相机外部并与其有效连接。
使用作为照相机的CMOS成像器一部分的控制像素的优点主要包括结构和操作的简化,可以实现并使用包括加权平均方法和偏置方法的多种可控制交换的平均方法的能力,和照明控制精度的提高。
另外,在包含在照相机内或与其有效连接的光源是唯一可用照明源的条件下,在操作专业相机的过程中(在海底操作的照相机,或被设计用来在通常黑暗的难以访问的区域中执行监视或监控的照相机),使用上述控制照明方法可以允许使用无快门照相机,从而有利的增加了这种设备的可靠性,降低了他们的成本,将简化了它们的结构和操作。
应当注意,虽然上述本发明实施例中控制像素的数目和布置是固定的,但根据本发明的另一实施例,控制像素的数目和/或几何结构(布置)也可以是动态变化或被控制的。例如,简单的参照图2,感光单元42可以代表CMOS像素阵列的一个或更多控制像素,可以将照明控制单元40和/或控制器/处理器单元36构造为用于改变在成像采集循环期内使用的控制像素数目和/或用于改变控制像素在成像单元32的像素阵列上的布置。
在非限制性的例子中,可以通过改变在照明采样周期104期间作为控制像素被选择扫描的像素的数目和/或布置,来执行控制像素数目和/或布置的改变(图10A)。这种变化可以允许使用不同的平均布置和方法,并可允许对不同的成像循环期改变不同的偏置方法。
另外,通过使用动态可控制的控制像素结构,可能在一个单独的成像循环期内实现两个或更多的照明采样周期,并对这两个或更多个照明采样周期中的每一个使用不同的像素数目或结构。
还可以通过无线发送到遥感单元34(图2)的指令来遥控控制像素的数目和/或结构,在这种情况下,遥感单元应当被构造为发射接收机单元,可用于发射数据和接收外部发射器单元(图2未示出)所发射的控制数据。
应当注意虽然本文中所揭示的所有实施例都是基于根据测量修改照明单元(例如图3的照明单元63)输出的光并处理到达感光元件(例如图3的感光单元67或图2的感光单元42或图13的控制像素160C)的光量,但也可以采用其他的方式。可以根据到达感光单元(例如感光单元67或控制像素160C或类似物)的光量的测量结果,改变成像器的像素放大器(未示出)的增益。在这样的实施例中,成像设备的照明单元(例如图3的照明单元63或图2的照明单元38)可以在固定的时间周期内以固定的照明强度来操作,测量到达感光单元或成像设备的控制像素的光。然后改变成像器像素放大器的增益或灵敏度,以实现正常的成像。例如,若在照明采样周期内没有足够的光到达感光单元,则增加像素放大器增益以防止曝光不足。若在照明采样周期内有太多的光到达感光单元,则减小像素放大器增益以防止曝光过度。若在照明采样周期内到达感光单元的光量足以确保正常的曝光,则不改变像素放大器的增益。
应当注意在特定条件下这种自动增益控制会导致成像器的信噪比(S/N)在某些情况下变化。例如,增加CMOS像素阵列成像器中的像素放大器增益会导致S/N比降低。
图15A示出根据本发明实施例的方法的一系列步骤。在其他实施例中可以使用其他的步骤或其他步骤序列。
在步骤500中,例如体内成像设备的一设备打开光源。
在步骤510中,该设备记录该设备或传感器接收到的光量。该传感器可以是例如该设备上的传感器或外部传感器。
在步骤520中,该设备判断记录的光量。
在步骤530中,若所记录的光量小于一阈值,则该方法重复步骤520;否则,该方法进行到步骤540。
在步骤540中,该方法在步骤500重复,通常该设备的操作经历了一系列成像周期。但是该方法不需要重复。
图15B示出根据本发明另一实施例的方法的一系列步骤。在其他实施例中可以使用其他的步骤或其他步骤序列。
在步骤600中,设备,例如体内成像设备的一设备以第一强度打开光源。该光通常在第一固定周期,例如采样周期内被操作。
在步骤610中,在以第一强度操作光源的同时,该设备记录该设备或传感器接收到的光量。该记录可以是,例如该设备上的传感器或可能外部传感器接收到的光的记录。
在步骤620中,该设备判断在第二周期内光操作的强度。例如,该判断可被设计从而确保在第一和第二周期内接收到的光的总量处于特定范围内或接近特定目标的概率。也可以使用其他判断强度的方法。
在步骤630中,以第二强度操作光。该光通常在第二固定周期内被操作。
在步骤640中,该方法步骤600重复,通常该设备的操作经历了一系列成像周期。但是该方法不需要重复。
本领域技术人员应当知道,虽然本发明是参照有限数目的实施例描述的,但是在不脱离本发明范围和精神的情况下可以对本发明进行各种变形,修改和其他应用。
权利要求
1.一种体内成像设备,包括一光源;一成像器;和一控制器,其中该控制器被构成以在一成像周期内操作光源,记录反射到该成像设备的光量,并且当记录了特定量的光时,终止光源的操作。
2.如权利要求1所述的成像设备,其中控制器可以根据成像器输出的信号而记录光量。
3.如权利要求1所述的成像设备,其中成像器是一CMOS成像器。
4.如权利要求1所述的成像设备,包括一光传感器,其中该控制器被构成以根据光传感器输出的信号而记录反射回的光量。
5.如权利要求4所述的成像设备,其中光传感器是一个光电二极管。
6.如权利要求1所述的成像设备,其中反射回的光量是反射回的光的累计量。
7.如权利要求1所述的成像设备,包括一发射器。
8.如权利要求1所述的成像设备,包括一电池。
9.如权利要求1所述的成像设备,其中光源包括一LED。
10.如权利要求1所述的成像设备,其中光源包括多个离散的光源。
11.如权利要求1所述的成像设备,其中光源包括多个离散的光源,成像设备包括多个离散的光传感器,多组离散的光传感器中的每一组与多组离散光源中的一组配对,其中对于每对光传感器组和光源组,控制器被构成以操作该组光源,记录反射到该组光传感器的光量,当记录了特定量的光时,停止该光源组的操作。
12.如权利要求1所述的成像设备,其中控制器被构成以操作可经历一系列成像周期,在每个成像周期期间从成像器获取一个图像。
13.如权利要求1所述的成像设备,其中在一个成像周期期间,当记录了第一特定量的光或达到了时间限制时,控制器可终止光源的操作。
14.如权利要求1所述的成像设备,其中成像周期根据成像设备的感应速率而变化。
15.一种体内成像设备,包括一光源;一成像器;和一控制器,其中该控制器被构成在一成像周期内以第一光强操作光源,记录反射到该成像设备的光量,并根据所记录的光量,以第二光强操作该光源。
16.如权利要求15所述的成像设备,其中控制器被构成根据成像器输出的信号而记录光量。
17.如权利要求15所述的成像设备,其中成像器是一CMOS成像器。
18.如权利要求15所述的成像设备,包括一光传感器,其中该控制器被构成根据光传感器输出的信号而记录反射回的光量。
19.如权利要求15所述的成像设备,其中反射回的光量是反射回的光的累计量。
20.如权利要求15所述的成像设备,包括一发射器。
21.如权利要求15所述的成像设备,包括一电池。
22.如权利要求15所述的成像设备,其中光源包括一LED。
23.如权利要求15所述的成像设备,其中控制器被构成以操作可经历一系列成像周期,在每个成像周期期间从成像器获取一个图像。
24.如权利要求15所述的成像设备,其中控制器被构成以计算第二光强从而使在一个成像周期内估计的接收到的光的总量在一组成像周期内基本恒定。
25.如权利要求15所述的成像设备,其中控制器被构成以通过从一固定的光量中减去所记录的光量并将该结果除以一固定的时间周期,来计算第二光强。
26.如权利要求15所述的成像设备,其中控制器在第一固定周期期间以第一光强操作光源,在第二固定周期期间以第二光强操作该光源。
27.如权利要求15所述的成像设备,其中光源包括多个离散的光源。
28.如权利要求15所述的成像设备,其中光源包括多个离散的光源,成像设备包括多个离散的光传感器,多组光传感器中的每一组与多组离散光源中的一组配对,其中对于每对光传感器组和光源组,控制器被构成以第一光强操作该组光源,记录反射到该组光传感器的光量,根据所记录的光量,以第二光强操作该光源组。
29.一种用于操作包括一光源的体内成像设备的方法,该方法包括在一个成像周期内,操作光源;记录反射到成像设备的光量;和当记录了特定量的光时,终止光源的操作。
30.如权利要求29所述的方法,其中该设备包括一成像器。
31.如权利要求30所述的方法,包括根据成像器输出的信号而记录光量。
32.如权利要求30所述的方法,其中成像器是一CMOS成像器。
33.如权利要求29所述的方法,其中该设备包括一光传感器,该方法包括根据光传感器输出的信号而记录反射回的光量。
34.如权利要求32所述的方法,其中光传感器是一光电二极管。
35.如权利要求29所述的方法,反射回的光量是反射回的光的累计量。
36.如权利要求29所述的方法,其中该光源包括多个离散的光源。
37.如权利要求29所述的方法,其中光源包括多个离散的光源,成像设备包括多个离散的光传感器,多组光传感器中的每一组与多组离散光源中的一组配对,该方法包括对于每对光传感器组和光源组操作该组光源;记录反射回该光传感器组的光量;和当记录了特定量的光时,终止该光源组的操作。
38.如权利要求29所述的方法,其中该装置操作经历一系列成像周期,该方法包括在每个成像周期期间从成像器获取一图像。
39.如权利要求29所述的方法,包括在一成像周期期间,当记录了第一特定量的光或达到了时间限制时,终止光源的操作。
40.如权利要求29所述的方法,其中成像周期根据成像设备的感应速率而变化。
41.一种用于操作包括一光源的体内成像设备的方法,该方法包括在一成像周期内,以第一光强操作该光源;记录反射回该成像设备的光量,和根据所记录的光量,以第二光强操作该光源。
42.如权利要求41所述的方法,其中该设备包括一成像器。
43.如权利要求42所述的方法,包括根据成像器输出的信号而记录光量。
44.如权利要求42所述的方法,其中成像器是一CMOS成像器。
45.如权利要求41所述的方法,其中该设备包括一光传感器,该方法包括根据光传感器输出的信号而记录反射回的光量。
46.如权利要求41所述的方法,其中反射回的光量是反射回的光的累计量。
47.如权利要求41所述的方法,其中光源包括一LED。
48.如权利要求41所述的方法,其中该设备被构成以操作经历一系列成像周期,该方法包括在每个成像周期期间从成像器获取一个图像。
49.如权利要求41所述的方法,包括计算第二光强从而使在一个成像周期内估计的接收到的光的总量在一组成像周期内基本恒定。
50.如权利要求41所述的方法,包括通过从一固定的光量中减去所记录的光量并将该结果除以一固定的时间周期,来计算第二光强。
51.如权利要求41所述的方法,包括在第一固定周期期间以第一光强操作该光源;和在第二固定周期期间以第二光强操作该光源。
52.如权利要求41所述的方法,其中光源包括多个离散的光源。
53.如权利要求41所述的方法,其中光源包括多个离散的光源,成像设备包括多个离散的光传感器,多组光传感器中的每一组与多组离散光源中的一组配对,该方法包括对于每对光传感器组和光源组,以第一光强操作该组光源;记录反射到该光传感器组的光量;和根据所记录的光量,以第二光强操作该光源组。
全文摘要
一种用于操作体内成像设备的装置和方法,其中该设备产生的照明可根据诸如由该设备产生的反射回该设备的照明量来改变其强度和/或持续时间。以这种方式,可控制照明并使其更为有效。
文档编号A61B1/045GK1561639SQ02819027
公开日2005年1月5日 申请日期2002年7月26日 优先权日2001年7月26日
发明者多夫·阿温, 阿尔卡季·格卢霍夫斯基 申请人:吉温成象有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1