3d摄像系统的制作方法

3d摄像系统的制作方法
【专利摘要】描述了一种用于患者定位和监控系统的3D摄像系统(10)。在该系统中提供一对图像检测器(50)，其中图像检测器(50)中的每一个与加热器(64)相关联，该加热器(64)热连接到在图像检测器(50)的周围处提供的导电焊盘(68)。加热器(64)和导电焊盘(68)用于将图像检测器(50)包含在大体恒定温度的微气候内，从而防止外部温度变化导致图像检测器的相对位置变化，从而将图像的部分记录为不同的像素并且因此减少一致性，其中基于该一致性，可以利用对于由图像检测器(50)获得的图像的匹配部分的识别来确定成像对象的3D位置。
【专利说明】3D摄像系统

【技术领域】
[0001]本申请涉及3D摄像系统。更具体地说，本申请涉及用于监控患者的定位和移动的3D摄像系统。该发明尤其适于与放射治疗装置和计算机断层摄影(CT)扫描器等一起使用，在这些装置中对患者移动或者不规则呼吸的检测对于成功的治疗来说非常重要。

【背景技术】
[0002]放射治疗包括将放射光束投射到患者身体的预定区域上，从而破坏或消除存在于那里的肿瘤。通常定期地且重复地执行这样的治疗。在每次医疗干预时，必须相对于患者来放置放射源，以便尽可能准确地辐照所选择的区域，从而避免辐射邻近组织，放射光束对于该邻近组织将是有害的。
[0003]当肿瘤位于胸部或腹部胸腔中时，肿瘤的位置在呼吸循环期间可能变化很大(例如，相差差不多几厘米)。为了获得可靠的CT扫描数据，因此始终在呼吸循环内的相同点获得数据非常重要。
[0004]某些现代CT扫描器能够处理在呼吸循环内的不同时间处获得的CT扫描数据，以生成在呼吸期间内部器官的3D移动的表示。在确定用于辐照癌症的治疗疗程时，器官移动的这种“4D”表示非常有价值。此外，为了将要生成的优质的计划数据，需要知道在获得各个CT扫描时在呼吸循环内的时间选择，使得4D表示准确地表示内部器官的移动。
[0005]在向患者应用放射时，治疗设备的选通应与呼吸循环相匹配，从而将放射聚焦在肿瘤的位置上并且最小化对其他组织的附带损害。如果检测到患者的移动，则应该暂停治疗以避免辐照到患者的非肿瘤位置的区域。另外，如果检测到诸如咳嗽之类的不规则呼吸，则应该暂停治疗，因为这样的不规则呼吸可能导致肿瘤相对于放射光束的焦点改变位置。
[0006]出于这个原因，已经提出了多个用于在放射治疗期间监控患者的移动和呼吸的监控系统。这些监控系统包括之前已经在US7348974、US7889906和US2009-018711中描述的维申RT公司的患者监控系统，上述美国专利或专利申请通过引用被全部包含于此。
[0007]在维申RT公司的专利申请所描述的系统中，获得和处理患者的立体图像，以生成标识与被成像患者的表面上的点相对应的大量点的3D位置的数据。可将这样的表面数据与先前生成的数据进行比较，并且用于以一致的方式来定位患者或者在患者移出正常位置时提供警报。
[0008]在监控患者时，在患者表面上的相对小的移动可指示患者胸部或腹部胸腔内的肿瘤的大得多的移动。因此，期望在生成患者的表面模型的准确性和一致性方面有所改善。


【发明内容】

[0009]根据本发明的一个方面，提供一种立体摄像系统，包括:第一图像检测器，用于获得来自第一视点的对象的图像；以及相对于所述第一图像检测器的视点固定的第二图像检测器，用于获得来自第二视点的对象的图像；其中，每个图像检测器被布置为包含在大体恒定温度的微气候内。
[0010] 申请人:已确定由于外部温度变化导致的图像检测器之间的相对位置的非常小的变化会导致像素偏移，该像素偏移降低了基于立体摄像机的患者监控系统的准确性。由于图像传感器以及它们的安装托架随着温度的变化扩展或收缩，这样的变化自然地发生。尽管这些移动非常小，但它们使得传感器的校准可能发生偏移，从而将图像的部分记录到相邻像素。当图像传感器在远处对患者进行成像时，这种非常小的位置变化表现为正被监控的患者表面部分的位置的较大变化。然而如果采取步骤来将图像检测器保持在大体恒定温度，可以大体消除这种误差。
[0011]在一些实施例中，用于将图像检测器保持在大体恒定温度的布置可包括将加热器与每个图像检测器相关联，其中所述加热器可用于将相应的图像检测器保持在大体恒定温度。在其他实施例中，可使用诸如珀尔帖(peltier)热电冷却装置的冷却装置，来为每个传感器保持大体恒定温度的微气候。然而，优选使用加热器，因为加热器使得图像检测器的温度能高于环境空气温度，并且因此避免外部的空气温度变化影响传感器安装托架。
[0012]图像检测器可被安装在基板上，并且可以围绕所述图像检测器的周围提供热连接到与所述图像检测器相关联的加热器的一个或多个导电焊盘，以便帮助将该检测器保持在大体恒定温度的微气候内。
[0013]可提供用于检测环境温度的检测器，使得所述加热器可被布置为使得所述图像检测器包含在高于所检测的环境温度的大体恒定温度的微气候内。或者在其他实施例中，可将加热器布置为将图像检测器加热到大于期望的环境温度的温度，而不需要任何外部的环境温度检测。
[0014]在一些实施例中，可在包含风扇的壳内安装图像检测器，其中在壳内提供通风孔，并且风扇被布置为将空气经由通风孔吸入壳并且在远离图像检测器的位置处将空气排出壳外。这种布置将壳的内部大体保持在恒定温度，并因此减少了需要由靠近图像检测器的加热器或冷却器进行补偿的温度变化。在其他实施例中，可通过对流来被动地实现空气的循环。在一些情况下，当被动循环避免了经过摄像机吸入不同温度的空气时(在将空气主动吸入壳内时该情况可能发生)，使用被动循环可能是有利的。
[0015]在一些实施例中，壳内将包括散斑投影仪，其中散斑投影仪被布置为将散斑图样投影到可由图像检测器成像的对象上，使得可以更容易地匹配由两个图像检测器获得的图像的对应部分。在该系统中，优选地，散斑投影仪包括光源，该光源仅将壳的内部加热到有限的程度。一种适用的光源可以是发光二极管，特别是与将被投影到对象上的散斑图样的期望颜色相对应的有色发光二极管。在这样的系统中，通过将发光二极管与壳外部的热沉相关联可以进一步减少使用散斑投影仪造成的热效应。
[0016]在一些实施例中，散斑投影仪的光源可包括卤素灯。优选地，图像检测器将被放置在远离任何这样的光源以及包含在壳内的任何其他热源的位置。在任一实施例中，尤其在其中利用了诸如卤素灯(其产生相对大量的热量)的光源的实施例中，可提供风扇，该风扇被布置为使得空气经由壳中提供的通风孔被吸入并且在远离所述图像检测器的位置处从壳的内部排出，其中该空气已经经过光源从而使加热的空气从壳的内部被排出。
[0017]通常，当将立体摄像机用作患者定位系统的部分时，将会使用红色发光二极管，因为患者的眼睛对红光比较不敏感。可选地，可使用红外光源。优选地，光源将生成期望波段的光，以避免不得不过滤所发射的光，其会导致将光和热反射回包含图像传感器的壳的内部。
[0018]在一些实施例中，摄像系统还可以包括能够操作以处理从所述图像检测器接收的图像数据的处理器。
[0019]在这样的实施例中，所述处理器可用于通过确定像素和相邻像素的像素值的加权平均来处理从所述图像检测器接收的图像数据。更具体地，所述处理器可用于通过对相邻像素的块应用高斯模糊的近似来处理图像数据。通过以这种方式处理图像数据，可以从图像数据中大体消除图像数据中的随机热误差，因为模糊图像数据的动作使随机误差抵消，从而便于两个图像检测器获得的图像之间的匹配。
[0020]在一些实施例中，应用到图像数据的高斯模糊可包括:通过将中心像素的像素值缩小到四分之一、将直接相邻的像素的像素值缩小到八分之一，以及将对角相邻的像素的像素值缩小到十六分之一来确定加权平均。在这样的实施例中，可以通过执行逻辑移位而不是通过执行除法来确定所有像素值的缩小，并且因此可使用有限的处理资源来快速地执行所有像素值的缩小。
[0021]在一些实施例中，所述处理器可被布置为通过缩放低于第一阈值的像素值来处理从所述图像检测器接收的图像数据，从而增加与由所述图像检测器成像的图像的较暗区域中的不同亮度级相对应的像素值之间的差别。所述处理器还可以缩放超过第二阈值的像素值，从而减少与由所述图像检测器成像的图像的较亮区域中的不同亮度级相对应的像素值之间的差别，并且所述处理器可以通过将像素值映射到在与第一和第二阈值相对应的缩放后的值之间的值来映射在第一和第二阈值之间的像素值。
[0022]当获得由散斑投影仪投影的散斑图样照射的对象的图像数据时，明亮区域通常与由投影仪良好照射的区域相对应。然而，较暗区域可与投影图样中的较暗区域或者与大体在阴影中的区域相对应。通过以所述方式缩放图像数据，增加了图像中较暗区域中的对比度，这促进了对由图像检测器获得的图像的对应部分的识别。
[0023]在一些实施例中，采用上述方式缩放图像值可以通过如下操作来实现:对于低于第一阈值的值将像素值增加一倍；将在第一和第二阈值之间的像素值加上常数值；以及将超过第二阈值的像素值减半并加上第二常数值。这样的实施例可具有如下优点:可以通过二进制移位和二进制加法操作的组合来实现所有处理，并且因此可以使用有限的处理资源快速地实现所有处理。
[0024]在一些实施例中，图像检测器可被布置为生成η位数据，并且处理器可被布置为在从摄像系统传输数据之前减少该数据的位长度。因此，例如图像检测器可生成10位数据且可由摄像系统输出8位数据，或者可生成12位数据并且输出10位数据，从而减少了将图像数据传输到计算机所需的时间，其中在该计算机中可识别由图像检测器获得的图像的对应部分以便确定与这样的点对应的表面的3D位置。
[0025]在一些实施例中，可以通过不传输一些最低有效位来截断η位数据，从而实现对用来传输的数据的缩减。然而优选地，并非截断数据而是执行舍入操作，因为这样提高了图像数据中的不同图样可被识别程度，并且有助于匹配在成对的所捕捉图像中的对应点。
[0026]患者监控系统可包括立体摄像系统作为其一部分。在这样的系统中，可提供3D位置确定模块，该模块可用于处理由立体摄像系统输出的图像数据，从而识别由不同的图像检测器从不同视点捕捉的图像的对应部分，并且确定与图像的对应部分相对应的点的3D位置。
[0027]此外，患者监控系统还可以包括模型生成模块和匹配模块，模型生成模块可用于基于由所述3D确定模块确定的点的3D位置来生成表面的3D计算机线网模型；匹配模块可用于比较所生成的模型与存储的模型表面。

【专利附图】

【附图说明】
[0028]现在将参照附图描述本发明的实施例，其中:
[0029]图1是根据本发明结合了立体摄像系统的患者监控器的示意图；
[0030]图2是图1的摄像系统的外部的示意透视图；
[0031]图3是图1的立体摄像系统的内部的示意框图；
[0032]图4是由图1的立体摄像系统的主处理器执行的过程的流程图；
[0033]图5是用于处理图像以移除热噪声的影响的平均掩码的示意图；
[0034]图6是用于实现图5的平均掩码的滤波器的示意框图；以及
[0035]图7是描述增加了在未充分照射区域中的对比度的在缩放的输入和输出值之间的关系的图。

【具体实施方式】
[0036]图1是根据本发明的一个实施例的结合了立体摄像系统10的患者监控器的示意图。在本实施例中，由线路12将立体摄像系统10连接到计算机14。还将计算机14连接到治疗设备16，例如用于应用放射治疗的线性加速器或者用于计划放射治疗的X-射线模拟器。提供机械床18作为治疗设备的一部分，在治疗期间患者20躺在该机械床18上。治疗设备16和机械床18被布置为使得在计算机14的控制下，可以横向地、垂直地、纵向地和旋转地改变机械床18和治疗设备16的相对位置。
[0037]在使用中，立体摄像系统10获得在机械床18上躺着的患者20的视频图像。这些视频图像经由线路12被传送到计算机14。接着，计算机14处理患者20的图像，以生成患者20的表面的模型。将这个模型与在早前的疗程期间生成的患者20的模型进行比较。在定位患者20时，识别在当前模型表面和从早前疗程获得的目标模型表面之间的差别，以及确定对齐表面所需要的定位指令并且将该定位指令发送给机械床18。随后，在治疗期间，可识别与初始配置的任何偏差，并且如果该偏差大于阈值，则计算机14向治疗设备16发送指令以使治疗被中止，直到可以重新定位患者20。
[0038]为使计算机14处理从立体摄像系统10接收的图像，由盘22上提供的软件或者通过经由通信网络接收电信号24来将计算机14配置为多个功能模块26-34。可以理解的是，在图1中描述的功能模块26-34仅是概念性的，以便帮助理解所主张发明的操作，并且在某些实施例中可能不与软件的源代码中的代码块直接对应。在其他实施例中，可以在不同模块之间划分由所描述的功能模块26-34执行的功能，或者可以通过针对不同功能重新使用相同模块来执行由所描述的功能模块26-34执行的功能。
[0039]在本实施例中，功能模块26-34包括:用于处理从立体摄像机10接收的图像的3D位置确定模块26、用于处理由3D位置确定模块26生成的数据并且将该数据转换为成像的计算机表面的3D线网模型的模型生成模块28、用于存储成像的表面的3D线网模型的生成模型存储模块30、用于存储之前生成的3D线网模型的目标模型存储模块32，和用于确定匹配生成模型与目标模型所需的旋转和平移的匹配模块34。
[0040]在使用中，当立体摄像系统10获得了图像时，由3D位置确定模块26处理这些图像以识别成对图像中的对应点的3D位置。这由3D位置确定模块26通过识别由立体摄像系统10获得的成对图像中的对应点，并且接着基于所获得的成对图像中对应点的相对位置以及所存储的标识获得图像的摄像机的相对位置的数据来确定那些点的3D位置来实现。
[0041]通常，基于对约16x16像素的图像块的分析来识别对应点。为了帮助识别和匹配将要描述的对应块，立体摄像系统10被布置为将随机或准随机的散斑图样投射到正被成像的患者20上，使得可以更容易地区分患者20的表面的不同部分。选择散斑图样的大小，以使不同的图样在不同的图像块中会很明显。
[0042]接着，将由3D位置确定模块26生成的位置数据传送到模型生成模块28，该模型生成模块28处理该位置数据以生成由立体摄像机10成像的患者20的表面的3D线网模型。在本实施例中，该3D模型包括三角线网模型，其中该模型的顶点与由3D位置确定模块26确定的3D位置相对应。当已经确定这样的模型时，将该模型存储到生成模型存储模块30中。
[0043]当已经存储了患者20的表面的线网模型时，接着调用匹配模块34，以确定在基于由立体摄像机10获得的当前图像所生成的模型和在目标模型存储模块32中存储的先前生成的该患者的模型表面之间的匹配平移和旋转。
[0044]接着，可将所确定的平移和旋转作为指令发送给机械床18，使得该床将患者20定位在与先前治疗患者时相比相对于治疗设备16的相同位置。随后，立体摄像机10可以继续监控患者20，并且可以通过生成进一步的模型表面以及将那些所生成的表面与在目标模型存储模块32中存储的目标模型进行比较来识别位置的任何变化。如果确定患者已经移出正常位置，则可以中止治疗设备16并且重新定位患者20，从而避免辐照患者20的错误部分。
[0045]由于辐照邻近组织可能有害，因此以最大化在不同时间获得的图像数据的一致性的方式来捕捉图像数据非常重要。本申请提供了增加数据一致性并因此改善患者监控的多项进展。
[0046]图2是摄像系统10的外部的示意透视图，并且图3是根据本发明一个实施例的立体摄像系统10的内部的示意框图。
[0047]在本实施例中，摄像系统10包括壳40，该壳40经由铰链44连接到支架42。支架42使摄像系统10以一个的固定位置附接到治疗室的天花板，同时铰链44允许摄像系统10的方向朝向与支架42相对的方向，使得摄像系统10被布置为观察在机械床18上的患者20。
[0048]在壳40的前表面48的任一端安装一对镜头46。这些镜头46位于包含在壳40内的图像检测器50的前面。在本实施例中，图像检测器50包括CMOS有源像素传感器。在其他实施例中，可以使用电荷耦合装置。图像检测器50被布置在镜头46的后面，以便经由镜头46捕捉患者20的图像。
[0049]在两个镜头46之间的壳40的前表面48的中间提供散斑投影仪52。散斑投影仪52包括光源54，在本实施例中，光源54包括12W红色LED灯。在其他实施例中，可使用诸如卤素灯的其他光源。
[0050]散斑投影仪52被布置为用不重复的红外光散斑图样照射患者20，从而当由两个图像检测器捕捉患者20的图像时，可以区分所捕捉图像的对应部分。为实现这个目的，经由薄膜(film) 56引导来自光源54的光，薄膜56具有印在该薄膜上的随机散斑图样。因此，由明亮和黑暗区域组成的图样被投影到患者20的表面上。
[0051]在壳40的侧壁60中提供一系列通风孔58。在壳40的背面62提供更多的通风孔(未示出)。壳40内包含连接到温度传感器(未示出)的风扇(也未示出)。温度传感器被布置为监控壳40的内部的环境温度，并且如果该环境温度变化，则激活风扇经由壳40的侧壁60中的通风孔58吸入空气，并且经由壳40的背面62处的通风孔排出空气。以这种方法，使得室温下的空气的气流在壳40内循环，并且保持壳40的内部处于大体恒定温度。
[0052]为了最小化壳40内的温度变化，紧邻图像检测器、在稍微远离传感器50处的壳40的侧壁中提供通风孔58，使得当空气被吸入壳40的内部时，该空气不经过传感器50。最好利用风扇和温度传感器来将壳40内部空气的主体温度保持在大体恒定的水平，同时通过与该空气的主体被动交流和对流将传感器50附近的空气保持在恒定的温度。通过将通风孔58与传感器50分离，风扇的激活和停用不会导致传感器50附近的温度突变。
[0053] 申请人:发现对温度的敏感性出乎意料地是基于立体摄像机的患者监控系统中准确度损失的重要原因。温度的变化导致图像检测器50的位置发生小变化。由于图像检测器的敏感性，这种变化即使不高也会将与一个像素对应的图像的一部分记录到不同的像素处。因此，例如已经确定小如2.5微米的移动会导致图像的一部分被记录到相邻的像素。当这发生时，由图像检测器50成像的点的3D位置的准确度下降。
[0054]为了大体消除这种误差来源，在本实施例中，提供附接到电路板66的背面的加热器64，其中在该电路板66上安装每个图像检测器50。此外，在该电路板上，除了使线路70将图像检测器50连接到主处理器72的一侧，围绕该图像检测器50提供一系列铜导电焊盘(pad) 68。当加热器64被布置为加热到高于环境室温的温度时，加热器64和导电焊盘68的作用是将图像检测器50与外部温度变化大体隔离。因此，将图像检测器50有效地封闭在它们自己的恒定温度微气候内。
[0055]在图像检测器50距离其他外部热源尽可能远的情况下尤其如此。在所描述的实施例中，这是通过例如使用红色LED作为散斑保护器52的光源54来实现的，因此减少了例如使用虹彩灯泡时出现的内部发热，这是因为需要较少的能量来生成所需的亮度，并且进一步因为所生成的光是仅在相对窄的波段中生成的，所以不需要包括有色薄膜来移除在其他波段的光，而该有色薄膜会将光和热反射回壳40的主体内。
[0056]此外，靠近图像检测器50的通风孔58的布置，以及远离检测器50并通过壳40的背面62流出的气流的方向也增加了可将图像检测器50保持在恒定温度的程度，这是因为在环境温度下的恒定空气流经过检测器50并且从壳40的背面62排出由摄像系统10的运行引起的发热。因此，使检测器50避免了外部热源的大部分影响并且保持在由加热器64确定的恒定温度。
[0057]现在将参考图4的流程图描述由图像检测器50到主处理器72的图像数据的处理。
[0058]由诸如CMOS有源像素传感器的图像检测器获得的图像数据将包括指示图像的部分的相对亮度或黑暗的像素值的矩阵。通常，这样的像素值将是10位的像素数据，其值范围为O到1023，其中O指示图像中的像素是完全黑暗并且1023指示像素是亮白。
[0059]当由主处理器72接收到该图像数据时，作为起始步骤(s4_l)，处理器通过向矩阵中的交替列应用修正因子来修改与那些列相关联的图像数据。
[0060]在将CMOS有源像素传感器用作图像检测器的情况下，将会分别更新图像中频繁交替的列，以便提高读出性能。在分别捕捉和更新这些数据的情况下，这会导致图像中出现交替列的平均亮度不同的伪像。可以通过确定与独立更新的列相对应的列的集合的平均亮度，来移除这样的伪像。接着，可以确定使得每个集合的平均亮度相等的修正因子，并且通过将所确定的修正值加到由图像检测器50输出的值来更新图像中的列的像素值。
[0061]在修正了图像数据以解决由独立更新图像中的交错列造成的伪像后，接着主处理器(s4-2)处理该图像数据以便从该图像移除热噪声。
[0062]更具体地说，由于热效应引起图像值中的误差随机地出现，该热效应轻微地增加或减少从图像检测器50获得的值。这可能导致难以识别由两个图像检测器50捕捉的图像的对应部分。
[0063]要消除该误差，在本实施例中，主处理器72利用以下事实:该误差随机出现并且因此导致像素值增加的误差数量应该与导致较低像素值的误差数量相等。
[0064]这通过使用近似高斯模糊的掩码确定像素组的缩放均值来实现。图5描述了一种适当的掩码。
[0065]在图5的情况下，在位置X、y处的像素的像素值可以通过计算以下因素的和来确定:在X、y处的像素的像素值的1/4加上在位置(X-1，y)、(x+1, y)、(x, y-1)和(x，y+1)处的像素的像素值的和的1/8加上在位置(x-1, y-1)、(x-1, y+1)、(x+1, y-1)和(x+1, y+1)处的像素的像素值的和的1/16。
[0066]在每个像素与随机误差ε相关联的情况下，在9个相邻像素上对误差求和的作用将是以图像数据的锐度的轻微损失为代价，消除在原始像素中的误差。然而，当在从两个图像检测器50接收的图像数据上进行类似处理时，在图像之间该锐度损失将是相同的，并且因此不同于原始随机热误差，其将不会影响识别图像的对应部分的容易性。
[0067]图像锐度的小损失不会对匹配算法的处理造成不利的影响，其中任何块匹配算法匹配比由平滑算法处理的像素组大的像素组。因此，例如在本实施例中，平滑算法被安排来处理3x3的像素块。该处理不会对块匹配算法造成不利的影响，该块匹配算法例如进行16x16像素的图像块的匹配。
[0068]应理解在确定上文描述的缩放的和时，可以仅通过执行适当的二进制加法和移位运算来确定消除了随机热误差的图像的像素值，并且因此可以非常快速地处理图像以消除该误差。更具体地说，可以通过执行2、3或4次二进制移位来确定被4、8或16除。因此可以通过使用非常有限的处理资源来快速执行所描述的缩放平均，并且因此在将所处理的图像数据传输到计算机14进行处理以匹配在捕捉图像中的对应点之前不会造成显著延迟。
[0069]图6示出了用于实现图5的均值滤波的适用的电路。在本示例中，该电路包括两个锁存器74、76，两个行存储器78、80，以及四个二进制加法器82-88的集合。锁存器74、76被布置为存储像素值数据，直到它们被通知图像中的下一个像素将被读出。与此相比，一对行存储器78、80被布置为存储关于图像数据的一行的数据，并且接着将该数据传送到下一个锁存器，以及向二进制加法器86、88逐个输出数据的各个项。每个二进制加法器82-88被布置为接收一对输入，并且输出进行了移位的输入的和，使得输出值是一对输入的和的一半。
[0070]在初始接收到数据时，将该数据读入第一锁存器74。随后，当接收到像素数据的下一项时，释放先前在第一锁存器74中的数据且将该数据传送到第二锁存器76，并且将该新数据写入第一锁存器74。因此，前两个锁存器74、76的作用是将与三个相邻像素的像素值对应的值提供给前两个二进制加法器82、84。当该数据可用时，二进制加法器中的一个二进制加法器82对第一和第三像素值求和，并且将与该和的一半对应的值输出到第二二进制加法器84。第二二进制加法器84将该值加到该正被处理的像素集合中的第二像素的值，并且输出总和的一半。
[0071]因此，例如如果接收像素值Al、A2和A3，则来自第一二进制加法器82的输出会是(A1+A3)/2，并且来自第二二进制加法器84的输出会是(Al+A3)/4+A2/2。
[0072]将这个值传送到行存储器中的第一行存储器78，并且还传送到第三二进制加法器86。如上文所述，两个行存储器78、80被布置为存储关于图像数据的一行的数据。第一行存储器78被布置为响应于指示正在读出图像数据的下一行的信号，将关于正被处理的图像的一行的数据传送到第二行存储器80。此外，行存储器78、80被布置为:每当将数据的新项接收到锁存器内时，将数据的各个项逐个输出到第三和第四加法器86、88。这样做的作用是以与由第一和第二锁存器74、76以及加法器82、84处理像素数据的各个项类似的方式，行存储器78、80输出数据的项，并且二进制加法器86、88处理对三个相邻像素的行计算的数据，除了该数据被延迟一行或两行。
[0073]因此，在处理具有第一行中的像素值Ap A2, A3，第二行中的像素值B2, B3和第三行中的像素值Cp C2, C3的图像的部分的情况下，来自第三二进制加法器86的输出将是(A^A3) /8^2/4+(0,+03) /8+C2/4,该输出被传送给第四二进制加法器88。当第四二进制加法器接收到该数据时，接着将该数据与处理由第二二进制加法器84输出的并且存储在第一行存储器78中的图像的第二行的结果(其会是进行组合，结果是最终的值输出将是(AJA3)/16+4/8+^+83)/8+82/4+((^+(^)/16+(^/8,也就是所需的3乘3像素块的缩放和。
[0074]在处理所捕捉的图像数据以减少热噪声的影响之后，接着主处理器继续运行以重新缩放关于图像中像素的图像数据(s4-3)，从而增加在未充分照射区域中的对比度。
[0075]如上文所述，为了使3D位置确定模块26能够识别由两个图像检测器50获得的图像中的对应点，散斑投影仪52将不重复(例如随机或准随机)的散斑图样投影到患者20的表面上。在患者20由散斑投影仪52直接照射的情况下，这将使得患者的表面表现为明亮的区域(与照射区域相对应)或者黑暗的区域(与所投影的散斑图样中的黑暗区域相对应)，并且容易在这两者之间进行区分。然而，在没有被充分照射到的患者的表面的部分(例如阴影中的区域)，在照射区域和与投影的散斑图样中的较暗的点对应的区域之间的显示差别不会很大。
[0076]因此，为了增加在所获得的图像中对应点能够被匹配的程度，在本实施例中，以下列方式缩放在移除了热噪声后获得的像素值:
[0077]I)通过执行逻辑左移将小于128的所有像素值增加一倍。
[0078]因此，例如二进制像素值12:0000001100可被处理成变为二进制像素值24:000011000。
[0079]2)通过将原始像素值加上128来增加在128和768之间的所有像素值；
[0080]因此，例如二进制像素值296:0100101000可被处理成变为二进制像素值424:0110101000。
[0081]3)通过执行逻辑右移来将在768和1024之间的所有像素值减半并且将结果加上512。
[0082]因此，例如二进制像素值998:1111100110会被处理成变为二进制像素值1011:111111001。
[0083]图7是描述在以上述方式处理的缩放的输入和输出值之间的关系的曲线图。
[0084]显而易见的是处理的作用是映射原始输入值，以使得具有小于128的值的像素之间的差别增加，并且具有大于768的值的像素之间的差别减少。
[0085]期望可以识别与患者的表面上的点相对应的尽可能多的点。 申请人:发现当患者20的部分被充分照射时，即使在这些区域中的对比度减少，仍然能够区别投影的散斑图样的明亮和黑暗区域。这与没被充分照射的区域形成对比，这些区域中在投影散斑的明亮和黑暗区域之间的差别可能很小。因此，上述处理具有增加3D位置确定模块26可匹配的、在获得的成对图像中的对应点的数量的作用。
[0086]在缩放了像素值(s4_3)之后，接着主处理器72继续运行以减少要传输给计算机14的数据的量，其中通过舍入像素值从而将10位数据转换为8位数据(s4-4)，以便进行更快的数据传输。
[0087]实现这种数据大小的减少的一种选择可以是通过忽略两个最低有效位来截断10位数据。尽管这样可以实现期望的数据减少，但这样会涉及放弃在最低有效位中包含的任何信息。所以，出于这个原因，优选舍入操作而不是执行截断操作，这是因为舍入操作使得能够利用在最低有效位中保留的任何信息，并且从而提高了点匹配的准确性。
[0088]在执行舍入操作后，接着主处理器72继续运行，将所处理的数据经由线路12传输到计算机14(s4-5)，其中3D位置确定模块26处理所接收的图像数据以识别由两个检测器50捕捉的图像的对应部分，并且利用该对应和关于图像检测器50的相对定位的信息来确定在成像的患者20的表面上的点的3D位置。当所处理的图像数据已经被传输到计算机14，接着主处理器72继续运行，从两个图像检测器50获得图像数据的下一帧以进行处理。因此，以这种方式，计算机14能够实时监控患者20的移动和位置。
[0089]进一步的实施例和变型
[0090]尽管在上面描述的实施例中，已经描述了包括具有LED光源的散斑投影仪52的摄像系统，但应理解，可使用诸如卤素灯的可替换光源。还应理解的是，尽管在上面的实施例中已经描述了其中在系统的主体内包括温度传感器和风扇的系统，但在一些实施例中，可以省略该传感器和风扇。
[0091]还应理解的是，代替使用空气循环或者除了使用空气循环来减少壳40的内部热量的积累，在一些实施例中，可将诸如LED光源54或处理器72的热源与在壳40的外部提供的一个或多个热沉相关联，使得大体消除由光源54或处理器72导致的壳40的内部的发热。
[0092]尽管在上述实施例中已经将图像数据描述为被处理为减少热噪声的影响，但在一些实施例中，仅以所描述的方式处理图像的部分可能更好。尤其是仅处理与低照度区域相对应的那些图像部分可能更好。这是因为在图像被充分照射的情况下，热误差的相对大小将会不那么重要。
[0093]在这样的实施例中，可利用诸如在图6中描述的修改的滤波系统。更具体地说，可将所描述的系统修改为使得来自第一锁存器74的未处理数据被存储到另外的行存储器中并被发布，以便提供图像数据的未滤波版本，该未滤波版本与第四二进制加法器88的输出同步。接着，系统可依据所感知的图像区域中的照明程度，在处理和未处理数据之间进行选择。
[0094]尽管在上述实施例中已经将图像处理描述为在立体摄像系统10和计算机14内执行，但应理解的是，所描述的处理可以在一个位置或其他位置中完整地执行，或者可以在立体摄像系统10和计算机14之间划分所描述的处理。
[0095]还应理解的是，尽管已经将在立体摄像系统内的处理描述为由主处理器72来处理，但可以通过由可编程阵列负责的处理或者可选地可由适当的软件负责的处理来负责该处理。
[0096]尽管参照附图描述的本发明的实施例包括计算机设备和在计算机设备中执行的处理，但本发明还扩展到计算机程序，特别是在载体上或载体中的、适于将该发明付诸实施的计算机程序。程序可以采用源或目标代码的形式，或者采用适用于根据本发明的处理的实施方式的任何其他形式。载体可以是能够承载程序的任何实体或装置。
[0097]例如，载体可包括存储介质，诸如R0M(如⑶ROM或半导体ROM)，或者磁记录介质(如软盘或硬盘)。此外，载体可以是可经由电缆或光纤或者通过无线电或其他方式传送的可传输载体，诸如电或光信号。当将程序具体实现到可由线缆或者其他装置或方式直接传送的信号中时，可由该线缆或者其他装置或方式构成该载体。
[0098]可选地，载体可以是其中嵌入了程序的集成电路，该集成电路适于执行相关处理或者用于相关过程的执行。
【权利要求】
1.一种立体摄像系统，包括: 第一图像检测器，用于获得来自第一视点的对象的图像；以及 相对于所述第一图像检测器的视点固定的第二图像检测器，用于获得来自第二视点的对象的图像； 其中，每个图像检测器被布置为包含在大体恒定温度的微气候内。
2.根据权利要求1所述的立体摄像系统，其中，通过与加热器或冷却器相关联将每个图像检测器布置为包含在大体恒定温度的微气候内，所述加热器或冷却器能够操作以将所述图像检测器保持在大体恒定温度。
3.根据权利要求1所述的立体摄像系统，其中，每个图像检测器被安装在基板上，并且围绕所述图像检测器的周围提供热连接到与所述图像检测器相关联的加热器或冷却器的一个或多个导电焊盘。
4.根据权利要求2所述的立体摄像系统，还包括能够操作以检测环境温度的检测器，其中所述加热器被布置为使得所述图像检测器包含在高于所检测的环境温度的大体恒定温度的微气候内。
5.根据权利要求1所述的立体摄像系统，还包括散斑投影仪，其被布置为将散斑图样投影到从第一和第二视点可见的对象上。
6.根据权利要求5所述的立体摄像系统，其中所述散斑投影仪包括卤素灯，并且所述散斑投影仪和所述图像检测器与风扇一起被安装在壳内，其中在所述壳内提供通风孔，且所述风扇被布置为使得空气经由所述通风孔被吸入并且经过卤素灯在远离所述图像检测器的位置处被排出。
7.根据权利要求5所述的立体摄像系统，其中所述散斑投影仪包括发光二极管，并且所述散斑投影仪和所述图像检测器被安装在壳内，其中所述发光二极管与壳外部的热沉相关联。
8.根据权利要求1所述的立体摄像系统，还包括能够操作以处理从所述图像检测器接收的图像数据的处理器。
9.根据权利要求8所述的立体摄像系统，其中所述处理器能够操作以通过确定像素和相邻像素的像素值的加权平均来处理从所述图像检测器接收的图像数据。
10.根据权利要求9所述的立体摄像系统，其中，所述处理器能够操作以通过对相邻像素的块应用近似高斯模糊来处理图像数据。
11.根据权利要求10所述的立体摄像系统，其中，所述加权平均包括将中心像素的像素值缩小到四分之一、将紧邻像素的像素值缩小到八分之一，以及将对角相邻的像素的像素值缩小到十六分之一。
12.根据权利要求8所述的立体摄像系统，其中，所述处理器能够操作以通过缩放低于第一阈值的像素值来处理从所述图像检测器接收的图像数据，从而增加与由所述图像检测器成像的图像的较暗区域中的不同亮度级相对应的像素值之间的差别。
13.根据权利要求12所述的立体摄像系统，其中所述处理器能够操作以通过缩放超过第二阈值的像素值来处理从所述图像检测器接收的图像数据，从而减少与由所述图像检测器成像的图像的较亮区域中的不同亮度级相对应的像素值之间的差别。
14.根据权利要求13所述的立体摄像系统，其中所述处理器能够操作以通过将像素值映射到在与第一和第二阈值相对应的缩放后的值之间的值来处理从所述图像检测器接收的、与在第一和第二阈值之间的像素值相关联的图像数据。
15.根据权利要求8所述的立体摄像系统，其中所述处理器能够操作以通过去除图像数据的最低有效位来截断像素值，从而在从所述摄像系统传输图像数据之前减少所述图像数据的位长度。
16.根据权利要求8所述的立体摄像系统，其中所述处理器能够操作以通过利用图像数据的最低有效位来为图像中的像素确定图像数据的较高有效位的舍入，从而在从所述摄像系统传输图像数据之前减少所述图像数据的位长度。
17.一种患者监控系统，包括: 第一图像检测器，用于获得来自第一视点的对象的图像；以及 相对于所述第一图像检测器的视点固定的第二图像检测器，用于获得来自第二视点的对象的图像； 其中，每个图像检测器被布置为包含在大体恒定温度的微气候内；以及 3D位置确定模块，其能够操作以处理由立体摄像系统输出的图像数据，从而识别由不同的图像检测器从不同视点捕捉的图像的对应部分，并且确定与图像的对应部分相对应的点的3D位置。
18.根据权利要求17所述的患者监控系统，还包括: 模型生成模块，其能够操作以基于由所述3D确定模块确定的点的3D位置来生成表面的3D计算机线网模型；以及 匹配模块，其能够操作以比较所生成的模型与存储的模型表面。
19.一种用于确定对象表面上的点的3D位置的计算机实现的方法，所述方法包括: 从第一视点并且从第二视点获得对象的图像，该第二视点相对于第一视点的视点固定，其中图像包括像素的矩阵，每个像素具有相关联的像素值； 利用计算机通过为所获得的图像中的像素确定像素和相邻像素的像素值的加权平均来处理该图像； 利用计算机基于像素的加权平均值识别来自第一视点和来自第二视点的对象的对应部分；以及 利用计算机来确定与所处理的图像的对应部分相对应的点的3D位置。
20.根据权利要求19所述的方法，其中通过为所生成的图像中的像素确定像素和相邻像素的像素值的加权平均来处理图像包括:通过对相邻像素的块应用近似高斯模糊来处理图像数据。
21.根据权利要求20所述的方法，其中所述加权平均包括将像素值缩小到四分之一、将紧邻像素的像素值缩小到八分之一，以及将对角相邻的像素的像素值缩小到十六分之
O
22.根据权利要求19所述的方法，还包括缩放低于第一阈值的像素值，从而增加与所获得的图像的较暗区域中的不同亮度级相对应的像素值之间的差别。
23.根据权利要求22所述的方法，还包括缩放超过第二阈值的像素值，从而减少与所获得的图像的较亮区域中的不同亮度级相对应的像素值之间的差别。
24.根据权利要求23所述的方法，还包括通过将像素值映射到在与第一和第二阈值相对应的缩放后的值之间的值，来映射在第一和第二阈值之间的像素值。
25.根据权利要求19所述的方法，其中所述像素值包括η位数据，并且在其被利用来识别来自第一视点和来自第二视点的对象的对应部分之前，通过去除最低有效位来截断所述像素值。
26.根据权利要求19所述的方法，其中所述像素值包括η位数据，并且在其被利用来识别来自第一视点和来自第二视点的对象的对应部分之前，基于所述像素值的较高有效位的舍入，来减少所述像素值的位长度。
27.根据权利要求19所述的方法，其中基于像素的加权平均值来识别来自第一视点和来自第二视点的对象的对应部分包括:识别图像的匹配部分，其中所述部分的大小大于被利用来确定像素和相邻像素的像素值的加权平均的均值的图像的区域。
28.一种存储计算机可解释指令的非暂时性计算机可读介质，当由可编程计算机解释所述指令时，其使得该计算机: 接收从第一视点以及从相对于所述第一视点固定的第二视点获得的对象的图像，该图像包括像素矩阵，每个像素具有相关联的像素值； 处理所接收的图像，以通过为所接收的图像中的像素确定在所述图像中的像素和相邻像素的像素值的加权平均来生成处理后的图像； 基于在处理后的图像中的像素值，识别来自第一视点和来自第二视点的对象的对应部分；以及 确定与加权图像的对应部分相对应的点的3D位置。
【文档编号】H04N5/225GK104245046SQ201380021922
【公开日】2014年12月24日 申请日期:2013年4月25日 优先权日:2012年4月26日
【发明者】P·汉森, G·哈利 申请人:维申Rt有限公司