专利名称：利用已知背景的独特数字成像方法
技术领域：
本发明总体上涉及数字成像。更具体而言，本发明涉及一种用于增加使用数字图像传感器可以实现的分辨率的方法。具体而言，利用数字图像传感器和已知背景上样本集合之间的相对移动以允许计算并复制具有的分辨率高于图像传感器的分辨率的图像。
背景技术：
数字技术已经成为用于科学，媒体和娱乐应用的成像的主导形式。电荷耦合设备 (CXD)和互补型金属氧化物(CMOS)传感器自从20世纪70年代已可被利用；然而，由于像素尺寸、色彩深度和空间分辨率上的限制，有必要利用创造性的装置以改进分辨率。已经进行了多项努力以去除噪音并平滑边缘。随着包含数学抽象的曲线拟合算法，改进了图像的可视化。用于子像素化的技术是在分辨率改进中的重要步骤，特别是对于诸如高清晰度电视和视频的常用技术。于1992年提交的美国专利No. 5，251，037描述了利用微处理器以便处理来自CXD 的多幅图像的能力。该方法通过控制曝光并同时移动具有独立CCD的摄像机实现高分辨率。在由 Telkap 等于 1992 年发表的论文“High Resloution ImageReconstruction From Lower-Resolution Image Sequences and Space-VaryingImage Restoration，，中的工作展示了通过使用傅里叶变换如何评价像素值的频率并减少噪音。虽然这在实现分辨率改进方面是一项重要的步骤，但在没有高密度CCD的帮助下，插入改进了图像而不是整体分辨率。标题为 “IEEE Transaction on Image Processing，VOL. 5，Ν0· 6，JUNE1996” 的技术论文进一步描述了该类型的改进。其中模糊像素以便提供平滑曲线并避免混叠的处理帮助数字视频在空间上变得更加有吸引力。已提出多种方法用于获取多幅图像(诸如电影中所用的30帧/秒)和大多数视频，并通过利用数学装置填充在像素之间的未知领域以便获得优于由屏幕或摄像机规格确定的图像。虽然该操作经常被称为子像素化，但并不能直接提供观察尺寸小于一个像素的对象的方法，而是或根据趋势外推或重叠已知值。子像素化的示例如美国公开专利申请No. 2007/0171284A1所述。样本被聚焦在成像器上，并连续获取多幅图像，以小于像素尺寸的距离相对于成像器移动样本。无论何时观察到颜色上的差异(即，红、蓝或绿值之一的改变)都利用平均化方法以获得像素之间的平滑过渡。用于子像素化的现有技术已通过移动方向的精确确定描述，该精确确定以允许边缘检测和插入的方式切片像素以创建超分辨率图像。通过诸如曲线拟合、抖动和仿真的数字处理技术，可以对子像素指定像素值，而不是经获取的图像的较大像素。来自专利文献的示例可以在公开文件US2009/0028464看出。对于之前示例，由于增加的梯度子像素化产生更高的分辨率图像。
美国公开专利申请No. 2006/0133641公开了通过评价强度整体移动中的改变获取子像素分辨率的方法。这类似于上述专利，但考虑ζ方向移动(向着或远离成像器的移动)。本发明利用三个维度的平均化，以便创建高级的二维最终图像。已知高分辨率外推技术在由Borman于1998年4月5日在1998年期刊Midwest Symposium on Circuits and Systems 中的"Super Resolution for ImageSequences-A Review"中详细描述。该深度论文描述了利用各种统计函数以实现经改进的最终图像的各种方法。对Markov链和其他复杂技术进行了成功描述，然而没有提供方法用于直接跟踪单个子像素或直接求解子像素值。在纳米显微领域，Putman的美国专利申请No. 2009/0028463描述了通过样本相对于成像器的压电纳米移动确定并映射子像素位置的方法。通过以小于给定像素的已知距离移动，可以确定并记录单个子像素的位置。如果随着确定的位置，可以采用统计函数(诸如中间、最大值或最小值)以及获得子像素分辨率。该方法仍需要统计近似而不是直接求解子像素，本专利将对其进行描述。由于传感器上日益增加的像素数量以及增加的处理器速度，允许微观和宏观范围上的更明显更清晰的图像，因此所有这些都是可能的，并已在专利文献中进行探讨。压电转换阶段使得以小于像素的距离移动成为可能。即使当CCD和CMOS传感器上的像素尺寸和密度增加，本发明使得继续子像素化成为可能。分析并重建图像的独特算法更高效地通过子像素化进行数字静止和视频摄影。需要提供一种直接并快速的子像素化和图像重建而不需要数学近似的方法。
发明内容
本说明书提供还没有在现有技术中提出的独特图像处理技术。将要成像的样本置于已知背景上，并在该背景内递增移动以提供在子像素分辨率重建图像的基础。在该处理中，线性代数可用于重建样本的图像，无论光学放大之前或之后，即使要成像的样本或其部分小于CCD或CMOS摄像机中像素的情况下。在该处理中，去除了曲线拟合、抖动或仿真的需要。用于执行本方法的装置的第一个组件是现代数字图像传感器(诸如C⑶或CMOS)， 将提供其上进行所有测量的基座。图像传感器提供已知维度的像素的矩阵。虽然随着图像传感器技术的改进像素尺寸减少，但它们必须保持大于可见光的衍射极限，因为较低的任何像素尺寸不能用于获取更详细的图像。第二个关键组件是定位组件(诸如压电纳米定位台)，能在其上以小如若干纳米的距离移动样本，特别地，在某些情况下，该距离可以小于可见光的衍射极限。因此，在本发明中，具有像素大于可见光的衍射极限的图像传感器，以及以小于光的衍射极限的距离相对于图像传感器移动对象的定位组件。基于所述移动，可以确立并分析子像素。这些子像素中的每个可小于光的衍射极限，但可具有它们自己的值、位深度。使用数学技术，可以产生每个像素的值，并可以计算新图像，具有比图像传感器的指定分辨率更大的分辨率。因此，在相关实例中，与传感器设计相比，可以获得具有显著改进分辨率的图像。在本发明的实施例中，提供一种用于使用图像传感器以获取其上聚焦的样本的图像的方法，以致获取的图像分辨率大于图像传感器的指定分辨率。根据该方法，将样本置于具有多个像素的图像传感器的视场内的已知背景上。样本以相对其的第一位置聚焦在图像传感器上，以至于已知背景也聚焦在图像传感器上。对以第一位置聚焦在图像传感器上的样本和已知背景记录图像，并从所记录的图像确立样本区域和背景像素。将样本移动到相对于图像传感器的第二位置以便将样本区域的一部分置于目标背景像素内。对以第二位置聚焦在图像传感器上的样本和已知背景记录图像，并对于移动到背景像素内的样本区域的该部分计算位深度。
图1是根据本发明的装置的一个实施例的示意图，表示固定的图像传感器和可移动样本；图2是根据本发明的装置的一个实施例的示意图，表示固定的图像传感器、置于超出(above)固定背景的可移动样本；图3是根据本发明的装置的一个实施例的示意图，表示固定的样本和可移动的传感器；图4是在χ方向具有η像素和在y方向具有i像素的图像传感器的示意；图如是具有所示置于以聚焦于传感器上的示例性样本的9个像素传感器的示意， 以便重叠像素P 0，2)，P 0，3)，P (3，2)和P (3，3)的一部分，因此确立在像素P (1，1)，P (2， 1)，P(3，1)，P(1，2)和 P(l，3)的已知背景；图恥表示图fe所示的样本的图像如何被利用传感器的成像设备显示，以及是“样本区域”的示例；图5c表示图如的样本相对于已知背景的移动以便将样本区域的一部分置于背景像素内；图5d表示通过根据本发明的移动、成像和计算如何改进图fe所示的样本的图像的分辨率；图6是指示其中包含子像素的图4像素P(l，1)的扩展示意；图7是其中样本区域在已知背景像素中递增移动的16个离散图像的示意；图fe和8b是具有2x1像素装仓(binning)的传感器的示意；图9a和9b是具有1x2像素装仓的传感器的示意；以及图IOa和IOb是具有2x2像素装仓的传感器的示意。
具体实施例方式本发明提供比较样本的多个数字图像并借此增加图像的分辨率超出数字图像传感器提供的普通分辨率的技术和装置，利用所述数字图像传感器以记录该多个数字图像。 在数字图像传感器(例如电荷耦合设备(CCD)或互补金属氧化半导体(CMOS)之前隔离要成像的样本，并获取多个图像。可以利用单色或色彩图像传感器以相同形式分析图像。参考图1、2和3，通过非限制性示例，表示可经利用用于本文方法的成像装置的一般示意，在三个实施例中，一个在图1，一个在图2，以及另一个在图3。图1和2的成像装置由标记IOA指示，以及图3的成像装置由标记IOB指示。在图1的装置中，要成像的样本(本文是样本S)被置于一致的已知背景7上。“已
6知背景”意指当由图像传感器14 (例如CCD或CMOS)记录时背景的位深度是已知的。成像装置IOA包括纳米定位器12A和纳米定位器控制器13A，该纳米定位器控制器13A用于相对于图像传感器14移动样本S,该图像传感器14借助传感控制器15数字地记录样本S的图像。在图2的装置中，样本S被置于纳米定位器12C的通光孔6上，以及相对于传感器14 在表面9上固定一致的已知背景7。因此，在图1和3的装置中，成像装置IOA(具体地传感器14)经固定，以及纳米定位器(诸如在12A或12C的工作台)以及纳米定位器控制器 13A经利用以相对于固定图像传感器14移动样本S，所述固定图像传感器14将借助传感器控制器15数字地记录样本S的图像。在图3的装置中，利用成像装置10B。在该实施例中，纳米定位器12B和纳米定位器控制器13B与成像装置IOB的外壳16关联，因此可以相对于背景7上的样本S的固定定位移动图像传感器14，该背景7例如被加载到非可移动固定镜台9。因此，需要利用纳米定位器以实施图像传感器和样本之间的相对移动，以及应该理解纳米定位器可以与摄像机内的图像传感器关联或否则与成像装置的组件关联以实施样本和图像传感器之间的相对移动。图像传感器14 一般是，但不限于CXD或CMOS传感器等。图像传感器14保持在外壳16内，以及样本S的图像通过透镜18和透镜镜筒(目标)20聚焦在图像传感器14上。 在图1和2的装置中，外壳16、图像传感器14、透镜18以及透镜镜筒20组成静态电子摄像机并以固定位置安装到非可移动支架8。在图3的装置中，外壳16、图像传感器14、透镜18 和透镜镜筒20组成可移动电子摄像机并安装到纳米定位器12B和纳米定位器控制器13B。 虽然未示出但对捕获图像必须的是光源。光的应用对于熟悉显微和照相的人来说是熟知的。用于本发明的光可以经过样本传送或偶然地从样本反射。如名字暗示的，纳米定位器可经编程和控制以相对彼此在平行面内移动样本和/ 或图像传感器，如图1-3的χ-y坐标箭头所示。移动可以小如纳米(或如果利用合适技术时更小)。如将看到的，相对移动的幅度优选地小于像素或图像传感器的等同装仓像素的尺寸。经装仓的像素和像素的装仓对本领域技术人员是公知的。根据本发明，在第一位置数字地记录图像，然后实施成像传感器和样本之间的相对移动，并在新位置获取新图像。通过控制移动并比较每个像素的像素值(位深度)，可以获取信息以改进图像的分辨率超出图像传感器自身实现的分辨率。光学器件必须提供背景7和样本S处于视场中。优选地，在多个位置获取多个图像。相对移动平行于图像传感器的平面(即，样本不接近或远离图像传感器而是保持聚焦)，并经选择将“样本区域”的一部分置于已知位深度的背景内。术语“样本区域”可被理解为其上最初聚焦样本S以及移动之前记录样本图像的像素所确定的区域。这将从如下的部分公开中更充分地理解。当样本被如此移动时，背景的位深度的改变归因于移动到背景内的样本区域的该部分，以及然后可以通过相对简单的数学计算样本区域的该部分的位深度。为了进一步解释利用的该概念和术语，参考图4和如至5d。图4所示是普通的图像传感器。传感器由多个像素组成，由坐标P(n，i)引用，其中η是χ方向(水平)的像素数量以及i是y方向(垂直)的像素数量。传感器中的像素总数量是η乘以i。在图如和恥中，样本S聚焦在示例的9-像素传感器30上，其中每个像素P(l，l)至P(3，;3)的宽度由L指定，以及深度由H指定。图fe表示相对于传感器30的实际样本S，而图恥表示样本S 如何被传感器30分辨。更具体而言，样本S被置于已知背景上，该已知背景也被聚焦在传感器30上，背景是图fe的白色区域，并由数字7 (与用于装置图中背景的数字相当)指示。 如在图fe中看出的，样本S如此小以至于可聚焦在仅仅四个像素P 0，2)、P (3，2)、P (2，3) 以及P (3，3)。回想上文提供的定义，在本示例其中，这些像素确定“样本区域”，因为这是记录样本存在的那些像素，与背景相反。为了帮助概念化该样本区域以及帮助理解样本的移动，围绕图fe、5b、5c和7中的样本区域绘制加粗虚线框。样本区域有别于在图像传感器30 上聚焦的图像的其他部分-在本示例中，由像素？(1，1)、？(2，1) (3，1)、？(1，2)和P(l，3) 确定的区域-其是仅由已知背景7组成的区域，本文的“背景像素”。如已知的，传感器的像素电子地记录其上聚焦的光，将其分解为数字数据。数字数据涉及每个像素的具体位深度，以及在其上聚焦背景7和样本S的那些像素中，位深度不仅随着其上聚焦的样本S的部分，而且随着其上聚焦背景7的部分而改变。因此，虽然样本S 具有独特的不定形状，但仅仅示出为由传感器30产生的图像中的方形，如图恥所示。该方形组成本示例的样本区域。根据本发明，通过在最初位置获取样本S的图像而可能更好地分辨样本S的图像， 用于确立样本区域和背景像素；此后在相对于图像传感器30移动样本之后获取样本S的图像，因此在新位置，样本区域的一部分被置于背景像素内；以及此后比较获取的图像。具体而言，图1-3的任何装置(或其任何功能对等物)用于记录样本的图像(位深度数据)并借此确立样本区域和背景像素。然后，该装置用于相对于图像传感器30移动样本S以便在背景像素上聚焦样本区域的一部分。在本示例中，图恥所示为最初位置和记录的图像。记录的图像通过为图像传感器30的像素中的每个记录的位深度值确定。图5c所示是移动， 其中相对于图像传感器30将样本向左(以χ方向)移动距离“1”(小写L)并向上(以y 方向)移动距离“h”，其中1小于像素宽度L，以及h小于像素高度H。这将样本区域的一部分(即，在P(2d)的最初位置确定的区域的一部分)置于背景像素中，即背景像素P(l， 1)，如加粗虚线框和P(l，l)的边界所示。在该新位置对于样本S获取图像，以及对于图像传感器30的每个像素再次记录位深度。由于背景的位深度是已知的，图恥的最初图像和图5c的随后图像之间的像素 P(Ll)的位深度的变化归因于由矩形l_h确定的部分。因此，可以通过代数应用计算矩形Ι-h的位深度。具体而言，在移动之后，在像素P(l，l)记录的位深度被指定为V，以及V ={[ (H*L) - (h*l) ] *B+ (h*l) *S1} / (H*L)，其中B是已知背景的位深度，以及Sl是矩形l_h 的位深度，即，移动到目标背景像素内的样本区域的一部分的位深度，求解Sl产生Sl = {V* (H*L) -((H*L) -(h*l)) *B} / (H*L)。使用仅对Sl已知的所有位深度和维度，可以计算矩形l_h的位深度。然后可以产生新图像，其中重建在最初位置的图像，矩形l_h贡献于该新值。该最初移动、成像和计算不用于完全并准确地分辨样本S，但关于矩形Ι-h获得的数据可被并到随后移动、成像和计算中用于最终分辨样本S为远远高于传感器30的实际像素尺寸允许的分辨率。在该具体示例中，矩形l_h是简单地背景7，因此，在移动和计算之后，图 5b的图像进一步分辨如图5d所示，其中矩形Ι-h已被计算并确定是背景，并因此表示为白色。上述应足以理解本发明的一般性概念，以及可以理解的熟练技工绝不局限于其中样本被移动到已知背景内以进一步分辨图形超出图像传感器的像素提供的分辨率的形式。 例如，在以上示例所述并如图5c所示的最初移动和成像之后，样本S可以实际上任何方向移动以将样本区域的其他部分置于已知背景像素中并随后计算移动的那些部分的值。然而，在具体实施例中，以已知模式移动样本S，该模式确定小于所用图像传感器的像素的子像素，以及根据这些移动，可以计算样本区域以具有这些子像素确定的分辨率。这些“子像素”是上文宽泛公开的矩形ι-h的进一步提炼。因此，在特定实施例中，虽然不是必须的，但移动的距离可经选择以根据要计算和复制的所需子分辨率确立子像素的模式，这将在如下本文中变得更加明显。图6所示将像素P(l，l)(来自图4)划分为图6所示的子像素，其中子像素由坐标S(w，z)引用，其中w是 χ方向的像素数量以及ζ是y方向的像素数量。因此，一旦确立，图像传感器阵列上的每个子像素的位置可以由其中其位于的宿主像素P(n，i)和宿主像素内的子像素位置S(w，z)指定，因此，子像素通过如下公式识别P (η, i) S (w, ζ)。为了确立所需尺寸的子像素，无论是否关联于样本(例如，图1和2)、图像传感器或摄像机(例如，图3)，纳米定位器用于实施图像传感器30和样本S之间的相对移动。以 χ和y方向的移动幅度决定了确立的子像素的尺寸，大多数如上文参考通过将图fe的样本 S移到图5c的位置确立的矩形l_h所解释的。图fe的样本S再次成为本描述的对象，并因此，再次利用示例的9-像素传感器30，每个像素P (1，1)至P (3，3)的宽度由L指定，以及深度由L指定。广义地讲，移动的幅度基于要计算和复制的所需子分辨率(即，根据所需子像素尺寸)选择，以及优选地也根据构成图像传感器30的多个像素的尺寸选择。将样本 S(无论置于已知背景上或超出已知背景)移动到相对于图像传感器的多个离散位置以建立以图像传感器的锁个像素更小尺寸的子像素。子像素维度由步进移动的幅度确定。纳米定位器经编程以w离散步骤在χ方向步进移动，以及对于通过该χ方向移动确立的每个离散位置，经编程以在y方向移动ζ离散步骤，其中每个步骤的幅度是在χ方向的L/w以及y 方向的Η/ζ。然后，在实施中，单个像素被划分成图6所示的W*z子像素，以及子像素维度是 (L/w)乘以(Η/ζ)。在图7中，图fe的位置中的样本S被移动以至于确立传感器30的每个像素内的 16个均勻子像素。样本未在该图中示出，但可理解是图fe的相同样本S，确立相同的样本区域和背景像素。通过在四个离散步骤向左移动样本，对于向左的每个该移动，以四个离散步骤向上移动样本S而确立子像素。因此，图7中左上方的最初移动表示以Η/ζ的幅度向上移动以及以L/w的幅度向左移动，其中ζ和w经选择是4。获取在该位置的标为M(l，l)的图像。为了便于引用，提供的每个图像具有简化为字母M(s，t)的图像数字，其中s和t表示获取图像的阵列位置。样本S以类S的模式步进地最高效移动，通过首先步进向左移动，如图像MQ，1)、M(3，1) ^P M(4,1)；然后向上，如图像Μ0，2)；然后向右，如图像M(3，2)、Μ(2， 2)和M(l，2)；然后再次向上，如图像M(l，3)；然后向左，如图像M(2，3)、M(3，3) ^P M(4, 3)； 然后最后一次向上，如图像W4，4);以及最后偶向左，如图像厘(3，4)、1^2，4)和M(l，4)。因此，进行16次步进移动并在每个离散位置记录图像。这样确立4x4子像素，每个像素被分解为16个子像素。如果需要更加确定的子像素，则ζ和w可以经选择是5，因此样本S被移动25次，优选地以所述的类S模式，确立5x5子像素，传感器30的像素被分解为25个子像
ο
根据本发明，样本S被置于已知的一致背景上或超出已知的一致背景因此样本在样本的至少两个相邻侧被背景围绕，背景至少在高度上1个像素以及长度上1个像素，优选地超出1个像素。在图如中，样本驻留于加强像素？(2，2)，？(3，2)，？(2，3)和P(3，3)内， 这些确立样本区域。样本区域由背景像素限制，向上的像素P(1，1)，P(2，1)和P(3，l)以及向左的像素P(l，l)，P(l，2)和P(l，3)。样本S被纳米定位器以向上Η/ζ的距离以及向左 L/w的距离移动，如已经陈述的，2和《都被选为4。这样产生背景像素P(l，l)中样本区域的单个像素的位置。图7的M(l，l)表示该产生的移动。图7图像M(l，1)表示样本区域的部分“a”被上述移动隔离为背景像素P (1，1)。 在移动之前，像素p(l，l)仅记录具有已知位深度的背景，BDB(位深度背景)。可以从图7 看出，图像M(l，1)，15个子像素是背景以及由部分“a”确定的1个子像素是未知的。因此， 可以根据如下公式计算部分“a”的位深度BDP(1,1) = (15 (BDB)+I(BDa) )/16,其中BDP(1，1)是在图像M(l，l)的像素P(l，l)的所测量位深度，BDB是背景的已知位深度，以及BDa是部分“a” (或子像素“a” )的位深度，因此，BDa被如下地求解BDa = 16(BDP(1，1))-15BDB一旦根据M(l，l)计算部分“a”的位深度，则可以从图像M(2，l)中像素P(l，l)记录的位深度计算图像M(2，l)的部分“b”的位深度。具体而言，像素P(l，l)的16个子像素中的每个的位深度助于该像素记录的位深度，以及16个子像素中的15个的位值是已知的-像素P (1，1)的14个子像素具有由已知背景7确定的已知位深度BDB，以及1个子像素具有如部分“a”(现在移动超过图像图像M(2，l)中的左边)计算的已知位深度，BDa0这些已知值可以根据如下公式用于求解子像素“b”的位深度BDP(1,1) = (14 (BDB) +1 (BDa) +1 (BDb)) /16其中BDP(1，1)是图像M(2，1)中像素P(l，l)测量的位深度，BDB是背景的已知位深度，BDa是如上文计算的部分“a”的位深度，以及BDb是部分“b”的位深度，使得BDb可以根据如下公式求解BDb = 16BDP(1，1)-14(BDB)-BDa也可以通过相同的一般方法计算部分“C”至“h” (如图7所示)，不需要进一步解释，该方法是容易理解的。事实上，可以根据如下公式从移动和代表性获取图像反复计算样本区域的所有其余子像素部分Sv = nPv- ((n_ (m+1)) B+SUM (Si 至 Sm))其中，Sv是给定图像的未知子像素部分的位值，其是将被计算的；η是确立的子像素数量，m是通过之前移动和计算已确定的子像素部分(例如，子像素部分a、b、c等)的数量；B是背景的位值，以及SUM(S1至Sm)是从第一个(例如部分“a”)到m个的已知子像素部分的位值中的每个的总和。可以以上述方式连续计算样本区域的每个未知子像素直到样本区域的所有子像素已知。包括整个图像传感器的子像素的产生阵列表示具有比原始图像更高分辨率(W 乘以Z)的图像。需要理解，样本和已知背景可被置于图像传感器的视场内以至于样本整个包含在活可视地在已知背景内(即，在所有边由已知背景限制)或者样本和已知背景可被置于图像传感器的视场内以至于样本在两个相邻边由已知背景限制。后者的技术已如以上示例所
7J\ ο需要理解，样本移动到已知背景中可以是均勻并步进地，以便确立均勻尺寸的子像素。也如上文所示，移动可以更随机，将样本的其他部分置于已知背景内以便根据背景的已知位值和之前确定的样本区域的一部分的已知位值计算该部分的位深度。根据另一实施例，相对于传感器逐步移动样本，产生大于1个像素的整体移动。在该实施例中，像素被分组(也已知为“装仓”)，因此多个像素可被处理为单个像素。在装仓中，2个多个邻近的像素被组合以及像素值经确定为两个或多个邻近像素的均值。装仓可用于按行或按列组合像素。图9a是以行装仓2个像素的示例，以及图9b是表示尺寸2LxH 的经装仓2x1像素的产生传感器。图9a是以列装仓2个像素的示例，以及图9b是表示尺寸Lx2H的经装仓1x2像素的产生传感器。图IOa是相等地以行和以列装仓2个像素的示例，以及图IOb是表示尺寸2Lx2H的经装仓2x2像素的产生传感器。除了维度现在改变，和图fe和7完全相同地处理图8b、9b和IOb的产生传感器。根据本文教义的子像素移动在这些装仓实施例中现在基于经装仓的像素尺寸而不是原始像素尺寸。根据上文，需要理解，本发明通过提供处理图像的方法显著地改进了本技术，经过该方法，将图像分辨为高于由利用的成像传感器提供的分辨率。虽然本文已详细公开本发明的特定实施例，但需要理解本发明并不限于其，或因此本领域普通技术人员将容易地理解本文本发明的改变。本发明的范围将根据随后的权利要求理解。
权利要求
1.一种使用图像传感器以获取其上聚焦的样本的图像、使得获取的所述图像的分辨率高于所述图像传感器的指定分辨率的方法，该方法包括如下步骤将样本置于具有多个像素的图像传感器的视场内的已知背景上； 以相对于所述图像传感器的第一位置将所述样本置于其上，使得所述已知背景也聚焦于所述图像传感器上；记录以所述第一位置聚焦在所述图像传感器上的所述样本和所述已知背景的图像，并从所记录的图像确立样本区域和背景像素；将所述样本移动到相对于所述图像传感器的第二位置，以便将所述样本区域的第一部分置于目标背景像素内，所述目标背景像素是从在所述记录步骤中确立的所述背景像素中选择的；记录以所述第二位置聚焦在所述图像传感器上的所述样本和所述已知背景的图像；以及计算移动到所述目标背景像素内的所述样本区域的所述部分的位深度。
2.根据权利要求1的方法，其中所述目标背景像素具有维度H乘以L，以及在所述移动步骤中，移动到所述目标背景像素内的样本区域的所述第一部分具有维度h乘1 (el)，其中 h小于H以及1小于L。
3.根据权利要求2的方法，其中，在所述计算步骤中，移动到所述目标背景像素内的所述样本区域的所述第一部分的所述位深度被标示为“Si”并根据如下公式计算S1 = {V* (H*L) -((H*L) -(h*l)) / (H*L)，其中V是在所述第二位置记录所述样本的图像的所述步骤中取得的所述图像的所述目标背景像素的位深度；以及B是所述已知背景的位深度。
4.根据权利要求3的方法，其中H/h是整数并且L/1是整数。
5.根据权利要求1的方法，进一步包括如下步骤相对于所述图像传感器将所述样本移动到第三位置，以便将所述样本区域的第二部分置于目标背景像素中，其中所述移动到第三位置的步骤中的所述目标背景像素可与移动到第二位置的之前步骤中的所述目标背景像素相同或不同；记录以所述第三位置聚焦在所述图像传感器上的所述样本和所述已知背景的图像；以及计算以所述第三位置移动到所述目标背景像素中的所述样本区域的附加部分的位深度。
6.根据权利要求5的方法，其中重复所述移动、记录和计算步骤，每个附加移动步骤将所述样本区域的随后新部分置于目标背景像素内，使得计算所述样本区域的所有部分的位深度。
7.根据权利要求6的方法，其中在所述放置步骤中，所述样本通过所述已知背景在两个相邻侧面结合，以及所述样本和相邻背景在所述图像传感器的所述视场中。
8.根据权利要求7的方法，其中所述目标背景像素具有维度H乘L，以及在所述移动步骤中，所述样本递增地移动以将所述样本区域的子像素部分置于所述目标背景像素中，其中所述子像素部分由维度Η/ζ和L/w限定，w和ζ是基于子像素的所需尺寸选择的整数，以及限定分辨率的提高。
9.根据权利要求8的方法，其中重复所述移动、记录和计算步骤，每个附加移动步骤将所述样本区域的附加子像素部分置于目标背景像素内，使得计算所述样本区域的所有部分的位深度。
10.根据权利要求8的方法，其中在所述移动步骤中，所述样本在由所述目标背景像素限定的H方向移动ζ步，以及对每个该步骤，在由所述目标背景像素限定的L方向移动w步， 使得执行w^步的移动、记录和计算。
11.根据权利要求10的方法，所述目标背景像素对于所有移动步骤是相同的。
12.根据权利要求1的方法，其中所述图像传感器的像素被装仓，以及所述背景像素和所述样本区域的确立是基于所述经装仓的像素维度。
13.根据权利要求1的方法，其中，在所述计算所述位深度的步骤之后，所述方法进一步包括下列步骤产生新图像，从而将在所述计算步骤中计算的所述位深度归因于在将所述样本移动到所述第二位置的步骤中移动到所述目标背景像素内的所述样本区域的该部分。
全文摘要
一种利用图像传感器的方法，包括下列步骤允许计算高于图像传感器的指定分辨率的图像的分辨率。将样本置于具有多个像素的图像传感器的视场内的已知背景上。以相对于图像传感器的第一位置将样本聚焦于其上，使得已知背景也聚焦于图像传感器上。对于以第一位置聚焦在图像传感器上的样本和已知背景，记录图像，并从记录的图像确立样本区域和背景像素。将样本相对于图像传感器移动到第二位置以便将样本区域的一部分置于目标背景像素内。对于以第二位置聚焦在图像传感器上的样本和已知背景，记录图像，并计算移动到背景像素内的样本区域的部分的位深度。
文档编号G06T5/50GK102449659SQ201080023736
公开日2012年5月9日 申请日期2010年5月28日 优先权日2009年5月29日
发明者J·普特曼, M·普特曼 申请人:毫微光电子影像公司