处理来自多层传感器的图像中的超分辨率的制作方法_2

文档序号:8286175阅读:来源:国知局
设置了存储器140,则其可为一个或多个存储器。一个或多个存储器可构造为存储用于稍后输出或显示的获取的值和额外值。两组值可用于提供单个输出图像。因此,在实施例中,获取的值的数量加上额外值的数量的和大于像素阵列110中的像素的数量。这是因为获取的值的数量通常可等于像素的数量,但是额外值明确地提供了更多数据。
[0063]在一些实施例中,额外值在存储时进一步与获取的值合并。针对本文档,这种合并意指额外值根据它们对于输出图像的位置与获取的值混合以均匀地执行输出或显示;并且它们不被存储在分离的存储器中或分离的存储器区域中。
[0064]另外,如果设置了显示器180,则可将其构造为通过输入图像显示输出图像。可通过由像素获取的值并通过额外的计算值构成输出图像。
[0065]本文中描述的装置和/或系统执行如本文档中描述的功能、处理和/或方法。此夕卜,下面描述方法和算法。这些方法和算法不一定与任何特定的逻辑装置或其它设备内在地关联。相反,有利地,通过计算机器(诸如通用计算机、专用计算机、微处理器等)所使用的程序来实现这些方法和算法。
[0066]通常,仅为了方便起见,优选地将程序实施和描述为各种互连的不同软件模块或特征(它们单独和一起还被称作软件)。然而,这不是必要的,会存在有模块甚至在边界不清的情况下等同地聚集为单个程序的情况。在一些情况下,软件与硬件在被称作固件的混合体中结合。
[0067]该详细的描述包括流程图、显示图像、算法和至少一个计算机可读介质中的程序操作的符号表示。因为单组流程图用于描述程序以及方法两者,从而实现了节约。因此,在流程图以方框的形式描述方法的同时,它们也一并描述了程序。
[0068]现在描述方法。
[0069]图4示出了用于描述根据实施例的方法的流程图400。流程图400的方法也可通过本文中描述的实施例来实施。
[0070]根据操作410,可接收获取的值。获取的值可为输入图像的各个元素的值,并且可通过各个像素获取。获取的值可对应于获取这些值的各个像素的像素中心点。
[0071]根据另一操作430,通过获取的值来计算额外值。额外值可对应于额外中心点。至少一些额外中心点可与像素中心点不同,换句话说,与像素中心点不一致。
[0072]因此,可通过获取的值和计算的值来形成输出图像。在输出图像中,获取的值可对应于像素中心点,而额外值可对应于额外中心点。
[0073]根据另一可选操作440,存储获取的值和额外值。可在一个或多个存储器中进行存储。
[0074]根据另一可选操作450,显示输出图像或使得输出图像被显示。可通过获取的值并通过额外值构成输出图像。
[0075]返回图2,像素232可为黑白的或彩色的。如果它们为黑白的,则各个像素可与其它像素相似。如果像素232为彩色的,则它们可为例如红、绿、蓝,或者彩色像素的其它组合。当在这种组合下进行操作时,某一像素可与其相邻像素不同。在这种组合下可操作的最小组的像素可被称作区块。可认为像素阵列是由实质上相似或实质上相同的区块形成。
[0076]现在将根据实施例来描述可获取值的像素阵列的示例,并且可通过获取的值计算额外值。在这些描述中,还将示出区块的示例。
[0077]图5是区块511的示图。区块511是图2的像素阵列210的可能的单层传感器实施例的区块。区块511包括两个G像素、一个B像素和一个R像素,它们全部按照拜耳图案(Bayer pattern)排列。像素具有示为点的像素中心点536。出于构成输出图像的数学目的,区块511的像素对应于像素中心点536。
[0078]区块511的各个像素针对输入图像获取值。另外,在实施例中,可关于输入图像计算额外值。出于构成输出图像的数学目的,这些额外值可对应于各个额外中心点539。可以看出,也可在不同于区块511的其他地方定义这种额外中心点。
[0079]图6是各个像素的区块对611的示图,各个像素也被称作传感器。区块对611是可能的二层像素实施例的一对区块。上层具有绿色像素645。下层具有交替的红色像素647和蓝色像素644,因此有效地创建拜耳图案。区块对611中的区块是通过下方具有蓝色像素644和红色像素647的任何两个绿色像素645的组合形成的。因此,单个区块可以是水平方向上的顶上的两个像素、左边的两个像素,等等。
[0080]在图6中,示出了像素中心点636。一个绿色像素645与其下方的一个像素的像素中心点636是相同的,这是因为在该实施例中,各层无错位地堆叠。换句话说,上层的像素的感光区域的中心点与下层的像素的感光区域的中心点竖直地对齐。
[0081]区块对611的各个像素针对输入图像获取值。另外,在实施例中,可关于输入图像计算额外值。出于构成输出图像的数学目的,这些额外值可对应于各个额外中心点639。对于示出的额外中心点639中的任一个,可参照像素阵列中的更多区块(甚至基本上所有的区块)针对相同位置计算额外值。
[0082]图7是各个像素的四区块711的示图。四区块711得自可能的三层像素实施例。上层具有绿色像素745,中间层具有蓝色像素744,下层具有红色像素747。这些传感器不形成拜耳图案。图7中的各个区块由任何绿色像素745以及其下方的那些像素形成。
[0083]在图7中,示出了像素中心点736。对于一个绿色像素745及其下方的各个像素,像素中心点736是相同的,这是因为在该实施例中,各层也是无错位地堆叠。
[0084]四区块711的各个像素针对输入图像获取值。另外,在实施例中,可关于输入图像计算额外值。出于构成输出图像的数学目的,额外值可对应于额外中心点739。对于示出的额外中心点739中的任一个,可参照像素阵列中的更多区块(甚至基本上所有的区块)针对相同位置计算额外值。
[0085]先前的两个示例使用了堆叠的层,但是像素无错位。实施例也可具有感光区域彼此错位的堆叠的像素。在这种情况下,可通过垂直地合并两层的平面来定义像素中心点。通过进一步分析,像素中心点可定义为上层的各个像素的像素中心点加上下层的各个像素在上层的平面上的投影的像素中心点。当然,这种投影旨在在几何意义上是垂直的。现在描述一个示例。
[0086]图8是二层错开堆叠的传感器阵列部分811的示图。阵列部分811包括上层的绿色像素845以及下层的交替的红色像素847和蓝色像素844。阵列部分811的各个像素具有指示为实心点的像素中心点836。像素中心点836可对应于获取的值的位置。应该理解,由于示图的平面性压缩(collapse) 了下层的平面和上层的平面,因此像素中心点836位于同一平面,而不管它们是属于上层的像素还是下层的像素。
[0087]上层的像素845的中心点沿着各行822和各列824设置。在各行822之间具有距离862,其被称作竖直像素间距。在各列824之间具有距离884,其被称作水平像素间距。在该实施例中,竖直间距等于水平间距,但这不是必要的。
[0088]下层的像素847和844的中心点沿着各行(诸如行852)和各列(诸如列854)设置。在许多实施例中,下层的各行之间的距离近似于竖直像素间距,并且下层的各列之间的距离近似于水平像素间距。
[0089]在图8的特定示例中,水平像素间距与竖直像素间距是相同的,PTC。尺寸PTC还被称作像素间距。下层与上层沿竖直方向错开距离863,该距离863等于PTC/2,并且沿水平方向错开距离885,该距离885等于PTC/2。
[0090]阵列部分811的各个像素针对输入图像获取值。另外,在实施例中,可关于输入图像计算额外值。出于构成输出图像的数学目的,额外值可对应于额外中心点839。对于示出的额外中心点839中的任一个,可参照像素阵列中的更多区块(甚至基本上所有的区块)针对相同位置计算额外值。
[0091]图9是二层错开堆叠的传感器阵列部分911的示图。阵列部分911包括上层的绿色像素945以及下层的交替的红色像素947和蓝色像素944。
[0092]在图9中,为了不使附图混乱,未单独指出像素中心点。如果示出,则这些中心点可沿着各行(诸如行922)和各列(诸如列924)布置。此外,像素中心点可定义在下层的各个像素的中心点,但未单独示出。这些中心点沿着各行(诸如行952)和沿着各列(诸如列954)布置。
[0093]在图9中,像素的矩形边界限定了从水平方向和竖直方向旋转45°的线。如果要沿着这些旋转的线测量像素间距PTC,则沿着各行922、952和各列924、954测量的有效像素间距将是不同的。各行922之间的间距962以及各列924之间的间距964将等于PTCX SQRT (2)。并且偏离量 963、965 将等于 PTC/SQRT (2)。
[0094]阵列部分911的各个像素针对输入图像获取值。另外,在实施例中,可关于输入图像计算额外值。如上,对于一个或多个区块,额外值可对应于额外中心点939。
[0095]图10是三层错开堆叠的传感器阵列部分1011的示图。阵列部分1011包括上层的绿色像素1045、中间层的蓝色像素1044和下层的红色像素1047。
[0096]在图10中,绿色像素1045的中心点沿着各行(诸如行1022)以及沿着各列(诸如列1024)布置。距离1062等于距离1064等于间距PTC。蓝色像素1044无错位地堆叠在红色像素1047上。然而,蓝色像素1044沿着各行(诸如行1052)以及沿着各列(诸如列1054)布置。蓝色像素1044的各行各列相对于各行1022和各列1024的竖直和水平偏离量为PTC/2。
[0097]阵列部分1011的各个像素针对输入图像获取值。另外,在实施例中,可关于输入图像计算额外值。如上,对于一个或多个区块,额外值可对应于额外中心点1039。
[0098]图11是三层错开堆叠的传感器阵列部分1111的示图。阵列部分1111包括上层的绿色像素1145、中间层的蓝色像素1144和下层的红色像素1147。可以认识到,阵列部分1111的设计与阵列部分1011的设计相似,不同的是其旋转了 45°。
[0099]阵列部分1111的各个像素针对输入图像获取值。另外,在实施例中,可关于输入图像计算额外值。如上,对于一个或多个区块,额外值可对应于额外中心点1139。
[0100]图12是三层错开堆叠的传感器阵列部分1211的示图。阵列部分1211包括上层的绿色像素1245、中间层的蓝色像素1244和下层的红色像素1247。
[0101]在图12中,绿色像素1245的中心点沿着各行(诸如行1222)以及沿着各列(诸如列1224)布置。距离1262等于距离1264等于间距PTC。中间层沿着竖直方向和水平方向以相等的距离PTC/3(距离1265)与上层错开。下层沿着竖直方向和水平方向以相等的距离PTC/3(距离1266)与中间层错开。
[0102]阵列部分1211的各个像素针对输入图像获取值。另外,在实施例中,可关于输入图像计算额外值。如上,对于一个或多个区块,额外值可对应于额外中心点1239。
[0103]以上描述示出了多种可能的实施例。在进入计算额外值的细节之前,现在描述整体成像系统。
[0104]图13描绘了用于根据实施例制备的成像装置的基于控制器的系统1300。系统1300可用于图1的装置。
[0105]系统1300包括根据实施例(诸如通过像素阵列)制备的图像传感器1310。上文示出了像素阵列的示例。这样,系统1300可为(但不限于)计算机系统、成像装置、相机系统、扫描仪、机器视觉系统、车辆导航系统、智能电话、视频电话、个人数字助理(PDA)、移动计算机、监视系统、自动聚焦系统、星象跟踪系统、运动检测系统、图像稳定系统、用于高清电视的数据压缩系统等。
[0106]系统1300还包括根据实施例制备的控制器1320。控制器1320可为图1的控制器120。控制器1320可为中央处理单元(CPU)、数字信号处理器、微处理器、微控制器、专用集成电路(ASIC
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1