超分辨率图像的获取方法和获取装置的制造方法_2

文档序号:9767991阅读:来源:国知局
的整数,或者,N为大于1的整数、且Μ为大于或等于1的整数。
[0051] 所述相机阵列中每个相机具有独立的光学镜头和图像传感器,所述相机阵列的各 相机同构或者至少部分相机异构,各相机的光学镜头可根据实际需要设置不同滤光元件, 例如:蓝色滤光元件、红色滤光元件或者绿色滤光元件等等。
[0052] 可确定所述相机阵列中的一个相机或多个相机的图像传感器,作为待调节的图像 传感器,并从中确定与所述第一区对应的成像区域为所述待调节区。
[0053] S102 :调节所述至少一相机的图像传感器的像素点分布,以增加分布在所述待调 节区的像素点数量。
[0054] 本申请实施例中的图像传感器为像素密度可调的图像传感器,可包括但不限于柔 性图像传感器,所述柔性图像传感器包括柔性衬底以及在所述柔性衬底上形成的多个图像 传感器像素,其中所述柔性衬底在满足一定条件时可以发生伸缩、弯曲等变化来调整其像 素密度分布。结合所述图像传感器像素密度分布可调的这一特性,本申请实施例相机阵列 中至少包括一个相机的图像传感器的像素点分布可调,换而言之,所述相机阵列中有一个 或多个相机且该一个或多个的图像传感器的像素点分布可调。
[0055] 在实际应用中,可从所述相机阵列中支持图像传感器支持像素点分布可调功能的 一个或多个相机中,确定所述至少一个相机,并对确定的所述至少一个相机的图像传感器 的待调节区(即各图像传感器与所述第一区对应的成像区域)进行像素点分布的调节,调 节后的图像传感器的像素点分布并不是均匀的,而是非均匀分布,即:任一图像传感器对应 所述第一区图像采集的成像区域的像素点数量较多、相邻像素点的间距较小;而该图像传 感器的其他成像区域的像素点数量较少、相邻像素点的间距也较大,如图2所示,这样所述 待调节区调节后的像素点相对同一图像传感器的其他成像区域的像素点分布而言分布较 为密集。调节后所述待调节区内的像素点可以均匀分布或非均匀分布,本申请实施例对此 并不限制。
[0056] S103:基于调节后的所述相机阵列的各相机分别获取所述待摄场景的图像。
[0057] 在基于相机阵列对待摄场景进行图像采集时,所述相机阵列的每个相机都会单独 获取所述待摄场景的一副图像。由于所述的至少一相机的图像传感器的像素点分布进行了 调节,这些相机的图像传感器与所述第一区对应的成像区域的像素点数量较多、分布较为 密集,因此,这些相机的图像传感器可采集到的所述第一区的细节更为丰富。
[0058] S104 :根据获取的各图像获取所述待摄场景的一超分辨率图像。
[0059] 在获取所述相机阵列各图像传感器采集的各图像之后,可根据各图像获得一高于 所述相机阵列中某单个相机采集到的图像的分辨率的图像,也即一超分辨率图像。例如,可 根据所述超分辨率图像的增益预期生成一个新的网格,该网格的各点与各图像传感器的像 素点之间存在某种预定的对应关系,可将各图像传感器获取的图像中各像素点的图像信息 插入该网格的相应点,如图3a所示,由此得到一超分辨率图像。由于相机阵列的所述至少 一相机的图像传感器对应所述第一区图像采集的成像区域的像素点数量较多,因此,这些 相机的图像传感器采集到的图像对应所述第一区的部分细节较为丰富,加上相机阵列各相 机拍摄的图像固有的视野偏差,使得据此生成的超分辨率图像对应所述第一区的子图像可 使用的像素点数量增加,如图3b所示,由此提高了该子图像的分辨率、信噪比等性能。
[0060] 可见,本申请实施例提供的技术方案,可充分利用相机阵列的至少一相机的图像 传感器的整体像素来差异化采集待摄场景稍有视野偏差的多幅图像,具体而言,可调节相 机阵列中至少一相机的图像传感器的像素点分布,使得所述至少一相机的图像传感器与第 一区(即待摄场景的至少局部)对应的成像区域的像素点数量较多、较为密集,基于调节后 的相机阵列对所述待摄场景进行图像采集,则所述至少一相机的图像传感器获取到的与所 述第一区对应的子图像的细节更为丰富,分辨率越高,图像采集的效率也越高。基于相机阵 列的各相机分别获取的图像获取一超分辨率图像的过程中,对应所述第一区的子图像的像 素点数量增加了,由此有利于提高获取的超分辨率图像中与所述第一区对应的子图像的分 辨率和信噪比,提高该子图像的成像质量,更好的满足用户多样化的实际应用需求。
[0061] 上述技术方案的基础中,所述相机阵列中与任两个相邻相机的图像传感器的相应 逻辑像素点按照某一子像素级距离偏移的方式分布。如果在满足子像素级距离偏移的要求 下进行所述至少一相机的图像传感器的像素点分布的调节,则可提高获取的超分辨率图像 中对应所述第一区的子图像的有效像素点,进而提高超分辨率图像中对应所述第一区的子 图像的成像质量。一种可选的实现方式中,所述超分辨率图像的获取方法还包括:确定所述 相机阵列中与所述至少一相机相邻的相机的图像传感器中与所述待调节区对应的成像区; 确定所述待调节区和确定的所述成像区内相应逻辑像素点的子像素级目标偏移距离。相应 的,调节所述至少一相机的图像传感器的像素点分布,包括:根据所述子像素级目标偏移距 离调节所述至少一相机的图像传感器的像素点分布。
[0062] 所述相机阵列中每个相机的图像传感器的每个像素点均有一个逻辑信息,所述逻 辑信息也可称为像素的索引信息,用来表示该像素点是图像传感器中的哪个像素点,如是 第η行的第m个像素点。相机阵列中相邻两个相机的图像传感器之间的参考线(也可称为 基线,Baseline)会引入视差偏移,这样,相邻图像传感器对应待摄场景的第一区的成像区 域,在两个相邻相机的图像传感器各自的成像区域的位置并非完全对应。考虑所述基线偏 移后,相邻图像传感器对应的逻辑像素点即为本申请实施例所述的相应逻辑像素点,待摄 场景的同一部分信息在相邻图像传感器的相应逻辑像素点分别予以记录。根据相邻图像传 感器基线的偏移关系可得到相邻图像传感器各像素点的逻辑信息的对应关系,而根据所述 各像素点的逻辑信息的对应关系,可确定两个相邻图像传感器中,一图像传感器与另一图 像传感器的某逻辑像素点相应的逻辑像素点是哪个。例如,请参考图2a,假设两个相邻相机 A、B的图像传感器的基线在X向上存在2个像素的偏移,则图像传感器A某行逻辑信息为 〇、1、2、3、4......的像素点,与图像传感器B相同行逻辑信息为2'、3'、4'、5'、6'......的 像素点(在图2a的括号中标出了像素点逻辑或序号信息的对应关系),分别为相应逻辑像 素点;如图2a所示,相机A和B各自的图像传感器分别对应待摄场景相同部分的成像区域 a、b也存在一定的偏移。
[0063]为了获取高于所述相机阵列中某单个相机采集到的图像的分辨率的图像,也即超 分辨率图像,所述相机阵列中任两个相邻相机的图像传感器的相应逻辑像素点之间可按照 某一子像素级距离偏移的方式分布。
[0064] 图像传感器调节前的任两个相邻像素点中心之间的距离称为一个像素距离 (pixel pitch)d,所述"子像素级距离"就是小于像素距离d的某一距离,如1,其中,m > m 1。不妨将相机阵列的行向和列向分别表示为X向和Y向。所述相机阵列中任两个相邻相 机(如所述相机阵列相同行的任意两个相邻相机,或者相同列的任意两个相邻相机)的图 像传感器相应逻辑像素点,在X向和Υ向中的至少一个方向上存在一子像素级偏移距离。不 妨以2个相机按照1X 2阵列分布组成的相机阵列为例进行说明,如果不考虑或消除了相机 阵列中的2个相机(相机Α和相机Β)的图像传感器的基线偏移,相机阵列中的2个相机的 图像传感器的相应逻辑像素点的相对坐标存在一个子像素级距离的偏移,图2b示出了在X 向相应逻辑像素点(如各图像传感器的第1行第1个像素)存在1距离偏移的可选情形, m 图2c示出了在Y向相应逻辑像素点(如各图像传感器的第1行第1个像素)存在1距离 m 偏移的可选情形,图2d示出了在X向和Y向相应逻辑像素点(如各图像传感器的第1行第 1个像素)存在f距离偏移的可选情形。这样,基于相机阵列对待摄场景进行图像采集时, m 所述相机阵列的各相机可获得该场景内容相似但不完全相同的各图像,获取的各图像对该 场景采集到的信息不完全相同,某一图像没有采集到的场景中的信息,可能在另一图像中 被采集,故根据相机阵列一次拍摄得到的各图像可生成一超分辨率图像。
[0065] 所述子像素级目标偏移距离通常用来表征用户或设备对待摄场景的第一区的图 像清晰度的相对预期,在实际应用中,所述子像素级目标偏移距离可根据但不限于超分辨 率图像的期望增益确定。例如,如果对超分辨率图像中与所述第一区对应的子图像的期 望增益较高,要求该子图像可获取较高的图像分辨率,则可设置与所述第一区对应的区域 (即所述待调节区)较小的子像素级目标偏移距离,以使所述至少一个相机的图像传感器 和与之相邻的相机的图像传感器,在相同逻辑像素点满足超分辨率图像所需的子像素级偏 移的基础上,增加待调节区的像素点,从而增加所述至少一个相机的图像传感器获取的图 像中对应所述第一区的子图像的分辨率、且所述至少一个相机和与其相邻的相机的图像传 感器获取的各图像之间存在与子像素级目标偏移距离对应的视野偏差,进而增加了获取的 超分辨率图像中对应所述第一区的子图像的有效像素点,因此提高超分辨率图像中对应所 述第一区的子图像的成像质量。
[0066] 在基于相机阵列对待摄场景进行图像采集的应用中,如果基于相机阵列一次曝光 后所述相机阵列的各相机的图像传感器获取的各图像,能采集到所述第一区越多的细节, 则基于这些图像生成的超分辨率图像对应所述第一区的子图像的细节也就更为丰富,信噪 比较低。不妨以多个同构相机阵列分布而成的相机阵列为例进行说明,假设同行的两个相 邻相机的图像传感器的相应逻辑像素点在X向上存在1距离偏移,请参考图2b,在进行超 m 分辨率网格的像素填充的过程中,每出现m个像素点,这两个图像在超分辨率网格上就会 对应一个重复的像素点,重复的像素点对提高超分辨图像的成像质量往往没有帮助,因此, 我们希望这些重复的像素点尽可能少些,以便得到有利于提高超分辨率图像质量的更多的 像素点。
[0067] 为此,可选的,所述获取方法,还包括:至少根据与所述至少一个相机的图像传感 器相邻的相机的图像传感器的相邻像素点中心之间的距离,确定所述至少一个相机的图像 传感器的相邻像素点之间的间距调节约束条件;相应的,调节所述至少一相机的图像传感 器的像素点分布,包括:根据所述间距调节约束调节所述至少一个相机的图像传感器的像 素点分布。其中,图像传感器两个相邻像素点中心之间的距离,可包括:该图像传感器任一 行中任两个相邻像素点中心之间的距离,和/或,该图像传感器任一列中任两个相邻像素 点中心之间的距离。
[0068] 不妨以两个相邻相机的图像传感器L、R的相应逻辑像素点在X向的像素偏移距 离,确定所述子像素级目标偏移距离
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1