一种基于深度信息的多幅图超分辨方法
【技术领域】
[0001] 本发明涉及图像处理领域，特别是涉及一种基于深度信息的多幅图超分辨方法。
【背景技术】
[0002] 在很多场合，由于设备或工作环境的限制，导致得到的图像质量很低，不利于下一 步的工作开展，因此获得更高的图像质量是非常必要的。
[0003] 最直接获取高质量图像的方法是提高图像获取设备的性能，这就要求进一步减小 图像传感器的尺寸，然而在传感器技术中这存在一个极限，当传感器尺寸小到一定程度同 样导致图像质量不可避免的降低，这是因为随着传感器尺寸的降低，而噪声却不会变少，因 此信号中噪声的比重就提高了。同时，这种方法的代价成本很高。因此，利用软件上对图像 的超分辨技术就是一个不错的选择。
[0004] 超分辨技术是指利用一组低分辨图像，克服或补偿图像获取设备或恶劣的获取条 件带来的限制从而得到更高分辨率的图像恢复技术，超分辨技术的本质是重组或补偿图像 的细节信息，尤其是高频信息，让这些信息更加系统、全面，有利于图像的识别和理解。
[0005] 现有的超分辨技术仍存在一些基本问题，比如很多文章都限定其算法在某种特定 情形之下性能较好，换一种场合效果可能就显著降低，因而不具有普适性，而在实际情形 中，环境是多变的，算法的局限性就意味着本身存在不合理之处。例如，在多幅图超分辨中 都有图像配准这个环节，现有的方法注意力都集中在如何计算出的视差计算方法更准确， 为此有很多种配准方法，比如有基于光流法的，有基于单应性矩阵的，有基于运动矢量的， 有在频域实现配准的，还有其它类似的方法。然而，光流法虽然本质上是合理的，但是过于 简单粗糙，精度上是不够的，这就意味着误差会很大，因而最终超分辨结果也不会令人满 意；基于单应性矩阵的这类方法本质上也是计算视点变换的运动矢量，这个方法理论上精 度更高，但是这方法是存在问题的，它假设场景中所有的像素的视点变换的运动矢量是一 样的，这就意味着假定场景中所有像素不存在深度差异，这和实际场景不一致，实际情形 是，在场景中深度较小（较近）的对象在视点变换之后的视差较大，深度较大的对象则视差 较小，这就说明不可以用同一个运动矢量来描述视点变换矩阵，最终超分辨结果必然有错 误，而运动估计的问题也直接影响到最后超分辨率（SR)图像恢复的质量。
【发明内容】
[0006] 本发明的主要目的在于克服现有技术的不足，针对多幅图超分辨不同视点之间图 像配准提出了基于深度信息配准的新方法，提供一种基于深度信息的多幅图超分辨方法。
[0007] 为实现上述目的，本发明采用以下技术方案：
[0008] -种基于深度信息的多幅图超分辨方法，包括以下步骤：
[0009]a.获取一组同一场景、不同参考视点的低分辨率图像以及对应的一组同等分辨率 的深度图；
[0010]b.利用深度信息确定每个参考视点的图像中的每个像素投影到指定视点位置的 视差大小，从而得到该像素在指定视点的位置；
[0011]c.将参考视点的低分辨率图像投影至指定视点，将每幅图像中的信息融合在一 起，得到一幅高分辨率图像。
[0012] 本发明中，低分辨率图像和高分辨率图像，分辨率的高低是两者之间相比较而言 的。
[0013] 进一步地：
[0014] 步骤b包括以下步骤：
[0015] bl.将参考视点的二维坐标转换到三维世界坐标系中的世界坐标；
[0016] b2.将世界坐标转换到指定视点的二维坐标。
[0017] 步骤bl包括：
[0018] 利用参考视点的深度信息，通过以下公式实现参考视点中的一个像素（u,，v,)变 换到世界坐标（Xw，Yw，Zw):
[0019]
[0020] 其中，r表示第r个参考视点，z1?是参考视点在（uuvj位置对应的深度值，其通过 下面的公式计算得到：
[0021]
[0022] 其中，v是归一化之后的深度值，Zn_是真实深度值中距离拍摄低分辨率图像的相 机最近的深度，Zfm是真实深度值中距离相机最远的深度；
[0023] A为相机内部参数：
[0024]
[0025] 其中，ax=fmx,ay=fmy,f是焦距，nvfPmy是图像不是正方形时引入的非等量尺 度因子，X。和是考虑到非等量尺度因子的图像原点和相机主点的中心偏移量，xfmxpx， yQ=niyPppjPpy是相机主点在图像坐标中的坐标，即相机主点在图像原点的偏移，s是扭 曲参数；
[0026] R，t属于相机外部参数，R是旋转系数，为一个3X3旋转矩阵，t是平移矢量， r= 为一个平移矩阵，6表示相机中心在世界坐标系中的坐标。
[0027] 步骤b2包括：
[0028] 通过以下公式将世界坐标（Xw，Yw，Zw)，投影到指定的中心视点（u。，V。）：
[0029]
[0030] 其中，c表示指定的中心视点，z。表示在中心视点处图像的深度值，A3x3，。表示在中 心视点处相机坐标系转化为二维图像坐标系的相机内部参数，R3x3，。表示在中心视点处世界 坐标系转化为相机坐标系的旋转系数，t3xl，。是表示相机中心在世界坐标系中的方位的平移 矩阵。
[0031] 步骤b包括：
[0032] 设定参考视点的低分辨率图像的分辨率为mXn，对应的高分辨率图像的分辨率为 MXN，指定中心视点的高分辨率图像的分辨率为MXN，参考视点的低分辨率图像中某一不 为零的像素（^，^)经放大之后坐标为（I，V》，指定中心视点的高分辨率图像的像素坐标 为（U。，V。)，坐标对应关系：(U,.,V,.)^(Uc,Vf),
[0033] 以大小为（MN)X(MN)的视点变换矩阵W描述参考视点的低分辨率图像对应的高 分辨率图像乙中每个像素位置和指定中心视点的高分辨率图像X。中像素位置的对应关 系：
[0034]Yr=ffr,cXc (8)
[0035]W。。是视点变换矩阵，X。是指定中心视点的高分辨率图像中像素坐标位置，是低 分辨率图像对应的高分辨率图像的像素坐标位置，
[0036] 由上面得到的坐标对应关系兄）G(U,.，Ve)，在矩阵W的第（U，VJ行、第 (KXV。）列的位置上值取1，在没有这种坐标对应关系的位置取零，从而确定视点变换矩阵W；
[0037]利用公式（8)中的视点变换矩阵W并结合以下公式（2)，以获得指定中心视点的高 分辨率图像；
[0038]yi=DBWiX+ei (1)
[0039] 其中，yi是一组低分辨率图像中第i幅图像，X是待求的高分辨率图像，Wi是第i 个视点转换配准矩阵，B是模糊矩阵，D是降采样矩阵，ei是噪声，将所有视点的低分辨率图 像代入上面的公式得到：
[0040]y=MX+e(2)
[0041]其中，
[0042]
[0043] 步骤c中采用插值方法得到高分辨率图像，所述插值方法包括配准环节、插值环 节和去模糊环节。
[0044] 所述插值方法选自最近邻插值法、非均匀插值法、运动最小方差插值法、迭代后向 投影法以及凸集投影法中的任一种。
[0045] 本发明是一种基于深度信息的多幅图超分辨方法，输入对象是一组低分辨率图像 以及对应的一组深度图，利用深度信息计算出每个视点图像中的每个像素投影到指定视点 位置的视差大小，从而得到该像素在指定中心视点的位置，可实现不同视点的投影，再通过 图像恢复技术将这些信息融合便得到一幅高分辨率图像，还可经过一些后续图像增强技术 的处理得到最终的高分辨图像。同一场景不同视点的低分辨率图像，该场景中的对象允许 有深度变化。每一个视点的图像和深度图是对应成对的，有同样的尺寸，这样保证每个像素 位置都有深度信息，这样可保证每个像素点都能确定的计算视点变换之后的位置，同样也 保证了视点变换的