一种畸变图像复原的补偿方法及装置与流程

本发明属于计算机技术领域，尤其涉及一种畸变图像复原的补偿方法及装置。

背景技术：

广角镜头拍摄的广角图像虽然存在较为明显的畸变(例如桶形畸变和枕形畸变)，却具有宽广的视角，将畸变校正后的广角图像通过图像拼接技术用于虚拟现实应用中，可以大大地降低图像拼接的工作量。然而，畸变图像通过畸变校正进行复原的过程中存在较大的图像质量损失，包括广角镜头成像时畸变过程中的图像质量损失和畸变图像进行畸变校正时的图像质量损失。

目前，有两类方法可以提高畸变图像复原后的图像质量，第一类采用较复杂的相机畸变模型和较为精准的相机校正方法来降低畸变图像进行畸变校正时的图像质量损失，而忽略了广角镜头成像时畸变过程中的图像质量损失，第二类为提高广角镜头所拍摄图像的分辨率的超分辨率方法，该方法直接提高图像分辨率，并未考虑到畸变图像复原过程的图像质量损失。

技术实现要素：

本发明的目的在于提供一种畸变图像复原的补偿方法及装置，旨在解决现有技术中的畸变图像复原后图像质量损失较大、图像清晰度较低的问题。

一方面，本发明提供了一种畸变图像复原的补偿方法，所述方法包括下述步骤：

接收畸变图像畸变校正后的校正图像，将所述校正图像分割为校正图像块；

根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，生成对应的第一图像块；

对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块；

将所有第二图像块组合生成所述畸变图像对应的校正复原图像。

另一方面，本发明提供了一种畸变图像复原的补偿装置，所述装置包括：

图像分割模块，用于接收畸变图像畸变校正后的校正图像，将所述校正图像分割为校正图像块；

初次补偿模块，用于根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，生成对应的第一图像块；

再次补偿模块，用于对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块；以及

组合恢复模块，用于将所有第二图像块组合生成所述畸变图像对应的校正复原图像。

本发明将畸变图像畸变校正后的校正图像分割为校正图像块，并将所有的校正图像块根据预先训练好的质心进行内容分类，分类后的校正图像块通过训练好的内容滤波器进行补偿，生成每个校正图像块对应的第一图像块，再对所有的第一图像块进行空间分类，分类后的第一图像块通过训练好的空间滤波器进行补偿，生成每个第一图像块对应的第二图像块，将所有的第二图像块组合在一起，生成畸变图像对应的校正复原图像，从而通过对图像块进行内容分类和空间分类，并结合内容滤波器对内容分类后的图像块进行补偿、空间滤波器对空间分类后的图像块进行补偿，有效地对畸变图像在校正复原过程中的图像质量损失进行补偿，有效地提高了畸变图像校正复原后所得图像的图像质量和图像清晰度。

附图说明

图1是本发明实施例一提供的畸变图像复原的补偿方法的实现流程图；

图2是本发明实施例二提供的畸变图像复原的补偿方法中质心、内容滤波器以及空间滤波器的训练流程图；

图3是本发明实施例三提供的畸变图像复原的补偿装置的结构示意图；以及

图4是本发明实施例四提供的畸变图像复原的补偿装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的畸变图像复原的补偿方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s101中，接收畸变图像畸变校正后的校正图像，将校正图像分割为校正图像块。

本发明适用于对广角镜头拍摄的畸变图像进行复原的系统或者平台，对畸变图像进行复原，即对畸变图像进行畸变校正并对畸变校正后的图像进行质量补偿的过程。在本发明实施例中，将畸变图像畸变校正后的校正图像全部分割为大小相等的校正图像块，以提高对畸变图像复原进行图像质量补偿的效率，这里的校正图像块不一定是具体的图像块，还可为图像特征。作为示例地，可通过图像网格化方法得到校正图像块，也可通过尺度不变特征转换(sift)提取校正图像的图像特征。具体地，畸变图像可包括桶形畸变图像、枕形畸变图像等。

在步骤s102中，根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，获得对应的第一图像块。

在本发明实施例中，预先训练好多个质心和多个内容滤波器，每个质心对应着一个类别、每个类别对应一个内容滤波器。根据训练质心时所用的聚类算法确定每个校正图像块所属的类别。在确定每个校正图像块所属的类别后，通过每个类别的内容滤波器对相应类别中的校正图像块进行一一补偿，得到每个校正图像块补偿后对应的图像块，为了便于区分，将该图像块称为第一图像块。

具体地，通过每个类别的内容滤波器对相应类别中的校正图像块进行一一补偿的公式为：

yi″＝ciyi'，其中，yi″为第i个类别的第一图像块，ci为第i个类别的内容滤波器，yi'为第i个类别的校正图像块。

在步骤s103中，对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块。

在本发明实施例中，可根据每个第一图像块中心点与校正图像中心点的距离，对每个第一图像块进行空间上的分类，分类后的每个类别对应一个预先训练好的空间滤波器。在确定每个第一图像块所属的类别后，通过每个类别的空间滤波器对相应类别中的第一图像块进行一一补偿，得到每个第一图像块补偿后对应的图像块，为了便于区分，将该图像块称为第二图像块。

具体地，通过每个类别的空间滤波器对相应类别中的第一图像块进行一一补偿的公式为：

yj＝sjyj″，其中，yj为第j个类别中的第二图像块，sj为第j个类别的空间滤波器，yj″为第j个类别中的第一图像块。

在步骤s104中，将所有第二图像块组合生成畸变图像对应的校正复原图像。

在本发明实施例中，校正图像块经过内容滤波器和空间滤波器补偿后生成第二图像块，由于内容滤波器和空间滤波器根据畸变过程的图像质量损失和畸变校正过程的图像质量损失训练得到，可认为畸变图像畸变过程和校正过程的图像质量损失已在较大程度地得到了补偿，因此由第二图像块组合构成畸变图像对应的校正复原图像。

具体地，质心、内容滤波器以及空间滤波器的训练流程详见实施例二。

在本发明实施例中，将畸变图像畸变校正后的校正图像分割为校正图像块，并结合训练好的内容滤波器和空间滤波器对校正图像块进行两次补偿，有效地对畸变图像复原过程中的图像质量损失进行补偿，有效地提高了畸变图像复原后的图像质量和图像清晰度。

实施例二：

图2示出了本发明实施例二提供的畸变图像复原的补偿方法中质心、内容滤波器以及空间滤波器的训练流程，详述如下：

在步骤s201中，接收训练图像并对训练图像进行畸变和畸变校正，生成校正训练图像，将训练图像和校正训练图像分别分割为训练图像块和校正训练图像块。

在本发明实施例中，可采用预设的相机畸变模型和相机校正方法对训练图像进行畸变和畸变校正(或反畸变)，生成校正训练图像。将训练图像和校正训练图像分别分割为训练图像块和校正训练图像块。作为示例地，采用ahmed和mallon等人提出的基于极坐标的多项式转换的相机模型对训练图像进行畸变和畸变校正。

在步骤s202中，对所有校正训练图像块进行聚类并获取聚类后的所有质心，根据所有训练图像块和聚类后的校正训练图像块，训练得到每个类别的内容滤波器。

在本发明实施例中，由于训练图像块与校正训练图像块之间的图像质量差别包括训练图像块畸变时损失的图像质量和畸变后校正时损失的图像质量，所以根据校正训练图像块和该校正训练图像块对应的训练图像块训练得到的内容滤波器有效地考虑到了这两方面的图像质量损失。

在本发明实施例中，通过预设的聚类算法(例如k-means算法)对校正训练图像块进行聚类并获取聚类后每个簇的质心，实现对校正图像块进行内容上的分类。在对所有校正训练图像块进行分类后，根据每个类别的校正训练图像块和该校正训练图像块对应的训练图像块，计算得到每个类别的内容滤波器。

具体地，根据内容滤波器的计算公式为：

其中，ci为第i个类别的内容滤波器，zi'为第i个类别中的校正训练图像块，zi为第i个类别中的校正训练图像块所对应的训练图像块，α为预设的正则化参数。

在步骤s203中，通过每个类别的内容滤波器对相应的校正训练图像块进行补偿，生成对应的第三图像块。

在本发明实施例中，在训练得到每个类别的内容滤波器后，通过每个类别的内容滤波器对该类别中的所有校正训练图像块一一地进行补偿，得到每个校正训练图像块补偿后的图像块，为了便于区别，将该图像块称为第三图像块。

在步骤s204中，对所有第三图像块进行空间分类，根据所有训练图像块和分类后的第三图像块，训练得到每个类别的空间滤波器。

在本发明实施例中，可根据每个第三图像块中心点与校正训练图像中心点的距离，对每个第三图像块进行空间上的分类，分类后根据每个类别的第三图像块与该第三图像块对应的训练图像块，计算得到每个类别的空间滤波器。

具体地，空间滤波器的计算公式为：

其中，sj为第j个类别的空间滤波器，zj″为第j个类别中的第三图像块，zj为第j个类别中的第三图像块对应的训练图像块。

在本发明实施例中，根据训练图像的训练图像块和校正训练图像的校正训练图像块，训练得到内容滤波器、空间滤波器以及质心，在训练过程中考虑到畸变过程的图像质量损失和校正过程的图像质量损失，从而训练得到的内容滤波器和空间滤波器能够有效地补偿畸变图像复原时的图像质量。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘、光盘等。

实施例三：

图3示出了本发明实施例四提供的畸变图像复原的补偿装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

图像分割模块31，用于接收畸变图像畸变校正后的校正图像，将校正图像分割为校正图像块。

在本发明实施例中，将畸变图像畸变校正后的校正图像全部分割为大小相等的校正图像块，从而有效提高对畸变图像复原进行图像质量补偿的效率。

初次补偿模块32，用于根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，获得对应的第一图像块。

在本发明实施例中，根据训练质心时所用的聚类算法确定每个校正图像块所属的类别。在确定每个校正图像块所属的类别后，通过每个类别的内容滤波器对相应类别中的校正图像块进行一一补偿，得到每个校正图像块补偿后对应的图像块，为了便于区分，将该图像块称为第一图像块。

具体地，通过每个类别的内容滤波器对相应类别中的校正图像块进行一一补偿的公式为：

yi″＝ciyi'，其中，yi″为第i个类别的第一图像块，ci为第i个类别的内容滤波器，yi'为第i个类别的校正图像块。

再次补偿模块33，用于对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块。

在本发明实施例中，可根据每个第一图像块中心点与校正图像中心点的距离，对每个第一图像块进行空间上的分类，分类后的每个类别对应一个预先训练好的空间滤波器。在确定每个第一图像块所属的类别后，通过每个类别的空间滤波器对相应类别中的第一图像块进行一一补偿，得到每个第一图像块补偿后对应的图像块，为了便于区分，将该图像块称为第二图像块。

具体地，通过每个类别的空间滤波器对相应类别中的第一图像块进行一一补偿的公式为：

yj＝sjyj″，其中，yj为第j个类别中的第二图像块，sj为第j个类别的空间滤波器，yj″为第j个类别中的第一图像块。

组合恢复模块34，用于将所有第二图像块组合生成畸变图像对应的校正复原图像。

在本发明实施例中，校正图像块经过内容滤波器和空间滤波器补偿后生成第二图像块，由于内容滤波器和空间滤波器根据畸变过程的图像质量损失和畸变校正过程的图像质量损失训练得到，可认为畸变图像畸变过程和校正过程的图像质量损失已在较大程度地得到了补偿，因此由第二图像块组合构成畸变图像对应的校正复原图像。

在本发明实施例中，将畸变图像畸变校正后的校正图像分割为校正图像块，并结合训练好的内容滤波器和空间滤波器对校正图像块进行两次补偿，有效地对畸变图像复原过程中的图像质量损失进行补偿，有效地提高了畸变图像复原后的图像质量和图像清晰度。

实施例四：

图4示出了本发明实施例四提供的畸变图像复原的补偿装置的结构，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

训练分割模块41，用于接收训练图像并对训练图像进行畸变和畸变校正，生成校正训练图像，将训练图像和校正训练图像分别分割为训练图像块和校正训练图像块。

在本发明实施例中，可采用预设的相机畸变模型和相机校正方法对训练图像进行畸变和畸变校正(或反畸变)，生成校正训练图像。将训练图像和校正训练图像分别分割为训练图像块和校正训练图像块。

第一计算模块42，用于对所有校正训练图像块进行聚类并获取聚类后的所有质心，根据所有训练图像块和聚类后的校正训练图像块，训练得到每个类别的内容滤波器。

在本发明实施例中，通过预设的聚类算法(例如k-means算法)对校正训练图像块进行聚类并获取聚类后每个簇的质心，实现对校正图像块进行内容上的分类。根据每个类别的校正训练图像块和该校正训练图像块对应的训练图像块，计算得到每个类别的内容滤波器。

具体地，根据内容滤波器的计算公式为：

其中，ci为第i个类别的内容滤波器，zi'为第i个类别中的校正训练图像块，zi为第i个类别中的校正训练图像块所对应的训练图像块，α为预设的正则化参数。

训练补偿模块43，用于通过每个类别的内容滤波器对相应的校正训练图像块进行补偿，生成对应的第三图像块。

在本发明实施例中，在训练得到每个类别的内容滤波器后，通过每个类别的内容滤波器对该类别中的所有校正训练图像块一一地进行补偿，得到每个校正训练图像块补偿后的图像块，为了便于区别，将该图像块称为第三图像块。

第二计算模块44，用于对所有第三图像块进行空间分类，根据所有训练图像块和分类后的第三图像块，训练得到每个类别的空间滤波器。

在本发明实施例中，可根据每个第三图像块中心点与校正训练图像中心点的距离，对每个第三图像块进行空间上的分类，分类后根据每个类别的第三图像块与该第三图像块对应的训练图像块，计算得到每个类别的空间滤波器。

具体地，空间滤波器的计算公式为：

其中，sj为第j个类别的空间滤波器，zj″为第j个类别中的第三图像块，zj为第j个类别中的第三图像块对应的训练图像块。

图像分割模块45，用于接收畸变图像畸变校正后的校正图像，将校正图像分割为校正图像块。

初次补偿模块46，用于根据训练好的质心对所有校正图像块进行内容分类，并根据训练好的内容滤波器对内容分类后的校正图像块进行补偿，获得对应的第一图像块。

再次补偿模块47，用于对所有第一图像块进行空间分类，并根据训练好的空间滤波器对空间分类后的第一图像块进行补偿，生成对应的第二图像块。

组合恢复模块48，用于将所有第二图像块组合生成畸变图像对应的校正复原图像。

优选地，第一计算模块42包括：

第一计算子模块421，用于根据聚类后每个类别中的校正训练图像块和每个类别中的校正训练图像块所对应的训练图像块。

优选地，第二计算模块44包括：

第二计算子模块441，用于根据分类后每个类别中的第三图像块和每个类别中的第三图像块所对应的训练图像块，计算每个类别的空间滤波器。

优选地，再次补偿模块47包括：

空间分类模块471，用于根据所有第一图像块的中心点和校正图像的中心点的距离，对所有第一图像块进行分类；

空间补偿模块472，用于通过训练好的每个类别的空间滤波器对相应类别的第一图像块进行补偿，生成每个第一图像块对应的第二图像块。

在本发明实施例中，根据训练图像和校正训练图像块，训练出能够对图像在畸变过程和校正过程损失的图像质量进行补偿的内容滤波器和空间滤波器，并由内容滤波器和空间滤波器对校正后的畸变图像进行两次补偿，从而有效地对畸变图像复原过程中的图像质量损失进行补偿，有效地提高了畸变图像复原后的图像质量和图像清晰度。

在本发明实施例中，畸变图像复原的补偿装置的各模块可由相应的硬件或软件模块实现，各模块可以为独立的软、硬件模块，也可以集成为一个软、硬件模块，在此不用以限制本发明。图像分割模块45至组合恢复模块48的各模块的具体实施方式可参考前述实施例一中各步骤的描述，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。