图像处理方法及设备与流程

本发明涉及计算机领域，尤其涉及一种图像处理方法及设备。

背景技术：

传统的180度鱼眼图像畸变成像可以获得比较完整的视角，但中心感兴趣区域的成像细节体现不明显，无法满足相应的需求。现有技术虽然可以针对鱼眼图像上感兴趣区域做放大畸变，以体现更多的细节，但由于鱼眼图像在不同的区域畸变程度不同，感兴趣区域成像后不同处存在不同的畸变，因此存在图像扭曲等问题。

技术实现要素：

本发明的一个目的是提供一种图像处理方法及设备，能够解决鱼眼图像作放大畸变后存在图像扭曲的问题。

根据本发明的一个方面，提供了一种图像处理方法，该方法包括：

将二维畸变图像映射到三维球面上，从所述三维球面中选取待放大球面区域；

将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像；

在所述二维平面对所述待放大平面图像进行放大，得到放大后的平面图像，将所述放大后的平面图像投影回所述三维球面上。

进一步的，上述方法中，所述二维畸变图像包括二维鱼眼图像。

进一步的，上述方法中，将二维畸变图像映射到三维球面上，包括：

建立二维畸变图像中的每个像素点的坐标与三维球面中的每个像素点的坐标的第一映射关系；

根据所述第一映射关系将二维畸变图像映射到三维球面上。

进一步的，上述方法中，将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像包括：

建立所述待放大球面区域中的每个像素点的坐标与所述三维球面之外的二维平面中的像素点的坐标的第二映射关系；

根据所述第二映射关系，将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像。

进一步的，上述方法中，所述三维球面为三维半球面。

进一步的，上述方法中，将二维畸变图像映射到三维球面上，包括：

建立xyz轴的三维坐标系；

以所述xyz轴的三维坐标系的原点为圆心建立三维半球面，其中，所述三维半球面的中心轴与xyz轴中的其中一轴重合；

将二维畸变图像映射到所建立的三维半球面上。

进一步的，上述方法中，建立所述待放大球面区域中的每个像素点的坐标与所述三维球面之外的二维平面中的像素点的坐标的第二映射关系，包括：

对所述待放大球面区域上的每个像素点与所述原点进行连线并延长至所述二维平面，获取各条连线延长后与所述二维平面的交点的坐标；

根据所述二维平面的交点的坐标，将所述待放大球面区域上的每个像素点投影至所述二维平面上。

进一步的，上述方法中，将所述放大后的平面图像投影回所述三维球面上，包括：

对所述二维平面上放大后的平面图像上的每个像素点与所述原点进行连线，获取各条连线与所述三维半球面的交点的坐标；

根据所述三维半球面的交点的坐标，将所述二维平面上放大后的平面图像的对应的像素点投影回所述三维半球面上。

进一步的，上述方法中，从所述三维球面中选取待放大球面区域，包括：

获取从所述三维半球面中选取的最大视角，根据所述最大视角从所述三维半球面中选取待放大球面区域。

进一步的，上述方法中，所述最大视角的范围为0°<α<90°。

根据本申请的另一面，还提供一种图像处理设备，该设备包括：

选取装置，将二维畸变图像映射到三维球面上，从所述三维球面中选取待放大球面区域；

投影装置，将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像；

放大投影装置，在所述二维平面对所述待放大平面图像进行放大，得到放大后的平面图像，将所述放大后的平面图像投影回所述三维球面上。

根据本申请的另一面，还提供一种存储可执行指令的非暂态计算机可读存储介质，在所述可执行指令由电子设备执行时，使得所述电子设备：

将二维畸变图像映射到三维球面上，从所述三维球面中选取待放大球面区域；

将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像；

在所述二维平面对所述待放大平面图像进行放大，得到放大后的平面图像，将所述放大后的平面图像投影回所述三维球面上。

根据本发明的另一方面，还提供了一种，该设备包括：

与现有技术相比，本申请通过将映射在三维球面上的畸变后的图像映射到远处二维平面，并在远处二维平面上做图像放大，将远处二维平面上放大的图像映射回三维球面，一方面放大了感兴趣的待放大球面区域的图像，能呈现更多的图像细节，另一方面由于放大操作在远处二维平面上完成，避免了在三维球面上做放大带来的图像扭曲现象。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出本发明一实施例的将二维畸变图像映射到三维球面上的示意图；

图2示出本发明一实施例的将所述待放大球面区域投影到所述三维球面之外的二维平面上的示意图；

图3示出本发明另一实施例的将所述待放大球面区域投影到所述三维球面之外的二维平面上的示意图；

图4示出根据本发明一实施例的待放大平面图像和放大后的平面图像的示意图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

本申请提供一种图像处理方法，该方法包括：

步骤s1，将二维畸变图像映射到三维球面上，从所述三维球面中选取待放大球面区域；

在此，所述二维畸变图像可以包括二维鱼眼图像，例如，可以获取180度鱼眼相机视频中的每一帧图像作为二维畸变图像，待放大球面区域可以是一感兴趣区域，如图1所示，可以将二维畸变图像1映射到三维球面上，所述三维球面可以是一个完整的球形球面，也可以是如图1～3所示的三维半球面2，从所述三维球面中选取的待放大球面区域可以是三维半球面或如图1～3所示的三维半球面中的全部或部分区域21；

步骤s2，将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像；

在此，如图2～4所示，可以将所述待放大球面区域21投影到所述三维半球面之外的二维平面3上，得到待放大平面图像31；

步骤s3，在所述二维平面对所述待放大平面图像进行放大，得到放大后的平面图像，将所述放大后的平面图像投影回所述三维半球面上；

在此，如图2～4所示，在所述二维平面3对所述待放大平面图像按所需放大倍数进行放大，得到放大后的平面图像32，将所述放大后的平面图像32投影回所述三维半球面上2。

本实施例通过将映射在三维球面上的畸变后的图像映射到远处二维平面，并在远处二维平面上做图像放大，将远处二维平面上放大的图像映射回三维球面，一方面放大了感兴趣的待放大球面区域的图像，能呈现更多的图像细节，另一方面由于放大操作在远处二维平面上完成，避免了在三维球面上做放大带来的图像扭曲现象。

本申请一实施例的图像处理方法中，步骤s1，将二维畸变图像映射到三维球面上，包括：

步骤s11，建立二维畸变图像中的每个像素点的坐标与三维球面中的每个像素点的坐标的第一映射关系；

步骤s12，根据所述第一映射关系将二维畸变图像映射到三维球面上。

在此，如图1所示，可以针对单张鱼眼图像建立图像坐标映射表，将鱼眼图像上的单个像素坐标映射到单位球面上，得到在单位球面上的映射坐标，具体可以建立二维畸变图像1中的每个像素点的坐标p0(x0,y0)与三维半球面2中的每个像素点的坐标p(x,y,z)的第一映射关系；然后根据所述第一映射关系即p0(x0,y0)与p(x,y,z)的对应关系将二维畸变图像映射到三维半球面2上，从而可以将二维畸变图像1精确映射到三维球面2上。

本申请一实施例的图像处理方法中，步骤s2，将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像包括：

步骤s21，建立所述待放大球面区域中的每个像素点的坐标与所述三维球面之外的二维平面中的像素点的坐标的第二映射关系；

步骤s22，根据所述第二映射关系，将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像。

在此，如图2～4所示，可以建立所述待放大球面区域21中的每个像素点的坐标与所述三维半球面2之外的二维平面3中的像素点的坐标的第二映射关系；根据所述第二映射关系，将所述待放大球面区域21投影到所述三维半球面2之外的二维平面3上，得到待放大平面图像31，从而可以将所述待放大球面区域21精确投影到所述三维球面2之外的二维平面3上。

本申请一实施例的图像处理方法中，如图1所示，步骤s1，将二维畸变图像映射到三维球面上，包括：

建立xyz轴的三维坐标系；

以所述xyz轴的三维坐标系的原点o为圆心建立三维半球面2，其中，所述三维半球面2的中心轴与xyz轴中的其中一轴重合；

将二维畸变图像1映射到所建立的三维半球面2上。

在此，如图2所示，后续所建立的二维平面3可以与所述三维半球面2的中心轴垂直，且与所述xyz轴的另外两轴平行。图3所示，后续所建立的二维平面3也可以与所述三维半球面2的中心轴成任意角度。

本申请一实施例的图像处理方法中，如图2～3所示，步骤s21，建立所述待放大球面区域中的每个像素点的坐标与所述三维球面之外的二维平面中的像素点的坐标的第二映射关系，包括：

步骤s211，对所述待放大球面区域21上的每个像素点与所述原点o进行连线并延长至所述二维平面3，获取各条连线延长后与所述二维平面的交点的坐标；

步骤s212，根据所述二维平面3的交点的坐标，将所述待放大球面区域21上的每个像素点投影至所述二维平面3上，得到待放大平面图像31，从而可以精确建立所述待放大球面区域中的每个像素点的坐标与所述三维球面之外的二维平面中的像素点的坐标的第二映射关系。

本申请一实施例的图像处理方法中，如图2和3所示，步骤s3，将所述放大后的平面图像投影回所述三维球面上，包括：

步骤s31，对所述二维平面3上放大后的平面图像32上的每个像素点与所述原点o进行连线，获取各条连线与所述三维半球面2的交点的坐标；

步骤s32，根据所述三维半球面2的交点的坐标，将所述二维平面3上放大后的平面图像32的对应的像素点投影回所述三维半球面2上，从而可以精确将所述放大后的平面图像投影回所述三维半球面上。

本申请一实施例的图像处理方法中，步骤s1中的从所述三维球面中选取待放大球面区域，包括：

获取从所述三维半球面中选取的最大视角，根据所述最大视角从所述三维半球面中选取待放大球面区域。

在此，所述最大视角可以是从所述三维半球面中选取的任意角度，例如，如图2所示，可以是从所述三维半球面2中选取的一个中心角度，如图3所示，还可以是从所述三维半球面2中选取的一个非中心角度。

本申请一实施例中，可以设置感兴趣的待放大球面区域21的两个参数α和β，α表示待放大球面区域21的最大视角，所述最大视角的范围可以为0°<α<90°，β表示待放大球面区域21在二维平面3上的放大倍数，将三维半球面2上待放大球面区域21内的图像投影在距离三维半球面2的圆心o的距离为d的二维平面3上，将三维球面2上待放大球面区域21内的坐标(x,y,z)映射到二维平面3上的坐标(x',z')。在二维平面3上建立如图4所示的平面直角坐标系，矩形区域31为投影在二维平面3上的待放大平面图像31，即在图4中满足条件：的区域；

图4中矩形区域32为放大后的平面图像32，矩形区域32的边长为矩形区域31的边长*β，即在图4坐标系中满足条件：的区域；

由三维半球面2的圆心o坐标(0,0,0)和二维平面3上的放大后的平面图像32的坐标(x',z')确定的连线在三维半球面2上的交点即为放大后的平面图像32投影回三维半球面2的坐标；

根据二维平面3上的坐标(x',z')和所述连线在三维半球面2上的交点坐标的对应关系，完成将放大后的平面图像32无畸变放大后投影回三维半球面2。

根据本申请的另一面，还提供一种图像处理设备，该设备包括：

选取装置，将二维畸变图像映射到三维球面上，从所述三维球面中选取待放大球面区域；

在此，所述二维畸变图像可以包括二维鱼眼图像，例如，可以获取180度鱼眼相机视频中的每一帧图像作为二维畸变图像，待放大球面区域可以是一感兴趣区域，如图1所示，可以将二维畸变图像1映射到三维球面上，所述三维球面可以是一个完整的球形球面，也可以是如图1～3所示的三维半球面2，从所述三维球面中选取的待放大球面区域可以是三维半球面或如图1～3所示的三维半球面中的全部或部分区域21；

投影装置，将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像；

在此，如图2～4所示，可以将所述待放大球面区域21投影到所述三维半球面之外的二维平面3上，得到待放大平面图像31；

放大投影装置，在所述二维平面对所述待放大平面图像进行放大，得到放大后的平面图像，将所述放大后的平面图像投影回所述三维球面上。

在此，如图2～4所示，在所述二维平面3对所述待放大平面图像按所需放大倍数进行放大，得到放大后的平面图像32，将所述放大后的平面图像32投影回所述三维半球面上2。

本实施例通过将映射在三维球面上的畸变后的图像映射到远处二维平面，并在远处二维平面上做图像放大，将远处二维平面上放大的图像映射回三维球面，一方面放大了感兴趣的待放大球面区域的图像，能呈现更多的图像细节，另一方面由于放大操作在远处二维平面上完成，避免了在三维球面上做放大带来的图像扭曲现象。

本申请一实施例的图像处理设备中，所述选取装置，用于建立二维畸变图像中的每个像素点的坐标与三维球面中的每个像素点的坐标的第一映射关系；根据所述第一映射关系将二维畸变图像映射到三维球面上。

在此，如图1所示，可以针对单张鱼眼图像建立图像坐标映射表，将鱼眼图像上的单个像素坐标映射到单位球面上，得到在单位球面上的映射坐标，具体可以建立二维畸变图像1中的每个像素点的坐标p0(x0,y0)与三维半球面2中的每个像素点的坐标p(x,y,z)的第一映射关系；然后根据所述第一映射关系即p0(x0,y0)与p(x,y,z)的对应关系将二维畸变图像映射到三维半球面2上，从而可以将二维畸变图像1精确映射到三维球面2上。

本申请一实施例的图像处理设备中，所述投影装置，用于建立所述待放大球面区域中的每个像素点的坐标与所述三维球面之外的二维平面中的像素点的坐标的第二映射关系；根据所述第二映射关系，将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像。

在此，如图2～4所示，可以建立所述待放大球面区域21中的每个像素点的坐标与所述三维半球面2之外的二维平面3中的像素点的坐标的第二映射关系；根据所述第二映射关系，将所述待放大球面区域21投影到所述三维半球面2之外的二维平面3上，得到待放大平面图像31，从而可以将所述待放大球面区域21精确投影到所述三维球面2之外的二维平面3上。

本申请一实施例的图像处理设备中，所述选取装置，用于建立xyz轴的三维坐标系；以所述xyz轴的三维坐标系的原点o为圆心建立三维半球面2，其中，所述三维半球面的中心轴与xyz轴中的其中一轴重合；将二维畸变图像1映射到所建立的三维半球面2上。

在此，如图2所示，后续所建立的二维平面3可以与所述三维半球面2的中心轴垂直，且与所述xyz轴的另外两轴平行。图3所示，后续所建立的二维平面3也可以与所述三维半球面2的中心轴成任意角度。

本申请一实施例的图像处理设备中，如图2～3所示，所述投影装置，用于对所述待放大球面区域21上的每个像素点与所述原点o进行连线并延长至所述二维平面3，获取各条连线延长后与所述二维平面3的交点的坐标；根据所述二维平面3的交点的坐标，将所述待放大球面区域21上的每个像素点投影至所述二维平面3上，得到待放大平面图像31，从而可以精确建立所述待放大球面区域中的每个像素点的坐标与所述三维球面之外的二维平面中的像素点的坐标的第二映射关系。

本申请一实施例的图像处理设备中，所述放大投影装置，用于对所述二维平面上放大后的平面图像32上的每个像素点与所述原点o进行连线，获取各条连线与所述三维半球面2的交点的坐标；根据所述三维半球面2的交点的坐标，将所述二维平面3上放大后的平面图像32的对应的像素点投影回所述三维半球面2上,，从而可以精确将所述放大后的平面图像投影回所述三维半球面上。

本申请一实施例的图像处理设备中，所述选取装置，用于获取从所述三维半球面中选取的最大视角，根据所述最大视角从所述三维半球面中选取待放大球面区域。

在此，所述最大视角可以是从所述三维半球面中选取的任意角度，例如，如图2所示，可以是从所述三维半球面2中选取的一个中心角度，如图3所示，还可以是从所述三维半球面2中选取的一个非中心角度。所述最大视角的范围可以为0°<α<90°。

根据本申请的另一面，还提供一种存储可执行指令的非暂态计算机可读存储介质，在所述可执行指令由电子设备执行时，使得所述电子设备：

将二维畸变图像映射到三维球面上，从所述三维球面中选取待放大球面区域；

将所述待放大球面区域投影到所述三维球面之外的二维平面上，得到待放大平面图像；

在所述二维平面对所述待放大平面图像进行放大，得到放大后的平面图像，将所述放大后的平面图像投影回所述三维球面上。

综上所述，本申请通过将映射在三维球面上的畸变后的图像映射到远处二维平面，并在远处二维平面上做图像放大，将远处二维平面上放大的图像映射回三维球面，一方面放大了感兴趣的待放大球面区域的图像，能呈现更多的图像细节，另一方面由于放大操作在远处二维平面上完成，避免了在三维球面上做放大带来的图像扭曲现象。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(asic)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。