像素修补方法、装置、电子设备及计算机可读存储介质与流程

1.本申请属于遥感图像处理领域，具体涉及一种像素修补方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.遥感图像经过一系列的处理后，其有效矢量范围会发生变化。此时，遥感图像中不属于有效矢量范围内的像素对于遥感图像的有效矢量范围内的像素而言，是背景像素(即无效像素)。对于遥感图像而言，无效像素并不会起到正向作用，相反的，由于无效像素的存在，当对遥感图像进行后续图像处理时，会增加相关的无效消耗。


技术实现要素：

3.有鉴于此，本申请的目的在于提供一种像素修补方法、装置、电子设备及计算机可读存储介质，用于改善通过现有的无效像素去除方案所导致的后续显示效果不佳的问题。
4.本申请的实施例是这样实现的：
5.第一方面，本申请实施例提供一种像素修补方法，所述方法包括：获取待修补遥感图像；确定所述待修补遥感图像中的待修补区域；遍历所述待修补区域中所包括的像素的灰度值，确定出待修补像素；针对所述待修补像素，根据其所属的所述待修补区域所包括的非待修补像素，确定其修补灰度值，并根据所述修补灰度值对其进行像素修补。由于通过该方法，可以对待修补像素的灰度值进行修补，从而使得待修补遥感图像上的孔洞消失，从而提高遥感图像的整体显示效果。
6.结合第一方面实施例，在一种可能的实施方式中，所述确定所述待修补遥感图像中的待修补区域，包括：将所述待修补遥感图像所包括的全局图像确定为所述待修补区域。直接将整个待修补遥感图像所包括的全局图像确定为待修补区域，可以减少本方案的执行流程，有利于提高像素修补效率。
7.结合第一方面实施例，在一种可能的实施方式中，所述确定所述待修补遥感图像中的待修补区域，包括：获取所述待修补遥感图像所包括的经纬度范围信息以及所述待修补遥感图像中的有效矢量范围所包括的经纬度范围信息；根据预设的切割规则对所述待修补遥感图像进行切割，得到多个瓦片图像；根据所述待修补遥感图像的经纬度范围信息及所述切割规则，确定每个所述瓦片图像所包括的经纬度范围；针对每个瓦片图像，将其所包括的经纬度范围与所述待修补遥感图像中的有效矢量范围所包括的经纬度范围信息之间的交集部分所对应的区域确定为所述待修补区域。在这种实施方式中，每个待修补区域所对应的经纬度范围较小，有利于提高像素修补的准确度。
8.结合第一方面实施例，在一种可能的实施方式中，每个像素包括多个波段，每个波段存在对应的灰度值；所述遍历所述待修补区域中所包括的像素的灰度值，确定出待修补像素，包括：针对所述待修补区域中的每个像素，在该像素的所有波段对应的灰度值均为同一特定值时，确定该像素为所述待修补像素。
9.结合第一方面实施例，在一种可能的实施方式中，所述针对所述待修补像素，根据其所属的所述待修补区域所包括的非待修补像素，确定其修补灰度值，包括：针对所述待修补像素，获取其所属的所述待修补区域所包括的非待修补像素的灰度值以及各个非待修补像素与该待修补像素之间的距离；针对所述待修补像素，根据其所属的所述待修补区域的各个非待修补像素的灰度值以及各个非待修补像素与该待修补像素之间的距离，通过反距离权重插值算法计算出该待修补像素的修补灰度值。
10.结合第一方面实施例，在一种可能的实施方式中，所述根据所述修补灰度值对其进行像素修补，包括：针对所述待修补像素，用与其对应的修补灰度值替换其原始灰度值；或者，针对所述待修补像素，将与其对应的修补灰度值进行优化处理，得到优化灰度值，再用与其对应的优化灰度值替换其原始灰度值。通过对修补灰度值进行优化处理，可以减少偶然像素误差，提升后续遥感图像的显示效果。
11.结合第一方面实施例，在一种可能的实施方式中，所述将与其对应的修补灰度值进行优化处理，包括：根据该待修补像素在其所属的待修补区域中的位置，以及预设的平滑函数对该待修补像素的修补灰度值进行平滑处理，得到该待修补像素的平滑灰度值rp；计算该待修补像素的周边非待修补像素的灰度值均值rj；根据所述rj与所述rp之差的绝对值与预设灰度值阈值之间的大小关系，对所述rp进行调整，得到所述优化灰度值。
12.第二方面，本申请实施例提供一种像素修补装置，所述装置包括：获取模块、确定模块、遍历模块以及修补模块。获取模块，用于获取待修补遥感图像；确定模块，用于确定所述待修补遥感图像中的待修补区域；遍历模块，用于遍历所述待修补区域中所包括的像素的灰度值，确定出待修补像素；修补模块，用于针对所述待修补像素，根据其所属的所述待修补区域所包括的非待修补像素，确定其修补灰度值，并根据所述修补灰度值对其进行像素修补。
13.结合第二方面实施例，在一种可能的实施方式中，所述确定模块，用于将所述待修补遥感图像所包括的全局图像确定为所述待修补区域。
14.结合第二方面实施例，在一种可能的实施方式中，所述确定模块，用于获取所述待修补遥感图像所包括的经纬度范围信息以及所述待修补遥感图像中的有效矢量范围所包括的经纬度范围信息；根据预设的切割规则对所述待修补遥感图像进行切割，得到多个瓦片图像；根据所述待修补遥感图像的经纬度范围信息及所述切割规则，确定每个所述瓦片图像所包括的经纬度范围；针对每个瓦片图像，将其所包括的经纬度范围与所述待修补遥感图像中的有效矢量范围所包括的经纬度范围信息之间的交集部分所对应的区域确定为所述待修补区域。
15.结合第二方面实施例，在一种可能的实施方式中，每个像素包括多个波段，每个波段存在对应的灰度值；所述遍历模块，用于针对所述待修补区域中的每个像素，在该像素的所有波段对应的灰度值均为同一特定值时，确定该像素为所述待修补像素。
16.结合第二方面实施例，在一种可能的实施方式中，所述修补模块，用于针对所述待修补像素，获取其所属的所述待修补区域所包括的非待修补像素的灰度值以及各个非待修补像素与该待修补像素之间的距离；针对所述待修补像素，根据其所属的所述待修补区域的各个非待修补像素的灰度值以及各个非待修补像素与该待修补像素之间的距离，通过反距离权重插值算法计算出该待修补像素的修补灰度值。
或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
30.在现有技术中，为了避免无效消耗，在进行后续图像处理前，需要将遥感图像中的无效像素去除，在现有技术中，一般直接将其无效像素的灰度值抹除。然而，在遥感图像的有效矢量范围内也可能存在与背景像素的灰度值一致的像素，若按照现有技术的方案来去除无效像素，将会导致遥感图像的有效矢量范围内的一些像素的灰度值也被抹除，从而使得遥感图像的有效矢量范围内出现空像素，即出现孔洞，影响遥感图像的整体显示效果。
31.针对现有技术中的无效像素去除方法所导致的缺陷(使得遥感图像的有效矢量范围内出现孔洞，影响后续显示效果)是申请人在经过实践并仔细研究后得出的结果，因此，上述缺陷的发现过程以及在下文中本申请实施例针对上述缺陷所提出的解决方案，都应该被认定为申请人对本申请做出的贡献。
32.为了解决上述问题，本申请实施例提供一种像素修补方法、装置、电子设备及计算机可读存储介质，用于改善通过现有的无效像素去除方案所导致的遥感图像的整体显示效果不佳的问题。
33.该技术可采用相应的软件、硬件以及软硬结合的方式实现。以下对本申请实施例进行详细介绍。
34.下面将针对本申请所提供的像素修补方法进行介绍。
35.请参照图1，本申请实施例提供一种像素修补方法，包括以下步骤。
36.步骤s110：获取待修补遥感图像。
37.值得指出的是，在本申请实施例中，待修补遥感图像为按照常规方式对遥感图像进行正射、校正等一系列操作处理后所得到的遥感图像，因此，在待修补遥感图像的有效矢量范围内大概率存在孔洞。
38.步骤s120：确定所述待修补遥感图像中的待修补区域。
39.为了对待修补遥感图像中的孔洞进行修补，需要先确定出待修补遥感图像的待修补区域。
40.在一种可选的实施方式中，可以直接将整个待修补遥感图像所包括的全局图像确定为待修补区域。
41.在另一种可选的实施方式中，为了尽可能地提高像素修补的准确度，可以将待修补遥感图像的局部图像确定为待修补区域。
42.在这种实施方式下，可以先获取待修补遥感图像所包括的经纬度范围信息、待修补遥感图像中的有效矢量范围所包括的经纬度范围信息。
43.当然，待修补遥感图像所包括的经纬度范围信息可以通过读取待修补遥感图像的属性信息获取到，而待修补遥感图像中的有效矢量范围所包括的经纬度范围信息，可以通过对待修补遥感图像进行有效矢量范围的提取后记录在待修补遥感图像的属性信息中。
44.此外，还可以按照预设的切割规则，例如tms(tile map service，瓦片地图服务)标准，对整个待修补遥感图像进行切割，从而得到待修补遥感图像所包括的多个瓦片图像。
45.在得到多个瓦片图像后，由于待修补遥感图像所包括的经纬度范围已知，因此，可以根据切割后，待修补遥感图像在经度方向上所包括的瓦片图像数量以及待修补遥感图像在纬度方向上所包括的瓦片图像数量，确定出每个瓦片图像所包括的经纬度范围。
46.在得到每个瓦片图像所包括的经纬度范围后，针对每个瓦片图像，可以将其所包括的经纬度范围与待修补遥感图像的有效矢量范围所包括的经纬度范围进行比较。其中，若两个经纬度范围存在交集，则将该瓦片图像的交集部分所对应的区域确定为待修补区域。
47.在这种实施方式下，如图2所示，遥感图像被切割为多个瓦片图像，每个小格代表一个瓦片图像，针对瓦片图像而言，有可能整个瓦片图像均不属于待修补区域，例如图2中的瓦片图像6、瓦片图像19；有可能瓦片图像中的一部分区域属于待修补区域，例如图2中的瓦片图像1、瓦片图像2、瓦片图像3、瓦片图像4、瓦片图像5、瓦片图像7、瓦片图像11、瓦片图像12、瓦片图像13、瓦片图像14、瓦片图像18、瓦片图像20、瓦片图像21、瓦片图像22、瓦片图像23、瓦片图像24；还有可能整个瓦片图像都是待修补区域，例如图2中的瓦片图像8、瓦片图像9、瓦片图像10、瓦片图像15、瓦片图像16、瓦片图像17。
48.步骤s130：遍历所述待修补区域中所包括的像素的灰度值，确定出待修补像素。
49.在确定出待修补区域后，针对每个待修补区域，可以通过遍历其所包括的每个像素的灰度值，从而确定出每个待修补区域所包括的待修补像素。
50.在本申请实施例中，每个像素包括多个波段，且每个像素所包括的每个波段均存在对应的灰度值。也就是说，每个像素的灰度值包括该像素所包括的各个波段的灰度值。
51.至于每个像素所包括的波段的个数，则与该像素所属的待修补遥感图像的图像格式有关。例如，当待修补遥感图像的图像格式为rgb格式时，每个像素包括三个波段，分别为r(红)波段、g(绿)波段以及b(蓝)波段；当待修补遥感图像的图像格式为rgbn格式时，每个像素包括四个波段，分别为r(红)波段、g(绿)波段、b(蓝)波段以及n(近红)波段。
52.可选的，在一些实施方式中，可以对遥感图像进行正射、校正等一系列操作处理时对无效像素预设一个特定值。在此前提下，针对待修补遥感图像的待修补区域所包括的每个像素，在该像素的所有波段对应的灰度值均为该同一特定值时，则确定该像素为待修补像素，否则，确定该像素为非待修补像素。
53.其中，特定值的取值可以根据实际情况进行确定，例如特定值可以为
‑
99999999、99999999或0等。
54.当然，值得指出的是，该特定值需要与预先进行无效像素去除处理时所确定的无效像素的灰度值相同。
55.假设特定值为99999999，且假设待修补遥感图像的图像格式为rgb格式。
56.针对该rgb格式的待修补遥感图像，若在遍历过程中，检测到该待修补遥感图像的待修补区域的像素a所包括的r波段的灰度值为99999999，且像素a所包括的g波段的灰度值为99999999，且像素a所包括的b波段的灰度值为99999999，那么可以确定像素a为待修补像素。若检测到该待修补遥感图像的待修补区域的像素b所包括的r波段的灰度值为99999999，且像素b所包括的g波段的灰度值为99999999，但像素b所包括的b波段的灰度值不为99999999，那么可以确定像素b为非待修补像素。
57.通过上述方式，可以确定出每个待修补区域所包括的待修补像素以及非待修补像
素，其中，各个待修补像素所组成的区域即为待修补遥感图像上的孔洞。
58.步骤s140：针对所述待修补像素，根据其所属的所述待修补区域所包括的非待修补像素，确定其修补灰度值，并根据所述修补灰度值对其进行像素修补。
59.本申请实施例的主要目的在于对待修补像素的灰度值进行修补。
60.具体的，针对每个待修补像素，可以根据该待修补像素所属的待修补区域所包括的非待修补像素，确定与该待修补像素对应的修补灰度值，以便后续根据修补灰度值来对该待修补像素的灰度值进行调整。
61.在一些实施方式中，与待修补像素对应的修补灰度值的确定过程可以如下所示。
62.针对每个待修补像素，可以先获取其所属的待修补区域所包括的每个非待修补像素的灰度值a
i
以及每个非待修补像素与该待修补像素之间的距离d
i
，其中，i用于表征第i个非待修补像素。
63.后续，可以将a
i
以及d
i
应用到反距离权重插值算法中，以距离d
i
为权重，计算a
i
对于该待修补像素的修补灰度值的贡献程度，从而确定出该待修补像素的修补灰度值r1。
64.在确定出与每个待修补像素对应的修补灰度值r1后，即可以根据待修补像素的修补灰度值r1，来对该待修补像素的灰度值进行调整。
65.在一种可选的实施方式中，针对每个待修补像素，可以直接用与其对应的修补灰度值r1来替换其原始灰度值r0，从而达到像素修补的目的。
66.在一种可选的实施方式中，针对每个待修补像素，还可以对与其对应的修补灰度值r1进行优化处理，得到与待修补像素对应的优化灰度值r2，然后再用与其对应的优化灰度值r2替换其原始灰度值r0，从而达到像素修补的目的，以减少偶然像素误差，提升后续遥感图像的显示效果。
67.可选的，优化处理的过程如下。
68.针对每个待修补像素，根据该待修补像素在其所属的待修补区域中的位置，采用预设的平滑函数对该待修补像素的修补灰度值r1进行平滑处理，得到该待修补像素的平滑灰度值rp；此外，计算该待修补像素的周边非待修补像素的灰度值均值rj，具体地，该待修补像素的周边非待修补像素是指与该待修补像素相邻的8个像素中的非待修补像素。
69.比较|rj
‑
rp|与预设灰度值阈值k之间的大小关系，若|rj
‑
rp|大于k，那么将rj的值优化成rj+
△
r，其中，
△
r为预设的灰度调整值。然后继续比较|rj
‑
rp|与k之间的大小关系，并重复上述调整过程，直至|rj
‑
rp|不大于k，此时的rj的值即为优化灰度值r2的值。
70.本申请实施例所提供的一种像素修补方法，先确定需要进行孔洞修补的待修补遥感图像的待修补区域，然后通过分析待修补区域内的像素的灰度值，从而确定出待修补像素，并根据待修补像素所属的待修补区域内的其他非待修补像素对该待修补像素的灰度值进行修补，从而使得待修补遥感图像上的孔洞消失，可以改善通过现有的无效像素去除方案所导致的遥感图像的整体显示效果不佳的问题。
71.如图3所示，本申请实施例还提供一种像素修补装置400，像素修补装置400可以包括：获取模块410、确定模块420、遍历模块430以及修补模块440。
72.获取模块410，用于获取待修补遥感图像；
73.确定模块420，用于确定所述待修补遥感图像中的待修补区域；
74.遍历模块430，用于遍历所述待修补区域中所包括的像素的灰度值，确定出待修补
像素；
75.修补模块440，用于针对所述待修补像素，根据其所属的所述待修补区域所包括的非待修补像素，确定其修补灰度值，并根据所述修补灰度值对其进行像素修补。
76.在一种可能的实施方式中，所述确定模块420，用于将所述待修补遥感图像所包括的全局图像确定为所述待修补区域。
77.在一种可能的实施方式中，所述确定模块420，用于获取所述待修补遥感图像所包括的经纬度范围信息以及所述待修补遥感图像中的有效矢量范围所包括的经纬度范围信息；根据预设的切割规则对所述待修补遥感图像进行切割，得到多个瓦片图像；根据所述待修补遥感图像的经纬度范围信息及所述切割规则，确定每个所述瓦片图像所包括的经纬度范围；针对每个瓦片图像，将其所包括的经纬度范围与所述待修补遥感图像中的有效矢量范围所包括的经纬度范围信息之间的交集部分所对应的区域确定为所述待修补区域。
78.在一种可能的实施方式中，每个像素包括多个波段，每个波段存在对应的灰度值；所述遍历模块430，用于针对所述待修补区域中的每个像素，在该像素的所有波段对应的灰度值均为同一特定值时，确定该像素为所述待修补像素。
79.在一种可能的实施方式中，所述修补模块440，用于针对所述待修补像素，获取其所属的所述待修补区域所包括的非待修补像素的灰度值以及各个非待修补像素与该待修补像素之间的距离；针对所述待修补像素，根据其所属的所述待修补区域的各个非待修补像素的灰度值以及各个非待修补像素与该待修补像素之间的距离，通过反距离权重插值算法计算出该待修补像素的修补灰度值。
80.在一种可能的实施方式中，所述修补模块440，用于针对所述待修补像素，用与其对应的修补灰度值替换其原始灰度值；或者，针对所述待修补像素，将与其对应的修补灰度值进行优化处理，得到优化灰度值，再用与其对应的优化灰度值替换其原始灰度值。
81.在一种可能的实施方式中，所述修补模块440，用于根据该待修补像素在其所属的待修补区域中的位置，以及预设的平滑函数对该待修补像素的修补灰度值进行平滑处理，得到该待修补像素的平滑灰度值rp；计算该待修补像素的周边非待修补像素的灰度值均值rj；根据所述rj与所述rp之差的绝对值与预设灰度值阈值之间的大小关系，对所述rp进行调整，得到所述优化灰度值。
82.本申请实施例所提供的像素修补装置400，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
83.此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被计算机运行时，执行如上述的像素修补方法所包含的步骤。
84.此外，本发明实施例还提供一种用于实现本申请实施例的像素修补方法、装置的电子设备100。
85.电子设备100可以对遥感图像进行图像处理。
86.可选的，电子设备100，可以是，但不限于个人电脑(personal computer，pc)、平板电脑、移动上网设备(mobile internet device，mid)、服务器等设备。
87.其中，电子设备100可以包括：处理器110、存储器120。
88.应当注意，图4所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，电子设备100也可以具有其他组件和结构。例如，在一些情况下，电子设备100还可以包括显示器。
89.处理器110、存储器120以及其他可能出现于电子设备100的组件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，处理器110、存储器120以及其他可能出现的组件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
90.存储器120用于存储程序，例如存储有前文出现的像素修补方法对应的程序或者前文出现的像素修补装置。可选的，当存储器120内存储有像素修补装置时，像素修补装置包括至少一个可以以软件或固件(firmware)的形式存储于存储器120中的软件功能模块。
91.可选的，像素修补装置所包括软件功能模块也可以固化在电子设备100的操作系统(operating system，os)中。
92.处理器110用于执行存储器120中存储的可执行模块，例如像素修补装置包括的软件功能模块或计算机程序。当处理器110在接收到执行指令后，可以执行计算机程序，例如执行：获取待修补遥感图像；确定所述待修补遥感图像中的待修补区域；遍历所述待修补区域中所包括的像素的灰度值，确定出待修补像素；针对所述待修补像素，根据其所属的所述待修补区域所包括的非待修补像素，确定其修补灰度值，并根据所述修补灰度值对其进行像素修补。
93.当然，本申请任一实施例所揭示的方法都可以应用于处理器110中，或者由处理器110实现。
94.综上所述，本发明实施例提出的像素修补方法、装置、电子设备及计算机可读存储介质，先确定需要进行孔洞修补的待修补遥感图像的待修补区域，然后通过分析待修补区域内的像素的灰度值，从而确定出待修补像素，并根据待修补像素所属的待修补区域内的其他非待修补像素对该待修补像素的灰度值进行修补，从而使得待修补遥感图像上的孔洞消失，可以改善通过现有的无效像素去除方案所导致的遥感图像的整体显示效果不佳的问题。
95.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
96.在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
97.另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
98.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，笔记本电脑,服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
99.以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。