图像处理方法、装置以及存储介质与流程

1.一般地，本发明涉及图像处理领域，更具体地涉及一种图像处理方法、图像处理装置以及相应的计算机可读存储介质。


背景技术：

2.在空间或平面重建领域，越来越多地使用到了图像处理领域中的各种技术，从而能够实现虚拟场景漫游、二维/三维(2d/3d)场景的生成和预览或诸如此类的应用。例如，在房屋平面图生成的应用中，通常会拍摄各个房间或空间的全景图像，然后基于所拍摄的每张全景图像，生成相应的房间平面图以供预览。然而，如果某些房间或空间的面积过大，或者形状、结构的复杂度较高，仅一张全景图所能提供的信息是有限的，甚至并不能够完全覆盖该房间或空间的全部区域。因此，在这种情况下，可能需要在同一空间内拍摄两张甚至更多张的图像，从而生成该空间的完整平面图。


技术实现要素：

3.然而，对于在同一空间内拍摄多张图像的上述情况，在生成空间的平面图的处理中却面临以下挑战：如何准确判断出所拍摄的哪些图像属于同一空间。因此，只有在首先解决该问题的基础上，在后续的图像处理流程中，才可以更准确地生成相应空间的平面图。由此可见，在图像处理领域，需要提供一种能够将属于同一空间的所拍摄的图像进行准确分组的方法和装置。
4.为了至少解决上述技术问题，根据本发明的其中一个方面，提供了一种图像处理方法，包括：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息；并且在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于匹配的结果，对多个捕获图像进行分组。
5.根据本发明的实施例之一，其中，对应不同朝向的多个图像块是通过布局重建处理从每个捕获图像中分割出的，并且所述布局重建处理包括：检测捕获图像内的角点；根据所检测到的角点，确定捕获图像内的各空间面之间的边界线并且生成与捕获图像对应的平面图；以及基于所确定的边界线，将捕获图像分割成对应于多个空间面的图像块。
6.根据本发明的实施例之一，其中，基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息进一步包括：根据方向相关信息确定镜头朝向信息；根据所生成的平面图确定多个图像块对应的空间面之间的夹角；以及基于镜头朝向信息和相邻空间面之间的夹角，确定分割出的多个图像块中的每个的朝向信息。
7.根据本发明的实施例之一，其中，从所获取的每个捕获图像中对应不同朝向的多个图像块进一步包括：确定与分割出的图像块相关联的图像块信息；如果图像块信息的值低于第一阈值，则丢弃该图像块；并且其中，图像块信息为分割出的图像块的面积或图像块中的像素数量中的任何一个。
8.根据本发明的实施例之一，其中，在所述多个捕获图像之中，对具有相同朝向信息的图像块进行匹配进一步包括：在所述多个捕获图像中的任意两个之间，对其中具有相同朝向信息的图像块进行特征点匹配；统计所匹配的图像块中的特征点匹配对的总数；并且其中，基于所述特征点匹配的结果，对所述多个捕获图像进行分组进一步包括：将所统计的特征点匹配对的总数满足第二条件的两个捕获图像分为同一分组，其中，所述第二条件为所述特征点匹配对的总数大于第二阈值；并且根据所述图像块的像素总数的百分比以及所有特征点匹配对的总数的平均值来设置所述第二阈值。
9.根据本发明的实施例之一，其中，图像处理方法还包括：将被分为同一分组的捕获图像所对应的平面图进行融合，以获得各分组的局部平面图；以及将所获得的局部平面图进一步融合，以获得全局平面图。
10.根据本发明的另一个方面，提供了一种图像处理装置，包括：获取单元，配置为获取多个捕获图像和与每个捕获图像相关联的方向相关信息；分割单元，配置为从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；确定单元，配置为基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息；以及匹配单元，配置为在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配，并且基于匹配的结果，对多个捕获图像进行分组。
11.根据本发明的又一个方面，提供了一种图像处理装置，包括：处理器和存储器，在存储器中存储有计算机程序指令，其中，在计算机程序指令被处理器运行时，使得处理器执行以下步骤：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息；在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于匹配的结果，对多个捕获图像进行分组。
12.根据本发明的又一个方面，提供了计算机可读存储介质，其上存储有计算机程序指令，其中，计算机程序指令被处理器执行时实现以下步骤：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息；在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于匹配的结果，对多个捕获图像进行分组。
13.根据本发明的上述的图像处理方法、图像处理装置，以及计算机可读存储介质，能够结合图像信息以及方向相关信息，通过仅在具有相同朝向信息的图像块之间进行匹配，以显著降低甚至避免不同图像之间可能产生的错误匹配，改善后续的图像处理的准确性；同时还减少了用于无效匹配的运算量，因此，还能提高图像处理的整体效率。
附图说明
14.通过结合以下附图对本发明的实施例进行详细描述，本发明的上述和其它目的、特征、优点将会变得更加清楚。应理解，这些附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。此外在附图中，相同的参考标号通常代表相同部件或步骤。
15.图1是示出根据本发明实施例的图像处理方法的流程图；
16.图2是示出根据本发明实施例的，通过布局重建处理进行图像块分割的流程图；
17.图3是示出根据本发明实施例的角点检测的示意图；
18.图4是示出根据本发明实施例的，分割出对应不同朝向的多个图像块的示意图；
19.图5是示出根据本发明实施例的，通过上述布局重建处理中获得信息来确定图像块的朝向信息的流程图；
20.图6是示出根据本发明实施例的平面图的示意图；
21.图7是示出根据本发明实施例的，通过图像块信息来筛选图像块的流程图；
22.图8是示出根据本发明实施例的被丢弃的图像块的示意图；
23.图9是示出根据本发明实施例的，基于特征点匹配分组捕获图像的流程图；
24.图10是示出现有技术中的特征点匹配和根据本发明实施例的特征点匹配的示意图；
25.图11示出了根据本发明实施例的图像处理装置的框图；
26.图12示出了根据本发明另一实施例的图像处理装置的框图。
具体实施方式
27.以下将参照附图描述根据本发明的图像处理方法、图像处理装置和计算机可读记录介质的实施例。应理解，基于本发明中描述的实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内，并且本文描述的实施例仅是本发明的一部分实施例，而不是本发明的全部实施例，这些实施例仅仅是说明性和示例性的，因此不应被解释为限制本发明的范围。此外，为了使说明书更加清楚简洁，将省略对本领域熟知的功能和构造的详细描述，并且还将省略对步骤和元件的重复解释说明。
28.首先，结合图1来详细描述根据本发明实施例的图像处理方法的基本流程。
29.图1是示出根据本发明实施例的图像处理方法的流程图。如图1所示，图像处理方法可以包括以下处理：
30.在s101处，获取多个捕获图像和与每个捕获图像相关联的方向相关信息。
31.根据本发明的实施例，获取捕获图像的方式可以包括但不限于以下：通过手机、照相机、摄像机或诸如此类的具有图像捕获功能的图像捕获设备对空间或场景进行拍摄、录制来获取捕获图像。替代地，还可以经由有线或者无线的方式从外部设备(诸如服务器或存储设备)接收一个或多个图像作为捕获图像。
32.此外，为了使所获取的捕获图像包含尽可能多的信息，捕获图像优选地为广角图像、全景图像或者具有较大视角范围的其他类型图像。此外，捕获图像可以是图像捕获设备所捕获的原始图像，该原始图像可以是黑白的、灰度的或彩色的，并且也可以是对这样的原始图像进行适当的预处理之后所获得的处理后的图像。例如，所述预处理可以包括但不限于：裁剪、缩放、校正或去噪等处理。在本文中，将主要以理光公司的theta全景相机所捕获的全景图像作为捕获图像的一个示例进行示例性描述。
33.另外，根据本发明的实施例，获取与每个捕获图像相关联的方向相关信息可以包括但不限于：从内置于图像捕获设备中的或者附接于图像捕获设备上的传感器获得通过感测得到的传感器信息，所述传感器信息是与方向相关的信息，此信息可以是通过诸如惯性
传感器、地磁传感器或基于其他原理的传感器而获得，并且这些信息可以包括用于指示图像捕获设备(诸如相机镜头)在捕获图像时的位置和/或朝向和/或姿势，或者指示与捕获图像相关联的其他信息。此外，所述方向相关信息可以是从传感器中直接获取的感测信息，也可以是通过一个或多个感测信息推导、计算得出的与方向相关的信息。
34.在获取多个捕获图像和与每个捕获图像相关联的方向相关信息后，流程进到s102。
35.在s102处，从所获取的每个捕获图像中分割出对应不同朝向的多个图像块。
36.根据本发明的实施例，捕获图像涉及一个空间中的多个空间面，并且各个空间面对应不同的朝向(例如，东、西、南、北、上、下)。例如，使用theta全景相机对一个房间拍摄多个全景图像，在捕获的每个全景图像中均包含了该房间的多个墙面，并且每个墙面具有各自的朝向，例如，位于北面的墙面朝向南，而位于东面的墙面朝向西。在此实施例中，在步骤s102处将对每个捕获的全景图像进行分割处理，以将每个全景图像中具有不同朝向的墙面分割为对应的多个图像块，如此一来，每个分割出的图像块对应于全景图像中的一个墙面，并且这些图像块所对应的朝向与其对应的墙面的朝向是一致的。
37.应理解，上述实施例中以房间的墙面作为空间中的空间面的一个示例。在此示例中，将房间的捕获图像中具有不同朝向的墙面分割成对应不同朝向的多个图像块，是考虑到房间中墙面区域的面积较大，并且墙面区域中的特征(例如，墙面上的装饰物、纹理)具有较多的信息，因此有助于图像块的分割的准确性和效率，并且利于后续的图像处理中的各步骤。但是，本发明中的空间面并不限于此，例如，取决于具体的应用场景，空间面的示例还可以是房间中的门、窗，或者是空间中由用户预先定义的具有可分割属性的任何适当的其他标记物。
38.此外，根据本发明的一个实施例，对应不同朝向的多个图像块优选地是通过布局重建处理从每个捕获图像中分割出的，下文将参照图2对此进行详细描述。应理解，还可以通过诸如表面法向量(surface normal)或者其他本领域中现有的或未来的适当方式进行上述分割图像块的处理。
39.此外，取决于分割处理所采用的方式，所分割出的图像块可以是捕获图像中的整个空间面，或者仅是空间面的其中一部分。而为了对捕获图像进行更为有效的分割，从而有助于后续的图像处理的效率和准确性，根据本发明的一个实施例，优选地按照一定标准对分割出的图像块进行筛选，下文将参照图7对此进行详细描述。
40.回到图1的流程，在从每个捕获图像中分割出对应不同朝向的多个图像块后，流程进到s103。
41.在s103处，基于所获取的方向相关信息，确定分割出的多个图像块中的每个的朝向信息。
42.如上所述，通过适当的方式可以获取与捕获图像相关联的方向相关信息，然后，可以通过多种方式来基于所获取的方向相关信息确定出图像中的至少一个空间面的朝向。具体而言，例如，根据方向相关信息确定出镜头的朝向为“北”，在此情况下，如果该镜头正对空间中的一空间面，则可以直接地确定出正对的该空间面的朝向为“南”；而在另一情况下，如果镜头与空间中的一空间面呈一定角度相对(即非正对)，则可以通过所呈的角度间接地确定出该空间面的朝向为“西南”或“西偏南某度”。应理解，通过现有的图像处理技术可以
获得图像捕获设备(或其镜头)与空间面所呈的角度，因本发明的重点不在于此，故对此不作限制。
43.由此可见，基于所获取的方向相关信息可以确定出空间中的各空间面的朝向。并且，如上所述，图像块所对应的朝向与其对应的空间面的朝向是一致的。因此，基于所获取的方向相关信息，能够确定分割出的多个图像块中的每个图像块的朝向信息。
44.此外，根据本发明的一个实施例，还可以通过上述布局重建处理中获得信息来确定图像块的朝向信息，下文将参照图5对此进行详细描述。
45.回到图1的流程，在确定出每个分割出的图像块的朝向信息后，流程进到s104。
46.在s104处，在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配。
47.首先，在多个捕获图像之中，如果两个或多个捕获图像属于同一空间，也即，这些图像是通过在不同的位置或以不同的角度对同一个空间进行捕获而得到的，那么在这些捕获图像之间将很可能会存在重叠区域。例如，在对同一个房间拍摄了多个捕获图像的情况下，有些空间面(诸如墙面)所对应的图像块会同时出现在多张捕获图像中，即在多张捕获图像中存在重叠区域，并且这些位于重叠区域的图像块必定具有相同的朝向信息(即墙面的朝向相同)。换言之，在不同朝向的图像块之间不存在重叠区域，也即，图像块之间不应当出现匹配。
48.然而，在现有的方法中，由于不会对不同朝向的图像块进行过滤，进而会导致错误的匹配发生。具体而言，如图10所示，上图中是对两个均为西向的墙面(实际为同一墙面)的图像块进行特征点匹配(作为匹配的示例)，大量的特征点被成功地匹配，这表明这两个图像块有很大概率对应于同一墙面，由此可见该匹配是有效匹配；而下图中是对不同朝向的墙面(即不同的墙面)的图像块之间进行特征点匹配，可以看到同样有若干个特征点会被匹配，显然这样的匹配是无效匹配，如此不仅会增加整个图像处理的运算量，而且错误的匹配结果也会给后续的图像处理带来负面的影响。
49.因此，在以上认识的基础上，本发明提出在多个捕获图像之中只选出具有相同朝向的图像块来进行图像块之间的有效匹配，以此方式避免了不必要的无效匹配以及可能产生的错误匹配，因此显著地提高了图像处理的准确性和效率。此外，可以根据不同的应用场景使用多种方法进行上述匹配处理，例如，可以采用模板匹配或感知哈希(perceptual hash algorithm)等本领域中现有或未来的适当方式来计算或检测图像块之间的相似度以实现匹配。根据本发明的一个优选实施例，可以采用特征点匹配的方式来对具有相同朝向信息的图像块进行匹配。在对具有相同朝向信息的图像块进行匹配后，流程进到s105。
50.在s105处，基于匹配的结果，对多个捕获图像进行分组。
51.具体而言，通过对图像块进行上述匹配后，可以首先确定出进行匹配的图像块是否实际对应于空间中的同一空间面。例如，以采用特征点匹配为例，可以根据具体需求设置相应的阈值，并将图像块之间的特征点匹配对的数量与该阈值进行比较，若特征点匹配对的数量超过阈值，则可以确定进行匹配的图像块对应于同一空间面。因此，经过匹配后将对捕获图像中分割出的、具有相同朝向信息的所有图像块两两之间进行匹配，然后在此基础上，可以进一步确定多个捕获图像是否属于同一空间，从而实现对多个捕获图像进行分组。例如，对于两个捕获图像而言，在这两个捕获图像中共有三个具有相同朝向信息的图像块被成功地匹配(比如，南向图像块、北向图像块和东向图像块)，则可以认为这两个捕获图像
属于同一空间，进而将这两个捕获图像分为同一分组。可以理解，用于判断成功匹配的图像块数量不限于三个，也可以是两个或四个，这可能取决于空间的复杂度和具体的需求。
52.此外，除了上述方式，也可以基于匹配处理的其他结果，例如，若采用感知哈希算法，则可以通过计算图像块对应的哈希指纹之间的汉明距离作为图像块之间匹配的结果。优选地，根据本发明的一个实施例，在采用特征点匹配后，可以对每两个捕获图像进行图像块的特征点匹配对的结果进行汇总，从而得到图像块的特征点匹配对的总数，并基于这样的特征点匹配的结果，对多个捕获图像进行分组，下文将参照图9对此进行详细描述。
53.由此可见，通过本发明的图像处理方法，仅在具有相同朝向信息的图像块之间进行匹配，从而降低甚至避免了不同图像之间的无效匹配和错误匹配，改善后续的图像处理的准确性，同时还能提高图像处理的整体效率。
54.此外，在对多个捕获图像进行分组后，还可以基于分组的结果对这些捕获图像进行相应的其他图像处理。例如，根据本发明的实施例，将被分为同一分组的捕获图像对应生成的平面图进行融合，以获得各分组的局部平面图，也即，将属于同一局部空间(例如，同一房间)的各个平面图进行融合。在此基础上，还可以再将所获得的局部平面图进一步融合，以获得全局平面图，也即，将不同局部空间的融合后的平面图整体地融合为完整空间(例如，整个房屋)的全局平面图。以此方式获得的局部平面图和全局平面图所包含的图像信息更加全面，因此所得到的平面图也更加准确、可靠。
55.接下来，参照图2描述从每个捕获图像中分割出对应不同朝向的多个图像块的一种优选实施例。
56.图2是示出根据本发明一个实施例的通过布局重建处理进行图像块分割的流程图。如图2所示，布局重建处理包括以下处理：
57.在s201处，检测捕获图像内的角点。
58.具体而言，以理光公司的theta全景相机所捕获的全景图像作为示例，基于theta全景相机的成像机制，成像的全景图像包括两个部分，即由前鱼眼镜头捕获的全景图像的中间部分，以及由后鱼眼镜头捕获的全景图像的两端部分，如图3所示。可以看到此全景图像覆盖了一个房间中的一部分。
59.然后，通过角点检测(corner detection)算法，可以从该全景图像中检测出图像中房间内的各个墙面与天花板之间、墙面与地板之间的角点(如图3中
“×”
所示，图中并未示出全部角点)。此外，还可以基于深度学习的方法来检测空间内的角点，例如，采用卷积神经网络算法，以进行更加快速、精确的布局重建。可以理解，本领域中存在多种角点检测的方法，本发明的重点不在于此，故对此不作限制，只要是能够实现检测捕获图像内的角点的方式均可适用于本发明。
60.在s202处，根据所检测到的角点，确定捕获图像内的各空间面之间的边界线并且生成与捕获图像对应的平面图。
61.首先，在已经检测出空间中的角点的基础上，其中一种方式可以简单地将基本上处于同一垂直线上的两个角点之间的连线(直线)作为空间面的边界线，或者替代地，考虑到全景图像或广角图像中存在一定程度的畸变，另一种方式可以首先计算出图像畸变的程度，再根据畸变的程度对两个垂直角点之间的直线进行曲率补偿，将补偿后得到的两个角点之间的曲线作为空间面的边界线，以此方式能够进一步提高分割处理的准确性。此外，也
可以首先对图像畸变进行校正，再基于校正后的图像中的角点来确定空间面之间的边界线。可以理解，本领域中存在多种确定边界线的方法，这些方法均可适用于本发明。
62.另外，在已经检测出空间中的角点的基础上，还可以通过将角点投影到水平面上，或者将处于同一平面内的角点按一定规则相连，从而得到该空间的平面图，即生成与捕获图像对应的平面图。此外，生成所述平面图的处理与确定各空间面之间的边界线的处理可以是同时进行的，也可以是按顺序进行的，并且两者可以是以任意的先后顺序进行的。
63.在s203处，基于所确定的边界线，将捕获图像分割成对应于多个空间面的图像块。
64.具体而言，在已经确定出各空间面之间的边界线的情况下，以边界线为分割界限，将捕获的全景图像分割成对应于多个空间面的图像块，并且通过这种方式，分割出的多个图像块对应不同的朝向。例如，以理光公司的theta全景相机所捕获的全景图像作为示例，如图4所示，可以看到该全景图像被分割成四个图像块，每个图像块分别对应了东、西、南、北四个朝向，同时也得到了该房间的平面图(简单示出)。可以理解，取决于房间或空间的结构，分割出的图像块的数量不限于四个，例如，对于l型的空间，则可以分割出至少六个图像块。
65.由此可见，通过上述优选实施例，通过布局重建处理从每个捕获图像中分割出对应不同朝向的多个图像块，并且在布局重建处理过程中还可以一并得到与所述捕获图像对应的平面图，所得到平面图能够继续用于后续的对于图像块的朝向信息的确定，并且还可用于平面图的融合和图像重建等潜在的图像处理，例如，如上所述，还可以将被分为同一分组的捕获图像所对应的平面图进行融合，以获得各分组的局部平面图，并且将所获得的局部平面图进一步融合，以获得全局平面图。因此，通过布局重建处理能够避免了对图像进行额外的处理，提高了图像处理的效率。
66.此外，如上所述，还可以通过上述布局重建处理中获得信息来确定图像块的朝向信息。如图5所示，基于所获取的方向相关信息，确定分割出的所述多个图像块中的每个的朝向信息进一步包括以下处理：
67.在s501处，根据方向相关信息确定镜头朝向信息。如上所述，可以根据方向相关信息直接地或间接地确定图像捕获设备在捕获图像时的朝向信息。
68.在s502处，根据所生成的平面图确定多个图像块对应的空间面之间的夹角。
69.如上所述，在布局重建处理中能够生成与捕获图像对应的平面图，在此基础上，可以进一步根据所生成的平面图确定各个空间面之间的夹角。例如，如图6所示，左图为符合曼哈顿约束的平面图，在此情况下，可以直接得出各个图像块对应的空间面之间的夹角均为90度，而右图为不符合曼哈顿约束的平面图，在此情况下，通过适当的测量或计算方法，同样可以根据平面图得出各个图像块对应的空间面之间的夹角，例如，图6中右图的5个夹角从左上角顺时针分别为90度、120度、150度、90度、90度。
70.在s503处，基于镜头朝向信息和相邻空间面之间的夹角，确定分割出的多个图像块中的每个的朝向信息。
71.具体而言，在通过镜头朝向信息首先确定出镜头正对或非正对的一个空间面的朝向信息后，由此空间面出发，并基于在s502处得到的夹角，能够依次得出相邻空间面的朝向信息，进而确定分割出的多个图像块中的每个的朝向信息。
72.通过上述优选实施例，对于无论是否符合曼哈顿约束的空间，均可以在不增加额
外处理流程的情况下，利用布局重建处理过程中的信息，以较为简单的方式相对准确地确定出各个图像块的朝向信息，从而有助于后续的图像块匹配和捕获图像分组的处理。
73.接下来，参照图7描述筛选图像块的一种优选实施例。
74.图7是示出根据本发明实施例，通过图像块信息来筛选图像块的流程图。如图7所示，从所获取的每个捕获图像中对应不同朝向的多个图像块进一步可以包括以下处理：
75.在s701处，确定与分割出的图像块相关联的图像块信息。
76.如上所述，不同分割处理方式可能会导致所分割出的图像块的尺寸不同。同时，由于空间中各空间面距离镜头的远近不同或者与镜头所呈的角度不同，各个空间面所对应的图像块的尺寸也会有所不同。如图8所示，在一些情况下，分割得到的图像块中会存在一些过小的图像块，这些图像块并不能提供足够的或有效的信息。因此，需要利用相关的图像块信息来衡量图像块是否可以提供足够的信息。例如，根据本发明的一个实施例，所述图像块信息可以是分割出的图像块的面积、图像块中的像素数量。
77.在s702处，如果图像块信息的值低于第一阈值，则丢弃所述图像块。
78.具体而言，其中，在图像块信息为图像块的面积的情况下，如果一图像块的面积低于第一阈值，例如，图8所示的图像块，则认为此图像块不能提供足够的信息用于后续的图像处理，因此将该图像块丢弃，从而使其不参与到后续的图像处理中；替代地，在图像块信息为图像块中的像素数量的情况下，如果一图像块中的像素数量低于第一阈值，则将该图像块丢弃。并且，根据本发明的一个实施例，图像块信息还可以是特定像素的数量，例如，可以将具有预定像素值或在预定像素值范围内的像素定义为特定像素。
79.此外，根据本发明的另一个实施例，还可以通过将图像块的面积在其对应的捕获图像的面积占比或像素数量占比与阈值进行比较来确定是否丢弃该图像块。
80.此外，可以理解，对于全景相机而言，如果图像捕获设备(或其镜头)与所捕获的空间面之间的距离越远，则对应的空间面在捕获图像中所占的比例就越小，相对所提供的信息也越少，因此，根据本发明的另一个实施例，也可以基于图像捕获设备(或其镜头)与图像块对应的空间面之间的距离或指示距离的类似图像块信息来确定是否丢弃该图像块。
81.由此可见，通过上述优选实施例，能够将不能提供足够信息的图像块丢弃，而不将其用于后续的图像处理步骤，使得图像处理更加高效，同时避免由于图像中的无效信息或杂讯对后续的图像分组造成干扰，从而进一步改善了图像处理方法的准确性。
82.接下来，参照图9描述基于特征点匹配对捕获图像进行分组的一个优选实施例。如图9所示，在多个捕获图像之中，对具有相同朝向信息的图像块进行匹配进一步包括以下处理：
83.在s901处，在多个捕获图像中的任意两个之间，对其中具有相同朝向信息的图像块进行特征点匹配。
84.具体而言，以一个具有多个房间的房屋为例，例如，对该房屋共拍摄了11个的全景图像(即image 1至image 11)，其中，对每个全景图像执行本发明上述的分割处理，得到多个对应不同朝向的墙面图像块，并在每两个全景图像之间，按照上述的方法对具有相同朝向信息的墙面图像块的进行特征点匹配。例如，图10中的上图示出了在两个全景图像之间将对应于西向的图像块进行特征点匹配的情形，并且该匹配属于有效匹配。
85.在s902处，统计所匹配的图像块中的特征点匹配对的总数。
86.具体而言，在进行上述特征点匹配后，对每两个全景图像的各个墙面图像块的特征点匹配对进行计数。例如，在全景图像image 1-image 3之间，北向墙面图像块之间的特征点匹配对的数量为18、南向墙面图像块之间特征点匹配对的数量为21、东向墙面图像块之间特征点匹配对的数量为66、西向墙面图像块之间特征点匹配对的数量为43，因此这两个全景图像的所有墙面图像块的匹配对的总数为：18+21+66+43＝148。以此类推，可以得到所有全景图像两两之间的特征点匹配的结果汇总，如下表所示：
[0087][0088]
应理解，该表中仅示出了部分匹配结果，所示出的匹配结果的数值也仅为示例性的，并且也可能存在两个捕获图像之间不存在具有相同朝向信息的图像块的情况。此外，也可以通过对不同区域或具有不同像素值的像素赋予权值，来统计加权后的特征点匹配对的总数。
[0089]
在s903处，将所统计的特征点匹配对的总数满足第二条件的两个捕获图像分为同一分组。
[0090]
具体而言，可以根据具体需求设置相应的条件进行分组，例如，通过设置第二阈值，并将两个捕获图像之间特征点匹配对的总数与所设置的第二阈值进行比较，若特征点匹配对的总数超过第二阈值，则可以确定这两个捕获图像属于同一空间，并将所述捕获图像分为同一分组。替代地，也可以通过判断所统计的特征点匹配对的总数是否满足某种分布对捕获图像进行分组。
[0091]
此外，为了进一步筛选出有效的特征点匹配对，根据本发明的一个优选实施例，可以根据图像块的像素总数的百分比以及所有特征点匹配对的总数的平均值两者来设置所述第二阈值。具体而言，由于匹配对的数量会受到进行匹配的图像块的尺寸的影响，并且可能由于空间本身的复杂度的差异，特征点匹配的整体情况也存在差异。因此，需要考虑以上因素来定义一个合理的阈值，以判断两个捕获图像之间匹配是否有效。优选地，第二阈值可以被设置为大于或等于图像块的像素总数的约百分之一，并且所述第二阈值还优选地大于或等于所有捕获图像之间的特征点匹配对的总数的平均值，或者是该平均值的特定倍数。
[0092]
根据上述优选实施例，例如将阈值设置为100，则从上述特征点匹配结果的表格中
可以看出，全景图像image 1-image 3之间、全景图像image 3-image 5之间、全景图像image 10-image 11之间的特征点匹配对总数均超过该阈值，因此，可将全景图像image 1、image 3、image 5分为同一分组，以及将全景图像image 10、image 11分为同一分组。以此类推，拍摄的11张全景图片最终例如可以被分为四组：[image 1,image 3,image 5]、[image 2,image 6]、[image 4,image 7,image 8,image 9]、[image 10,image 11]，该分组结果表明，对于该房屋所拍摄的11张全景图像可能分别来自于四个不同的房间。
[0093]
在此基础上，如上所述，还可以将被分为同一分组的捕获图像所对应的平面图进行融合，以获得各分组的局部平面图，然后再将所获得的局部平面图进一步融合，以获得全局平面图。
[0094]
由此可见，通过上述优选实施例，能够将属于同一空间的捕获图像分为同一分组，并且通过本发明的这种方式，不仅能够显著改善图像处理的准确性，同时还提高图像处理的整体效率。
[0095]
接下来，将参照图11来描述根据本发明实施例的图像处理装置。
[0096]
图11示出了根据本发明实施例的图像处理装置1100的框图。如图11所示，图像处理装置1100包括：获取单元1110、分割单元1120、确定单元1130，以及匹配单元1140。应理解，所示结构只是示例性的，而非限制性的，并且除了这些单元以外，图像处理装置1100还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此本文中省略其图示和描述。
[0097]
此外，由于根据本发明实施例的图像处理装置1100执行的下述操作的具体细节与在上文中参照图1至图10描述的细节大致相同，因此，本文出于简洁的目的而省略对相同细节的部分描述。下文将逐一介绍图像处理装置1100中的各个模块或部件。
[0098]
获取单元1110，配置为获取多个捕获图像和与每个捕获图像相关联的方向相关信息。所述获取单元1110执行的具体处理与上文描述的步骤s101的相应内容一致。
[0099]
具体而言，根据本发明的实施例，所述获取单元1110可以是诸如手机、照相机、摄像机等图像捕获设备，或者是用于从这样的图像捕获设备中接收捕获图像的设备。在本文所述的实施例中，将主要以理光公司的theta全景相机(或其镜头部分)作为获取单元1110的一个示例进行示例性描述。此外，获取单元1110可以与图像处理装置1100中的其他模块在物理位置上分离，并且经由有线或者无线方式，由所述获取单元1110将捕获图像传输给图像处理装置1100中的其他模块。替代地，获取单元1110可以与图像处理装置1100中的其他模块或组件物理上位于同一位置，甚至位于同一壳体内部，所述图像处理装置1100中的其他模块或组件经由内部总线接收由获取单元1110获取的图像。
[0100]
另外，根据本发明的实施例，获取单元1110中可以内置或附接有传感器，以获取与每个捕获图像相关联的传感器信息，或者是用于接收这样的传感器信息的设备，所述传感器信息是与方向相关的信息，此信息可以是由诸如惯性传感器、地磁传感器或基于其他原理的传感器所获得的信息，并且这些信息可以包括用于指示图像捕获设备(诸如相机镜头)在捕获图像时的位置和/或朝向和/或姿势，或者指示与捕获图像相关联的其他信息。此外，所述方向相关信息可以是从传感器中直接获取的感测信息，也可以是通过一个或多个感测信息推导、计算得出的与方向相关的信息。
[0101]
分割单元1120，配置为从所获取的每个捕获图像中分割出对应不同朝向的多个图
像块。根据本发明的实施例，所述分割单元1120执行的具体处理与上文描述的步骤s102的相应内容一致。
[0102]
具体而言，根据本发明的实施例，所述分割单元1120将对由获取单元所获取的捕获图像进行分割处理，以将每个捕获图像中具有不同朝向的空间面分割为对应的多个图像块，如此一来，每个分割出的图像块对应于捕获图像中的一个空间面，并且图像块所对应的朝向与其对应的空间面的朝向是一致的。
[0103]
此外，根据本发明的一个实施例，分割单元1120优选地通过布局重建处理从每个捕获图像中分割出对应不同朝向的多个图像块，如上文中参照图2所详细描述的。
[0104]
此外，取决于分割单元1120所采用的分割处理的方式，所分割出的图像块可以是捕获图像中的整个空间面，或者仅是空间面的其中一部分。而为了对捕获图像进行更为有效的分割，从而有助于后续的图像处理的效率和准确性，根据本发明的一个实施例，分割单元1120优选地按照一定标准对分割出的图像块进行筛选，如上文中参照图7所详细描述的。
[0105]
确定单元1130，配置为基于所获取的方向相关信息，确定分割出的所述多个图像块中的每个的朝向信息。根据本发明的实施例，所述确定单元1130执行的具体处理与上文描述的步骤s103的相应内容一致。
[0106]
具体而言，根据本发明的实施例，所述确定单元1130可以通过多种方式来基于所获取的方向相关信息确定出图像中的至少一个空间面的朝向。其中，通过方向相关信息可以包括指示获取图像在被拍摄时的镜头朝向信息。此外，如上所述，图像块所对应的朝向与其对应的墙面的朝向是一致的，因此，基于所获取的方向相关信息，确定单元1130能够确定分割出的多个图像块中的每个图像块的朝向信息。
[0107]
此外，根据本发明的一个实施例，确定单元1130还可以通过上述布局重建处理中获得信息来确定图像块的朝向信息，如上文中参照图5所详细描述的。
[0108]
匹配单元1140，配置为在所述多个捕获图像之中，对具有相同朝向信息的图像块进行匹配，并且基于所述匹配的结果，对所述多个捕获图像进行分组。根据本发明的实施例，所述匹配单元1140执行的具体处理与上文描述的步骤s104和s105的相应内容一致。
[0109]
如上所述，由于在不同朝向的墙面的图像块之间不存在有效匹配，因此，根据本发明的实施例，所述匹配单元1140只选出具有相同朝向的图像块来进行图像块之间的匹配，从而避免了不必要的无效匹配以及可能产生的错误匹配，并且显著地提高了后续处理的准确性以及效率。此外，如上所述，可以根据不同的应用场景使用多种方法进行上述匹配处理，例如，可以采用模板匹配或感知哈希等本领域中现有或未来的适当方式来计算或检测图像块之间的相似度以实现匹配。
[0110]
并且，在匹配单元1140对具有相同朝向信息的图像块进行匹配后，所述匹配单元1140还基于匹配的结果，对多个捕获图像进行分组。具体而言，通过对图像块进行上述匹配处理，可以首先确定出所进行匹配的图像块是否实际对应于空间中的同一空间面。在此基础上，匹配单元1140可以进一步确定多个捕获图像是否属于同一空间，从而实现对多个捕获图像进行分组。
[0111]
此外，除了上述方式，匹配单元1140也可以基于匹配的其他结果，例如，若采用感知哈希算法，则可以通过计算图像块对应的哈希指纹之间的汉明距离作为图像块之间匹配的结果。优选地，根据本发明的一个实施例，匹配单元1140可以对每两个捕获图像进行图像
块的特征点匹配对的结果进行汇总，从而得到图像块的特征点匹配对的总数，并基于这样的特征点匹配的结果，对多个捕获图像进行分组，如上文中参照图9所详细描述的。
[0112]
通过根据本发明的图像处理装置1100，能够仅在具有相同朝向信息的图像块之间进行匹配，以显著降低甚至避免不同图像之间的无效匹配和错误匹配，改善后续的图像处理的准确性，同时还能提高图像处理的整体效率。
[0113]
此外，根据本发明的实施例，在匹配单元1140对多个捕获图像进行分组后，还可以将被分为同一分组的捕获图像所对应的平面图进行融合，以获得各分组的局部平面图。以此方式获得的局部平面图和全局平面图所包含的图像信息更加全面，因此所得到的平面图也更加准确、可靠。
[0114]
接下来，将参照图12来描述根据本发明实施例的图像处理装置。
[0115]
图12示出了根据本发明实施例的图像处理装置1200的框图。如图12所示，图像处理装置1200包括：处理器1210和存储器1220。其中，该图像处理装置1200可以是计算机或服务器。应理解，所示结构只是示例性的，而非限制性的，并且除了这些单元以外，图像处理装置1200还可以包括其他部件，然而，由于这些部件与本发明实施例的内容无关，因此本文中省略其图示和描述。
[0116]
此外，由于根据本发明实施例的图像处理装置1200执行的下述操作的具体细节与在上文中参照图1至图10描述的细节大致相同，因此，本文出于简洁的目的而省略对相同细节的部分描述。下文将逐一介绍图像处理装置1200中的各个模块或部件。
[0117]
处理器1210可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以利用存储器1220中所存储的计算机程序指令以执行期望的功能，其中，在所述计算机程序指令被所述处理器1210运行时，使得所述处理器执行以下步骤：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的所述多个图像块中的每个的朝向信息；在所述多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于所述匹配的结果，对所述多个捕获图像进行分组。所述处理器1210执行的上述步骤与上文描述的步骤s101至s105的相应内容一致。此外，处理器1210还可以执行与上文结合图2至图10所描述的各实施例相对应的处理。
[0118]
存储器1220可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如，易失性存储器和/或非易失性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，使得处理器1210可以运行所述程序指令，以实现上文所述的本发明的实施例的图像处理装置的功能和/或其它期望的功能，并且/或者可以执行根据本发明实施例的图像处理方法。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。
[0119]
接下来，将描述根据本发明实施例的计算机可读存储介质。本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现以下步骤：获取多个捕获图像和与每个捕获图像相关联的方向相关信息；从所获取的每个捕获图像中分割出对应不同朝向的多个图像块；基于所获取的方向相关信息，确定分割出的所述多个图像块中的每个的朝向信息；在所述多个捕获图像之中，对具有相同朝向信息的图像块进行匹配；以及基于所述匹配的结果，对所述多个捕获图像进行分组。上述
步骤与上文描述的步骤s101至s105的相应内容一致。此外，所述计算机程序指令被处理器执行时还可以实现与上文结合图2至图10所描述的各实施例相对应的处理。
[0120]
应理解，上述图像处理装置中的各部件或模块均可以由硬件实现，也可以由软件实现，并且还可以由硬件和软件的结合来实现。
[0121]
上述各实施例仅是示例性的而非限制，且本领域技术人员可以根据本发明的构思从上述分开描述的各个实施例中合并和组合一些步骤和装置来实现本发明的效果，这种合并和组合而成的实施例也被包括在本发明中，在此不逐一描述这种合并和组合。注意，在本发明中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明的各个实施例必须具备的。另外，上述发明的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明为必须采用上述具体的细节来实现。
[0122]
本发明中涉及的模块、装置、设备、系统的方框图仅作为例示性的例子并且不希望要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些模块、装置、设备、系统。另外，诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0123]
本发明中的步骤流程图以及以上方法描述仅作为例示性的例子并且不希望要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不希望限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”、“所述”对于单数的要素的任何引用不被解释为将该要素限制为单数。
[0124]
另外，本文中的各个实施例中的步骤和装置并非仅限定于某个实施例中实行，事实上，可以根据本发明的概念来结合本文中的各个实施例中相关的部分步骤和部分装置以构思新的实施例，而这些新的实施例也包括在本发明的范围内。并且，本文公开的方法和功能包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。
[0125]
以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(asic)或处理器。可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(dsp)、asic、现场可编程门阵列信号(fpga)或其他可编程逻辑器件(pld)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如dsp和微处理器的组合，多个微处理器、与dsp核协作的一个或多个微处理器或任何其他这样的配置。
[0126]
结合本发明描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器(ram)、只读存储器(rom)、快闪(flash)存储
器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。
[0127]
因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储(和/或编码)在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。
[0128]
此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件(例如ram、rom、诸如cd或软盘等的物理存储介质)提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。
[0129]
其他例子和实现方式在本发明和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
[0130]
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本发明的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
[0131]
提供所发明的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不应被限制到在此示出的方面，而是按照与在此发明的原理和新颖的特征一致的最宽范围。
[0132]
为了例示和描述的目的已经给出了以上描述。并且，此描述不应将本发明的实施例限制到在此发明的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。