一种基于图片的方向标注方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种基于图片的方向标注方法及装置。

背景技术：

日常生活中，人们需要通过自身所处位置的方位(东西南北)来判断如何行进到达目的地，比如外出旅行时找寻旅游景点。这种对方向的需求自古已有，中国四大发明之一指南针便是一种解决方案。现在随着科技的发展，基于传感器的电子罗盘则成了指南针的替代品。

但是无论指南针还是电子罗盘，都只能给用户单一的方向(北)指示，无法结合当前用户所处位置的街道建筑给出直观显式的方位指示。使得用户在得到电子罗盘的方向指示信息后，也难以将其转换为有效地应用于实际环境中，依然需要用户进行方位的匹配，比如，用户要分辨当前道路的走向时，就需要将电子罗盘的方向指示信息转换为当前道路走向，这对于不熟悉方向识别的用户，具有一定操作难度，使用也十分不便。

技术实现要素：

鉴于上述问题，本发明提出了一种基于图片的方向标注方法及装置，主要目的在于利用街景图片为用户提供实时的方向参考信息。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供一种基于图片的方向标注方法，具体包括：

接收街景照片以及所述街景照片所在的位置信息，所述街景照片中至少含有道路和建筑物的图像信息；

根据所述位置信息获取预置范围内的街景数据；

提取所述街景照片中的图像信息，与所述街景数据进行匹配；

解析匹配成功的街景数据对应的方向信息；

根据所述方向信息在所述街景照片中标注道路和建筑物的方向标识；

发送含有所述方向标识的街景照片。

另一方面，本发明提供一种基于图片的方向标注装置，具体包括：

接收单元，用于接收街景照片以及所述街景照片所在的位置信息，所述街景照片中至少含有道路和建筑物的图像信息；

获取单元，用于根据所述接收单元接收的位置信息获取预置范围内的街景数据；

提取单元，用于提取所述接收单元接收的街景照片中的图像信息；

匹配单元，用于将所述提取单元提取的图像信息与所述获取单元获取的街景数据进行匹配；

解析单元，用于解析经过所述匹配单元匹配成功的街景数据对应的方向信息；

方向标注单元，用于根据所述解析单元解析的方向信息在所述街景照片中标注道路和建筑物的方向标识；

发送单元，用于发送含有所述方向标注单元标注的方向标识的街景照片。

另一方面，本发明提供一种存储介质，所述存储介质用于存储的计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述的基于图片的方向标注方法。

另一方面，本发明提供一种处理器，所述处理器用于运行计算机程序，其中，所述计算机程序运行时执行上述的基于图片的方向标注方法。

借由上述技术方案，本发明提供的一种基于图片的方向标注方法及装置，根据接收拍摄该街景照片所对应的位置信息，查找与街景照片相匹配街景数据，并提取匹配成功的街景数据中所含有的方向信息，将该方向信息标注在街景照片上，再反馈给用户一张标记有方向标识的街景照片。通过本方案，用户仅需要在需要辨别方向的位置发送一张拍摄有当前位置附近的道路以及街边建筑物的照片，就可以收到在该照片上标注有方向标识的图片，无需用户使用电子罗盘来校对方向，进而识别街景中道路的走向或建筑物的方位。通过使用图像识别与匹配的方法帮助用户快速的识别当前位置的具体方向，对于用户的使用而言简单易用，能够提升用户的使用体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提出的一种基于图片的方向标注方法的流程图；

图2示出了本发明实施例提出的另一种基于图片的方向标注方法的流程图；

图3示出了本发明实施例标注有方向标识的街景照片示意图；

图4示出了本发明实施例提出的一种基于图片的方向标注装置的组成框图；

图5示出了本发明实施例提出的另一种基于图片的方向标注装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种基于图片的方向标注方法，该方法一般应用于具有强大图片计算与处理能力的服务端，接收用户终端所发送的街景照片进行处理，之后再将标记有方向标识的照片反馈给用户。具体步骤如图1所示，该方法包括：

步骤101、接收街景照片以及该街景照片所在的位置信息。

其中，所接收的街景照片中至少含有道路和建筑物的图像信息。即，对用户所拍摄的街景照片需要有一定的内容要求，首先，要是街景，这是因为，本发明是基于收集有大量街景数据的数据库来识别场景方向的，因此，用户需要发送的是街景照片，对于像室内照片或风景照片是不能够识别的或者识别的准确率是较低的。其次，所拍摄的街景照片的内容中，至少要具有道路和/或建筑物等图像信息，这是识别该街景照片中具体方向的核心内容，一般地，道路具有较明确的方向指向性，对其标注方向标识可以让用户容易理解具体的方位，而建筑物具有便于识别的特征，可以快速、准确地将街景照片与存储的街景数据进行数据匹配。

此外，街景照片所在的位置信息可以是用户在拍摄街景照片时通过定位装置获取的定位信息，并将该定位信息随街景照片一同发出。也可以是通过图像识别技术对其中的道路或建筑物识别后所确定的位置信息。若为定位信息，该位置信息主要用于初步确定街景照片中景物的位置范围，以便缩小后续街景数据的匹配范围。

步骤102、根据位置信息获取预置范围内的街景数据。

其中，预置范围是一个经验设定值，其主要用于避免位置信息在定位过程中产生的定位误差。具体实现时，一般是以定位信息为圆心，以预设的设定值为半径确定一个范围，定义其为预置范围。在该预置范围内获取对应的街景数据。

步骤103、提取街景照片中的图像信息，与街景数据进行匹配。

其中，该图像信息为街景照片中拍摄的道路以及建筑物等内容，而街景数据则是存储在数据库中预先采集的包括道路、建筑物等内容的街景数据。

具体地，本步骤可分为对街景照片的图像信息提取操作，以及图像信息与街景数据匹配操作两个步骤。对于提取街景照片中的图像信息，可以通过图像识别算法，如基于图像特征对比的算法，将街景照片中的特征与预置的道路、建筑物的特征及进行对比，以此来识别街景照片中哪部分为道路，哪些部分为建筑物。本发明不限定所采用的具体图像识别算法。

而对于图像信息与街景数据匹配的操作，则可通过图像匹配算法实现，如灰度匹配算法或者是基于特征的匹配算法，具体使用的算法在本发明中不做限定。

进一步的，在本发明的一个优选实施例中，对于所提取的街景照片中的图像信息，优选的是通过图像识别算法来识别街景照片中的文字信息，该文字信息可以是道路的名称或者是建筑物的名称。因为，在进行匹配操作时，对文字信息匹配的准确率是最高的，比如，如果识别出图中的道路名称，或建筑物名称，就可以很准确地确定该道路或建筑物，而无需再根据所拍摄的街景图像中的特征从街景数据匹配是哪条道路或是哪座建筑物。然而，一幅街景照片中可能存在有大量的文字信息，为此，需要对所识别出的文字信息进行过滤，以判断这些文字信息中是否含有道路或建筑物的名称，若含有，再用这些道路或建筑物的名称与预置范围内的街景数据进行匹配。

经过本步骤的处理，存在有两种处理结果，一种是匹配成功，说明在预置范围内的街景数据中可以找到用户的当前位置，此时，继续执行步骤104；另一种是匹配失败，即在预置范围内的街景数据中没有与图像信息相匹配的数据，此时，很可能是由于定位偏移所导致的，因此，可以将步骤102中的预置范围进行适当放大后，获取扩大范围的街景数据再执行本步骤中的匹配操作，其中，对于范围具体扩大的值可通过预设值确定，为一经验值，该预设值的确定主要会参考扩大范围后的街景数据增量大小以及定位偏移量的大小而设置。对于匹配失败的情况，可以通过反复放大获取街景数据的预置范围进行匹配，直至匹配成功，或始终无法匹配成功时，向用户发送街景照片无法匹配的信息，以告知用户其拍摄的街景照片有问题。

步骤104、解析匹配成功的街景数据对应的方向信息。

在数据库中所采集的街景数据都对应有位置信息，而根据匹配成功的街景数据，可以计算出街景照片中各个景物的相对位置，从而得到对应的方向信息。其中，该方向信息中可以包括以拍摄街景照片的位置为参考点设置的东、南、西、北四个方位。

步骤105、根据方向信息在街景照片中标注道路和建筑物的方向标识。

该步骤是在街景照片的基础上，标注具体的方向信息，标注的方式及形式不做具体限定。常见的是将方向标识标注在道路和建筑物上，以方便用户的读取和辨认。

步骤106、发送含有方向标识的街景照片。

根据接收街景照片的用户信息，如用户id、设备编号等，将标注有方向标识的街景照片反馈给用户。

通过上述实施例中的具体实现方式可以看出，该基于图片的方向标注方法，主要是将用户发送的街景照片经过图像识别对其中的道路以及建筑物进行数据匹配，计算道路及建筑物相对于拍摄该街景照片的位置的方向信息，再将这些方向信息以方向标识的形式添加到该街景照片上，实现在街景照片上标记方向标识。如此，用户可以在拍摄地点接收到含有方向标识的街景照片，并直接以该街景照片上的方式标识对应着实际场景来辨别方向。相对于使用指南针或是电子罗盘识别方向，本发明实施例更加简便易用，无需用户学习使用方法，并且，本发明所匹配出的方向是通过数据库中存储的街景数据匹配得到的，其方向的准确性更高，不会出现使用电子罗盘或指南针受磁场影响而导致方向识别不准确的问题。

为了进一步详细的阐明基于图片的方向标注方法，特别是对上述实施例中步骤102至步骤105的实现，本发明实施例将结合图2具体说明将街景照片与数据库中的三维立体街景数据进行匹配并在街景照片上标注方向标识反馈给用户的方式。该方法具体如图2所示，包括：

步骤201、根据位置信息获取预置范围内的三维立体街景数据。

本实施例中，存储街景数据的数据库所采集的为三维立体街景的数据集，不同的数据集对应于不同的地理位置，比如，可以是以国家、地区或城市为单位的数据集，也可以是以经纬度、海拔等参数划分的地理区域为单位的数据集。每一个数据集中存储有对应该地理区域中所有道路的三维立体街景数据。

本步骤是根据用户实时拍摄并发送的街景照片所在的位置信息，匹配到对应的三维立体街景的数据集，从该数据集中还可以进一步的根据位置信息来提取具体位置所对应的街景数据。

步骤202、利用图像匹配算法在三维立体街景数据中匹配图像信息。

具体的匹配可通过图像匹配算法将街景照片中的图像信息与所确定的三维立体街景数据进行匹配，不限定图像匹配的具体算法，如灰度匹配算法或者基于特征的匹配算法。

由于三维立体街景数据是具有一定范围内的数据集合，即可以视为由多个位置点的数据所组合成的数据集，因此，本步骤的目的就是要在该数据集中匹配出与街景照片中的图像信息相匹配的具体位置点，其具体的匹配过程就是将每个位置点的三维立体街景数据转换为不同角度的二维图片，再与街景照片中的图像信息进行相似度计算，当相似度的值达到阈值时，就确定该街景照片成功匹配到对应的三维立体街景数据。

步骤203、基于三维立体坐标系计算匹配成功的三维立体街景数据中道路和/或建筑物的方向信息。

由于三维立体街景数据在本实施例中都有对应的位置点，因此，对于匹配成功的三维立体街景数据，其位置点的位置信息可以通过三维立体坐标系计算得到，其中，该三维立体坐标系是基于地理方向设置的。从而可以计算得到该三维立体街景数据中道路、建筑物的方向。

需要说明的是，计算出的方向是在街景照片所在二维平面上的方向信息。

步骤204、在街景照片的道路上沿所述道路的走向标注道路方向标识，在建筑物上方标注相对所述道路的方向标识。

在街景照片上标注方向标识的具体效果如图3所示，该图中的图像信息主要为道路，以及道路两旁的建筑物，通过对街景照片的识别，即利用图像识别算法来提取街景照片中的道路和建筑物，常用的图像识别算法如基于特征匹配的orb算法，提取街景照片中的道路以及建筑物的显示区域，根据步骤203中计算得到的方向信息，确定街景照片中的道路以及建筑物的方向，其中，道路的方向是按照道路的走向确定，而建筑物的方向则是相对于道路确定的方向，在图3中，道路的走向是由下至上为由南向北，而两侧的建筑物在其显示的区域附近也标记出对应的方向标识，以供用户作为方向参考。

经过以上步骤的执行，就实现了在一张具有指定信息(道路及建筑物)的街景照片上标记方向标识，方便用户辨别方向的目的。其中，本发明的实现主要是依据大量的街景数据与街景照片中的内容进行匹配，基于服务器的强大计算能力，对匹配成功的街景数据进行解析，得到对应的方向信息，进而在街景照片上标注方向标识。当然，在用户的终端具有存储大量街景数据以及强大的计算资源时，本发明也可以在用户的终端上执行，在用户拍摄照片后，直接得到标记有方向标识的照片，或者在用户的取景框中直接对所框定的图像进行解析并显示相应的方向信息。如此，可以更加简化用户在识别场景方向时所需的操作过程，让用户可以轻松的识别当前所在位置的具体方向。

进一步的，作为对上述图1与图2所示方法的实现，本发明实施例提供了一种基于图片的方向标注装置，能够基于用户拍摄的街景照片向用户反馈标注有方向标识的街景照片，以帮助用户识别当前位置的方向。为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置如图4所示，具体包括：

接收单元31，用于接收街景照片以及所述街景照片所在的位置信息，所述街景照片中至少含有道路和建筑物的图像信息；

获取单元32，用于根据所述接收单元31接收的位置信息获取预置范围内的街景数据；

提取单元33，用于提取所述接收单元31接收的街景照片中的图像信息；

匹配单元34，用于将所述提取单元33提取的图像信息与所述获取单元32获取的街景数据进行匹配；

解析单元35，用于解析经过所述匹配单元34匹配成功的街景数据对应的方向信息；

方向标注单元36，用于根据所述解析单元35解析的方向信息在所述街景照片中标注道路和建筑物的方向标识；

发送单元37，用于发送含有所述方向标注单元36标注的方向标识的街景照片。

进一步，如图5所示，所述获取单元32还用于，当所述匹配单元34对街景照片中的图像信息与所述街景数据匹配失败时，根据预设值扩大所述预置范围，并获取扩大预置范围后包括的街景数据。

进一步，如图5所示，所述提取单元33包括：

识别模块331，用于利用图像识别算法识别所述街景照片中的文字信息；

判断模块332，用于判断所述识别模块331识别的文字信息中是否含有道路或建筑物的名称；

提取模块333，用于当所述判断模块332确定含有道路或建筑物的名称时，提取所述名称作为所述街景照片中的图像信息。

进一步，如图5所示，所述获取单元32还用于，获取预置范围内的三维立体街景数据；

所述匹配单元34还用于，利用图像匹配算法在所述三维立体街景数据中匹配所述图像信息；

所述解析单元35还用于，基于三维立体坐标系计算匹配成功的三维立体街景数据中道路和/或建筑物的方向信息。

进一步，如图5所示，所述方向标注单元36包括：

识别模块361，用于利用图像识别算法识别所述街景照片中的道路和建筑物；

方向标注模块362，用于根据所述三维立体街景数据中道路和/或建筑物的方向信息，在所述识别模块识别出的道路上沿所述道路的走向标注道路方向标识，在识别出的所述建筑物上方标注相对所述道路的方向标识，得到标注有方向标识的街景照片。

综上所述，本发明实施例所采用的基于图片的方向标注方法及装置，是在用户拍摄的街景照片上，利用图像的识别以及匹配技术，从大量的街景数据中匹配出对应的数据，并根据该街景数据对应的方向信息标注方向标识，使得用户能够在处理后的街景照片上直接读取到对应的方向信息，帮助用户快速、简单的识别当前场景下的方向。相对目前使用指南针或电子罗盘等指向设备来识别方向的方法，本发明在识别方向的过程中，其识别的原理与现有的方法不同，因而不会受到磁场因素的干扰，其准确度更高。并且，本发明的操作过程十分简便，对于用户的操作过程与拍摄照片相同，区别在于，需要用户明确所拍摄的内容，以保证数据匹配以及识别的准确。由此可见，本发明所提出的方向标注方法及装置为用户提供了一种新的方向识别思路，简化了用户操作，也充分利用了服务端的强大数据存储与运算能力，使得为用户标注的方向更为准确。

进一步的，本发明实施例还提供了一种存储介质，该存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述的基于图片的方向标注方法。

另外，本发明实施例还提供了一种处理器，所述处理器用于运行计算机程序，其中，所述计算机程序运行时执行上述的基于图片的方向标注方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。