街景图像的更新方法及装置与流程

本发明实施例涉及计算机技术领域，尤其涉及一种街景图像的更新方法及装置。

背景技术

随着移动通信技术以及移动智能终端的不断发展，地图类应用已经成为移动互联网的重要入口。随着虚拟现实(virtualreality，vr)技术的不断发展，街景地图备受关注。街景地图是一种实景地图服务，其可以为用户提供城市、街道或其他环境的360度全景图像。可以由用户在地图上选择可查看街景的地点，然后向用户展示该地点对应的360度的街景，以使用户通过这样的实景地图服务获得身临其境的体验。

目前街景图像是利用专用的街景车，如装备了专用摄像设备的采集车，由专业的工作人员沿着各种路径行驶，进行实地拍摄，然后把每个地方的360度实景拍摄照片放在地图里以供用户查看和使用。由于街景图像的获取需要依靠专业人员和专用街景车，需要消耗相当的人力物力，使得街景图像的造价不菲。因此，通常街景图像的更新频率较低，基本上以月或者半年的频率进行更新，无法满足实时性要求较高的街景图像获取需求。

目前街景图像的更新主要依靠重新采集，工程量巨大，耗时长，成本高昂，无法满足街景图像实时更新的需求。

技术实现要素：

本发明实施例提供一种街景图像的更新方法及装置，用以解决现有技术中街景图像更新成本高昂、更新不及时的问题。

第一方面，本发明实施例提供一种街景图像的更新方法，包括：

确定待更新的兴趣点(pointofinterest，简称：poi)的失效门脸图片和地理位置信息；

根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，失效街景图像为出现有失效门脸的街景图像；

根据待更新门脸图片，对所有的失效街景图像进行更新，待更新门脸图片中包括有待更新的poi的门脸。

在一种可能的实现方式中，根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，包括：

根据地理位置信息，在街景图像库中确定检索范围；

将失效门脸图片与检索范围内的街景图像进行匹配；

确定与失效门脸图片的匹配度大于预设阈值的街景图像为失效街景图像。

在一种可能的实现方式中，根据待更新门脸图片，对所有的失效街景图像进行更新，包括：

针对每一个失效街景图像，根据待更新门脸图片，确定街景图像中的待更新区域；

根据每一个失效街景图像的参数，对待更新门脸图片进行投影变换；

根据变换后的待更新门脸图片，对待更新区域进行更新。

在一种可能的实现方式中，根据待更新门脸图片，对所有的失效街景图像进行更新，包括：

针对每一个失效街景图像，将街景图像与待更新门脸图片进行特征匹配，截取待更新门脸图片中poi的门脸更新图片；

根据每一个失效的街景图像的参数，对poi的门脸更新图片进行投影变换；

根据变换后的poi的门脸更新图片，对街景图像中的poi的门脸进行更新。

在一种可能的实现方式中，在根据待更新门脸图片，对所有的失效街景图像进行更新之后，方法还包括：

针对每一个失效街景图像，根据失效街景图像的成像相关参数，对更新后的街景图像进行渲染，获得新的街景图像；

其中，成像相关参数包括以下至少一种：成像时间、成像时的环境参数、成像时的拍摄参数。

在一种可能的实现方式中，在确定待更新的兴趣点poi的失效门脸图片和地理位置信息之前，还包括：

接收用户输入的poi更新请求，poi更新请求用于指示需更新的兴趣点；

确定待更新的兴趣点poi的失效门脸图片和地理位置信息，包括：

根据poi更新请求，确定待更新的poi的失效门脸图片和地理位置信息。

第二方面，本发明实施例提供一种街景图像的更新装置，包括：

确定模块，用于确定待更新的兴趣点poi的失效门脸图片和地理位置信息；

匹配模块，用于根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，失效街景图像为出现有失效门脸的街景图像；

更新模块，用于根据待更新门脸图片，对所有的失效街景图像进行更新，待更新门脸图片中包括有待更新的poi的门脸。

在一种可能的实现方式中，匹配模块，具体用于根据地理位置信息，在街景图像库中确定检索范围；将失效门脸图片与检索范围内的街景图像进行匹配；确定与失效门脸图片的匹配度大于预设阈值的街景图像为失效街景图像。

第三方面，本发明实施例提供一种街景图像的更新设备，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面任一项所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面任一项所述的方法。

本发明实施例提供的街景图像的更新方法及装置，通过确定待更新的poi的失效门脸图片和地理位置信息，根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，然后根据待更新门脸图片，对街景图像库中所有的失效街景图像进行更新，无需对街景图像进行重新采集，不仅可以及时的更新街景图像，而且降低了街景图像更新的成本。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为本发明提供的街景图像的更新方法一实施例的流程图；

图2为本发明提供的街景图像的更新方法又一实施例的流程图；

图3为本发明提供的街景图像的更新方法另一实施例的流程图；

图4为本发明提供的街景图像的更新方法又一实施例的流程图；

图5为本发明提供的街景图像的更新方法另一实施例的流程图；

图6为本发明提供的街景图像的更新装置一实施例的结构示意图；

图7为本发明提供的街景图像的更新设备一实施例的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

本发明的说明书和权利要求书中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明中的“第一”和“第二”只起标识作用，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本发明的说明书中通篇提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

图1为本发明提供的街景图像的更新方法一实施例的流程图，如图1所示，本实施例提供的方法可以包括：

步骤s101、确定待更新的兴趣点poi的失效门脸图片和地理位置信息。

由于各种原因，如店铺易主、铺面装修等会导致街景图像库中的街景图像与实际不符，例如，街景图像库中的街景图像显示第五大街上有a、b和c共3家相邻的店铺，而b店铺由于经营不善，已经被d店铺所替代，因此实际中第五大街上有a、d和c共3家相邻的店铺，为了使街景图像能够准确的反应真实的街景，需要及时对街景图像进行更新。

可以通过各种渠道获取poi更新情报，如来自用户的反馈，店铺店主的反馈，众包团队的反馈，外采团队的反馈等，以确定待更新的兴趣点poi的失效门脸图片和地理位置信息。如上例中，店铺b的门脸图片即为失效门脸图片。

步骤s102、根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，失效街景图像为出现有失效门脸的街景图像。

由于街景图像是利用街景车沿街所采集的360度全景图像，因此街景图像库可以包括同一目标对象的各个不同角度的多张街景图像。根据失效门脸图片和地理位置信息，将街景图像库中出现失效门脸，且地理位置在失效门脸附近的所有街景图像确定为失效街景图像，即需要更新的街景图像。如街景图像库中在第五大街出现失效门脸b的所有街景图像均为失效街景图像。

进一步的，还可以根据失效门脸图片确定失效街景图像的失效区域。具体的，可以对失效门脸图片进行特征提取，然后与失效街景图像进行图像匹配，以确定失效区域。

步骤s103、根据待更新门脸图片，对所有的失效街景图像进行更新，待更新门脸图片中包括有待更新的poi的门脸。

可以通过各种较为廉价的渠道获取待更新poi处的待更新门脸图片，如众包、用户有奖反馈等。然后根据该待更新的门脸图片对所有的失效街景图像进行更新。如包括店铺d的门脸图片即为待更新门脸图片，可以使用店铺d的门脸图片对失效街景图像中店铺b的门脸图片进行替换，完成更新。

本实施例提供的街景图像的更新方法，通过确定待更新的poi的失效门脸图片和地理位置信息，根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，然后根据待更新门脸图片，对街景图像库中所有的失效街景图像进行更新，无需对街景图像进行重新采集，不仅可以及时的更新街景图像，而且降低了街景图像更新的成本。

在上述实施例的基础上，本实施例针对上述实施例中根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，进行详细说明。

图2为本发明提供的街景图像的更新方法又一实施例的流程图，如图2所示，本实施例提供的方法中，根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，可以包括：

步骤s201、根据地理位置信息，在街景图像库中确定检索范围。

街景图像库中包括了大量的街景图像，为了减小数据处理量，缩短进行更新的时间，可以根据地理位置信息，在街景图像库中确定检索范围。例如，可以选取距地理位置信息所示位置预设距离范围内的街景图像为检索范围。例如，待更新的poi的位于第五大街100号，可以在街景图像库中确定第五大街上的所有街景图像为检索范围。

根据地理位置信息，确定检索范围，不仅能够减少数据处理量，而且能够提高更新的准确性。举例来说，第五大街和第一大街上均开设有连锁店铺e，其门脸完全一致，第五大街上的店铺e由于经营不善被其他店铺替代，则第五大街上店铺e的门脸图片为失效门脸图片，假如不考虑地理位置信息，则极有可能将第一大街上包括店铺e的街景图像也判定为失效街景图像，对其进行更新，导致街景图像的更新出现错误。

步骤s202、将失效门脸图片与检索范围内的街景图像进行匹配。

将失效门脸图片与检索范围内的街景图像一一进行匹配。首先，对失效门脸图片进行特征提取，例如，可以提取失效门脸图片的尺度不变特征变换(scale-invariantfeaturetransform，简称：sift)特征，或者通过神经网络对失效门脸图片进行特征提取，如采用siamese网络。然后，利用提取到的图像特征与街景图像进行图像匹配。

步骤s203、确定与失效门脸图片的匹配度大于预设阈值的街景图像为失效街景图像。

匹配度大于预设阈值的街景图像为失效街景图像。进一步的，还可以根据提取到的图像特征，在失效街景图像中确定失效区域，以便后续对失效区域进行更新。

本实施例提供的街景图像的更新方法，通过根据地理位置信息，在街景图像库中确定检索范围，将失效门脸图片与检索范围内的街景图像进行匹配，确定与失效门脸图片的匹配度大于预设阈值的街景图像为失效街景图像，然后对其进行更新，不仅减小了数据处理量，缩短了进行更新的时间，而且提高了更新的准确性。

在上述任一实施例的基础上，本实施例针对实施例中根据待更新门脸图片，对所有的失效街景图像进行更新，进行详细说明。图3为本发明提供的街景图像的更新方法另一实施例的流程图，如图3所示，本实施例提供的方法中，根据待更新门脸图片，对所有的失效街景图像进行更新可以包括：

步骤s301、针对每一个失效街景图像，根据待更新门脸图片，确定街景图像中的待更新区域。

对于每一个失效街景图像，可以根据待更新门脸图片，通过图像匹配，确定失效街景图像中的待更新区域。

步骤s302、根据每一个失效街景图像的参数，对待更新门脸图片进行投影变换。

由于待更新门脸图片与街景图像库中的全景图像的视角和形状等存在差别，因此，需要结合街景图像的参数，通过投影变换的方法，对待更新门脸图片进行变换，以消除视角和形状差异。

步骤s303、根据变换后的待更新门脸图片，对待更新区域进行更新。

将变换后的待更新门脸图片，填充至失效街景图像中的待更新区域，完成对街景图像的更新。

本实施例提供的街景图像的更新方法，通过根据每一个失效街景图像的参数，对待更新门脸图片进行投影变换，消除了待更新门脸图片与失效街景图像之间的视角和形状差异，使得更新后的街景图像更加自然。

在上述任一实施例的基础上，本实施例针对实施例中根据待更新门脸图片，对所有的失效街景图像进行更新，进行详细说明。图4为本发明提供的街景图像的更新方法又一实施例的流程图，如图4所示，本实施例提供的方法中，根据待更新门脸图片，对所有的失效街景图像进行更新可以包括：

步骤s401、针对每一个失效街景图像，将街景图像与待更新门脸图片进行特征匹配，截取待更新门脸图片中poi的门脸更新图片。

获取到的待更新门脸图片除了包括待更新的poi的门脸图片外，可能还包括相邻poi的门脸图片。例如，待更新的poi的门脸图片应为店铺b的门脸图片，但是获取到的待更新门脸图片不仅包括了店铺b的门脸图片，还包括了与店铺b相邻的店铺a和c的门脸图片。

为了尽可能的保持街景图像库的原有图像风格，可以选取尽可能小的更新区域进行更新。

对于每一个失效街景图像，将街景图像与待更新门脸图片进行特征匹配，截取待更新门脸图片中poi的门脸更新图片。

步骤s402、根据每一个失效的街景图像的参数，对poi的门脸更新图片进行投影变换。

由于截取的poi的门脸更新图片与街景图像库中的全景图像的视角和形状等存在差别，因此，需要结合街景图像的参数，通过投影变换的方法，对poi的门脸更新图片进行变换，以消除视角和形状差异。

步骤s403、根据变换后的poi的门脸更新图片，对街景图像中的poi的门脸进行更新。

将变换后的poi的门脸更新图片，填充至失效街景图像中的待更新区域，完成对街景图像的更新。

本实施例提供的街景图像的更新方法，通过针对每一个失效街景图像，将街景图像与待更新门脸图片进行特征匹配，截取待更新门脸图片中poi的门脸更新图片，减小了更新区域，有效的保留了街景图像库的图像风格。

在一种可能的实现方式中，为了使更新后的街景图像更加自然，在根据待更新门脸图片，对所有的失效街景图像进行更新之后，方法还包括：

针对每一个失效街景图像，根据失效街景图像的成像相关参数，对更新后的街景图像进行渲染，获得新的街景图像；

其中，成像相关参数包括以下至少一种：成像时间、成像时的环境参数、成像时的拍摄参数。

由于待更新门脸图片与街景图像拍摄于不同的时间，拍摄时的环境参数不同，且拍摄所用设备参数也不同，可能存在色相、明度、亮度、对比度、饱和度、等各方面差异。为了使更新后的街景图像更加自然，可以通过图像合成模型，对更新后的街景图像中的更新区域进行渲染，例如可以自动化修改图片的光线，明暗并矫正边界层，细节结构等。

本实施例提供的街景图像的更新方法，通过在根据待更新门脸图片，对所有的失效街景图像进行更新之后，针对每一个失效街景图像，根据失效街景图像的成像相关参数，对更新后的街景图像进行渲染，获得新的街景图像，消除了待更新门脸图片与失效街景图像之间由于成像相关参数带来的差异，使得更新后的街景图像更加自然。

在一种可能的实现方式中，为了使街景图像能够及时更新，在确定待更新的兴趣点poi的失效门脸图片和地理位置信息之前，还可以包括：

接收用户输入的poi更新请求，poi更新请求用于指示需更新的兴趣点；

确定待更新的兴趣点poi的失效门脸图片和地理位置信息，包括：

根据poi更新请求，确定待更新的poi的失效门脸图片和地理位置信息。

本实施例中的用户包括但不限于，街景图像库相关应用的使用者，如使用街景地图的用户，街景图像所涉及的商户，众包团队和外采团队等。本实施例对于用户反馈poi更新请求的形式不做限定，例如，使用街景地图进行导航的用户，在发现失效街景时，可以使用街景地图应用中的相关功能模块进行反馈。

本实施例提供的街景图像的更新方法，通过接收用户输入的poi更新请求，能够及时确定待更新的poi，进而使得街景图像能够及时获得更新，能够满足实时性要求较高的街景图像获取需求。

在上述实施例的基础上，本实施例对上述实施例进行结合。需要说明的是，本实施例仅仅示出了一种可能的结合方式，并不排除其他的结合方式。图5为本发明提供的街景图像的更新方法另一实施例的流程图，如图5所示，本实施例提供的方法可以包括：

步骤s501、接收用户输入的poi更新请求，poi更新请求用于指示需更新的兴趣点。

步骤s502、确定待更新的兴趣点poi的失效门脸图片和地理位置信息。

步骤s503、根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，失效街景图像为出现有失效门脸的街景图像。

步骤s504、根据待更新门脸图片，对所有的失效街景图像进行更新，待更新门脸图片中包括有待更新的poi的门脸。

步骤s505、针对每一个失效街景图像，根据失效街景图像的成像相关参数，对更新后的街景图像进行渲染，获得新的街景图像。

本实施例提供的街景图像的更新方法，通过接收用户输入的poi更新请求，能够及时获知需要更新的poi，进而确定街景图像库中的失效街景图像，通过待更新门脸图片对街景图像库中的失效街景图像进行更新，无需对街景图像重新采集，降低了街景更新的成本，通过对更新后的街景图像进行渲染，使得更新后的街景图像更加自然，提升了用户体验。综上所述，本实施例提供的街景图像的更新方法，不仅能够降低街景图像的更新成本，而且能够使街景图像获得及时的更新，能够满足实时性要求较高的街景图像获取需求，提升了用户体验。

本发明实施例还提供一种街景图像的更新装置，请参见图6所示，本发明实施例仅以图6为例进行说明，并不表示本发明仅限于此。图6为本发明提供的街景图像的更新装置一实施例的结构示意图。如图6所示，本实施例提供的街景图像的更新装置60可以包括：确定模块601、匹配模块602和更新模块603。

确定模块601，用于确定待更新的兴趣点poi的失效门脸图片和地理位置信息。

匹配模块602，用于根据失效门脸图片和地理位置信息，确定街景图像库中所有的失效街景图像，失效街景图像为出现有失效门脸的街景图像。

更新模块603，用于根据待更新门脸图片，对所有的失效街景图像进行更新，待更新门脸图片中包括有待更新的poi的门脸。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在一种可能的实现方式中，匹配模块602，具体用于根据地理位置信息，在街景图像库中确定检索范围；将失效门脸图片与检索范围内的街景图像进行匹配；确定与失效门脸图片的匹配度大于预设阈值的街景图像为失效街景图像。

在一种可能的实现方式中，更新模块603具体可以用于，

针对每一个失效街景图像，根据待更新门脸图片，确定街景图像中的待更新区域；

根据每一个失效街景图像的参数，对待更新门脸图片进行投影变换；

根据变换后的待更新门脸图片，对待更新区域进行更新。

在一种可能的实现方式中，更新模块603具体可以用于，

针对每一个失效街景图像，将街景图像与根据待更新门脸图片进行特征匹配，截取待更新门脸图片中poi的门脸更新图片；

根据每一个失效的街景图像的参数，对poi的门脸更新图片进行投影变换；

根据变换后的poi的门脸更新图片，对街景图像中的poi的门脸进行更新。

在一种可能的实现方式中，街景图像的更新装置60还可以包括渲染模块，用于针对每一个失效街景图像，根据失效街景图像的成像相关参数，对更新后的街景图像进行渲染，获得新的街景图像；

其中，成像相关参数包括以下至少一种：成像时间、成像时的环境参数、成像时的拍摄参数；

在一种可能的实现方式中，街景图像的更新装置60还可以包括接收模块，用于接收用户输入的poi更新请求，poi更新请求用于指示需更新的兴趣点；

确定待更新的兴趣点poi的失效门脸图片和地理位置信息，包括：

根据poi更新请求，确定待更新的poi的失效门脸图片和地理位置信息。

本发明实施例还提供一种街景图像的更新设备，请参见图7所示，本发明实施例仅以图7为例进行说明，并不表示本发明仅限于此。图7为本发明提供的街景图像的更新设备一实施例的结构示意图。如图7所示，本实施例提供的街景图像的更新设备70包括：存储器701、处理器702和总线703。其中，总线703用于实现各元件之间的连接。

存储器701中存储有计算机程序，计算机程序被处理器702执行时可以实现上述任一实施例的技术方案。

其中，存储器701和处理器702之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可以通过一条或者多条通信总线或信号线实现电性连接，如可以通过总线703连接。存储器701中存储有实现街景图像的更新方法的计算机程序，包括至少一个可以软件或固件的形式存储于存储器701中的软件功能模块，处理器702通过运行存储在存储器701内的软件程序以及模块，从而执行各种功能应用以及数据处理。

存储器701可以是，但不限于，随机存取存储器(randomaccessmemory，简称：ram)，只读存储器(readonlymemory，简称：rom)，可编程只读存储器(programmableread-onlymemory，简称：prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，简称：eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，简称：eeprom)等。其中，存储器701用于存储程序，处理器702在接收到执行指令后，执行程序。进一步地，上述存储器701内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通信，从而提供其他软件组件的运行环境。

处理器702可以是一种集成电路芯片，具有信号的处理能力。上述的处理器702可以是通用处理器，包括中央处理器(centralprocessingunit，简称：cpu)、网络处理器(networkprocessor，简称：np)等。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。可以理解，图7的结构仅为示意，还可以包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件和/或软件实现。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时可以实现上述任一方法实施例提供的街景图像的更新方法。本实施例中的计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备，可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如ssd)等。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。