街景视频的矢量图形标注方法、终端设备及存储介质与流程

文档序号:14870809发布日期:2018-07-06 23:29阅读:216来源:国知局

本发明涉及电子地图技术领域,尤其涉及一种街景视频的矢量图形标注方法、终端设备及存储介质。



背景技术:

街景地图是一种实景地图服务,主要为用户提供城市、街道或其他环境的360度全景图像,用户可以通过该服务获得如临其境的地图浏览体验。通过街景地图,只要坐在电脑前就可以真实的看到街道上的高清景象。实现了“人视角”的地图浏览体验,为用户提供更加真实准确、更富画面细节的地图服务。

然而,通过全景图像展示街景地图时,不仅存在画质容易拉伸变形、全景图像之间链接不顺畅等问题,而且存在无法在全景图像中对街景内容进行标注的问题。



技术实现要素:

本发明的目的在于提供一种街景视频的矢量图形标注方法、终端设备及存储介质,通过视频而非全景图像的方式,解决现有的街景地图中展示效果不佳以及标注难度大的技术问题。

为了解决上述问题,本发明提供了一种街景视频的矢量图形标注方法,其包括:

在街景视频中,根据点击指令获取当前帧,并根据点击位置在当前帧中添加标注点;

根据标注点所在区域生成街景对象的指示边界;

接收关联到标注点的矢量图形和属性信息,标注点与属性信息之间通过矢量图形进行指引或连接;

在街景视频中,读取当前帧的关联帧,当关联帧中存在街景对象时,通过矢量图形指引或连接标注点和属性信息。

作为本发明的进一步改进,接收关联到标注点的矢量图形和属性信息,包括:

接收输入或导入的属性信息,属性信息包括文字信息、图片信息、和/或二维码信息;

获取矢量图形,矢量图形指引或连接标注点和属性信息。

作为本发明的进一步改进,获取矢量图形,包括:

判断根据选择指令选中的是静态矢量元素还是动态矢量元素;

当选中的是动态矢量元素时,从矢量图形数据库中读取与动态矢量元素对应的初始矢量图形,根据属性信息调整可动部分,调整后的可动部分与固定部分形成矢量图形,初始矢量图形包括可动部分和固定部分;

当选中的是静态矢量元素时,从矢量图形数据库中读取与静态矢量元素对应的矢量图形。

作为本发明的进一步改进,根据标注点所在区域生成街景对象的指示边界,包括:

在当前帧中标注点所在的像素区域,生成初设边界;

接收到对初设边界的调整指令或确认指令时,生成指示边界及其对应的边界参数。

作为本发明的进一步改进,生成初设边界,包括:

检测街景视频对街景对象是单角度显示还是多角度显示;

若是单角度显示,则生成二维初设边界;

若是多角度显示,则生成三维初设边界。

作为本发明的进一步改进,还包括:

存储标注点、关联的边界参数、矢量图形和属性信息;

存储当前帧的帧编号、以及存在街景对象的关联帧的帧编号,并将当前帧的帧编号与关联帧的帧编号关联至标注点。

作为本发明的进一步改进,还包括:

在播放街景视频时,若播放帧中包含标注点,则显示标注点;

当有光标指令或触摸指令划过标注点对应的指示边界时,显示与标注点对应的矢量图形,且显示矢量图形指引或连接的属性信息。

作为本发明的进一步改进,还包括:

接收用户输入的检索用信息,检索用信息包括文字信息或图片信息;

判断是否存在与检索用信息精确匹配的属性信息;

若存在,则根据检索用信息在街景数据库中,读取至少一段街景视频结果、或在街景视频中读取至少一段街景视频片段;

若不存在,则模糊处理检索用信息,直至读取到街景视频结果或街景视频片段。

作为本发明的进一步改进,读取至少一段街景视频结果、或在街景视频中读取至少一段街景视频片段,之后包括:

当获得多段街景视频结果或多段街景视频片段时,显示每段街景视频结果或每段街景视频片段的主帧和视频长度。

为了解决上述问题,本发明还提供了一种终端设备,其包括处理器、存储器和显示器,处理器耦接存储器、显示器,存储器上存储有可在处理器上运行的计算机程序;

处理器执行计算机程序时,实现上述的街景视频的矢量图形标注方法。

为了解决上述问题,本发明还提供了一种存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时,实现上述的街景视频的矢量图形标注方法。

本发明通过逐帧输出街景视频,既无需拉伸变形,也不存在图像之间链接不顺畅的问题,从而提升了展示效果。进一步地,本发明动态为当前帧中的街景对象添加标注点以及与该标注点关联的矢量图形和属性信息,并将该标注点,矢量图形和属性信息匹配至关联帧中对应的街景对象,提高了标注的速度和对街景对象的覆盖程度,便于用户后续以该属性信息为基础,进行查询、搜索、导航以及广告等附加值应用。

附图说明

图1为本发明街景视频的矢量图形标注方法第一个实施例的流程示意图;

图2为本发明街景视频的矢量图形标注方法中指示边界生成流程一个实施例的流程示意图;

图3为本发明街景视频的矢量图形标注方法中初设边界生成流程一个实施例的流程示意图;

图4为本发明终端设备第一个实施例的终端界面展示示意图;

图5为本发明终端设备第二个实施例的终端界面展示示意图;

图6为本发明街景视频的矢量图形标注方法中属性信息接收流程一个实施例的流程示意图;

图7为本发明街景视频的矢量图形标注方法中矢量图形获取流程一个实施例的流程示意图;

图8为本发明街景视频的矢量图形标注方法第二个实施例的流程示意图;

图9为本发明街景视频的矢量图形标注方法第三个实施例的流程示意图;

图10为本发明街景视频的矢量图形标注方法第四个实施例的流程示意图;

图11为本发明街景视频的矢量图形标注方法中包含同一个街景对象的多个视频帧示意图;

图12为本发明终端设备一个实施例的框架结构示意图;

图13为本发明终端设备第一个实施例的功能模块示意图;

图14为本发明终端设备中属性信息关联模块一个实施例的功能模块示意图;

图15为本发明终端设备中矢量图形获取单元一个实施例的功能模块示意图;

图16为本发明终端设备中指示边界生成模块一个实施例的功能模块示意图;

图17为本发明终端设备中初设边界生成子模块一个实施例的功能模块示意图;

图18为本发明终端设备第二个实施例的功能模块示意图;

图19为本发明终端设备第三个实施例的功能模块示意图;

图20为本发明终端设备第四个实施例的功能模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用来限定本发明。

图1展示了本发明街景视频的矢量图形标注方法的一个实施例。在本实施例中,该街景视频的矢量图形标注方法包括:

步骤s1,在街景视频中,根据点击指令获取当前帧,并根据点击位置在当前帧中添加标注点。

在步骤s1中,通过显示屏播放街景视频时,接收到用户点击显示屏的点击操作,根据该点击操作生成点击指令,并记录该点击操作的点击位置。执行该点击指令,以获得当前帧,并根据该点击位置在当前帧中添加标注点。

需要说明的是,本实施例是街景视频播放过程中,用户可以为街景对象实时添加标注点,并为该标注点实时关联文字参数,从而实现了街景对象的标注点和文字参数的动态添加。

步骤s2,根据标注点所在区域生成街景对象的指示边界。

在上述实施例的基础上,其他实施例中,参见图2,步骤s2包括:

步骤s20,在当前帧中标注点所在的像素区域,生成初设边界。

在上述实施例的基础上,其他实施例中,参见图3,步骤s20包括:

步骤s200,检测街景视频对街景对象是单角度显示还是多角度显示;若是单角度显示,则执行步骤s201;若是多角度显示,则执行步骤s202。

需要说明的是,本实施例中的多角度显示是指通过鼠标的滚轮调整可以实现不同的显示角度。

步骤s201,生成二维初设边界。

步骤s202,生成三维初设边界。

本实施例根据显示角度的不同生成不同的初设边界,以满足用户不同的需求,提升了用户的使用体验。

步骤s21,接收到对初设边界的调整指令或确认指令时,生成指示边界及其对应的边界参数。

为了更加详细说明本发明的技术方案,参见图4,在视频显示界面10中,输出显示当前帧,当前帧中标注点11所在的像素区域,生成初设边界12。接收用户对初设边界12的调整指令后,生成指示边界13以及指示边界的边界参数。具体地,譬如:标注点11是当前帧中点击了一栋楼的2楼窗子,初设边界12可能是该栋楼,经过调整后指示边界13仅为2楼的部分区域。

需要说明的是,为了更加直观显示本实施例的标注点11,标注点11的表现形式可以为圆环、旗帜、图钉等。

步骤s3,接收关联到标注点的矢量图形和属性信息,标注点与属性信息之间通过矢量图形进行指引或连接。

为了更加详细说明本发明的技术方案,参见图5,以矢量图形为标注引线、属性信息为商品logo为例进行详细说明。在视频显示界面20中,输出显示当前帧和标注点21,且标注点21与属性信息23之间通过标注引线22进行指引。

具体技术实现包括:

通过c、c++、java、python、ruby、matlab等语言,调用opencv函数绘制各相关街景对象矢量图形。opencv(opensourcecomputervisionlibrary)是开源计算机视觉库,具有轻量级而且高效特征,由一系列c函数和c++类构成,其中实现点线面各种矢量图形的绘制函数包括:

点函数:cvpoint(intx;/x坐标inty;/y坐标)

线函数:cvline(cvarr*img,cvpointpt1,cvpointpt2,cvscalarcolor,intthickness=1,intline_type=8,intshift=0);

圆函数:cvcircle(cvarr*img,cvpointcenter,intradius,cvscalarcolor,intthickness=1,intline_type=8,intshift=0);

矩形函数:cvrectangle(cvarr*img,cvpointpt1,cvpointpt2,cvscalarcolor,intthickness=1,intline_type=8,intshift=0);

椭圆函数:cvellipse(cvarr*img,cvpointcenter,cvsizeaxes,doubleangle,doublestart_angle,doubleend_angle,cvscalarcolor,intthickness=1,intline_type=8,intshift=0)。

在上述实施例的基础上,其他实施例中,参见图6,步骤s3包括:

步骤s30,接收输入或导入的属性信息,属性信息包括文字信息、图片信息、和/或二维码信息;

步骤s31,获取矢量图形,矢量图形指引或连接标注点和属性信息。

本实施例既可以接收用户输入的属性信息(譬如:文字信息),也可以接收用户导入的属性信息(譬如:文字信息、图片信息或二维码信息),从而拓展了属性信息的获取方式,以致提升了属性信息的标注速率以及用户使用体验。

在上述实施例的基础上,其他实施例中,参见图7,步骤s31包括:

步骤s310,判断根据选择指令选中的是静态矢量元素还是动态矢量元素;当选中的是动态矢量元素时,执行步骤s311。当选中的是静态矢量元素时,则执行步骤s312。

在步骤s310中,接收到用户输入或导入的属性信息后,自动输出显示静态矢量元素和动态矢量元素两个选项。获取用户点击两个选项中一个选项的点击操作,以生成选择指令,并根据该选择指令选中静态矢量元素或动态矢量元素。

步骤s311,从矢量图形数据库中读取与动态矢量元素对应的初始矢量图形,根据属性信息调整可动部分,调整后的可动部分与固定部分形成矢量图形,初始矢量图形包括可动部分和固定部分。

步骤s312,从矢量图形数据库中读取与静态矢量元素对应的矢量图形。

本实施例可以根据用户的需求,选择静态矢量图形还是动态矢量图形,从而提升了用户使用体验。此外,本实施例可以使用动态矢量图形,以致输出显示更美观,从而增强了街景视频的输出显示美观度。

步骤s4,在街景视频中,读取当前帧的关联帧,当关联帧中存在街景对象时,通过矢量图形进行指引或连接标注点和属性信息。

本实施例对街景视频中的某一个视频帧进行标注点的添加,以及矢量图形和属性信息的关联操作后,统一对具有相同街景对象的关联帧执行相同的操作,进一步提升了街景视频中所有相关的视频帧的标注速率以及矢量图形和属性信息的关联速率。

本实施例通过逐帧输出街景视频,既无需拉伸变形,也不存在图像之间链接不顺畅的问题,从而提升了展示效果。进一步地,本发明动态为当前帧中的街景对象添加标注点以及与该标注点关联的矢量图形和属性信息,并将该标注点,矢量图形和属性信息匹配至关联帧中对应的街景对象,提高了标注的速度和对街景对象的覆盖程度,便于用户后续以该属性信息为基础,进行查询、搜索、导航以及广告等附加值应用。

将本发明的街景视频的矢量图形标注方法应用于终端设备的使用过程中,需要将标注点、边界参数、矢量图形和属性信息进行存储,以便后续输出显示调用。因此,在上述实施例的基础上,其他实施例中,参见图8,该街景视频的矢量图形标注方法还包括:

步骤s40,存储标注点、关联的边界参数、矢量图形和属性信息。

在步骤s40中,存储每一帧的标注点、关联的边界参数、矢量图形和属性信息至街景数据库中。

步骤s41,存储当前帧的帧编号、以及存在街景对象的关联帧的帧编号,并将当前帧的帧编号与关联帧的帧编号关联至标注点。

在步骤s41中,通过帧编号区分不同的视频帧,并将帧编号和标注点进行关联存储。

本实施例即时存储存在街景对象的每一帧的帧编号,以及每一帧的标注点、边界参数、矢量图形和属性信息,以便后续输出显示街景视频时,根据该帧编号,输出显示与该帧编号对应的视频帧中的标注点、边界参数对应的指示边界以及矢量图形和属性信息,因此,需要输出显示时,快速调用街景数据库的数据信息,既避免了标注点、指示边界、矢量图形和属性信息固定显示于每一个视频帧中,以致每一个视频帧的输出显示数据量过大,以致输出显示速率过低。也避免了相邻标注点的属性信息的输出显示造成干扰,甚至多个标注点的属性信息的输出显示,造成输出显示混乱,以致用户观看障碍,降低了用户使用体验。

将本发明的街景视频的矢量图形标注方法应用于终端设备的使用过程中,只需显示用户所需的属性信息。因此,在上述实施例的基础上,其他实施例中,参见图9,该街景视频的矢量图形标注方法还包括:

步骤s50,在播放街景视频时,若播放帧中包含标注点,则显示标注点。

步骤s51,当有光标指令或触摸指令划过标注点对应的指示边界时,显示与标注点对应的矢量图形,且显示矢量图形指引或连接的属性信息。

需要说明的是,本实施例中的光标指令可以为鼠标的光标进入指示边界。而本实施例中的触摸指令可以为用户针对显示屏输入的触控信号在该指示边界内。

本实施例即时输出当前帧中所有标注点,以便用户即时获知,从而提升了用户使用体验。此外,只有进入目标标注点的指示边界时,才输出显示该目标标注点的矢量图形和属性信息,既避免了相邻标注点的属性信息的输出显示造成干扰,不便于用户观看,从而进一步降低了用户使用体验,也避免了多个标注点的属性信息的输出显示,以致降低当前帧的输出显示速率,以及多个属性信息输出显示时,若没有或少量用户所需的属性信息,则降低了属性信息输出显示有效率。

将本发明的街景视频的矢量图形标注方法应用于终端设备的使用过程中,需要检索用户所需的街景视频,因此,在上述实施例的基础上,其他实施例中,参见图10,该街景视频的矢量图形标注方法还包括:

步骤s60,接收用户输入的检索用信息,检索用信息包括文字信息或图片信息。

步骤s61,判断是否存在与检索用信息精确匹配的属性信息。若存在,则执行步骤s62。若不存在,则执行步骤s63。

步骤s62,根据检索用信息在街景数据库中,读取至少一段街景视频结果、或在街景视频中读取至少一段街景视频片段。

步骤s63,模糊处理检索用信息,直至读取到街景视频结果或街景视频片段。

由于文字信息的处理与图片信息的处理,存在差异性,所以,为了便于本实施例的技术方案的实施,下面针对文字信息和图片信息的技术方案进行详细说明。

1、检索用信息为文字信息

在步骤s61中,本实施例中精确匹配可以为:获取检索用信息与属性信息的相似度,若该相似度超过预设阈值,则该检索用信息与检索词精确匹配。

在步骤s62中,在街景数据库中,读取至少一段包含该检索用信息的街景视频结果、或在街景视频中读取至少一段包含该检索用信息的街景视频片段。

在步骤s63中,本实施例中模糊处理检索用信息包括但不限于以下操作:

(1)将该检索用信息拆分为多个关键词,采用多个关键词进行检索操作;

(2)获取该检索用信息的语义,利用语义进行检索操作。

2、检索用信息为图片信息

在步骤s61中,本实施例中精确匹配可以为:获取检索用信息与属性信息的相似度,若该相似度超过预设阈值,则该检索用信息与检索词精确匹配。

在步骤s62中,在街景数据库中,读取至少一段包含该检索用信息的街景视频结果、或在街景视频中读取至少一段包含该检索用信息的街景视频片段。

在步骤s63中,本实施例中模糊处理检索用信息包括但不限于以下操作:

(1)关键词提取处理

提取该检索用信息中的文字信息,既可以直接采用该文字信息执行检索操作,也可以将该文字信息拆分为多个关键词,采用多个关键词执行检索操作。

(2)关键词提取并语义分析处理

提取该检索用信息中的文字信息,获取与该文字信息对应的语义,采用该语义执行检索操作。

进一步地,在上述实施例的基础上,其他实施例中,步骤s62之后,还包括:

步骤s70,当获得多段街景视频结果或多段街景视频片段时,显示每段街景视频结果或每段街景视频片段的主帧和视频长度。

需要说明的是,所谓主帧为与属性信息对应的标注点或街景对象,在视频帧中完整且占比最大或在视频帧的预设优先区域(譬如:黄金分割点)内。比如,参见图11,帧i到帧vi所代表的帧都包含街景对象--宫殿,其中可以优选帧ii(黄金分割点)或帧iii(占比最大)作为视频片段的主帧。

本实施例根据检索用信息与属性信息的匹配程度,智能进行检索操作,既提升了智能处理性能,也提升了用户使用体验。此外,显示每段街景视频结果或每段街景视频片段的主帧和视频长度,以便用户快速获知是否检索到用户所需的街景视频,从而进一步提升了智能处理性能和用户使用体验。

图12为本发明终端设备的一个实施例,在本实施例中,该终端设备包括存储器2、处理器1以及显示器3,处理器1分别耦接存储器2、显示器3。

其中,处理器1可以是一个通用中央处理器、微处理器、特定应用集成电路、或一个或多个用于控制本申请方案程序执行的集成电路。

此外,存储器2可以是只读存储器、可存储静态信息和指令的静态存储设备、随机存取存储器、或者可存储信息和指令的动态存储设备,也可以是电可擦可编程只读存储器、只读光盘、或其他光盘存储、光碟存储、磁盘存储介质或者其他磁存储设备。存储器2与处理器1可以通过通信总线相连接,也可以和处理器1集成在一起。

上述存储器2可用于存储执行本申请方案的计算机程序,处理器1可用于执行存储器2中存储的计算机程序,以实现上述实施例描述的街景视频的矢量图形标注方法。

具体地,参见图13,在本实施例中,该终端设备包括标注点添加模块10、指示边界生成模块11、属性信息关联模块12和关联帧匹配模块13。

其中,标注点添加模块10,用于在街景视频中,根据点击指令获取当前帧,并根据点击位置在当前帧中添加标注点;指示边界生成模块11,用于根据标注点所在区域生成街景对象的指示边界;属性信息关联模块12,用于接收关联到标注点的矢量图形和属性信息,标注点与属性信息之间通过矢量图形进行指引或连接;关联帧匹配模块13,用于在街景视频中,读取当前帧的关联帧,当关联帧中存在街景对象时,通过矢量图形进行指引或连接标注点和属性信息。

在上述实施例的基础上,其他实施例中,参见图14,属性信息关联模块12包括属性信息接收单元120和属矢量图形获取单元121。

其中,属性信息接收单元120,用于接收输入或导入的属性信息,属性信息包括文字信息、图片信息、和/或二维码信息;矢量图形获取单元121,用于获取矢量图形,矢量图形指引或连接标注点和属性信息。

在上述实施例的基础上,其他实施例中,参见图15,矢量图形获取单元121包括判断子单元1210、动态矢量图形生成子单元1211和静态矢量图形子单元1212。

其中,判断子单元1210,用于判断根据选择指令选中的是静态矢量元素还是动态矢量元素;动态矢量图形生成子单元1211,用于当选中的是动态矢量元素时,从矢量图形数据库中读取与动态矢量元素对应的初始矢量图形,根据属性信息调整可动部分,调整后的可动部分与固定部分形成矢量图形,初始矢量图形包括可动部分和固定部分;静态矢量图形子单元1212,用于当选中的是静态矢量元素时,从矢量图形数据库中读取与静态矢量元素对应的矢量图形。

在上述实施例的基础上,其他实施例中,参见图16,指示边界生成模块11包括初设边界生成子模块110和指示边界生成子模块111。

其中,初设边界生成子模块110,用于在当前帧中标注点所在的像素区域,生成初设边界;指示边界生成子模块111,用于接收到对初设边界的调整指令或确认指令时,生成指示边界及其对应的边界参数。

在上述实施例的基础上,其他实施例中,参见图17,初设边界生成子模块110包括显示角度检测单元1101、二维初设边界生成单元1102和三维初设边界生成单元1103。

其中,显示角度检测单元1101,用于检测街景视频对街景对象是单角度显示还是多角度显示;二维初设边界生成单元1102,用于若是单角度显示,则生成二维初设边界;三维初设边界生成单元1103,用于若是多角度显示,则生成三维初设边界。

在上述实施例的基础上,其他实施例中,参见图18,该终端设备还包括存储模块20和帧编号关联模块21。

其中,存储模块20,用于存储标注点、关联的边界参数、矢量图形和属性信息;帧编号关联模块21,用于存储当前帧的帧编号、以及存在街景对象的关联帧的帧编号,并将当前帧的帧编号与关联帧的帧编号关联至标注点。

在上述实施例的基础上,其他实施例中,参见图19,该终端设备包括标注点显示模块30和属性信息显示模块31。

其中,标注点显示模块30,用于在播放街景视频时,若播放帧中包含标注点,则显示标注点;属性信息显示模块31,用于当有光标指令或触摸指令划过标注点对应的指示边界时,显示与标注点对应的矢量图形,且显示矢量图形指引或连接的属性信息。

上述实施例的基础上,其他实施例中,参见图20,该终端设备包括检索信息接收模块40、判断模块41、读取模块42、模糊处理模块43和检索结果显示模块50。

其中,检索信息接收模块40,用于接收用户输入的检索用信息,检索用信息包括文字信息或图片信息;判断模块41,用于判断是否存在与检索用信息精确匹配的属性信息;读取模块42,用于若存在,则根据检索用信息在街景数据库中,读取至少一段街景视频结果、或在街景视频中读取至少一段街景视频片段;模糊处理模块43,用于若不存在,则模糊处理检索用信息,直至读取到街景视频结果或街景视频片段。

进一步地,检索结果显示模块50,用于当获得多段街景视频结果或多段街景视频片段时,显示每段街景视频结果或每段街景视频片段的主帧和视频长度。

关于上述七个实施例终端设备中各模块实现技术方案的其他细节,可参见上述实施例中的街景视频的矢量图形标注方法中的描述,此处不再赘述。

需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

本申请实施例还提供了一种存储介质,用于存储计算机程序,其包含用于执行本申请上述街景视频的矢量图形标注方法实施例所设计的计算机程序。通过执行该存储介质中存储的计算机程序,可以实现本申请提供的街景视频的矢量图形标注方法。

以上对发明的具体实施方式进行了详细说明,但其只作为范例,本发明并不限制与以上描述的具体实施方式。本领域的技术人员而言,任何对该发明进行的等同修改或替代也都在本发明的范畴之中,因此,在不脱离本发明的精神和原则范围下所作的均等变换和修改、改进等,都应涵盖在本发明的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1