视觉标记方法、系统、电子终端、及计算机可读存储介质与流程

本发明涉及网络通讯领域，特别是涉及视觉标记方法、系统、电子终端、及计算机可读存储介质。

背景技术

目前，对于视觉信息的标记，一般通过软件由人工或者机器进行预处理。例如：记录目标坐标、跟踪gps位置、或者图片特征等信息，通过绘制或放置标记再进行图片合成来实现。以教师远程批改学生的试卷作为视觉信息标记为例：通常学生会将完成的试卷拍照，通过通讯软件发送至教师，供教师在图片上进行标记、绘画等操作，再回传至学生，从而完成一次交互。

但是，这样的交互模式面对实时性要求比较高的场合，如即时会议、实时远程教学、远程运维、远程指导等场景，存在较大弊端，用户体验差，需要亟需一种即时进行画面标记的技术来进行辅助补充，但目前市场上没有针对实时场景的标记技术出现。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明提供视觉标记方法、系统、电子终端、及计算机可读存储介质，用于解决现有的交互模式用户体验度差等技术题。

为实现上述目的及其他相关目的，本发明提供一种视觉标记方法，应用于服务终端，所述方法包括：接收来自发起终端的分享文件；分析所述分享文件，以生成分析结果信息；创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息；将所述增强视觉标记信息发送至发起终端、接收终端。

于本发明的一实施例中，所述服务终端在执行接收来自发起终端的分享文件之前，还执行如下步骤：接收来自一或多个发起终端的分享请求；发送所述分享请求至一或多个接收终端；接收来自所述接收终端的确认信息；将所述确认信息发送至发起终端，以待接收来自所述发起终端的分享文件。

于本发明的一实施例中，分析所述分享文件，以生成分析结果信息包括：基于静态帧图片特征提取算法和/或即时定位与地图构建算法分析所述分享文件；其中，所述静态帧图片特征提取算法对所述实时视频文件的静态帧图片进行特征提取分析，以形成特征向量；所述特征包括颜色、纹理、及形状中的任意一种或多种组合；所述即时定位与地图构建算法对所述实时视频文件进行数据采集以分析视觉里程，并将所述实时视频文件中的图片进行优化处理，以在优化后基于单帧进行特征分析以完成特征采集。

于本发明的一实施例中，所述静态帧图片特征提取算法包括sift算法、surf算法、或者kaze算法；所述即时定位与地图构建算法包括ptam算法、dtam算法、或者orb-slam算法。

于本发明的一实施例中，所述创建视觉标记的方式包括：通过触摸屏进行手绘、屏幕鼠标绘制、预制标记放置、或者文字输入。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现应用于服务终端的所述视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器、存储器、及通信器；所述存储器用于存储计算机程序，所述通信器用于与外部设备通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行所述应用于服务终端的视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种视觉标记方法，应用于发起终端，所述方法包括：发送分享请求至服务终端，以请求将分享文件分享至一或多个接收终端；接收来自所述服务终端的确认信息；所述确认信息包括所述接收终端接受该分享请求；将分享文件发送至所述服务终端，供所述服务终端分析并创建视觉标记，以生成增强视觉标记信息；接收来自所述服务终端的增强视觉标记信息。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现应用于发起终端的所述视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器、存储器、及通信器；所述存储器用于存储计算机程序，所述通信器用于与外部设备通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行所述应用于发起终端的视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种视觉标记方法，应用于接收终端，所述方法包括：接收来自服务终端的分享请求，所述分享请求包括来自一或多个发起终端的分享文件请求；发送确认信息至所述服务终端，以接受所述分享请求；接收来自服务终端的增强视觉标记信息；其中，所述服务终端分析所述分享文件并基于分析结果信息创建视觉标记，以生成所述增强视觉标记信息。

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现应用于接收终端的所述视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器、存储器、及通信器；所述存储器用于存储计算机程序，所述通信器用于与外部设备通信连接，所述处理器用于执行所述存储器存储的计算机程序，以使所述电子终端执行所述应用于接收终端的视觉标记方法。

为实现上述目的及其他相关目的，本发明提供一种视觉标记系统，其包括：一或多个发起终端、一或多个接收终端、以及服务终端；各所述接收终端、发起终端均通信连接有图像摄取装置，其中：发起终端用于发送分享请求至服务终端，以请求将分享文件分享至一或多个接收终端；将分享文件发送至所述服务终端；所述服务终端用于发送所述分享请求至一或多个接收终端；接收来自所述接收终端的确认信息，并将所述确认信息发送至发起终端；接收来自发起终端的分享文件；分析所述分享文件，以生成分析结果信息；创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息；将所述增强视觉标记信息发送至发起终端和接收终端；所述接收终端用于接收来自服务终端的分享请求，发送确认信息至所述服务终端，以接受所述分享请求，接收来自服务终端的增强视觉标记信息。

如上所述，本发明的视觉标记方法、系统、电子终端、及计算机可读存储介质，具有以下有益效果：交互各方无需处于同一空间，通过远程模式即可实现场景的分享，并且对场景进行增强现实标记，如绘图、写字、放置标记，例如：视频、动画、音乐等标记物等等，从而达到实时交互、准确指导等目的。对比于现有技术，本发明的技术方案将视频交互灵活地应用于各现实场景中，大大降低了视觉标记的成本，并进一步地提升了交互的效率与价值，还可大大提高增强现实的乐趣与远程指导的准确度，为增进多方合作有积极的促进作用。

附图说明

图1显示为本发明一实施例中视觉标记系统的示意图。

图2显示为本发明一实施例中视觉标记系统的工作流程示意图。

图3显示为本发明一实施例中视觉标记方法的流程图。

图4显示为本发明一实施例中视觉标记方法的流程图。

图5显示为本发明一实施例中电子终端的示意图。

元件标号说明

11发起终端

12接收终端

13服务终端

51处理器

52存储器

53通信器

54通信接口

55系统总线

s201～s208步骤

s301～s304步骤

s401～s403步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，展示本发明一实施例中视觉标记系统的示意图。于本实施例中，所述视觉标记系统包括一或多个发起终端、一或多个接收终端、以及服务终端；各所述接收终端、发起终端均通信连接有未图示的图像摄取装置。

所述发起终端、接收终端、服务终端具体可以是会议电视设备、移动终端、平板电脑、或者skype工具等等；所述图像摄取装置例如可以是摄像头，用于输入图像，其可内置于终端也可外设于终端外，本发明对此不作限定。

需要说明的是，所述视觉标记系统中一或多个发起终端以及一或多个接收终端，可以是指一个发起终端与一或多个接收终端分享文件，也可以是指一或多个发起终端与一个接收终端分享文件，还可以是指多个发起终端与多个接收终端分享文件。为便于理解，下文仅以一个发起终端和一个接收终端为例予以说明视觉标记方法的实施方式及原理，本领域技术人员在此基础上可知晓其他情形下的实施方式及原理。

如图2所示，展示本发明一实施例中视觉标记系统的工作流程示意图。于本实施例中，视觉标记系统的工作流程具体如下：

s201：发起终端向服务终端发送分享请求，以请求将分享文件分享至接收终端。

s202：服务终端将分享请求发送至接收终端；

s203：接收终端发送确认信息至服务终端，以确认接受所述分享请求。

s204：服务终端将确认信息发送至发起终端，以待接收来自所述发起终端的分享文件。其中，所述分享文件可以是发起方所处环境的视频、图片等文件。

s205：服务终端接收来自发起终端的分享文件。需要说明的是，发起终端除了按照上述实施例中主动发送分享请求至服务终端之外，在其他的实施例中也可在接收到分享邀请后传送分享文件至服务终端，其具体包括：服务终端发送分享邀请至发起终端，发起终端确认并发送分享文件。

s206：服务终端分析所述分享文件，以生成分析结果信息。可选的，分析所述分享文件的内容的方法包括基于静态帧图片特征提取算法和/或即时定位与地图构建算法分析所述分享文件。所述静态帧图片特征提取算法对所述实时视频文件的静态帧图片进行特征提取分析，以形成特征向量；所述特征例如：颜色特征、纹理特征、或者形状特征等等。所述即时定位与地图构建算法对所述实时视频文件进行数据采集以分析视觉里程，并将所述实时视频文件中的图片进行优化处理，以在优化后基于单帧进行特征分析以完成特征采集。

具体的，所述静态帧图片特征提取算法例如：sift算法、surf算法、或者kaze算法等等。sift算法即尺度不变特征变换算法，可在图像中检测出关键点，是一种局部特征描述子。sift特征生成一般包括如下步骤：构建尺度空间，检测极值点，获得尺度不变形；特征点过滤并进行精确定位；为特征点分配方向值；生成特征描述子。surf算法是一种高鲁棒性的局部特征点检测算法，该算法的特征生成一般包括如下步骤：构建hessian矩阵；构建尺度空间；精确定位特征点；确定主方向；生成特征点描述子。kaze算法是基于非线性尺度空间的算法，该算法的特征生成一般包括如下步骤：构造非线性尺度空间；非线性尺度空间特征点的检测；特征点的精确定位；特征点主方向的确定；特征向量的构造；特征向量的匹配。

s207：创建关联于所述分析结果信息的视觉标记，以生成增强视觉标记信息。可选的，所述创建视觉标记的方式例如：基于所述分析结果信息进行手绘、通过屏幕鼠标进行绘制、放置预制标记、或者输入文字等等。优选的，在交互过程中，发起方和接收方还可通过视频、语音等方式的同步传输，进一步加强实时互动的效果，达到视觉标记与实时语音的同步。

为便于本领域技术人员理解，下文以施工现场为例，进一步阐释本发明的技术方案。于本实施例中，以位于施工现场的用户为发起方，以远程通信的组织人员为接收方。位于施工现场的用户欲得到组织人员的远程指导，则可发送施工现场的实时视频文件至组织人员，该组织人员的接收终端接收该视频文件并分析该视频文件的内容以生成相应的分析场景。该组织人员可通过手绘或者文字输入等方式，在所述分析场景中进行标记，例如：对施工现场的工具或者控制按钮等做出识别标记，在施工空地上输入待存放物品的名称等等。交互各方均可在同一视频场景中，看到视觉标记后的场景，从而实现实时远程指导现场施工。需要说明的是，除了上述实施例中的施工现场，本发明的技术方案还可应用于实时远程教育，实时远程会议，远程车间指导、远程运维等场景中，本发明对此不再一一赘述。

s208：服务终端将所述增强视觉标记信息发送至发起终端、接收终端。

值得注意的是，对于视觉信息的标记，一般通过软件由人工或者机器进行预处理。例如：记录目标坐标、跟踪gps位置、或者图片特征等信息，通过绘制或放置标记再进行图片合成来实现。这样的交互方式效率低下无法实现实时性。或者，即使有些视觉信息标记技术有较好的实时性，但却必需借助于电子白板才能实现视觉标记，这不仅导致交互成本的上升且交互终端也不利于携带。

本发明则非常巧妙地解决了上述诸技术问题，交互各方无需处于同一空间，通过远程模式即可实现场景的分享，并且对场景进行增强现实标记，如绘图、写字、放置标记，例如：视频、动画、音乐等标记物等等，从而达到实时交互、准确指导等目的。对比于现有技术，本发明的技术方案将视频交互灵活地应用于各现实场景中，大大降低了视觉标记的成本，并进一步地提升了交互的效率与价值，还可大大提高增强现实的乐趣与远程指导的准确度，为增进多方合作有积极的促进作用。

如图3所示，展示本发明一实施例中视觉标记方法的流程图。于本实施例中，所述视觉标记方法应用于发起终端，其包括：

s301：发送分享请求至服务终端，以请求将分享文件分享至一或多个接收终端；

s302：接收来自所述服务终端的确认信息；所述确认信息包括所述接收终端接受该分享请求；

s303：将分享文件发送至所述服务终端，供所述服务终端分析并创建视觉标记，以生成增强视觉标记信息；

s304：接收来自所述服务终端的增强视觉标记信息。需要说明的是，该应用于发起终端的视觉标记方法与步骤s201～s208的实施方式类似，故不再赘述。

如图4所示，展示本发明一实施例中视觉标记方法的流程图。于本实施例中，所述视觉标记方法应用于接收终端，其包括：

s401：接收来自服务终端的分享请求，所述分享请求包括来自一或多个发起终端的分享文件请求；

s402：发送确认信息至所述服务终端，以接受所述分享请求；

s403：接收来自服务终端的增强视觉标记信息。该应用于发起终端的视觉标记方法与步骤s201～s208的实施方式类似，故不再赘述。

本申请实施例提供的再一种电子终端的结构示意图。本实例提供的电子终端，包括：处理器51、存储器52、通信器53、通信接口54和系统总线55；存储器52和通信接口54通过系统总线55与处理器51和通信器53连接并完成相互间的通信，存储器52用于存储计算机程序，通信接口54、通信器53用于和其他设备进行通信，处理器51用于运行计算机程序，以使所述电子终端执行如上s301～s304或者s401～s403方法的各个步骤。

上述提到的系统总线可以是外设部件互连标准(peripheralpomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明提供的视觉标记方法、系统、电子终端、及计算机可读存储介质，交互各方无需处于同一空间，通过远程模式即可实现场景的分享，并且对场景进行增强现实标记，如绘图、写字、放置标记，例如：视频、动画、音乐等标记物等等，从而达到实时交互、准确指导等目的。对比于现有技术，本发明的技术方案将视频交互灵活地应用于各现实场景中，大大降低了视觉标记的成本，并进一步地提升了交互的效率与价值，还可大大提高增强现实的乐趣与远程指导的准确度，为增进多方合作有积极的促进作用。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。