标注方法、终端、服务器和存储介质与流程

1.本发明涉及但不限于数字孪生技术领域，尤其涉及一种标注方法、终端、服务器和存储介质。


背景技术：

2.随着ar（augmented reality增强现实）云技术的发展，已经能通过激光或全景相机构建大规模三维环境点云地图。这些点云地图支持厘米级精准定位，被用于构建商圈、景区乃至城市级数字孪生，当人们通过手机或mr（mixed reality混合现实）眼镜探查真实环境时，能自动匹配跟环境高度相关的数字内容，整个空间因此成为所有人共享的屏幕和信息入口，这将带来信息获取方式的巨大变革。
3.但实际应用中涉及海量的数字内容信息编排和映射，且需要实时更新和维护，不断修正和增加内容，需要多个用户参与标注，然而，相关技术的标注方式的标注效率较低，无法满足构建城市级数字孪生应用的众包共建需求。


技术实现要素：

4.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
5.本发明实施例提供了一种标注方法、终端、服务器和存储介质，能够提高标注效率。
6.第一方面，本发明实施例提供了一种标注方法，应用于终端，所述标注方法包括：采集定位图像，向服务器发送所述定位图像，以使所述服务器根据所述定位图像得到所述终端在点云地图对应的虚拟场景中的位姿数据；接收所述服务器发送的所述位姿数据，根据所述位姿数据生成并显示所述终端与所述虚拟场景之间的虚拟连接线；根据所述虚拟连接线在所述虚拟场景中确定目标标注对象，对所述目标标注对象进行标注。
7.第二方面，本发明实施例还提供了一种标注方法，应用于服务器，所述标注方法包括：接收终端发送的定位图像，根据所述定位图像得到所述终端在点云地图对应的虚拟场景中的位姿数据；将所述位姿数据发送至所述终端，以使所述终端根据所述位姿数据生成并显示所述终端与所述虚拟场景之间的虚拟连接线，并使所述终端根据所述虚拟连接线在所述虚拟场景中确定目标标注对象，对所述目标标注对象进行标注。
8.第三方面，本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的标注方法。
9.第四方面，本发明实施例还提供了一种服务器，包括存储器和处理器，所述存储器
存储有计算机程序，所述处理器执行所述计算机程序时实现第二方面所述的标注方法。
10.第五方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行时实现第一方面或者第二方面所述的标注方法。
11.本发明实施例至少具有以下有益效果：通过采集定位图像，向服务器发送所述定位图像，以使所述服务器根据所述定位图像得到所述终端在点云地图对应的虚拟场景中的位姿数据，接收所述服务器发送的所述位姿数据，根据所述位姿数据生成并显示所述终端与所述虚拟场景之间的虚拟连接线，根据所述虚拟连接线在所述虚拟场景中确定目标标注对象，对所述目标标注对象进行标注，从而在标注时通过虚拟连接线实现视觉与环境的交互反馈，以达到对目标标注对象的准确快速标注，提高标注效率。
12.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
13.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
14.图1为本发明实施例提供的网络架构示意图；图2为本发明实施例提供的应用于终端的标注方法的流程图；图3为本发明实施例提供的确定目标标注对象的一种示意图；图4为本发明实施例提供的确定标注位置的一种示意图；图5为本发明实施例提供的虚拟连接线与目标标注对象之间的交点对应的局部区域的放大示处理示意图；图6为本发明实施例提供的标注过程的示意图；图7为本发明实施例提供的应用于服务器的标注方法的流程图；图8为本发明实施例提供的完整的标注流程示意图；图9为本发明实施例提供的终端的结构示意图；图10为本发明实施例提供的服务器的结构示意图。
具体实施方式
15.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
16.在本发明的描述中，需要理解的是，涉及到方位描述，例如“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
17.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书、权利要求书或上述附图中的术语“第一”、“第二”等是用于区别类
似的对象，而不必用于描述特定的顺序或先后次序。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
18.本发明的描述中，需要说明的是，除非另有明确的限定，术语“安装”、“连接”等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
19.随着ar云技术的发展，已经能通过激光或全景相机构建大规模三维环境点云地图。这些点云地图支持厘米级精准定位，被用于构建商圈、景区乃至城市级数字孪生，当人们通过手机或mr眼镜探查真实环境时，能自动匹配跟环境高度相关的数字内容，整个空间因此成为所有人共享的屏幕和信息入口，这将带来信息获取方式的巨大变革。
20.但实际应用中涉及海量的数字内容信息编排和映射，且需要实时更新和维护，不断修正和增加内容，需要多个用户参与标注，目前实现方式主要有以下两种：一种是在pc端使用3d编辑软件载入三维稠密点云地图进行编辑，由于点云地图缺乏地理和语义信息，需要操作员不断寻找部署点、调整内容位置，虽然比较精准，但编排效率低下且使用门槛较高，不能满足普通用户共建需求；另一种是在移动端通过手指点击屏幕将标注内容放置在大致位置，然后通过目测，使用几种手势调整其姿态，比如单指上下左右拖动调整其空间xy轴坐标、双指旋转调整其朝向、三指上下拖动调整z轴坐标、捏合缩放调整其大小等，调整过程繁琐且不精确，通常需要通过输入坐标值、旋转值以及放大值再做微调，数值需要反复尝试，非常低效。另外在大空间中使用此种方式时，由于距离的原因，标注人无法像面对小场景时那样直接目测就能整体上判断标注内容在三维空间中的方位，只能通过不断来回大范围走动从各个角度观测目标进行调整，标注更加低效。因此，目前的移动端标注方式虽然能够支持众包标准，但只适合桌面和房间级小空间标注少量内容，不能满足大空间内的精准和高效部署需要。
21.基于此，本发明实施例提供了一种标注方法、终端、服务器和存储介质，能够提高标注效率。
22.本发明实施例中的终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端等，但并不局限于此。
23.参照图1，图1为本发明实施例提供的网络架构示意图，其中，该网络架构包括用户端和云端，用户端侧即终端侧，云端侧即服务器侧。在本发明实施例实施之前，需要使用激光或全景相机对环境数据进行大规模采集，服务器根据环境数据通过算法生成稀疏点云地图、稠密点云地图及其mesh（表面网格）数据，并对稠密点云地图进行全景分割，其中稀疏点云地图用于设备定位；稠密点云地图的mesh数据用于标注内容与目标的贴合以及内容的遮挡；全景分割的具体实现方式为结合rgb图像和稠密点云地图对环境进行语义分割和目标检测。
24.具体地，稀疏点云地图即sparse 3d point-cloud map，是通过图像的少量二维特征点反推到三维空间，形成的三维空间结构；稠密点云地图即dense 3d point-cloud map，是在稀疏点云地图的基础上，对每个像素点做深度融合和纹理贴图生成的，mesh数据为环境表面的三角形网格覆盖的表示数据。
25.其中，服务器设置有空间定位模块、mesh生成模块、全景分割模块、标注资源模板模块、标注审核模块以及标注规则配置模块，空间定位模块用于获取终端上传的图像帧，提
取图像特征点，通过比较接收的图像特征向量与云端的候选参考图像的特征向量之间的余弦相似度，找到相似的目标参考图像，通过图像间的特征匹配和稀疏点云结构计算当前终端在点云地图中的6-dof（six degrees of freedom 六自由度）位姿，通过接口返回给手机。6-dof位姿通过物体的3个平移自由度和3个空间旋转自由度合成得到。
26.mesh生成模块，用于在终端的空间定位完成时，根据终端的6-dof位姿，返回终端后摄像头朝向区域180度范围内的mesh数据，这些数据为自定义的mesh顶点坐标数组和索引数组。
27.全景分割模块，用于在终端的空间定位完成时根据终端的6-dof位姿，返回终端后摄像头朝向区域180度范围内的目标bbox数据，数据包括目标类别label（标记）、三维目标框坐标信息。bbox即bounding box，表示在计算机视觉中，目标检测到的物体边界框。
28.标注资源模板模块按分类保存不同目标标注对象的标注模板，比如建筑类的poi（point of interest 兴趣点）标签、景点类的语音讲解标签等，用户识别环境后，自动匹配对应标签实现快速编辑。
29.标注规则配置模块用于定义标注内容与标注物的大小、位置、贴合关系规则，让标注内容自动吸附到标注对象并调整到合适状态，无需用户再次手动调整。
30.标注审核模块用于对标注内容进行校验，确保标注内容准确且不违规。
31.基于图1所示的网络架构，参照图2，图2为本发明实施例提供的应用于终端的标注方法的流程图，该标注方法包括但不限于以下步骤201至步骤203。
32.步骤201：采集定位图像，向服务器发送定位图像，以使服务器根据定位图像得到终端在点云地图对应的虚拟场景中的位姿数据；步骤202：接收服务器发送的位姿数据，根据位姿数据生成并显示终端与虚拟场景之间的虚拟连接线；步骤203：根据虚拟连接线在虚拟场景中确定目标标注对象，对目标标注对象进行标注。
33.其中，定位图像可以通过终端的摄像头采集得到，终端采集了定位图像后，将定位图像发送至服务器中，服务器根据定位图像得到终端在点云地图对应的虚拟场景中的位姿数据，上述位姿数据可以是6-dof位姿数据。
34.然后，终端再根据位姿数据生成虚拟连接线，虚拟连接线用于扫描探测虚拟场景，辅助用户进行标注。在具体应用中，终端安装有标注应用程序，用户启动标注应用程序后，在标注应用程序的程序界面中显示点云地图中的虚拟场景，并根据终端当前的位姿数据显示以终端作为主视角的虚拟场景，目标标注对象也在该虚拟场景中显示。可以理解，终端可以持续采集定位图像并发送至服务器，因此当前的程序界面中显示的虚拟场景可以随着终端的位姿变化而变化。
35.终端在生成虚拟连接线后，进一步在程序界面中显示该虚拟连接线，从而直观地辅助用户进行目标标注对象的确定，虚拟连接线的具体实现形式可以包括但不限于虚拟探照灯、探测射线或其它隐形/透明连接线等。
36.通过采集定位图像，向服务器发送定位图像，以使服务器根据定位图像得到终端在点云地图对应的虚拟场景中的位姿数据，接收服务器发送的位姿数据，根据位姿数据生成并显示终端与虚拟场景之间的虚拟连接线，根据虚拟连接线在虚拟场景中确定目标标注
对象，对目标标注对象进行标注，从而在标注时通过虚拟连接线实现视觉与虚拟场景的交互反馈，以达到对目标标注对象的准确快速标注，提高标注效率。
37.在一个实施例中，上述步骤202中，根据位姿数据生成并显示终端与虚拟场景之间的虚拟连接线，具体可以是根据位姿数据，从终端向点云地图对应的虚拟场景中绘制终端与虚拟场景之间的虚拟连接线，显示虚拟连接线。
38.在一个实施例中，虚拟连接线可以从终端的屏幕中心开始并垂直于终端的屏幕，可以使得后续在利用虚拟连接线扫描探测虚拟场景时，能够更加准确地刻画出终端与虚拟场景之间的位置关系，从而提高后续确定目标标注对象的准确性。可以理解的是，虚拟连接线是在终端的屏幕中显示的，因此基于持有终端的用户的视角来看，虚拟连接线是从屏幕的内部与屏幕垂直。可以理解的是，虚拟连接线的起始点以及与屏幕中心的夹角可以根据实际需求而定。
39.在一个实施例中，上述步骤203中，根据虚拟连接线在虚拟场景中确定目标标注对象，具体可以是接收服务器发送的虚拟场景中的候选标注对象的边界框数据，根据边界框数据确定虚拟连接线与候选标注对象的边界框之间的相交状态，当相交状态表征虚拟连接线与候选标注对象的任意一个边界面相交，将候选标注对象作为目标标注对象。
40.其中，边界框数据可以是上述bbox数据，在虚拟场景中会存在各种各样的建筑物，服务器在生成点云地图后，可以进行全景分割，生成每个建筑物对应的bbox，渲染后以正方体或者长方体的形式展示，每一个建筑物所对应的正方体或者长方体可以作为一个候选标注对象，候选标注对象的任意一个边界面为对应的正方体或者长方体的其中一个侧面。
41.例如，参照图3，图3为本发明实施例提供的确定目标标注对象的一种示意图，其中，虚拟连接线与候选标注对象301的其中一个边界面相交，则此时该候选标注对象301即为目标标注对象。在此基础上，与虚拟连接线相交的目标标注对象可以进行突出显示处理，突出显示处理的方式可以为高亮显示处理、标签显示处理等等，本发明实施例不做限定。通过对目标标注对象进行突出显示处理，可以更加直观地展示当前的目标标注对象，使得用户在进行标注时能够更加精准地确定出目标标注对象，从而提高标注效率。
42.在一个实施例中，上述步骤203中，根据虚拟连接线在虚拟场景中确定目标标注对象，具体也可以是确定虚拟连接线在候选标注对象上的停留时长，当停留时长大于或者等于预设的第一阈值，将候选标注对象作为目标标注对象。
43.例如，第一阈值可以设置为2秒，当虚拟连接线在候选标注对象上的停留时长达到2秒时，该候选标注对象即为目标标注对象。通过停留时长来自动确定目标标注对象，无须用户手动选择，也有利于提高标注效率。可以理解的是，上述第一阈值可以根据实际情况设置，除了2秒以外还可以是2.5秒、3秒等，本发明实施例不做限定。
44.需要补充说明的是，通过停留时长来自动确定目标标注对象，同样可以对目标标注对象进行突出显示处理。
45.可以理解的是，上述通过候选标注对象的边界框之间的相交状态来确定目标标注对象或者通过停留时长来自动确定目标标注对象这两种方式可以进行结合，即可以同时根据相交状态和停留时长来确定目标标注对象，本发明实施例不做限定。
46.在一个实施例中，上述步骤203中，对目标标注对象进行标注，具体可以是接收服务器发送的虚拟场景的环境网格数据，根据环境网格数据确定虚拟连接线与目标标注对象
之间的交点，对交点进行突出显示处理，根据经过突出显示处理后的交点对目标标注对象进行标注。
47.具体地，环境网格数据可以是上述的mesh数据，虚拟连接线与目标标注对象之间的交点用于确定具体的标注位置，即，上述边界框数据用于确定出目标标注对象，而环境网格数据用于确定出具体的标注位置。同时，对交点进行突出显示处理，可以更加直观地展示具体的标注位置，使得用户在进行标注时能够更加精准地确定出将要进行标注的标注位置，从而提高标注效率。
48.类似地，对交点进行突出显示处理的方式可以为高亮显示处理、标签显示处理等等，本发明实施例不做限定。例如，参照图4，图4为本发明实施例提供的确定标注位置的一种示意图，其中，虚拟连接线与虚拟场景中的局部环境表面mesh相交，可以将虚拟连接线与mesh的交点进行高亮显示，从而便于用户在进行标注时能够更加精准地确定出将要进行标注的标注位置。
49.在一个实施例中，当终端的位置发生移动时，上述虚拟连接线会随之移动，因此虚拟连接线与候选标注对象的交点、虚拟连接线与虚拟场景中的局部环境表面mesh的交点同样可以跟随着终端移动。例如，可以采用vio（visual-inertial odometry视觉惯性里程计）跟踪显示的方式实现。
50.在一个实施例中，在根据经过突出显示处理后的虚拟连接线与目标标注对象之间的交点对目标标注对象进行标注时，具体可以确定终端与目标标注对象之间的距离值，当距离值大于或者等于预设的第二阈值，确定根据经过突出显示处理后的虚拟连接线与目标标注对象之间的交点对应的局部区域，对局部区域进行放大处理，在经过放大处理后的局部区域中，根据交点对目标标注对象进行标注。
51.例如，参照图5，图5为本发明实施例提供的虚拟连接线与目标标注对象之间的交点对应的局部区域的放大示处理示意图，上述第二阈值可以为50米，即当终端距离目标标注对象大于或者等于50米时，则认为目标标注对象距离终端较远，此时可以对虚拟连接线与目标标注对象之间的交点对应的局部区域进行放大处理，从而便于用户更加准确地确认标注位置。可以理解的是，上述第二阈值也可以是100米、150米等，本发明实施例不做限定。另外，交点对应的局部区域的大小也可以根据实际情况设置，只要能够清晰地显示虚拟连接线与目标标注对象之间的交点即可。当虚拟连接线的位置发生移动以后，放大处理的效果自动取消，直到虚拟连接线与满足距离条件的下一个目标标注对象相交。
52.在一个实施例中，参照图6，图6为本发明实施例提供的标注过程的示意图，在根据经过突出显示处理后的交点对目标标注对象进行标注时，具体可以是获取标注内容，响应于对标注内容的投射操作指令，将标注内容沿虚拟连接线传输至经过突出显示处理后的交点处，并在传输标注内容的过程中显示第一传输动画，将标注内容标注至目标标注对象的表面。
53.具体地，投射操作指令用于确认采用标注内容对目标标注对象进行标注，即当用户确定进行标注后，标注内容会在虚拟场景中沿着虚拟连接线传输至虚拟连接线与目标标注对象之间的交点处，并且在传输标注内容的过程中显示第一传输动画，从而更加直观地展示本次的标注过程，增强用户的标注感受，便于用户确认此次标注完成。
54.在一个实施例中，在获取标注内容时，具体可以接收服务器发送的虚拟场景中的
候选标注对象的边界框数据，根据边界框数据确定标注内容的类别，根据类别显示对应的标注模板，接收根据标注模板输入的标注操作指令，根据标注操作指令得到标注内容。
55.具体地，不同的bbox可以预设有不同的标注内容的类别，例如建筑poi、门店ip（intellectual property知识产权）形象等等，本发明实施例不做限定。通过在进行标注时根据边界框数据确定标注内容的类别，进而根据类别显示对应的标注模板，能够使得用户可以更加便捷地对目标标注对象进行标注，使得标注效率更高。并且，标注内容可以是文字、图片、视频、音频中的一种或者多种的组合，从而提高标注内容的丰富程度。
56.在一个实施例中，还可以获取预设的标注规则，根据标注规则对标注内容的标注方式进行调整。上述标注方式包括但不限于标注内容的大小、标注位置、标注内容与mesh的贴合规则，其中，标注规则可以在后服务器的台标注内容管理中进行定义。比如建筑poi，吸附在建筑表面；门店ip形象，在门店前0.5米贴地站立，大小根据bbox尺度按比例自动调整等。通过获取标注规则，可以自动化地根据标注规则对标注内容的标注方式进行调整，并且可以使得标注内容更加规范化。
57.在一个实施例中，用户在标注完成后，还可以对标注内容进行查看，具体地，响应于对标注内容的查看操作指令，将目标标注对象表面的标注内容沿虚拟连接线传输至虚拟连接线的起点，并在传输标注内容的过程中显示第二传输动画。其中，第二传输动画和上述第一传输动画的原理相类似，只是传输方向不同。类似地，在查看标注内容时，通过显示第二传输动画，可以更加直观地展示标注内容。
58.在此基础上，除了对标注内容进行查看以外，还可以对标注内容进行编辑，从而可以方便快捷地修改标注内容，提高标注内容的可靠性。
59.另外，在传输标注内容的过程中，可以根据标注内容与终端屏幕的距离来调整标注内容的大小，例如当标注内容从终端屏幕开始沿着虚拟连接线传输至目标标注对象的表面时，标注内容随着传输距离的增加而增大，当标注内容从目标标注对象开始沿着虚拟连接线传输回终端屏幕时，标注内容随着传输距离的增加而减小。
60.当完成对目标标注对象的标注后，还可以根据校验规则对标注内容进行自动校验。当标注内容通过校验后，标注内容即持久化地设置于虚拟场景中，其他用户使用应用程序访问时可以快速获取所有的标注信息，从而实现大场景下的数字孪生内容众包和共享。
61.另外，参照图7，图7为本发明实施例提供的应用于服务器的标注方法的流程图，该标注方法包括但不限于以下步骤701至步骤702。
62.步骤701：接收终端发送的定位图像，根据定位图像得到终端在点云地图对应的虚拟场景中的位姿数据；步骤702：将位姿数据发送至终端，以使终端根据位姿数据生成并显示终端与虚拟场景之间的虚拟连接线，并使终端根据虚拟连接线在虚拟场景中确定目标标注对象，以对目标标注对象进行标注。
63.上述应用于服务器的标注方法与应用于终端的标注方法基于相同的发明构思，因此，可以在标注时通过虚拟连接线实现视觉与虚拟场景的交互反馈，以达到对目标标注对象的准确快速标注，提高标注效率。
64.在一个实施例中，上述步骤701中，根据定位图像得到终端在点云地图对应的虚拟场景中的位姿数据，具体可以提取定位图像的第一图像特征，将第一图像特征与多个候选
参考图像的第二图像特征进行比对，根据比对结果从多个候选参考图像中确定目标参考图像，根据目标参考图像的第二图像特征以及稀疏点云结构得到终端在点云地图中的位姿数据。
65.具体地，第一图像特征和第二图像特征可以采用特征向量来表示，将第一图像特征与多个候选参考图像的第二图像特征进行比对，具体可以是比较第一图像特征和第二图像特征对应的特征向量的相似度，例如余弦相似度、欧氏距离等。通过比较第一图像特征和第二图像特征之间的相似度，从候选参考图像中找出与定位图像相似的目标参考图像，从而快捷地计算出终端的位姿信息。
66.需要补充说明的是，本领域技术人员数值位姿信息的计算原理，在此不再赘述。
67.下面以一完整流程说明本发明实施例提供的标注方法。
68.参照图8，图8为本发明实施例提供的完整的标注流程示意图，对于管理员（即服务器侧）的操作来说，先在服务器侧上传点云地图，并开启空间定位服务，然后开启mesh json（javascript object notation一种轻量级数据交换格式）数据服务，开启目标bbox数据服务。另外，还需要维护标注资源、配置标注显示规则以及进行标注审核，当然，标注审核可以由服务器自动完成。
69.对于用户（终端侧）的操作来说，先打开终端的摄像头，采集并上传定位图像的图片帧至服务器，服务器返回对应的6-dof位姿至终端后根据6-dof位姿进行空间定位，若空间定位失败，则再次采集并上传定位图像的图片帧至服务器，若空间定位成功，则打开探测连接线扫描环境，通过服务器的mesh json数据服务加载周围的mesh数据，通过服务器的目标bbox数据服务加载周围bbox数据，然后进行碰撞遮挡检测，若检测不到碰撞物体（目标标注对象），则继续扫描环境，若检测到碰撞物体，则进行距离检测，若距离小于50米，则不进行放大处理，若距离大于50米，则进行放大处理，然后加载标注模板，用户更改标注内容，确定标注内容后进行标注投射，根据预先配置的标注显示规则进行贴合目标标注对象的显示。
70.可以理解的是，虽然上述各个流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本实施例中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
71.参照图9，图9为本发明实施例提供的终端的结构示意图。终端900包括：第一存储器901、第一处理器902及存储在第一存储器901上并可在第一处理器902上运行的计算机程序，计算机程序运行时用于执行上述的标注方法。
72.第一处理器902和第一存储器901可以通过总线或者其他方式连接。
73.第一存储器901作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明实施例描述的标注方法。第一处理器902通过运行存储在第一存储器901中的非暂态软件程序以及指令，从而实现上述的标注方法。
74.第一存储器901可以包括存储程序区和存储数据区，其中，存储程序区可存储操作
系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的标注方法。此外，第一存储器901可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，第一存储器901可选包括相对于第一处理器902远程设置的存储器，这些远程存储器可以通过网络连接至该终端900。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
75.实现上述的标注方法所需的非暂态软件程序以及指令存储在第一存储器901中，当被一个或者多个第一处理器902执行时，执行上述的标注方法。
76.本发明实施例还提供了计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的标注方法。
77.参照图10，图10为本发明实施例提供的服务器的结构示意图。服务器1000包括：第二存储器1001、第二处理器1002及存储在第二存储器1001上并可在第二处理器1002上运行的计算机程序，计算机程序运行时用于执行上述的标注方法。
78.第二处理器1002和第二存储器1001可以通过总线或者其他方式连接。
79.第二存储器1001作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明实施例描述的标注方法。第二处理器1002通过运行存储在第二存储器1001中的非暂态软件程序以及指令，从而实现上述的标注方法。
80.第二存储器1001可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储执行上述的标注方法。此外，第二存储器1001可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个储存设备存储器件、闪存器件或其他非暂态固态存储器件。在一些实施方式中，第二存储器1001可选包括相对于第二处理器1002远程设置的存储器，这些远程存储器可以通过网络连接至该服务器1000。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
81.实现上述的标注方法所需的非暂态软件程序以及指令存储在第二存储器1001中，当被一个或者多个第二处理器1002执行时，执行上述的标注方法。
82.本发明实施例还提供了计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的标注方法。
83.本发明实施例还提供了计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的标注方法。
84.在一实施例中，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可以实现上述的标注方法。
85.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
86.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机
可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘（dvd）或其他光盘存储、磁盒、磁带、储存设备存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
87.还应了解，本发明实施例提供的各种实施方式可以任意进行组合，以实现不同的技术效果。
88.以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。