视频帧图像的标注方法、装置、电子设备及存储介质与流程

1.本公开涉及视频处理技术领域，尤其涉及一种视频帧图像的标注方法、装置、电子设备及存储介质。


背景技术：

2.随着技术的发展，视频服务越来越成熟，用户可以在视频应用程序中浏览喜欢的视频作品。而在视频作品被展示给用户浏览之前，对于未完成的视频作品而言，可能需要对初步形成的视频内容进行后期加工，或者对于已完成的视频作品而言，可能需要对视频内容、视频质量进行审查和评测等。在这些过程中，经常涉及到需要对视频素材中的帧图像进行标记并记录意见的场景。
3.相关技术中，通常将标注区域显示在视频帧中，而对于该标注对应的标注内容，统一以一个标注内容区域的方式记录，并显示在界面中的一侧，如此在界面的一侧集中展示标注内容，导致压缩了视频内容的展示区域，不利于视频画面细节的查看与审阅。


技术实现要素：

4.本公开提供一种视频帧图像的标注方法、装置、电子设备及存储介质，以至少解决相关技术中在界面的一侧集中展示标注内容导致视频内容的展示区域被压缩、不利于视频画面细节查看的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种视频帧图像的标注方法，包括：
6.在视频标注模式下，接收对当前视频帧图像的标注指令；基于标注指令确定出标注区域；在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域；标注内容区域的展示位置与标注区域的展示位置对应，标注内容区域用于显示针对标注区域的标注内容。
7.在一种可能的实施方式中，在接收对当前视频帧图像的标注指令之前，方法还包括：在界面展示视频标注模式选项；在检测到对视频标注模式选项的触发操作时，进入视频标注模式。
8.在另一种可能的实施方式中，在进入视频标注模式后，还包括：获取当前视频帧图像的显示尺寸；在界面中渲染与显示尺寸相同的画布对象；画布对象用于在当前视频帧图像上形成画布；在画布对象的渐进式框架面板组件中添加标注组件；在标注组件中添加根节点和子节点；根节点和子节点用于在画布中形成标注区域和标注内容区域。
9.在另一种可能的实施方式中，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域，包括：根据当前视频帧图像、标注区域、标注内容区域，生成图形对象；基于图形对象重新渲染面板组件，得到包含标注区域、标注内容区域在内的当前视频帧图像。
10.在另一种可能的实施方式中，根据当前视频帧图像、标注区域、标注内容区域，生成图形对象，包括：根据当前视频帧图像所属的视频数据集、当前视频帧图像在当前视频所
处的帧数信息、标注区域在当前视频帧图像的位置信息和尺寸信息、标注内容区域在当前视频帧图像的位置信息和尺寸信息，生成图形对象。
11.在另一种可能的实施方式中，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域之后，方法还包括：接收在标注内容区域内输入的标注内容；在标注内容区域中展示标注内容。
12.在另一种可能的实施方式中，在标注内容区域中展示标注内容之后，方法还包括：接收对标注内容区域的编辑指令，进入标注内容区域的编辑状态；响应于对标注内容的增删操作，对标注内容进行调整，得到调整后标注内容；在标注内容区域展示调整后标注内容。
13.在另一种可能的实施方式中，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域之后，方法还包括：接收对标注区域的删除指令；根据删除指令，将标注区域、与标注区域关联的标注内容区域从当前视频帧图像中删除。
14.在另一种可能的实施方式中，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域之后，方法还包括：
15.当检测到对标注区域的触发操作时，获取与标注区域关联的标注内容区域的当前显示状态；若当前显示状态为显现状态，则将当前显示状态切换为隐藏状态，在当前视频帧图像中隐藏标注内容区域；若当前显示状态为隐藏状态，则将当前显示状态切换为显现状态，在当前视频帧图像中显示标注内容区域。
16.在另一种可能的实施方式中，接收对当前视频帧图像的标注指令，包括：在当前视频帧图像中检测到图形绘制操作时，确定接收到对当前视频帧图像的标注指令；基于标注指令确定出标注区域包括：获取图形绘制操作对应的操作起始位置和操作结束位置；根据图形绘制操作的起始位置和结束位置，确定出标注区域。
17.在另一种可能的实施方式中，标注区域为矩形标注区域；获取图形绘制操作对应的操作起始位置和操作结束位置，包括：当依次检测到鼠标按下事件、鼠标移动事件和鼠标弹起事件时，获取鼠标按下事件对应的第一位置点坐标、鼠标弹起事件对应的第二位置点坐标；操作起始位置包括第一位置点坐标，操作结束位置包括第二位置点坐标；根据图形绘制操作的起始位置和结束位置，确定出图形标注区域，包括：将第一位置点坐标、第二位置点坐标作为矩形的两个对角点，生成矩形标注区域。
18.在另一种可能的实施方式中，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域之后，方法还包括：在当前视频对应的播放器时间轴中定位当前视频帧图像的帧数对应的目标位置；在播放器时间轴的目标位置添加标注标识；当检测到对标注标识的触发操作时，跳转到包含标注区域和标注内容区域在内的当前视频帧图像进行展示。
19.在另一种可能的实施方式中，标注内容区域的展示位置与标注区域的展示位置对应，包括：标注内容区域的展示位置中心，与标注区域的展示位置中心之间的距离小于预设距离值。
20.根据本公开实施例的第二方面，提供一种视频帧图像的标注装置，包括：
21.接收模块，被配置为执行在视频标注模式下，接收对当前视频帧图像的标注指令；区域确定模块，被配置为执行基于标注指令确定出标注区域；展示模块，被配置为执行在当
前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域；标注内容区域的展示位置与标注区域的展示位置对应，标注内容区域用于显示针对标注区域的标注内容。
22.根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述视频帧图像的标注方法。
23.根据本公开实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当计算机程序由电子设备的处理器执行时，使得电子设备能够执行上述视频帧图像的标注方法。
24.根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述视频帧图像的标注方法。
25.本公开的实施例提供的技术方案至少带来以下有益效果：在视频标注模式下接收到对当前视频帧图像的标注指令时，根据标注指令确定出标注区域，并将标注区域展示在当前视频帧图像中，同时，在标注区域的对应位置展示关联的标注内容区域，其中标注内容区域用于显示针对标注区域的标注内容。通过将针对标注区域的标注内容显示在当前视频帧上与标注区域对应位置，无需占用屏幕的显示区域，即不需要占用视频画面的展示区域，有利于在视频标注模式下对视频画面细节内容的展示，相关人员查看视频时，可以更好的查看和审阅视频画面细节。而且，在视频帧图像上标注区域的对应位置显示标注内容区域，能够同时展示标记区域和标记内容，更为直观、方便地查看标注区域与标注内容区域的对应或映射关系，将标注区域与标注内容区域在空间位置上统一展示，通过空间一致性实现视觉一致性，提高了视频标注查看时的便利性。
26.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
27.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
28.图1是根据一示例性实施例示出的一种视频帧图像的标注方法的流程图；
29.图2是根据一示例性实施例示出的在当前视频帧图像展示标注区域和标注内容区域的示意图；
30.图3是根据另一示例性实施例示出的一种视频帧图像的标注方法的流程图；
31.图4是根据另一示例性实施例示出的一种视频帧图像的标注方法的流程图；
32.图5是根据一示例性实施例示出的标注区域、标注内容区域以及标注图标的展示示意图；
33.图6是根据另一示例性实施例示出的标注区域、标注内容区域以及标注图标的展示示意图；
34.图7是根据另一示例性实施例示出的标注区域、标注内容区域以及标注图标的展示示意图；
35.图8是根据另一示例性实施例示出的一种视频帧图像的标注方法的流程图；
36.图9是根据另一示例性实施例示出的一种视频帧图像的标注方法的流程图；
37.图10是根据一示例性实施例示出的在播放器时间轴中添加标注标识的示意图；
38.图11是根据另一示例性实施例示出的在播放器时间轴中添加标注标识的示意图；
39.图12是根据另一示例性实施例示出的一种视频帧图像的标注方法的流程图；
40.图13是根据一示例性实施例示出的一种视频帧图像的标注装置的框图；
41.图14是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
42.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
43.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
44.需要说明的是，本公开实施例提供的视频帧图像的标注方法可以应用于电子设备中。该电子设备可以是终端设备或服务器。具体地，终端设备可以为任意一个计算机设备，其中，计算机设备包括但不限于手机、平板电脑、台式电脑、笔记本电脑、车载终端、掌上终端、增强现实(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备等可以安装并使用内容社区应用(如快手)的设备，本公开实施例对终端设备的具体形态不作特殊限制。其可以与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。服务器可以为一台服务器，或者，也可以为由多台服务器组成的服务器集群或者是一个云计算服务中心，本公开对此不做限定。
45.图1是根据一示例性实施例示出的一种视频帧图像的标注方法的流程图，上述视频帧图像的标注方法可以应用于电子设备中，包括步骤s101至步骤s103。
46.在步骤s101中，在视频标注模式下，接收对当前视频帧图像的标注指令。
47.其中，视频标注模式表示当前状态允许对视频进行标注；在一些实施例中，在对未完成视频作品进行后期加工、对已完成的视频作品进行内容审查和评测等场景下，可能需要使用到视频标注模式，在该模式下对视频帧图像进行标注，以在界面中展示标注内容，便于他人查看视频时可以一同查看标注内容。
48.在一些实施例中，可以在接收到视频标注模式开启指令时进入视频标注模式；其中的视频标注模式开启指令可以通过任意一种方式发起，具体可能的实现方式将在后实施例中详细描述，在此不再赘述。
49.视频帧图像表示构成视频的一幅幅图像画面，视频可以包括多个视频帧图像。视频可以是任意一种视频，例如可以是本地存储的视频，也可以是从网络下载的视频，还可以是从其他设备数据库获取的视频，等等。在本实施例中，当前视频帧图像表示当前界面所展示的视频帧图像，即接收到标注指令时当前界面展示的视频帧图像。在一些实施例中，对于视频帧图像的标注可以在视频的暂停状态下进行，当前视频帧图像也即暂停时在界面中展示的视频帧图像。在另一些实施例中，电子设备可以响应于切换指令将当前界面所展示的
视频帧图像切换为另一个视频帧图像。例如，界面上包括前进/后退控件，响应于针对前进/后退控件的切换操作，将当前界面所展示的视频帧图像切换为当前视频中的下一视频帧图像/上一视频帧图像。
50.在本实施例中，标注指令用于对视频帧图像进行标注；在一些实施例中，根据标注指令可以确定对应的标注区域。在一些实施例中，可以在当前视频帧图像中检测到图形绘制操作时确定接收到视频标注指令。其中，图形绘制操作可以对应是绘制圆形、椭圆形、三角形、矩形、多边形或者不规则图形等形状的操作。
51.例如，在鼠标点击操作屏幕的实施例中，用户可以通过按下鼠标、拖动鼠标和松开鼠标来实现图形绘制操作；在本实施例中，在依次检测到鼠标按下事件、鼠标移动事件和鼠标松开事件时，可以判定检测到图形绘制操作。在触摸操作屏幕的实施例中，用户可以在界面触摸滑动来绘制图形；在本实施例中，在检测到触摸操作和触摸滑动操作时确定检测到图形绘制操作。在其他实施例中，也可以通过其他方式判断是否接收到视频标注指令。
52.在步骤s102中，基于标注指令确定出标注区域。
53.在本实施例中，标注指令用于对视频帧图像进行标注，因此，在接收到标注指令之后，根据标注指令可以确定标注区域。标注区域用于指示需要标记的区域；例如在一个具体实施例中，用户希望在当前视频帧图像的正中心位置、左上角或者右上角等位置标注内容，则利用标注区域将该部分图像标记出来，以便确定标注内容在当前视频帧图像中对应的具体图像位置。
54.在一些实施例中，基于标注指令确定出标注区域包括：基于标注指令确定出标注区域的标注形状、标注区域的位置、大小等信息。在另一些实施例中，标注区域的形状是预先设定好的，根据标注指令确定标注区域包括确定预设形状的标注区域位置、标注区域大小等信息。
55.进一步地，在一些实施例中，在检测到图形绘制操作时确定接收到标注指令，可以通过解析图形绘制操作的起始位置和结束位置，根据该起始位置和结束位置确定出标注区域的位置和大小等信息；例如标注区域的预设形状为矩形，图形绘制操作的起始位置和结束位置分别作为矩形的两个对角点，可以确定出矩形标注区域的位置和大小；又如标注区域的预设形状为圆形，图形绘制操作的起始位置和结束位置，分别作为圆周上一条直径上的两个点，可以确定出圆形标注区域的位置和大小。
56.在另一些实施例中，在检测到图形绘制操作时判定未接收到标注指令，可以通过解析图形绘制操作的起始位置、结束位置以及图形绘制操作的绘制路径，以确定标注区域的位置和大小等信息；例如在一个具体实施例中，标注区域未设定预设形状，根据图形绘制操作的起始位置、结束位置和绘制路径，分别作为标注区域的起始位置、结束位置和边界线，在界面确定出对应的绘制图形，得到标注区域。
57.更进一步地，在一些实施例中，对于同一视频帧图像，可能有多处地方需要标注出来录入标注内容，根据标注指令确定标注区域，可以确定本次标注指令所需要标注的位置，在对当前视频帧图像的其他位置进行标注时，再通过对其他位置的标注指令确定对应位置的标注区域。
58.本公开实施例提供的技术方案，根据在当前视频帧图像上执行的图形绘制操作对应的起始位置和结束位置确定对应标注区域的位置和大小，无论用户需要在当前视频帧图
像中的哪一个位置进行标记，都可以在对应位置以用户选择的大小标记出来，在需要标记的位置确定出标注区域，便于查看标记内容的用户更好的了解到当前视频帧图像中哪一部分需要注意。
59.在一些实施例中，标注区域为矩形标注区域；在本实施例中，获取图形绘制操作对应的操作起始位置和操作结束位置，包括：当依次检测到鼠标按下事件、鼠标移动事件和鼠标弹起事件时，获取鼠标按下事件对应的第一位置点坐标、鼠标弹起事件对应的第二位置点坐标；操作起始位置包括第一位置点坐标，操作结束位置包括第二位置点坐标。
60.其中，鼠标按下事件为当鼠标指针移动到元素上方，并按下鼠标按键时触发的事件，鼠标移动事件为当鼠标移动到图像上触发的事件，鼠标弹起事件为当鼠标按键被松开时触发的事件。在一个具体实施例中，鼠标按下事件、鼠标移动事件和鼠标弹起事件分别为mousedown、mouseup和mousemove，均为javascript(一种具有函数优先的轻量级，解释型或即时编译型的编程语言)事件类型。可以理解地，在本实施例中图形绘制操作是通过鼠标在屏幕中进行操作完成的。
61.在依次检测到鼠标按下事件、鼠标移动事件和鼠标弹起事件时，表示检测到按下鼠标并拖动了一定距离之后松开鼠标，在本实施例中，将这一系列事件确定为图形绘制操作，鼠标按下事件对应的第一位置点坐标即为图形绘制操作的起始位置，鼠标松开事件对应的第二位置点坐标即为图形绘制操作的结束位置。
62.进一步地，在本实施例中，根据图形绘制操作的起始位置和结束位置，确定出图形标注区域，包括：将第一位置点坐标、第二位置点坐标作为矩形的两个对角点，生成矩形标注区域。
63.本实施例中以标注区域为矩形标注区域为例，因此第一位置点坐标和第二位置点坐标分别为矩形的两个对角点(同一对角线上的两个角点)，鼠标移动事件对应的移动轨迹即为矩形的一条对角线，可以确定一个矩形。
64.本实施例提供的技术方案，以矩形标注区域为例，通过检测鼠标事件确定是否发生图形绘制操作，并根据鼠标事件发生的位置点确定矩形标注区域的位置和大小，便于用户在当前视频帧图像上的合适位置绘制合适大小的矩形标注区域进行标注。
65.在步骤s103中，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域；标注内容区域的展示位置与标注区域的展示位置对应，标注内容区域用于显示针对标注区域的标注内容。
66.在根据标注指令确定出标注区域之后，将标注区域展示在当前视频帧图像上。在当前视频帧图像上展示标注区域可以按照预设格式进行展示，其中，预设格式可以根据实际情况设定；预设格式可以包括标注区域的区域边界对应的线条颜色、线条粗细、虚实线、透明度、标注区域的填充颜色等等内容。
67.在一些实施例中，标注区域的预设格式中的填充颜色为无填充。本公开实施例中通过将标注区域的填充设置为无填充，在当前视频帧图像上展示标注区域时，不会遮挡当前视频帧图像的画面内容，不影响画面的审阅。
68.标注区域用于指示需要标注内容的区域，在当前视频帧图像中根据标注指令展示标注区域之后，还需要用于录入标注内容的区域，在本实施例中记为标注内容区域。用户可以在标注内容区域进行编辑需要对标注区域录入的标注内容。
69.在一些实施例中，标注区域与标注内容区域可以是相同的形状，也可以是不同的形状。在一些实施例中，标注内容区域的大小可以与标注区域的大小相同，或者标注内容区域的大小与标注区域的大小成正比例关系，标注区域越大对应标注内容区域也越大。
70.在本实施例中，标注区域与标注内容区域对应，均在当前视频帧图像上显示。在一些实施例中，标注区域与标注内容区域对应包括在标注区域的旁边展示与之关联得到标注内容区域。进一步地，标注区域与标注内容区域的具体展示位置可以根据实际情况进行设置，例如可以设置为标注内容区域展示在标注区域的左边、右边、上方或者下方。
71.比如，在一个具体实施例中，标注内容区域与标注区域的展示位置对应包括：标注内容区域与标注区域的展示位置中心之间的距离在第一预设距离值内。展示位置中心可以根据标注区域或标注内容区域的形状和位置确定，例如标注区域或标注内容区域为矩形，对应展示位置中心为矩形的两条对角线的角点，又如标注区域或标注内容区域为圆形，对应展示位置中心为圆形的圆心。在另一个具体实施例中，标注内容区域与标注区域均为矩形，标注内容区域与标注区域的展示位置对应包括：标注内容区域的一条边界与标注区域的一条边界相邻或重合，例如标注区域的右边界与标注内容区域的左边界相邻且距离小于第二预设距离值。在另一个具体实施例中，标注区域和标注内容区域为多边形，标注内容区域与标注区域的展示位置对应包括：标注区域的一个顶点与标注内容区域的一个顶点重合。其中，第一预设距离值、第二预设距离值可以根据实际情况设置为任意值。进一步地，为了更好的展示标注区域和标注内容区域，上述各实施例中标注区域与标注内容区域的展示在相临近的位置，但展示区域均不重叠。
72.在一些实施例中，在当前视频帧图像上展示标注区域和标注内容区域，可以是在当前视频帧图像所在图层的上方展示标注区域和标注内容区域，也可以在当前视频帧图像所在图层上方渲染一个同样大小尺寸的透明画布，在该画布中展示标注区域和标注内容区域。可以理解地，在当前视频帧图像上展示标注区域和标注内容区域，具体为将标注区域和标注内容区域叠加在当前视频帧图像中进行展示。如图2所示为一个具体实施例中在当前视频帧图像展示标注区域和标注内容区域的示意图，标号10所示为标注区域，标号20所示为标注内容区域；在本实施例中，标注区域展示为虚线矩形框，标注内容区域展示为多边形。在图2所示的示例中，示例图像1为示例视频1中第00:00:05时刻对应的视频帧图像。
73.本公开的实施例提供的技术方案，在视频标注模式下接收到对当前视频帧图像的标注指令时，根据标注指令确定出标注区域，并将标注区域展示在当前视频帧图像中，同时，在标注区域的对应位置展示关联的标注内容区域，其中标注内容区域用于显示针对标注区域的标注内容。通过将针对标注区域的标注内容显示在当前视频帧图像上与标注区域对应位置，无需占用屏幕的显示区域，即不需要占用视频画面的展示区域，有利于在视频标注模式下对视频画面细节内容的展示，相关人员查看视频时，可以更好的查看和审阅视频画面细节。而且，在视频帧图像上标注区域的对应位置显示标注内容区域，能够同时展示标记区域和标记内容，更为直观、方便地查看标注区域与标注内容区域的对应或映射关系，将标注区域与标注内容区域在空间位置上统一展示，通过空间一致性实现视觉一致性，提高了视频标注查看时的便利性。
74.在一些实施例中，在视频标注应用程序中实现对视频帧图像进行标注，可以在接收到视频标注应用程序启动指令时确定接收到视频标注模式开启指令，用户打开视频标注
应用程序即进入视频标注模式。
75.在另一些实施例中，在界面展示视频标注模式选项；在检测到对视频标注模式选项的触发操作时，进入视频标注模式。其中，视频标注模式选项用于开启视频标注模式，当用户在界面触发该视频标注模式选项时，确定接收到视频标注模式开启指令。触发操作可以是鼠标单击触发、鼠标双击触发、触屏触发等等任意一种方式；对于视频标注模式选项的触发操作的检测可以通过任意一种方式实现。例如触发操作为鼠标单击操作触发时，可以在检测到针对视频标注模式选项的鼠标点击事件时，确定检测到对视频标注模式选项的触发操作；又如触发操作为触屏触发时，可以在检测到针对视频标注模式选项的触摸事件且触摸时间小于预设时间时，确定检测到针对视频标注模式选项的触发操作。
76.进一步地，在一些实施例中，同样是在视频标注应用程序中实现对视频帧图像进行标注，在接收到视频步骤应用程序启动指令时，启动视频标注应用程序，并在界面展示视频标注模式选项。
77.在一个具体实施例中，请参照图2的标号30所示为在界面展示的视频标注模式选项的示意图。在其他实施例中，视频标注模式选项也可以通过其他样式展示在界面中。
78.在其他实施例中，也可以通过其他方式进入视频标注模式。
79.本公开实施例提供的技术方案，在界面展示视频标注模式选项，在检测到对视频标注模式选项的触发操作时进入视频标注模式，便于将视频标注模式与常规的视频播放模式区分开，在未进入视频标注模式时，用户对于视频进行的操作将不会进行标注，避免在视频播放状态下对视频的误操作。
80.在一些实施例中，如图3所示，在进入视频标注模式后，上述方法还包括步骤s301至步骤s304，其中：
81.步骤s301，获取当前视频帧图像的显示尺寸。
82.其中，当前视频帧图像的显示尺寸表示在当前界面中视频图像显示的大小，可以包括长度与宽度，或者分辨率等信息。在一些实施例中，当前视频帧图像显示的长度与宽度以像素为单位，在另一些实施例中，当前视频帧图像显示的长度与宽度以厘米为单位。
83.步骤s302，在界面中渲染与显示尺寸相同的画布对象。
84.其中，画布对象用于在当前视频帧图像上形成画布。
85.在一个具体实施例中，画布对象为konva对象，konva是一个基于canvas(html5的一个元素)开发的2d javascript框架库，它通过对2d context的扩展实现了在桌面端和移动端的可交互性，提供了高性能的动画，补间，节点嵌套，布局，滤镜，缓存，事件绑定等等功能。
86.步骤s303，在画布对象的渐进式框架面板组件中添加标注组件。
87.其中，渐进式框架面板组件可以用于绘制画布图形。面板组件是基于渐进式框架的一个容器，可用于容纳视频素材。标注组件是基于渐进式框架的一个容器，用于容纳根节点和子节点。
88.在一个具体实施例中，渐进式框架为vue，vue是一个javascript库，驱动采用单文件组件和vue生态系统支持的库开发的复杂单页应用，可绘制复杂的画布图形。在其他实施例中，渐进式框架也可以是其他支持绘制画布图形的框架。
89.步骤s304，在标注组件中添加根节点和子节点；根节点和子节点用于在画布中形
成标注区域和标注内容区域。
90.在一些实施例中，根节点和子节点用于在画布中形成标注区域和标注内容区域。可以理解地，子节点存储在根节点中。
91.进一步地，在一些实施例中，子节点通过图形对象数组图形对象数组中存储的参数列表在画布中创建图形，作为标注区域和标注内容区域。
92.在一个具体实施例中，根节点为konva对象中的舞台节点(stage)，子节点为konva对象中的图层节点(layer)。konva的对象是以一颗树的形式保存的，树的根节点包括stage节点，子节点包括layer节点；在本实施例中，标注区域或标注内容区域对应的图形即为图形图层节点的子节点。在konva对象中，每一个layer节点有两个《canvas》渲染器：场景渲染器和图像命中检测渲染器，layer节点包含图形、嵌套图形的组、嵌套组的组。
93.在一些实施例中，步骤s301至步骤s304所描述的过程可以描述为：在当前视频帧图像上渲染一个与当前视频帧图像的显示尺寸相同的画布，在该画布中绘制图形，作为标注区域和标注内容区域。其中，计算机将存储在内存中的形状转换成实际绘制在屏幕上的对应的过程称为渲染。
94.本公开实施例提供的技术方案，在进入视频标注模式以后，在界面中渲染一个与当前视频帧图像的显示尺寸相同的画布对象，在当前视频帧图像上显示画布，利用画布对象中基于渐进式框架的面板组件添加标注组件，再对标注组件添加根节点和子节点，用于在画布中形成标注区域和标注内容区域，从而实现可以在当前视频帧图像上进行标注形成标注区域和标注内容区域的效果，使标注区域和标注内容区域均显示在当前视频帧图像上，标注内容区域无需占用屏幕的显示空间，有利于屏幕空间更好的用于展示视频画面细节，且用户在查看标注内容时，标注内容区域与标注区域的展示位置对应，就处在临近的位置处，因此用户无需在相隔较远的不同位置来回切换视觉关注点，为用户查看标注带来更好的体验。
95.在一些实施例中，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域，包括：根据当前视频帧图像、标注区域、标注内容区域，生成图形对象；基于图形对象重新渲染面板组件，得到包含标注区域、标注内容区域在内的当前视频帧图像。
96.在本实施例中，一个图形对象对应一组标注区域和标注内容区域。在一些实施例中，图形对象存储了标注区域和标注内容区域对应的图形、标注内容区域中的标注内容、以及该组标注区域和标注内容区域所在的视频帧的标识(即哪一视频帧图像)等等信息，可以理解地，根据图形对象可以确定标注区域和标注内容区域展示在哪一视频帧图像的哪个位置，以及展示形状、大小、展示内容等。
97.具体地，在一些实施例中，根据当前视频帧图像、标注区域、标注内容区域，生成图形对象，包括：根据当前视频帧图像所属的视频数据集、当前视频帧图像在当前视频所处的帧数信息、标注区域在当前视频帧图像的位置信息和尺寸信息、标注内容区域在当前视频帧图像的位置信息和尺寸信息，生成图形对象。
98.其中，当前视频帧图像所属的视频数据集表示当前视频帧图像所在的当前视频的视频标识，即当前视频帧图像属于哪一个视频；当前视频帧图像在当前视频所处的帧数信息表示当前视频帧图像在当前视频中处于第几帧。在一些实施例中，多个视频素材存储在一个数据包中，一个视频素材包括多个视频帧图像，图形对象中包括当前视频帧图像所属
的视频数据集、当前视频帧图像在当前视频所处的帧数信息，可以确定该图形对象对应的标注区域、标注内容区域所在的视频以及在视频中的具体位置。
99.标注区域在当前视频帧图像的位置信息表示标注区域在当前视频帧图像中的显示位置；在一些实施例中，如标注区域为矩形，标注区域的位置信息可以包括两个对角点的位置；又如标注区域为圆形，标注区域的位置信息可以包括圆心位置。标注区域的尺寸信息表示标注区域的大小，在一些实施例中，如标注区域为矩形，标注区域的尺寸信息可以包括矩形的长和宽；又如标注区域为圆形，标注区域的尺寸信息可以包括圆形的半径信息。可以理解地，根据标注区域的位置信息和尺寸信息可以确定标注区域在当前视频帧图像上展示的具体位置和大小。
100.标注内容区域在当前视频帧图像的位置信息和尺寸信息与标注区域的位置信息和尺寸信息类似，在此不再赘述。进一步地，在本实施例中，标注内容区域的位置与标注区域的位置对应；在一些实施例中，标注内容区域与标注区域的展示位置不重叠。
101.进一步地，在一些实施例中，根据当前视频帧图像、标注区域、标注内容区域，生成图形对象，包括：将当前视频帧图像所属的视频数据集、当前视频帧图像在当前视频所处的帧数信息、标注区域在当前视频帧图像的位置信息和尺寸信息、标注内容区域在当前视频帧图像的位置信息和尺寸信息，存储为图形对象。
102.本公开实施例提供的技术方案，根据当前视频帧所在的视频和在当前视频的帧数、标注区域、标注内容区域的位置和尺寸等信息生成图形对象，根据该图形对象即可在当前视频帧图像上展示图形对象对应的标注区域和标注内容区域，从而在当前视频播放到其他视频帧时，返回当前视频帧图像仍可以查看在当前视频帧图像上标记的标注区域和标注内容区域。
103.面板组件即当前界面的显示情况，在当前视频帧图像上绘制标注区域之后，需要重新渲染面板组件，以在当前界面中展示出标注区域，以及与标注区域关联的标注内容区域，包含标注区域和标注内容区域在内的当前视频帧图像，即在界面展示的当前视频帧图像上展示标注区域和标注内容区域。
104.在一些实施例中，面板组件对应的当前界面中还包括当前视频的播放器时间轴、与当前视频相邻的视频对应的简介等内容；可以理解地，在形成标注区域的过程中，播放器时间轴、相邻视频的简介均未发生变化，因此在重新渲染面板组件时，对于标注区域和标注内容区域未覆盖到的部分展示内容，重新渲染后与重新渲染前是相同的。
105.在一些实施例中，上述方法还包括：在标注内容区域中展示保存选项；当接收到针对保存选项的触发操作时，将标注内容区域中的标注内容，存储图形对象。进一步地，在一些实施例中，在存储图形对象之后，还包括：将标注内容区域的当前显示状态调整为隐藏状态。在接收到对标注内容区域的保存选项触发操作之后，表示对标注内容区域的编辑已完成，此时可以将标注内容区域的当前显示状态调整为隐藏状态，避免标注内容区域遮挡当前视频帧图像的显示。
106.本公开实施例提供的技术方案，对于用户在当前视频帧图像上标注的标注区域和标注内容区域，通过图形对象存储起来，并根据图形对象重新渲染面板组件，从而使标注区域和标注内容区域展示在当前视频帧图像上，以图形对象存储标注区域、标注内容区域以及标注内容，在从其他视频帧图像跳转到当前视频帧图像时，基于当前视频帧图像对应保
存的图形对象进行渲染，可以快速为用户展示出包含标注区域和标注内容区域在内的当前视频帧图像。
107.在一些实施例中，如图4所示，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域之后，上述方法还包括步骤s401：接收在标注内容区域内输入的标注内容；步骤s402，在标注内容区域中展示标注内容。
108.标注内容区域用于显示针对标注区域的标注内容，因此在本实施例中，在将标注区域与标注内容区域显示在当前视频帧图像上之后，用户可以在标注内容区域编辑所需要录入的标注内容。
109.在一些实施例中，接收在标注内容区域内输入的标注内容，包括：检测到对标注内容区域的触发操作之后，进入标注内容区域的编辑状态，接收输入的标注内容。其中，编辑状态表示可以对标注内容区域中的内容进行编辑的状态，只有进入编辑状态，用户账户才可以对标注内容区域里的标注内容进行编辑。用户账户可以通过键盘打字或者手写等方式输入需要在标注内容区域展示的标注内容。
110.本公开实施例提供的技术方案，在界面展示标注区域和标注内容区域之后，还在接收到在标注内容区域内输入的标注内容时，将标注内容展示在标注内容区域中。标注内容区域中可以录入用户账户针对关联的标注区域录入的标注内容，标注内容通过标注内容区域展示在当时视频帧图像上的标注区域附近，无需占用屏幕的额外显示空间，有利于在屏幕内展示视频画面细节；同时将针对标注区域的评论用文字记录在标注区域附近的位置，用户在查看针对标注区域的标注内容时，无需反复在距离较远的位置之间来回切换视觉关注点，便于查看针对视频帧图像的标注内容。
111.进一步地，请继续参照图4，在一些实施例中，在标注内容区域中展示标注内容之后，上述方法还包括步骤s403至步骤s405，其中：
112.步骤s403，接收对标注内容区域的编辑指令，进入标注内容区域的编辑状态。
113.其中，编辑指令用于对标注内容区域进行编辑。在一些实施例中，标注内容区域在显示已经编辑好的标识内容之后，还可以再次对其中的标注内容进行修改和编辑，用户账户通过发起编辑指令对标注内容区域中显示的标注内容再次进行编辑。
114.在一些实施例中，可以在检测到针对标注内容区域的触发操作时，确定检测到编辑指令。其中，触发操作可以是任意一种触发操作，例如可以是单击操作、双击操作、长按操作等。例如在一个具体实施例中，触发操作为双击操作，当检测到在标注内容区域内的双击操作时，确定检测到触发操作，该标注内容区域进入编辑状态。
115.步骤s404，响应于对标注内容的增删操作，对标注内容进行调整，得到调整后标注内容。
116.其中，增删操作表示对标注内容的内容增加操作或者内容删除操作。对于已经编辑好的标注内容，用户账户可以再次对其编辑，以增加内容或者删除部分内容，以对标注内容进行修改。根据对标注内容的增删操作，可以确定对标注内容需要增加的内容，或者需要删除的内容，结合需要增加或删除的内容，对标注内容进行调整，得到调整之后的标注内容，本实施例中记为调整后标注内容。
117.步骤s405，在标注内容区域展示调整后标注内容。
118.在对标注内容进行调整之后，将调整后标注内容展示在标注内容区域。在一些实
施例中，将调整后标注内容展示在标注内容区域，可以是结合增删操作实时展示的，例如响应于对标注内容的内容删除操作，删除部分标注内容，将剩余部分标注内容展示在标注内容区域中；进一步地，响应于对当前展示的标注内容的内容增加操作，增加一部分内容，在标注内容区域中展示增加之后的标注内容。
119.本公开实施例提供的技术方案，对于已经录入标注内容的标识内容区域，支持再次对其中的标注内容进行修改，如果标注内容有误，可以通过本实施例提供的技术方案对标注内容进行修改，提高容错率。本公开实施例提供的技术方案可以应用在多人审核或者评测同一视频的场景中，对于其他人对当时视频帧图像的标注内容，用户可以在该标注内容的基础上，再进行调整或补充内容。
120.在一些实施例中，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域之后，方法还包括：接收对标注区域的删除指令；根据删除指令，将标注区域、与标注区域关联的标注内容区域从当前视频帧图像中删除。
121.在一些实施例中，删除指令也可以是针对标注内容区域的。其中，删除指令用于对标注区域以及标注内容区域进行删除。在一些实施例中，在当前视频帧图像上展示标注区域和标注内容区域之后，还包括在标注区域或标注内容区域中展示删除图标，在检测到对删除图标的触发操作时，确定接收到对标注区域的删除指令。其中，删除图标可以通过任意一种方式展示，例如在一个具体实施例中，删除图标为显示
“×”
的图标。
122.在另一些实施例中，在当前视频帧图像上展示标注区域和标注内容区域之后，还包括在检测到针对标注区域或标注内容区域的操作指令展示操作时，在当前视频帧图像上展示与标注区域或标注内容区域对应的操作指令面板，当基于操作指令面板中接收到针对删除操作操作指令面板的触发操作时，确定接收到对标注区域的删除指令。在一个具体实施例中，作指令展示操作为鼠标右键点击操作，在界面展示操作指令面板，表示在界面展示包含可以对标注区域或标注内容区域执行的所有操作在内的面板，例如操作指令面板可以包括线条选项、填充选项、删除操作选项、复制操作选项等等。当基于操作指令面板接收到针对删除选项的触发操作时，确定接收到对标注区域和标注内容区域的删除指令。
123.在本实施例中，标注区域与标注内容区域是关联存在的，在接收到对标注区域的删除指令时，将标注区域以及与该标注区域关联的标注内容区域一同从当前视频帧图像中删除。
124.本公开实施例提供的技术方案，对于已生成的标注区域以及标注内容区域，支持将其从当前视频帧图像上删除，在发现标注有误或者标注的位置有误时，可以通过删除的方式将原有的标记错误的标注区域和标注内容区域删除，以便重新进行标注，可以提高对当前视频帧图像进行标注的容错率。
125.在一些实施例中，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域之后，上述方法还包括：在当前视频帧图像中展示标注区域对应的标注图标。
126.其中，标注图标用于标识在该位置存在一个标注区域。在一些实施例中，以标注区域为矩形为例，在当前视频帧图像中展示标注区域对应的标注图标，可以是在标注区域的左上角、右上角、左下角或者右下角等位置展示；以标注区域为圆形或三角形为例，标注图标可以展示在标注区域的中心位置等等。
127.其中，标注图标可以根据实际情况进行设定；在一些实施例中，标注图标可以显示
为圆圈、三角形、矩形等形状。
128.进一步地，在一些实施例中，标注图标为带有标注序号的图标。在一些实施例中，对于在当前视频中形成的标注区域可以根据标记的先后顺序生成对应的标注序号，接收到标注指令时，确定当前的标注序号，根据标注序号确定出标注图标，并将标注图标展示在标注区域。在另一些实施例中，也可以对当前视频帧图像中形成的多个标注区域按照先后顺序生成对应的标注序号。如图5所示为一个具体实施例中标注区域、标注内容区域以及标注图标的展示示意图，标号10所示为标注区域，标号20所示为标注内容区域，标号40所示为标注图标。
129.在一些实施例中，如图8所示，在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域之后，上述方法还包括步骤s801至步骤s803，其中：
130.步骤s801，当检测到对标注区域的触发操作时，获取与标注区域关联的标注内容区域的当前显示状态。
131.针对标注区域的触发操作可以通过鼠标单击、双击、触摸标注区域对应位置的屏幕等等任意一种方式实现。标注内容区域的当前显示状态表示标注内容区域是显现状态还是隐藏状态。
132.步骤s802，若当前显示状态为显现状态，则将当前显示状态切换为隐藏状态，在当前视频帧图像中隐藏标注内容区域。
133.步骤s803，若当前显示状态为隐藏状态，则将当前显示状态切换为显现状态，在当前视频帧图像中显示标注内容区域。
134.在本实施例中，在检测到针对标注区域的触发操作时，对与标注区域关联的标注内容区域的当前显示状态进行切换。如果标注内容区域的当前显示状态为显现状态则将其切换为隐藏状态，并在界面中隐藏标注内容区域，如果当前显示状态为隐藏状态，则将其切换为显现状态，并在界面中显示该标注内容区域。
135.请继续参照图5，图5中标注图标为1和2对应的标注区域，与该两处标注区域关联的标注内容区域的当前显示状态为隐藏状态。图5中标注图标为3对应的标注区域，与其关联的标注内容区域2的当前显示状态为显现状态，其中标注图标为3对应的标注内容区域中的标注内容为“示例标注内容3”。进一步地，当在图5中检测到对标注图标为3对应的标注区域的触发操作时，将标注图标为3的标注区域关联的标注内容区域的当前显示状态由显现状态切换至隐藏状态，如图6中所示标注图标为3对应的标注区域。当在图5中检测到对标注图标为2对应的标注区域的触发操作时，将标注图标为2的标注区域关联的标注内容区域的当前显示状态由隐藏状态切换至显现状态，如图7所示，标注图标为2对应的标注内容区域中的标注内容为“示例标注内容2”。
136.本公开实施例提供的技术方案，通过对标注区域的触发操作，可以对与标注区域关联的标注内容区域的当前显示状态进行切换。对于用于显示标注内容的标注内容区域，可能会遮挡到当前视频帧图像的显示，通过本公开实施例提供的技术方案可以选择展开或隐藏标注内容区域，便于用户在需要查看标注内容时展开查看，不需要查看标注内容时将标注内容区域隐藏，从而更好的查看当前视频帧图像的内容，不会遮挡视频帧图像的显示不影响画面的审阅。
137.在一些实施例中，如图9所示，在当前视频帧图像上展示标注区域，以及标注区域
关联的标注内容区域之后，上述方法还包括步骤s901至步骤s903，其中：
138.步骤s901，在当前视频对应的播放器时间轴中定位当前视频帧图像的帧数对应的目标位置。
139.其中，当前视频即当前正在播放的视频，也即当前视频帧图像所在的视频。播放器时间轴表示用于显示当前视频的播放进度的时间轴，通过播放器时间轴可以将视频拉到任意一个时间点对应的视频帧图像进行播放。
140.在本实施例中，根据当前视频帧图像在当前视频中所处的位置，在播放器时间轴中确定一个对应的时间点，即为目标位置。
141.步骤s902，在播放器时间轴的目标位置添加标注标识。
142.在本实施例中，标注标识表示在当前视频帧图像上进行了标记，存在标注区域和标注内容区域。在一些实施例中，当前视频帧图像中包含多个标注区域，在目标位置仅添加一个标注标识。
143.其中，标注标识的显示样式可以是任意一种显示样式；例如在目标位置添加一个圆点、三角形、多边形或多个形状组合作为标注标识。
144.进一步地，在一些实施例中，标注标识中还可以携带数字；在本实施例中，在播放器时间轴的目标位置添加标注标识之前，上述方法还包括：统计在当前视频帧图像中的标注区域的数量，根据该数量确定出标注标识。将当前视频帧图像中包含的标注区域的数量显示在播放器时间轴中的标注标识，用户在查看视频时，不仅可以快速的了解到在哪些位置的视频帧图像包含标注内容，还可以了解到哪些位置的视频帧图像包含的标注内容的数量。如图10所示为一个具体实施例中在当前视频的播放器时间轴中添加标注标识的示意图，标号50所示为播放器时间轴，标号60所示为在播放器时间轴上添加的某一视频帧图像对应的标注标识。可以理解地，图10中所展示的为第00:00:05时刻对应的视频帧图像，当前视频一共包含5个标注标识；当在如图10所示的界面中检查到对播放器时间轴上左起第2个标注标识(图中以虚线圈出)的触发操作时，跳转到该标注标识所在位置对应视频帧图像进行展示。如图11所示为在图10所示播放器时间轴上左起第2个标注标识的触发操作时跳转后的画面；图11中所展示的为第00:00:26时刻对应的视频帧图像。
145.步骤s903，当检测到对标注标识的触发操作时，跳转到包含标注区域和标注内容区域在内的当前视频帧图像进行展示。
146.当检测到对标注标识的触发操作时，无论当前界面播放的是当前视频的哪一视频帧图像，都可以返回到标注标识对应的视频帧图像进行展示，且该视频帧图像中包含标注区域和标注内容区域。
147.在一些实施例中，在播放器时间轴的目标位置添加标注标识之后，上述方法还包括：对标注标识绑定鼠标点击事件监听器。当通过鼠标点击事件监听器监听到鼠标点击事件时，确定检测到对标注标识的触发操作。其中，鼠标点击事件监听器用于监听是否发生鼠标的点击操作。对标注标识绑定鼠标点击事件监听器可以通过任意一种方式实现。
148.本公开实施例提供的技术方案，在对当前视频帧图像进行标注形成标注区域和标注内容区域之后，在当前视频帧图像在当前视频的播放器时间轴对应位置添加标注标识，并且在检测到对标注标识的触发操作时，在界面中跳转到当前视频帧图像进行展示，实现对标注时间和播放器时间轴的关联与定位，便于用户在对视频帧图像进行标注之后，可以
快速回溯到已做出标注的视频帧图像进行查看。
149.在一个具体实施例中，以一个详细的示例对上述视频帧图像的标注方法进行描述。在本实施例中，以用户通过操作鼠标在界面中进行标注为例，且基于konva对象实现在当前视频帧图像上进行标注的过程，标注区域和标注内容区域均为矩形框。如图12所示为本实施例中视频帧图像的标注方法的流程示意图，包括以下步骤：
150.步骤1，在界面中展示视频标注模式选项，检测到用户点击视频标注模式选项时，进入视频标注模式。
151.步骤2，获取当前视频帧图像的显示尺寸，界面开始渲染与当前视频帧图像的显示尺寸相同尺寸的konva对象(画布对象)，在konva对象的素材面板的渐进式框架面板组件(vue组件的panel组件)中添加标注组件tag，接着在标注组件tag中添加stage节点(根节点)和layer节点(子节点)，在layer中通过图形对象数组中存储的参数列表来创建多个矩形rect图形对象。
152.步骤3，用户通过操作鼠标触发mousedown事件绘制矩形边框，在检测到mousemove事件被触发时实时更新当前鼠标所在位置，最后检测到完成绘制触发mouseup事件时，确定接收到标注指令。根据触发mousedown事件对应的第一位置点坐标、触发mouseup事件对应的第二位置点坐标，确定出对应的矩形边框，作为标注区域，同时在该矩形边框右上角的位置展示标记图标icon，然后在界面对应位置展示与标注区域关联的弹出框作为标注内容区域，标注内容区域支持输入标注内容。
153.步骤4，接收用户在标注内容区域内输入的标注内容，并在检测到用户点击保存按钮后，生成该条标注对应的图形对象，并将该图形对象更新到当前视频对应的图形对象数组。其中，每一个图形对象存储当前视频帧图像所属的视频数据集、标注区域在当前视频帧图像上的具体位置和宽高信息、当前视频帧图像所处的帧数以及标注内容。每一条标注区域以及标注内容区域定义为一个图形对象，每一个视频素材维护一个图形对象数组。
154.其中，标注区域的矩形边框，预先设定矩形边框的填充颜色为无填充，标注区域仅在当前视频帧图像上标记位置，而不会遮挡视频帧图像的显示。标注内容区域在录入标注内容以后，可以支持展开与收起，也可以支持再次进行编辑，同时，对于已经生成的标注区域以及关联的标注内容区域，还支持删除该标注区域以及关联的标注内容区域，具体实现方式请参见在前的实施例描述，在此不再赘述。
155.步骤5，stage节点根据图形对象数组中增加新的矩形图形对象重新渲染panel组件，使标注区域、输入了标注内容的标注内容区域展示在当前视频帧图像上。与此同时，根据图形对象中当前视频帧图像的帧数信息在当前视频的播放器时间轴对应帧的位置(目标位置)增加标记标识icon，并重新渲染播放器时间轴，在每一个标记标识icon上绑定鼠标点击事件监听器，当用户在播放器时间轴的标记标识icon处触发鼠标点击事件时，将当前视频定位到标记标识icon所在的帧数进行展示，以实现回看当前视频中标注内容的效果。
156.本公开实施例提供的技术方案，在视频标注模式下对视频帧图像进行标注时，通过将针对标注区域的标注内容显示在当前视频帧上与标注区域对应位置，无需占用屏幕的显示区域，即不需要占用视频画面的展示区域，有利于在视频标注模式下对视频画面细节内容的展示，相关人员查看视频时，可以更好的查看和审阅视频画面细节；标注区域内无填充，以及标注内容区域支持收起，可以尽量减少标注对于视频帧图像的遮挡，有利于展示视
频帧图像的细节。同时对于已经进行标注的视频帧图像，在该视频帧图像所对应的播放器时间轴上进行标注标识，支持触发该标注标识时回溯到含有标注内容在内的视频帧图像进行查看，便于用户快速查看当前视频中的标注内容。
157.图13是根据一示例性实施例示出的一种视频帧图像的标注装置的框图。参照图13，该装置包括接收模块1301，区域确定模块1301和展示模块1303。
158.该接收模块1301，被配置为执行在视频标注模式下，接收对当前视频帧图像的标注指令；例如，接收模块1301可以用于执行上述图1所示的步骤s101。
159.该区域确定模块1301，被配置为执行基于标注指令确定出标注区域；例如，区域确定模块1301可以用于执行上述图1所示的步骤s102。
160.该展示模块1303，被配置为执行在当前视频帧图像上展示标注区域，以及标注区域关联的标注内容区域；标注内容区域的展示位置与标注区域的展示位置对应，标注内容区域用于显示针对标注区域的标注内容；例如，展示模块1303可以用于执行上述图1所示的步骤s103。
161.本公开的实施例提供的技术方案至少带来以下有益效果：在视频标注模式下接收到对当前视频帧图像的标注指令时，根据标注指令确定出标注区域，并将标注区域展示在当前视频帧图像中，同时，在标注区域的对应位置展示关联的标注内容区域，其中标注内容区域用于显示针对标注区域的标注内容。通过将针对标注区域的标注内容显示在当前视频帧图像上与标注区域对应位置，无需占用屏幕的显示区域，即不需要占用视频画面的展示区域，有利于在视频标注模式下对视频画面细节内容的展示，相关人员查看视频时，可以更好的查看和审阅视频画面细节。而且，在视频帧图像上标注区域的对应位置显示标注内容区域，能够同时展示标记区域和标记内容，更为直观、方便地查看标注区域与标注内容区域的对应或映射关系，将标注区域与标注内容区域在空间位置上统一展示，通过空间一致性实现视觉一致性，提高了视频标注查看时的便利性。
162.在一些实施例中，展示模块1303还被配置为执行：在界面展示视频标注模式选项；上述装置还包括：标注模块1304，被配置为执行在检测到对视频标注模式选项的触发操作时，进入视频标注模式。
163.在一些实施例中，上述装置还包括：获取模块1305，被配置为执行获取当前视频帧图像的显示尺寸；渲染模块1306，被配置为执行在界面中渲染与显示尺寸相同的画布对象；画布对象用于在当前视频帧图像上形成画布；添加模块1307，被配置为执行在画布对象的渐进式框架面板组件中添加标注组件；添加模块1307还被配置为执行：在标注组件中添加根节点和子节点；根节点和子节点用于在画布中形成标注区域和标注内容区域。
164.在一些实施例中，上述装置的展示模块1303，包括：图形对象生成单元1308，被配置为执行根据当前视频帧图像、标注区域、标注内容区域，生成图形对象；渲染单元1309，被配置为执行基于图形对象重新渲染面板组件，得到包含标注区域、标注内容区域在内的当前视频帧图像。
165.在一些实施例中，图形对象生成单元1308，还被配置为执行：根据当前视频帧图像所属的视频数据集、当前视频帧图像在当前视频所处的帧数信息、标注区域在当前视频帧图像的位置信息和尺寸信息、标注内容区域在当前视频帧图像的位置信息和尺寸信息，生成图形对象。
166.在一些实施例中，接收模块1301还被配置为执行接收在标注内容区域内输入的标注内容；展示模块1303还被配置为执行在标注内容区域中展示标注内容。
167.在一些实施例中，接收模块1301还被配置为执行接收对标注内容区域的编辑指令，进入标注内容区域的编辑状态；上述装置还包括：标注内容调整模块1310，被配置为执行响应于对标注内容的增删操作，对标注内容进行调整，得到调整后标注内容；展示模块1303，还被配置为执行在标注内容区域展示调整后标注内容。
168.在一些实施例中，接收模块1301，还被配置为执行接收对标注区域的删除指令；上述装置还包括：删除模块1311，被配置为执行根据删除指令，将标注区域、与标注区域关联的标注内容区域从当前视频帧图像中删除。
169.在一些实施例中，展示模块1303还被配置为执行在当前视频帧图像中展示标注区域对应的标注图标；上述装置还包括：显示状态获取模块1312，被配置为执行当检测到对标注图标的触发操作时，获取标注内容区域的当前显示状态；显示状态切换模块1313，被配置为执行若当前显示状态为显现状态，则将当前显示状态切换为隐藏状态，在当前视频帧图像中隐藏标注内容区域；显示状态切换模块1313，还被配置为执行若当前显示状态为隐藏状态，则将当前显示状态切换为显现状态，在当前视频帧图像中显示标注内容区域。
170.在一些实施例中，接收模块1301，还被配置为执行：在当前视频帧图像中检测到图形绘制操作时，确定接收到对当前视频帧图像的标注指令；区域确定模块1301还被配置为执行：获取图形绘制操作对应的操作起始位置和操作结束位置；根据图形绘制操作的起始位置和结束位置，确定出标注区域。
171.在一些实施例中，上述装置的区域确定模块1301，还被配置为执行当依次检测到鼠标按下事件、鼠标移动事件和鼠标弹起事件时，获取鼠标按下事件对应的第一位置点坐标、鼠标弹起事件对应的第二位置点坐标；操作起始位置包括第一位置点坐标，操作结束位置包括第二位置点坐标；将第一位置点坐标、第二位置点坐标作为矩形的两个对角点，生成矩形标注区域。
172.在一些实施例中，上述装置还包括：帧数确定模块1314，被配置为执行在当前视频对应的播放器时间轴中定位当前视频帧图像的帧数对应的目标位置；标识添加模块1315，被配置为执行在播放器时间轴的目标位置添加标注标识；跳转模块1316，被配置为执行当检测到对标注标识的触发操作时，跳转到包含标注区域和标注内容区域在内的当前视频帧图像进行展示。
173.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
174.图14是根据一示例性实施例示出的一种电子设备140的框图。如图14，该电子设备140可以包括至少一个处理器141以及用于存储处理器141可执行指令的存储器143。其中，处理器141被配置为执行存储器143中的指令，以实现上述实施例中的方法。
175.另外，电子设备140还可以包括通信总线142以及至少一个通信接口144。
176.处理器141可以是一个gpu，微处理单元，asic，或一个或多个用于控制本公开方案程序执行的集成电路。
177.通信总线142可包括一通路，在上述组件之间传送信息。
178.通信接口114，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如
以太网，无线接入网(radio access network，ran)，无线局域网(wireless local area networks，wlan)等。
179.存储器143可以是只读存储器(read-only memory，rom)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，ram)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理单元相连接。存储器也可以和处理单元集成在一起，为gpu中的易失性存储介质。
180.其中，存储器143用于存储执行本公开方案的计算机程序，并由处理器141来控制执行。处理器141用于执行存储器143中存储的计算机程序，从而实现本公开方法中的功能。
181.在具体实现中，作为一种实施例，处理器141可以包括一个或多个gpu，例如图14中的gpu0和gpu1。
182.在具体实现中，作为一种实施例，电子设备140可以包括多个处理器，例如图14中的处理器141和处理器147。这些处理器中的每一个可以是一个单核(single-cpu)处理器，也可以是一个多核(multi-gpu)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
183.在具体实现中，作为一种实施例，电子设备140还可以包括输出设备145和输入设备146。输出设备145和处理器141通信，可以以多种方式来显示信息。例如，输出设备145可以是液晶显示器(liquid crystal display，lcd)，发光二级管(light emitting diode，led)显示设备，阴极射线管(cathode ray tube，crt)显示设备，或投影仪(projector)等。输入设备146和处理器141通信，可以以多种方式接受用户的输入。例如，输入设备146可以是鼠标、键盘、触摸屏设备或传感设备等。
184.本领域技术人员可以理解，图14中示出的结构并不构成对电子设备140的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
185.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器144，上述指令可由电子设备140的处理器141执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
186.在示例性实施例中，还提供一种计算机程序产品，包括计算机指令，其中，计算机指令被处理器执行时实现上述任意一个实施例中所描述的视频帧图像的标注方法。
187.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
188.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并
且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。