基于视频生成操作流程文件的方法及装置与流程

本申请属于计算机技术领域，具体涉及一种基于视频生成操作流程文件的方法及装置。

背景技术：

目前智能手机上的操作越来越复杂，有时用户需要将手机上进行的操作流程进行录屏后发给其他人，或者用户一边操作一边截图，再对截图进行人工编辑来手动制作操作指导图。

但是，录屏视频文件过大，传输耗时，录屏视频文件在某些情况下不能很好地表达操作流程；而人工手动对操作流程进行截图编辑又过于繁琐耗时，且不易进行整理。

技术实现要素：

本申请实施例提供一种基于视频生成操作流程文件的方法及装置，能够解决现有基于录屏视频文件和手动编辑制作操作流程文件存在的文件过大、传输耗时、制作耗时的缺陷。

第一方面，本申请实施例提供了一种基于视频生成操作流程文件的方法，该方法包括：

获取包含预设信息的视频文件；

对所述视频文件进行处理，确定操作行为事件；

从所述视频文件中获取所述操作行为事件对应的关键帧，并基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像；

基于所述操作图像，得到操作流程文件；

其中，所述预设信息包括：触摸点数据或点击操作数据。

第二方面，本申请实施例提供了一种基于视频生成操作流程文件的装置，该装置包括：

视频获取单元，用于获取包含预设信息的视频文件；

事件确定单元，用于对所述视频文件进行处理，确定操作行为事件；

处理单元，用于从所述视频文件中获取所述操作行为事件对应的关键帧，并基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像；

生成单元，用于基于所述操作图像，得到操作流程文件；

其中，所述预设信息包括：触摸点数据或点击操作数据。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的基于视频生成操作流程文件的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的基于视频生成操作流程文件的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的基于视频生成操作流程文件的方法。

在本申请实施例中，通过获取包含预设信息的视频文件，确定操作行为事件，获取所述操作行为事件对应的关键帧，并基于操作行为事件，对关键帧对应的图像进行处理，获得操作图像，可以很好地表达操作流程，使得用户可以直接通过录屏得到操作流程图，操作简单快捷。

附图说明

图1为本申请实施例提供的基于视频生成操作流程文件的方法的流程示意图之一；

图2为本申请实施例提供的保存图像的数组结构示意图；

图3为本申请实施例提供的第一队列的结构示意图；

图4为本申请实施例提供的添加单击事件图标的示意图；

图5为本申请实施例提供的添加长按事件图标的示意图；

图6为本申请实施例提供的添加多次点击事件图标的示意图；

图7为本申请实施例提供的添加滑动事件图标的示意图；

图8为本申请实施例提供的基于视频生成操作流程文件的方法的流程示意图之二；

图9为本申请实施例提供的基于视频生成操作流程文件的方法的流程示意图之三；

图10为本申请实施例提供的基于视频生成操作流程文件的装置的结构示意图；

图11为本申请实施例提供的电子设备的结构示意图；

图12为实现本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

应理解，说明书中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。

下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的基于视频生成操作流程文件的方法进行详细地说明。本申请实施例提供的基于视频生成操作流程文件的方法，执行主体为电子设备，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、可穿戴设备等。

图1为本申请实施例提供的基于视频生成操作流程文件的方法的流程示意图之一，该方法包括：

步骤100、获取包含预设信息的视频文件；

其中，所述预设信息包括：触摸点数据或点击操作数据。电子设备获取包含触摸点数据或点击操作数据的视频文件。

可选地，触摸点数据包括触摸轨迹，或者，触摸点对应的坐标以及触摸点所在的帧图像的索引。

可选地，用户打开电子设备的录屏功能，在录屏设置中选择显示触摸轨迹，开始录屏。触摸轨迹即在录屏预览画面中移动的触摸点形成的。

可选地，点击操作数据是指用户点击电子设备的屏幕所形成的数据。

可选地，在视频文件较大时，需要占据大量内存和计算力，耗时较长，同时对用户行为的判断精度较差，存在误判可能。因此，在另一种实施方式中还可以在录屏的同时收集用户点击电子设备的屏幕所形成的点击操作数据，也可以理解为在录屏的同时开启记录点击操作数据的功能。

步骤101、对所述视频文件进行处理，确定操作行为事件；

可选地，在所述预设信息为触摸点数据的情况下，对所述视频文件进行图像识别，识别视频文件中的触摸点，获取触摸点数据，确定操作行为事件。

可选地，在所述预设信息为点击操作数据的情况下，对点击操作数据进行解析，确定操作行为事件。

可选地，操作行为事件包括点击、双击、长按、滑动等类型的事件。

步骤102、从所述视频文件中获取所述操作行为事件对应的关键帧，并基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像；

可选地，电子设备基于所述操作行为事件，从所述视频文件中提取所述操作行为事件对应的关键帧，然后在所述关键帧对应的图像上添加与所述操作行为事件对应的操作图标，从而获得操作图像。

步骤103、基于所述操作图像，得到操作流程文件；

可选地，电子设备将基于操作行为事件得到的操作图像按照时间顺序保存至结果集中，将结果集中的所有操作图像进行合成，得到操作流程文件。

可选地，操作流程文件可以是按照操作流程顺序生成的pdf文件。

可选地，用户可以对操作流程文件进行预览，并进行再次编辑，例如，为操作图标添加说明，遮挡隐私内容等。

在本申请实施例中，通过获取包含预设信息的视频文件，确定操作行为事件，获取所述操作行为事件对应的关键帧，并基于操作行为事件，对关键帧对应的图像进行处理，获得操作图像，可以很好地表达操作流程，使得用户可以直接通过录屏得到操作流程图，操作简单快捷。

可选地，所述对所述视频文件进行处理，确定操作行为事件，包括：

获取所述视频文件中包含的预设信息；

在所述预设信息满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件。

在本申请实施例中，电子设备通过获取视频文件中包含的预设信息，判断预设信息是否满足预设事件类型所对应的判断条件，若满足，则确定预设信息对应的操作行为事件为该预设事件类型。

可选地，在所述预设信息为触摸点数据的情况下，所述获取所述视频文件中包含的预设信息，包括：

对所述视频文件进行图像抽取，获得多帧图像，并按照每帧图像的索引保存所述多帧图像；

依次识别所述多帧图像，在识别到触摸点的情况下，获取所述触摸点的坐标以及所述触摸点所在帧图像的索引。

可选地，用户可以选择处理细粒度，处理细粒度决定了每秒抽取的图像的数量m，m是视频帧数的因数，m越大则处理的时间越长，越不容易丢失用户操作轨迹。

电子设备从视频文件中抽取图像。设视频共t秒，从视频文件中每秒抽取m帧图像，共抽取t*m帧图像，抽取出的每帧图像都对应一个索引frame_index。

可选地，将抽取出的t*m帧图像以数组的形式保存。图2为本申请实施例提供的保存图像的数组结构示意图。

依次识别所述多帧图像中的触摸点。可选地，对所述多帧图像进行遍历搜索，先找到图像中与触摸点颜色一致的区域，再比对该区域的几何形状，从而确定该区域是否和触摸点的颜色、形状相同，若相同，则确定图像中存在触摸点。

在识别到触摸点的情况下，获取触摸点的坐标以及所述触摸点所在帧的索引。

可选地，将所述触摸点的坐标以及所述触摸点所在帧的索引存储至第一队列。图3为本申请实施例提供的第一队列的结构示意图。

可选地，所述在所述预设信息满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件包括：

在所述触摸点的坐标和所述索引满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件。

可选地，电子设备基于各触摸点的坐标以及所述触摸点所在帧的索引，判断是否满足预设事件类型对应的判断条件，若满足，则确定相应的触摸点对应的操作行为事件为预设事件类型的事件。

例如，预设事件类型包括点击、长按、多次点击、滑动等类型。预设事件类型还可以是其他的事件类型，可以根据需要进行扩展。本申请对预设事件类型不作具体限制。

预设事件类型对应的判断条件根据该预设事件类型的特点确定。

在本申请实施例中，通过对录屏视频文件进行图像抽取，并进行触摸点的识别，然后获取触摸点的坐标以及触摸点所在帧的索引，基于在触摸点的坐标以及触摸点所在帧的索引确定操作行为事件，通过利用图像识别技术实现了对操作行为事件的识别。

可选地，在所述预设信息为点击操作数据的情况下，所述获取所述视频文件中包含的预设信息，包括：

获取所述视频文件中包含的点击操作数据，所述点击操作数据包括点击操作的坐标以及所述点击操作所在帧图像的索引。

可选地，所述在所述预设信息满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件包括：

在所述点击操作的坐标和所述点击操作所在帧图像的索引满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件。

在上述各实施例的基础上，可选地，所述在所述预设信息满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件，包括：

在第i个触摸点或点击操作a[i]对应的索引与a[i-1]对应的索引和a[i+1]对应的索引均不连续，且a[i]对应的索引、a[i-1]对应的索引和a[i+1]对应的索引两两之间的差值均大于第一预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个点击事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续，且a[i]、a[i-1]和a[i+1]的坐标相同的情况下，确定所述第i个触摸点或点击操作a[i]对应一个点击事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续，且索引连续次数乘以每帧图像对应的时长大于第二预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个长按事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引不连续、索引之间的差值小于第三预设阈值，且a[i]的坐标与a[i-1]的坐标或a[i+1]的坐标之间的距离小于第四预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个多次点击事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续且a[i]、a[i-1]、a[i+1]的坐标均不相同的情况下，确定所述第i个触摸点或点击操作a[i]对应一个滑动事件；

其中，i表示触摸点或点击操作的序号，a为存储所述触摸点或点击操作对应的索引和坐标的队列。

其中，a[i]表示队列中的第i个数据，即第i个触摸点或点击操作，a[i]中存储了第i个触摸点或点击操作的坐标和所在帧图像的索引。a[i-1]中存储了第i-1个触摸点或点击操作的坐标和所在帧图像的索引。a[i+1]中存储了第i+1个触摸点或点击操作的坐标和所在帧图像的索引。

可选地，在a[i]对应的索引与a[i-1]对应的索引和a[i+1]对应的索引均不连续，且a[i]对应的索引、a[i-1]对应的索引和a[i+1]对应的索引两两之间的差值均大于第一预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个点击事件；

表1队列中a[i-1]、a[i]、a[i+1]的示例一

例如，表1为队列中a[i-1]、a[i]、a[i+1]的示例一，如表1所示，a[i]对应的索引frame_index＝20与a[i-1]对应的索引frame_index＝5和a[i+1]对应的索引frame_index＝30均不连续，且a[i]对应的索引与a[i-1]对应的索引之间的差值为15大于第一预设阈值，a[i]对应的索引和a[i+1]对应的索引之间的差值为10，大于第一预设阈值，则确定第i个触摸点或点击操作a[i]对应一个点击事件。

可选地，在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续，且a[i]、a[i-1]和a[i+1]的坐标相同的情况下，确定所述第i个触摸点或点击操作a[i]对应一个点击事件；

表2队列中a[i-1]、a[i]、a[i+1]的示例二

例如，表2为队列中a[i-1]、a[i]、a[i+1]的示例二，如表2所示，a[i]对应的索引frame_index＝21与a[i-1]对应的索引frame_index＝20连续，且a[i]的坐标与a[i-1]的坐标相同，确定所述第i个触摸点或点击操作a[i]对应一个点击事件。

可选地，在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续，且索引连续次数乘以每帧图像对应的时长大于第二预设阈值的情况下，确定数据a[i]对应一个长按事件；

表3队列中a[i-1]、a[i]、a[i+1]的示例三

例如，表3为队列中a[i-1]、a[i]、a[i+1]的示例三，如表3所示，a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续，且索引连续次数乘以每帧图像对应的时长大于第二预设阈值，确定所述第i个触摸点或点击操作a[i]对应一个长按事件。

例如，安卓系统默认的长按时间是500ms，则帧索引连续的次数乘以每帧图像对应的时长大于500ms时，可以认为出现了一个长按事件。

可选地，在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引不连续、索引之间的差值小于第三预设阈值，且a[i]的坐标与a[i-1]的坐标或a[i+1]的坐标之间的距离小于第四预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个多次点击事件。

表4队列中a[i-1]、a[i]、a[i+1]的示例四

例如，表4为队列中a[i-1]、a[i]、a[i+1]的示例四，如表4所示，a[i]对应的索引frame_index＝22与a[i-1]对应的索引frame_index＝20不连续，但是很接近，即索引之间的差值小于第三预设阈值，且a[i]的坐标与a[i-1]的坐标变化较小，即a[i]的坐标与a[i-1]的坐标之间的距离小于第四预设阈值，则表示a[i]和a[i-1]对应一个多次点击事件。

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续且a[i]、a[i-1]、a[i+1]的坐标均不相同的情况下，确定所述第i个触摸点或点击操作a[i]对应一个滑动事件；

表5队列中a[i-1]、a[i]、a[i+1]的示例五

例如，表5为队列中a[i-1]、a[i]、a[i+1]的示例五，如表5所示，a[i]对应的索引frame_index＝21与a[i-1]对应的索引frame_index＝20或a[i+1]对应的索引frame_index＝22连续且a[i]的坐标相比于a[i-1]的坐标有变化，a[i+1]的坐标相比于a[i]的坐标有变化，则确定数据a[i]、a[i-1]、a[i+1]对应一个滑动事件。

可选地，得到操作行为事件后，从所述视频文件中获取所述操作行为事件对应的关键帧。

可选地，所述基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像，包括：

在所述关键帧对应的图像上、所述操作行为事件对应的坐标位置处添加所述操作行为事件对应的图标，获得操作图像。

可以理解的是，单击事件会对应一张或少量图像，可以取其中的第一张作为关键帧，并在单次点击事件对应的触摸点坐标位置增加一个代表“点击”的图标，如图4所示，为本申请实施例提供的添加单击事件图标的示意图。图标添加结束后，将处理获得的图片依次存入结果集中。

长按事件会对应多张图像，可以取长按事件中的第一张图像作为关键帧，并在对应图像的触摸点坐标位置加入“长按”图标，如图5所示，为本申请实施例提供的添加长按事件图标的示意图。图标添加结束后，将处理获得的图像依次存入结果集中。

多次点击事件会对应多张图像，这里取多次点击事件中的第一张图像作为关键帧。在对应图像的触摸点位置加入“多次点击”图标，如所示，为本申请实施例提供的添加多次点击事件图标的示意图。图标添加结束后，将处理获得的图像依次存入结果集中。

滑动事件同样会对应多张图像。可选地，在所述操作行为事件为滑动事件的情况下，所述基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像，包括：

获取滑动事件起始的第一张图像；

在所述第一张图像上、所述滑动事件的起始位置处添加第一图标，在所述第一张图像上、所述滑动事件的结束位置处添加第二图标；

将所述第一图标和第二图标连接，获得操作图像。

可选地，取滑动事件起始的第一张图像，在滑动事件的起始触摸点位置处加入“滑动”图标。在同一张图像的滑动事件终止位置的坐标处加入“结束”图标。将“滑动”和“结束”图标用箭头连起来。如图7所示，为本申请实施例提供的添加滑动事件图标的示意图。需要说明的是，图7的处理方式只能展现出直线的滑动轨迹。本申请实施例也可以展现更为复杂的轨迹。

可选地，所述基于所述操作图像，得到操作流6程文件，包括：

接收对所述操作图像中的图标的第一输入；

响应于所述第一输入，显示编辑框；

接收对所述编辑框的第二输入；

响应于所述第二输入，根据所述第二输入的内容生成操作流程文件。

可选地，第一输入为点击、长按、双击等操作；第二输入为输入音频、视频、文字、图片或其他格式的文件的操作。

可选地，用户点击生成的“单击”、“双击”、“长按”等图标，会在图标旁弹出编辑框，用户可以在这个编辑框中添加额外的说明或者绘制简单涂鸦。

可选地，用户也可以在编辑框中输入语音或进行实时录音，最终生成一种自定义格式的文件。接收到这种格式下的文件的用户，可以通过点击标记图标播报其包含的音频。

图8为本申请实施例提供的基于视频生成操作流程文件的方法的流程示意图之二，如图8所示，该方法包括以下步骤：

步骤800、获取录屏视频文件；

步骤801、对所述录屏视频文件进行图像抽取，获得多帧图像，并按照每帧图像的索引保存所述多帧图像；

步骤802、依次识别所述多帧图像中的触摸点，在识别到触摸点的情况下，获取触摸点的坐标以及所述触摸点所在帧的索引，并将所述触摸点的坐标以及所述触摸点所在帧的索引存储至第一队列；

步骤803、解析所述第一队列，确定操作行为事件；

步骤804、获取所述操作行为事件对应的关键帧，基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像；

步骤805、基于所述操作图像，得到操作流程文件。

可选地，各种点击事件处理生成的操作图像都保存在结果集中，用户可以进行预览进行再度编辑比如为图标添加说明、遮挡隐私内容。

图8所示的基于视频生成操作流程文件的方法需要对图像进行识别，当视频较大时，需要占据大量内存和计算力，耗时较长，同时对用户行为的判断精度取决于图像识别技术的精度。因此，本申请实施例还提供另外一种解决思路，在录屏时收集的点击操作数据，根据点击、滑动等不同操作行为采集录屏视频中的关键帧，对关键帧进行特殊标识处理，生成操作流程文件。

可选地，在所述预设信息为点击操作数据的情况下，所述对所述视频文件进行处理，确定操作行为事件，包括：

获取所述视频文件中包含的点击操作数据,所述点击操作数据包括点击操作的坐标以及所述点击操作所在帧图像的索引；

在所述点击操作的坐标和所述点击操作所在帧图像的索引满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件。

也就是说，在用户录屏过程中，开启收集点击操作数据的功能，包括点击、双击、长按、滑动等操作的数据。录屏完成，点击操作数据和录屏视频一同保存。

可以理解的是，根据所述点击操作数据中的各数据对应的帧索引和/或坐标，判断是否满足预设事件类型对应的判断条件，若满足，则确定相应的点击操作数据对应的操作行为事件为预设事件类型的事件。

图9为本申请实施例提供的基于视频生成操作流程文件的方法的流程示意图之三，如图9所示，该方法包括以下步骤：

步骤900、获取录屏视频文件中的点击操作数据；

步骤901、对所述点击操作数据进行解析，确定操作行为事件；

步骤902、从所述录屏视频文件中获取所述操作行为事件对应的关键帧，基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像；

步骤903、基于所述操作图像，得到操作流程文件。

可选地，各种点击操作数据生成的操作图像都保存在结果集中，用户可以进行预览进行再度编辑比如为图标添加说明、遮挡隐私内容。

本申请实施例提供的基于视频生成操作流程文件的方法，通过获取录屏过程中收集的点击操作数据，基于点击操作数据确定操作行为事件，并基于操作行为事件获取关键帧，对关键帧进行处理，得到操作图像，相比于利用图像识别技术识别触摸点的方法，计算量更小，操作流程文件的生成速度更快，能够识别更加详细的点击操作，用户体验更佳。

需要说明的是，本申请实施例提供的基于视频生成操作流程文件的方法，执行主体可以为基于视频生成操作流程文件的装置，或者，该基于视频生成操作流程文件的装置中的用于执行加载基于视频生成操作流程文件的方法的控制模块。本申请实施例中以基于视频生成操作流程文件的装置执行基于视频生成操作流程文件的方法为例，说明本申请实施例提供的基于视频生成操作流程文件的装置。

图10为本申请实施例提供的基于视频生成操作流程文件的装置的结构示意图，如图10所示，该装置包括：视频获取单元1010、事件确定单元1020、处理单元1030和生成单元1040，其中，

视频获取单元1010，用于获取包含预设信息的视频文件；

事件确定单元1020，用于对所述视频文件进行处理，确定操作行为事件；

处理单元1030，用于从所述视频文件中获取所述操作行为事件对应的关键帧，并基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像；

生成单元1040，用于基于所述操作图像，得到操作流程文件；

其中，所述预设信息包括：触摸点数据或点击操作数据。

可选地，所述事件确定单元1020包括：

第一获取子单元，用于获取所述视频文件中包含的预设信息；

第一确定子单元，用于在所述预设信息满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件。

可选地，所述第一获取子单元用于：

对所述视频文件进行图像抽取，获得多帧图像，并按照每帧图像的索引保存所述多帧图像；

依次识别所述多帧图像，在识别到触摸点的情况下，获取所述触摸点的坐标以及所述触摸点所在帧图像的索引；

可选地，所述第一确定子单元，用于：

在所述触摸点的坐标和所述索引满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件。

可选地，所述第一确定子单元用于：

所述在所述预设信息满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件，包括：

在第i个触摸点或点击操作a[i]对应的索引与a[i-1]对应的索引和a[i+1]对应的索引均不连续，且a[i]对应的索引、a[i-1]对应的索引和a[i+1]对应的索引两两之间的差值均大于第一预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个点击事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续，且a[i]、a[i-1]和a[i+1]的坐标相同的情况下，确定所述第i个触摸点或点击操作a[i]对应一个点击事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续，且索引连续次数乘以每帧图像对应的时长大于第二预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个长按事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引不连续、索引之间的差值小于第三预设阈值，且a[i]的坐标与a[i-1]的坐标或a[i+1]的坐标之间的距离小于第四预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个多次点击事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续且a[i]、a[i-1]、a[i+1]的坐标均不相同的情况下，确定所述第i个触摸点或点击操作a[i]对应一个滑动事件；

其中，i表示触摸点或点击操作的序号，a为存储所述触摸点或点击操作对应的索引和坐标的队列。

可选地，所述处理单元1030用于：

在所述关键帧对应的图像上、所述操作行为事件对应的坐标位置处添加所述操作行为事件对应的图标，获得操作图像。

可选地，所述处理单元1030用于：

获取滑动事件起始的第一张图像；

在所述第一张图像上、所述滑动事件的起始位置处添加第一图标，在所述第一张图像上、所述滑动事件的结束位置处添加第二图标；

将所述第一图标和第二图标连接，获得操作图像。

可选地，所述生成单元1040用于：

接收对所述操作图像中的图标的第一输入；

响应于所述第一输入，显示编辑框；

接收对所述编辑框的第二输入；

响应于所述第二输入，根据所述第二输入的内容生成操作流程文件。

本申请实施例中的基于视频生成操作流程文件的装置可以是具有操作系统的装置或电子设备，也可以是终端中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobilepersonalcomputer，umpc)、上网本或者个人数字助理(personaldigitalassistant，pda)等，非移动电子设备可以为服务器、网络附属存储器(networkattachedstorage，nas)、个人计算机(personalcomputer，pc)、电视机(television，tv)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例提供的基于视频生成操作流程文件的装置能够实现图1至图9的方法实施例中基于视频生成操作流程文件的方法实现的各个过程，为避免重复，这里不再赘述。

在本申请实施例中，通过获取视频文件，确定操作行为事件，获取所述操作行为事件对应的关键帧，并基于操作行为事件，对关键帧对应的图像进行处理，获得操作图像，可以很好地表达操作流程，使得用户可以直接通过录屏得到操作流程图，操作简单快捷。

可选的，本申请实施例还提供一种电子设备1100，如图11所示，该电子设备包括处理器1101，存储器1102，存储在存储器1102上并可在所述处理器1101上运行的程序或指令，该程序或指令被处理器1101执行时实现上述基于视频生成操作流程文件的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图12为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备1200包括但不限于：射频单元1201、网络模块1202、音频输出单元1203、输入单元1204、传感器1205、显示单元1206、用户输入单元1207、接口单元1208、存储器1209、以及处理器1210等中的至少部分部件。

本领域技术人员可以理解，电子设备1200还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1210逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图12中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

应理解的是，本申请实施例中，输入单元1204可以包括图形处理器(graphicsprocessingunit，gpu)12041和麦克风12042，图形处理器12041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1206可包括显示面板12061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板12061。用户输入单元1207包括触控面板12071以及其他输入设备12072。触控面板12071，也称为触摸屏。触控面板12071可包括触摸检测装置和触摸控制器两个部分。其他输入设备12072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

本申请实施例中，射频单元1201获取信息后给处理器1210处理。通常，射频单元1201包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。

存储器1209可用于存储软件程序或指令以及各种数据。存储器1209可主要包括存储程序或指令区和存储数据区，其中，存储程序或指令区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1209可以包括高速随机存取存储器，还可以包括非易失性存储器，其中，非易失性存储器可以是只读存储器(read-onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。

处理器1210可包括一个或多个处理单元；可选的，处理器1210可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序或指令等，调制解调处理器主要处理无线通信，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1210中。

其中，处理器1210，用于：

获取包含预设信息的视频文件；

对所述视频文件进行处理，确定操作行为事件；

从所述视频文件中获取所述操作行为事件对应的关键帧，并基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像；

基于所述操作图像，得到操作流程文件；

其中，所述预设信息包括：触摸点数据或点击操作数据。

本申请实施例提供的电子设备，通过获取包含预设信息的视频文件，确定操作行为事件，获取所述操作行为事件对应的关键帧，并基于操作行为事件，对关键帧对应的图像进行处理，获得操作图像，可以很好地表达操作流程，使得用户可以直接通过录屏得到操作流程图，操作简单快捷。

可选地，所述对所述视频文件进行处理，确定操作行为事件，包括：

获取所述视频文件中包含的预设信息；

在所述预设信息满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件。

可选地，在所述预设信息为触摸点数据的情况下，所述获取所述视频文件中包含的预设信息，包括：

对所述视频文件进行图像抽取，获得多帧图像，并按照每帧图像的索引保存所述多帧图像；

依次识别所述多帧图像，在识别到触摸点的情况下，获取所述触摸点的坐标以及所述触摸点所在帧图像的索引；

所述在所述预设信息满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件包括：

在所述触摸点的坐标和所述索引满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件。可选地，所述在所述预设信息满足预设事件类型所对应的判断条件的情况下，确定所述预设信息对应的操作行为事件为所述预设事件类型的事件，包括：

在第i个触摸点或点击操作a[i]对应的索引与a[i-1]对应的索引和a[i+1]对应的索引均不连续，且a[i]对应的索引、a[i-1]对应的索引和a[i+1]对应的索引两两之间的差值均大于第一预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个点击事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续，且a[i]、a[i-1]和a[i+1]的坐标相同的情况下，确定所述第i个触摸点或点击操作a[i]对应一个点击事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续，且索引连续次数乘以每帧图像对应的时长大于第二预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个长按事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引不连续、索引之间的差值小于第三预设阈值，且a[i]的坐标与a[i-1]的坐标或a[i+1]的坐标之间的距离小于第四预设阈值的情况下，确定所述第i个触摸点或点击操作a[i]对应一个多次点击事件；

在a[i]对应的索引与a[i-1]对应的索引或a[i+1]对应的索引连续且a[i]、a[i-1]、a[i+1]的坐标均不相同的情况下，确定所述第i个触摸点或点击操作a[i]对应一个滑动事件；

其中，i表示触摸点或点击操作的序号，a为存储所述触摸点或点击操作对应的索引和坐标的队列。

可选地，所述基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像，包括：

在所述关键帧对应的图像上、所述操作行为事件对应的坐标位置处添加所述操作行为事件对应的图标，获得操作图像。

可选地，在所述操作行为事件为滑动事件的情况下，所述基于所述操作行为事件，对所述关键帧对应的图像进行处理，获得操作图像，包括：

获取滑动事件起始的第一张图像；

在所述第一张图像上、所述滑动事件的起始位置处添加第一图标，在所述第一张图像上、所述滑动事件的结束位置处添加第二图标；

将所述第一图标和第二图标连接，获得操作图像。

可选地，用户输入单元1207用于接收对所述操作图像中的图标的第一输入；

处理器1210，还用于：响应于所述第一输入，显示编辑框；

用户输入单元1207还用于接收对所述编辑框的第二输入；

处理器1210，还用于：响应于所述第二输入，根据所述第二输入的内容生成操作流程文件。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述基于视频生成操作流程文件的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述基于视频生成操作流程文件的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。