一种文档生成方法、装置、电子设备及介质与流程

本技术涉及数据处理，特别是涉及一种文档生成方法、装置、电子设备及介质。

背景技术：

1、随着流媒体和直播技术的成熟和普及，互联网行业逐渐流行起以直播为载体的各行业的分享交流会，这很好的促进了行业交流和发展。然而很多时候，直播视频对应的笔记文档并没有一同分享给观众，导致观众很难及时地做好笔记，学习效果大打折扣。

技术实现思路

1、本技术实施例的目的在于提供一种文档生成方法、装置、电子设备及介质，以实现将视频转换为文档，提高转换效率，提高用户的学习效果。具体技术方案如下：

2、在本技术实施的第一方面，首先提供了一种文档生成方法，所述方法包括：

3、获取目标视频中的多帧原始图像的笔记区域；

4、从所述多帧原始图像中截取笔记区域，得到多帧笔记图像；

5、根据所述多帧笔记图像，生成所述目标视频对应的笔记文档。

6、在一种可能的实现方式中，所述方法还包括：

7、对至少一帧笔记图像进行文字识别，得到至少一帧笔记图像的文字识别结果；

8、将至少一帧笔记图像的文字识别结果作为至少一帧笔记图像的索引信息；

9、将至少一帧笔记图像的索引信息进行存储。

10、在一种可能的实现方式中，所述方法还包括：

11、接收查询请求，所述查询请求包括目标索引信息；

12、将所述目标索引信息与至少一帧笔记图像的索引信息进行匹配，得到匹配结果；

13、将所述笔记文档定位至所述匹配结果对应的笔记图像。

14、在一种可能的实现方式中，所述从所述多帧原始图像中截取笔记区域，得到多帧笔记图像的步骤，包括：

15、根据配置信息，从所述多帧原始图像中截取笔记区域，得到多帧笔记图像。

16、在一种可能的实现方式中，所述配置信息包括：起始时间和结束时间；

17、所述根据配置信息，从所述多帧原始图像中截取笔记区域，得到多帧笔记图像的步骤，包括：

18、从所述多帧原始图像中选择预设时间段内的原始图像；所述预设时间段为以所述起始时间为起点，以所述结束时间为终点的时间段；

19、将所述预设时间段内的每帧原始图像，作为目标图像；

20、截取每帧目标图像中的笔记区域，得到多帧笔记图像；或

21、所述配置信息包括：起始时间、结束时间和预设时间步长；

22、所述根据配置信息，从所述多帧原始图像中截取笔记区域，得到多帧笔记图像的步骤，包括：

23、从所述多帧原始图像中选择预设时间段内的原始图像；所述预设时间段为以所述起始时间为起点，以所述结束时间为终点的时间段；

24、按照所述预设时间步长以及所选择的原始图像的时间顺序，从所选择的原始图像中抽取原始图像，作为目标图像；

25、截取每帧目标图像中的笔记区域，得到多帧笔记图像。

26、在一种可能的实现方式中，所述根据所述多帧笔记图像，生成所述目标视频对应的笔记文档的步骤，包括：

27、采用图像相似度比较算法，确定时间相邻的每两帧笔记图像之间的相似度；

28、对相似度大于第一预设阈值的笔记图像进行去重处理；

29、根据去重后剩余的笔记图像，生成所述目标视频对应的笔记文档。

30、在一种可能的实现方式中，所述根据所述多帧笔记图像，生成所述目标视频对应的笔记文档的步骤，包括：

31、将所述多帧笔记图像分为多组图像，每组图像的待剪裁区域的相似度大于第二预设阈值；

32、基于每组图像的待剪裁区域，对每组图像分别进行剪裁处理；

33、根据剪裁后的笔记图像，生成所述目标视频对应的笔记文档。

34、在一种可能的实现方式中，所述根据剪裁后的笔记图像，生成所述目标视频对应的笔记文档的步骤，包括：

35、将剪裁后的笔记图像缩放至预设尺寸；

36、根据缩放后的笔记图像，生成所述目标视频对应的笔记文档。

37、在一种可能的实现方式中，所述根据所述多帧笔记图像，生成所述目标视频对应的笔记文档的步骤，包括：

38、按照所述多帧笔记图像的时间顺序，展示所述多帧笔记图像；

39、根据顺序调整操作指令，调整所述多帧笔记图像的展示顺序；

40、按照调整后的展示顺序，将所述多帧笔记图像合并，得到所述目标视频对应的笔记文档。

41、在一种可能的实现方式中，所述获取目标视频中的多帧原始图像的笔记区域的步骤，包括：

42、根据框选操作指令，对目标视频中的每帧原始图像进行框选，得到笔记区域；或

43、对所述目标视频中的每帧原始图像进行图像识别，获得每帧原始图像的文本区域；将每帧原始图像的文本区域作为笔记区域。

44、在本技术实施的第二方面，还提供了一种文档生成装置，所述装置包括：

45、获取模块，用于获取目标视频中的多帧原始图像的笔记区域；

46、截取模块，用于从所述多帧原始图像中截取笔记区域，得到多帧笔记图像；

47、生成模块，用于根据所述多帧笔记图像，生成所述目标视频对应的笔记文档。

48、在一种可能的实现方式中，所述装置还包括：

49、识别模块，用于对至少一帧笔记图像进行文字识别，得到至少一帧笔记图像的文字识别结果；

50、索引模块，用于将至少一帧笔记图像的文字识别结果作为至少一帧笔记图像的索引信息；

51、存储模块，用于将至少一帧笔记图像的索引信息进行存储。

52、在一种可能的实现方式中，所述装置还包括：

53、接收模块，用于接收查询请求，所述查询请求包括目标索引信息；

54、匹配模块，用于将所述目标索引信息与至少一帧笔记图像的索引信息进行匹配，得到匹配结果；

55、定位模块，用于将所述笔记文档定位至所述匹配结果对应的笔记图像。

56、在一种可能的实现方式中，所述截取模块，具体用于：

57、根据配置信息，从所述多帧原始图像中截取笔记区域，得到多帧笔记图像。

58、在一种可能的实现方式中，所述配置信息包括：起始时间和结束时间；

59、所述截取模块，具体用于：从所述多帧原始图像中选择预设时间段内的原始图像；所述预设时间段为以所述起始时间为起点，以所述结束时间为终点的时间段；将所述预设时间段内的每帧原始图像，作为目标图像；截取每帧目标图像中的笔记区域，得到多帧笔记图像；

60、或所述配置信息包括：起始时间、结束时间和预设时间步长；

61、所述截取模块，具体用于：从所述多帧原始图像中选择预设时间段内的原始图像；所述预设时间段为以所述起始时间为起点，以所述结束时间为终点的时间段；按照所述预设时间步长以及所选择的原始图像的时间顺序，从所选择的原始图像中抽取原始图像，作为目标图像；截取每帧目标图像中的笔记区域，得到多帧笔记图像。

62、在一种可能的实现方式中，所述生成模块，具体用于：

63、采用图像相似度比较算法，确定时间相邻的每两帧笔记图像之间的相似度；

64、对相似度大于第一预设阈值的笔记图像进行去重处理；

65、根据去重后剩余的笔记图像，生成所述目标视频对应的笔记文档。

66、在一种可能的实现方式中，所述生成模块，具体用于：

67、将所述多帧笔记图像分为多组图像，每组图像的待剪裁区域的相似度大于第二预设阈值；

68、基于每组图像的待剪裁区域，对每组图像分别进行剪裁处理；

69、根据剪裁后的笔记图像，生成所述目标视频对应的笔记文档。

70、在一种可能的实现方式中，所述生成模块，具体用于：

71、将剪裁后的笔记图像缩放至预设尺寸；

72、根据缩放后的笔记图像，生成所述目标视频对应的笔记文档。

73、在一种可能的实现方式中，所述生成模块，具体用于：

74、按照所述多帧笔记图像的时间顺序，展示所述多帧笔记图像；

75、根据顺序调整操作指令，调整所述多帧笔记图像的展示顺序；

76、按照调整后的展示顺序，将所述多帧笔记图像合并，得到所述目标视频对应的笔记文档。

77、在一种可能的实现方式中，所述获取模块，具体用于：

78、根据框选操作指令，对目标视频中的每帧原始图像进行框选，得到笔记区域；或

79、对所述目标视频中的每帧原始图像进行图像识别，获得每帧原始图像的文本区域；将每帧原始图像的文本区域作为笔记区域。

80、在本技术实施例的第三方面，还提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

81、存储器，用于存放计算机程序；

82、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的文档生成方法。

83、在本技术实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的文档生成方法。

84、在本技术实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的文档生成方法。

85、本技术实施例提供的技术方案中，获取目标视频中的多帧原始图像的笔记区域；从多帧原始图像中截取笔记区域，得到多帧笔记图像；根据多帧笔记图像，生成目标视频对应的笔记文档。可见，本技术实施例提供的技术方案，实现了将视频自动化地转换为笔记文档，提高了用户的学习效果。此外，相比于先截取图像，再从图像中截取笔记区域，本技术实施例提供的技术方案，直接对原始图像的笔记区域进行截取，作为笔记图像，简化了笔记图像的获取步骤，提高了转换效率。