海外视频教学资源转化系统及方法、电子设备及存储介质与流程

文档序号:26051502发布日期:2021-07-27 15:26阅读:75来源:国知局
海外视频教学资源转化系统及方法、电子设备及存储介质与流程
本发明涉及视频处理领域,特别涉及一种海外视频教学资源转化系统及方法、电子设备及存储介质。
背景技术
:随着人们生活水平不断提高,人们越来越关注自己以及后代可以接受的教育,也越来越放眼全球,接受最高端的教育。随着传统的教育资源和教授在疫情之后,越来越习惯在网络上完成授课,跨国的教育资源越来越多。学生以及中国教育机构希望可以有更多的教育资源被使用,被发掘,但是基于语言的屏障,版权的屏障,以及视频的质量,效果等等的不兼容,导致绝大部分的教育资源还是在本地化,没有实现自由流通。在目前的线上教育平台上,基本还是停留在简单的视频上传,视频播放层面上。其他所有的视频处理和翻译都需要大量的人工来完成,并且属于完全手动的方式。可见,现有技术中,主要是依赖人力进行简单处理,和非标准化处理。这个无论是在国际教育资源的使用上,还是大规模的线上教育,都是低效率以及无法长期持续的方式。技术实现要素:有鉴于此,本发明实施例提供的一种海外视频教学资源转化系统及方法、电子设备及存储介质,无需依赖人工处理,可以标准化地自动处理海外视频教学资源,将原本单一的线上视频资料多元化,通过视频资料自动生成音频文字资料,以及文字教材资料两种,自动化程度提高了转化效率,方便学生在不同的学习场景下可以使用不同的学习素材,用多元化的方式进行学习,解决中国学生对于国际教学资源的吸纳问题。本发明解决上述技术问题所采用的技术方案如下:根据本发明的一个方面,提供的一种海外视频教学资源转化方法,所述方法包括:将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata;从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2;将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料;将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料;自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook。在一个可能的设计中,所述从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2;包括:识别第一格式类型formata的视频图像中的文字,并对识别得到的文字进行修正,得到识别修正后的视频文字材料texta1;通过通用的音频识别材料识别第一格式类型formata的音频,转换生成文字材料,得到音频文字材料texta2。在一个可能的设计中,所述将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料;包括:将所述视频文字材料texta1和音频文字材料texta2进行整合,形成整合完整文字材料;将所述整合完整文字材料自动翻译成中文,生成第二格式类型formatb的中文文字材料。在一个可能的设计中,所述整合包括以下处理:语义识别、去重、矫正、对于知识点和反复重点的甄别与提取。根据本发明的另一个方面,提供的一种海外视频教学资源转化系统,所述系统包括:数据格式转换处理模块、转换文字模块、整合模块、校对模块、教材生成模块;其中:所述数据格式转换处理模块,用于将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata;所述转换文字模块,用于从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2;所述整合模块,用于将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料;所述校对模块,用于将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料;所述教材生成模块,用于自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook。在一个可能的设计中,所述转换文字模块,包括:视频转换文字模块和音频转换文字模块,其中:所述视频转换文字模块,用于识别第一格式类型formata的视频图像中的文字,并对识别得到的文字进行修正,得到识别修正后的视频文字材料texta1;所述音频转换文字模块,用于通过通用的音频识别材料识别第一格式类型formata的音频,转换生成文字材料,得到音频文字材料texta2。在一个可能的设计中,所述整合模块,包括:文字整合模块和翻译模块,其中:所述文字整合模块,用于将所述视频文字材料texta1和音频文字材料texta2进行整合,形成整合完整文字材料;所述翻译模块,用于将所述整合完整文字材料自动翻译成中文,生成第二格式类型formatb的中文文字材料。在一个可能的设计中,所述整合包括以下处理:语义识别、去重、矫正、对于知识点和反复重点的甄别与提取。根据本发明的另一个方面,提供的一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现本发明实施例提供的一种海外视频教学资源转化方法的步骤。根据本发明的另一个方面,提供的一种存储介质,所述存储介质上存储有一种海外视频教学资源转化方法的程序,所述一种海外视频教学资源转化方法的程序被处理器执行时实现本发明实施例提供的一种海外视频教学资源转化方法的步骤。与相关技术相比,本发明实施例提出的一种海外视频教学资源转化系统及方法、电子设备及存储介质,所述方法包括:将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata;从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2;将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料;将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料;自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook。通过本发明实施例,通过将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata,从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2,将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料,将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料,自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook,从而可以实现将海外视频教学通过文字识别方式自动视频文字化,将海外视频教学资源通过音频转化自动音频文字化,通过语义识别和知识图谱的技术,将以上视频文字化和音频文字化的文字材料完成系统化学习资料的识别与生成,完成自动地将海外视频教学资源转化成文字教材的裂变过程,无需依赖人工处理,可以标准化地自动处理海外视频教学资源,将原本单一的线上视频资料变成视频资料,音频文字资料和文字教材资料,方便学生用多元化的方式进行学习,解决中国学生对于国际教学资源的吸纳问题。附图说明图1为本发明实施例提供的一种海外视频教学资源转化方法的流程示意图;图2为本发明实施例提供的一种海外视频教学资源转化系统的结构示意图;图3为本发明实施例提供的一种海外视频教学资源转化方法的流程示意图;图4为本发明实施例提供的一种海外视频教学资源转化方法中进行连贯性视频图像采集的示意图;图5为本发明实施例提供的一种海外视频教学资源转化方法中采用混合小波/神经网络分割器来分割文本区域的示意图;图6为本发明实施例提供的一种海外视频教学资源转化方法中通过语义分析、知识标引技术完成formatb的建立的示意图。图7为本发明实施例提供的一种电子设备的结构示意图。本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。具体实施方式为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白,以下结合附图和实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅以解释本发明,并不用于限定本发明。在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。需要说明的是,本发明的说明书和权利要求收及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。目前,在所有的教育机构当中,包括大学和中学,可以使用不同的教育方式进行学生教育,特别是可以利用线上教育进行教学。在线学习是一种通过互联网而不是在线下教室中传递知识的方式,这种方式可以通过视觉上,听觉上的方式。通常,在线教育提供者,一般是学校教授以单一媒体(音频)或格式类型(视频)向学生提供所准备的教育课程的内容。学生可以在联网的通讯设备,包括但不限于台式机,笔记本电脑,平板电脑,移动电话,智能手机,无线电收发器,电话,移动计算设备等上接收在线教育课程的内容。在这个线上教学平台传输环境下,通常学生只能够通过老师提供的视频资料进行学习。这种学习模式尽管从老师的立场来说存在着,方便,便捷和可操作性的特点,是他们最简单有效的方式。但是视频教学的单一提供方式也一定程度上制约了网络教学的使用和传播。尽管从老师的立场上来说,他们可以非常简单的用ppt分享和视频解说的方式,这个方式是对于课程给予者来说最简单有效的方式。但是对于学生来说,文字的教育材料的提供,才能够提供完整的新知识刺激,可以方便回看和用各种方式复习知识。同时,全方位教学材料的提供,可以配合学生各自的学习风格,学习环境或用于访问课程内容的计算设备的限制。第一,从学生的学习习惯来看,文字材料在其学习过程中有不可替代的重要作用。特别是依靠书本知识的中国学生来说,他们习惯和善于从文字资料中进行反复阅读和深度思考。第二,文字教学材料的提供,可以更好地配合学生的学习环境,或者访问课程内容的计算设备流量等限制,比如学生在公共交通工具上,或者没有很好的手机流量,就会更加倾向于看文字材料,而不是看视频的流媒体。第三,文字材料有助于做标注,划重点,进行同学间的有效交流和传达。这一点传播特点和传播的便捷性,是现在的音频资料无法达到的。然而,就目前的线上教学环境中,在线教育提供者可能仅仅提供单一媒体格式(例如,作为在线视频)来给予线上课程。学生可能别无选择,只能以最初准备的格式参加在线课程,即使学生更容易用其他方式学习,或者即使学生的学习环境或情况不允许这种线上课程的方式。比如,公共交通上不适合视频,坐在书房里可以全方位视频等。本发明的技术在于希望通过数据存储,信息处理上的一些方法,自动处理海外教学视频资料,将原本单一的线上视频资料多元化,比如将原有的视频资料,抽离成文本资料,方便学生用多元化的方式进行学习。并且将原本单一文字的学习资料多语种,解决中国学生对于国际教学资源的吸纳问题。在一个实施例中,如图1所示,本发明提供一种海外视频教学资源转化方法,所述方法包括:s1、将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata。s2、从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2。s3、将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料。s4、将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料。s5、自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook。在本实施例中,通过将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata,从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2,将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料,将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料,自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook,从而可以实现将海外视频教学通过文字识别方式自动视频文字化,将海外视频教学资源通过音频转化自动音频文字化,通过语义识别和知识图谱的技术,将以上视频文字化和音频文字化的文字材料完成系统化学习资料的识别与生成,完成自动地将海外视频教学资源转化成音频文字教材资料以及文字教材资料的裂变过程,无需依赖人工处理,可以标准化地自动处理海外视频教学资源,将原本单一的线上视频资料多元化,通过视频资料自动生成音频文字资料,以及文字教材资料,自动化程度提高了转化效率,方便学生在不同的学习场景下可以使用不同的学习素材,用多元化的方式进行学习,解决中国学生对于国际教学资源的吸纳问题。在一个实施例中,所述步骤s1中,所述将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata。在线教育的国际提供者会将其提供的海外视频教学资源,主要是有ppt内容的视频资料,上传到在线教育平台耦合的数据库中进行存储。海外视频教学资源的原始内容使用的是原始格式类型format1,系统会自动将数据库中存储的原始格式类型format1转换为可以在数据库交互的第一格式类型formata。在一个实施例中,所述步骤s2中,所述从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2;包括:s21、识别第一格式类型formata的视频图像中的文字,并对识别得到的文字进行修正,得到识别修正后的视频文字材料texta1。数据库的第一格式formata将会被用来作为自动处理的原始材料,通过文字识别模块定位视频图像当中的文字,所述文字包括但不限于ppt和板书。通过对于文字的识别得到文字,并对得到的文字进行修正,得到识别修正后的视频文字材料texta1。s22、通过通用的音频识别材料识别第一格式类型formata的音频,转换生成文字材料,得到音频文字材料texta2。数据库的第一格式formata中的音频音轨也会被用来处理成教学原始文件的文字材料,这部分材料主要是老师的语言讲述内容,包括但不限于老师的讲述、对学生问题的回答,以及对学生提出的问题等课堂交流行为。通过通用的音频识别材料对上述部分材料的内容进行识别,转换生成文字材料,得到音频文字材料texta2。在一个实施例中,所述步骤s3中,所述将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料;包括:s31、将所述视频文字材料texta1和音频文字材料texta2进行整合,形成整合完整文字材料;其中,所述整合包括以下处理:语义识别、去重、矫正、对于知识点和反复重点的甄别与提取。s32、将所述整合完整文字材料自动翻译成中文,生成第二格式类型formatb的中文文字材料。对于所述视频文字材料texta1和音频文字材料texta2进行整合形成的完整文字材料进行自动翻译,完成其他语言对于中文资料的翻译处理,生成第二格式类型formatb的中文文字材料。在一个实施例中,所述步骤s4中,所述将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料。将整合形成的第二格式类型formatb的中文材料和第一格式类型formata的材料通过传输平台,发送给相关领域专家进行校对,校对后形成第三格式类型formatc的文字材料。在一个实施例中,如图2所示,本发明提供一种海外视频教学资源转化系统,所述系统包括:数据格式转换处理模块10、转换文字模块20、整合模块30、校对模块40、教材生成模块50;其中:所述数据格式转换处理模块10,用于将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata。所述转换文字模块20,用于从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2。所述整合模块30,用于将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料。所述校对模块40,用于将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料。所述教材生成模块50,用于自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook。在本实施例中,通过将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata,从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2,将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料,将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料,自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook,从而可以实现将海外视频教学通过文字识别方式自动视频文字化,将海外视频教学资源通过音频转化自动音频文字化,通过语义识别和知识图谱的技术,将以上视频文字化和音频文字化的文字材料完成系统化学习资料的识别与生成,完成自动地将海外视频教学资源转化成文字教材的裂变过程,无需依赖人工处理,可以标准化地自动处理海外视频教学资源,将原本单一的线上视频资料多元化,效率高,方便学生用多元化的方式进行学习,解决中国学生对于国际教学资源的吸纳问题。在一个实施例中,所述数据格式转换处理模块10,用于将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata。在线教育的国际提供者会将其提供的海外视频教学资源,主要是有ppt内容的视频资料,上传到在线教育平台耦合的数据库中进行存储。海外视频教学资源的原始内容使用的是原始格式类型format1,系统会自动将数据库中存储的原始格式类型format1转换为可以在数据库交互的第一格式类型formata。在一个实施例中,所述转换文字模块20,用于从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2。包括:视频转换文字模块和音频转换文字模块,其中:所述视频转换文字模块,用于识别第一格式类型formata的视频图像中的文字,并对识别得到的文字进行修正,得到识别修正后的视频文字材料texta1。数据库的第一格式formata将会被用来作为自动处理的原始材料,通过文字识别模块定位视频图像当中的文字,所述文字包括但不限于ppt和板书。通过对于文字的识别得到文字,并对得到的文字进行修正,得到识别修正后的视频文字材料texta1。所述音频转换文字模块,用于通过通用的音频识别材料识别第一格式类型formata的音频,转换生成文字材料,得到音频文字材料texta2。数据库的第一格式formata中的音频音轨也会被用来处理成教学原始文件的文字材料,这部分材料主要是老师的语言讲述内容,包括但不限于老师的讲述、对学生问题的回答,以及对学生提出的问题等课堂交流行为。通过通用的音频识别材料对上述部分材料的内容进行识别,转换生成文字材料,得到音频文字材料texta2。在一个实施例中,所述整合模块30,用于将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料。包括:文字整合模块和翻译模块,其中:所述文字整合模块,用于将所述视频文字材料texta1和音频文字材料texta2进行整合,形成整合完整文字材料;其中,所述整合包括以下处理:语义识别、去重、矫正、对于知识点和反复重点的甄别与提取。所述翻译模块,用于将所述整合完整文字材料自动翻译成中文,生成第二格式类型formatb的中文文字材料。对于所述视频文字材料texta1和音频文字材料texta2进行整合形成的完整文字材料进行自动翻译,完成其他语言对于中文资料的翻译处理,生成第二格式类型formatb的中文文字材料。需要说明的是,上述系统实施例与方法实施例属于同一构思,其具体实现过程详见方法实施例,且方法实施例中的技术特征在系统实施例中均对应适用,这里不再赘述。以下结合具体的实施例和附图对本发明的技术方案作进一步的说明。在一个实施例中,如图3所示,本发明提供一种海外视频教学资源转化方法,所述方法包括:s501、将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata。由于在线教育平台无法控制上传视频资料的教授用何种模式上传视频资料,所以,上传的视频资料的格式可能会存在多种多样。在这个步骤,主要是把视频资料的格式统一,又不会损失视频资料的信息和内容。国际有一些通行的视频技术标准(如下表所示),视频可以编码为静态背景以及由各种对象组成的移动前景,最终允许将文本内容注释为对象,并使其更易于提取和用作索引工具。表国际通行的视频技术标准视频编码格式公司/组织mpeg-1mpegmpeg-2mpegmpeg-4mpegh.264jvth.265jct-vcwmvmicrosoftdvsony/panasonic/jvcrmrealnetworkswmv9microsoftmjegmjpeg/mjpgdicx/xvidmpeg-4的衍生编码标准diracbbcpv8/pv9googles502、识别第一格式类型formata的视频图像中的文字,并对识别得到的文字进行修正,得到识别修正后的视频文字材料texta1。在这个步骤中,主要是调用现有的视频文字识别的成熟技术进行分析,包括以下步骤:s5021、在处理好的视频资料中,进行连贯性视频图像采集,原则上视频应该是由不小于30帧图像每秒的速度播放,其中每一帧的视频都可以被抽离成一个静态的图像资料。如图4所示。s5022、以视频镜头下的静态图像为目标,采用图像文字识别技术识别视频图像中的ppt和板书内容,并且记录所使用的视频镜头时间点。s5023、采用视频文字识别技术完成文字框的提取、去噪、识别、评估、整合的整个过程的。使用了混合小波/神经网络分割器(如图5所示)来分割文本区域。为了方便检测各种文本大小时,使用从原始图像生成的图像金字塔将每个级别的分辨率减半。在每个级别对提取的文本区域进行假设,然后将其外推到原始比例。一旦检测到文本,便会启动基于多分辨率ssd(平方和)的跟踪模块来跟踪检测到的文本。利用文字轮廓来稳定跟踪,可以获得更高质量的文本识别。因为教学视频场景是一个固定场景,文字框检测相对容易。s5024、将步骤s5023得到的文本框,通过包括crnn(convolutionalrecurrentneuralnetwork),或者rare(robusttextrecognizerwithautomaticrectification)模型,完成文字识别。在取得了特征提取层信息之后,能够进行端到端的联合训练。利用不同部件学习字符图像中的上下文关系,从而有效提升文本识别准确率,使得模型更加鲁棒。具体执行的时候,前端使用标准的cnn网络提取文本图像的特征,利用blstm将特征向量进行融合以提取字符序列的上下文特征,然后得到每列特征的概率分布,最后通过转录层(ctcrule)进行预测得到文本序列。其中如果有ppt或者板书因为光线,角度,清晰度而出现了图像扭转问题,就需要使用rare,它支持一种称为tps(thin-platesplines)的空间变换,从而能够比较准确地识别透视变换过的文本、以及弯曲的文本。因为教学视频属于单一属性文字识别,所以在时间序列文字识别的难度上属于最基础的,识别模型对于文字形变、粘连、成像的模糊和光线变化都在可控范围之内,识别效果较稳定。s5025、将识别出的文字内容配合视频时间点综合识别,同一个视频内容的多帧图像可以完成识别后的交叉比对,以便进一步矫正文字识别材料的持续性和准确性,从而得到识别修正后的视频文字材料texta1。在这过程中,调用中国分词数据库,包括但不限于词法分析包,文本分词库等开源库,对于完成识别的文字做矫正工作。s5026、通过图像识别连贯性原则,将连贯ppt成像的视频材料起始时间位置记录,标注成为一个知识点结构,整合知识点结构。为对应后面音频资料文字转化做好准备。s503、通过通用的音频识别材料识别第一格式类型formata的音频,转换生成文字材料,得到音频文字材料texta2。这个步骤主要是调用视频资料的音频信息,生成音频文字材料texta2,具体步骤如下:s5031、从视频教学资料当中提取的音频文件,所述音频文件一般为mp3,mpeg,wav,flac或opus文件格式,如果不是上述格式,还是需要在保留源文件的情况下做统一转化。s5032、采用音频文字转化工具对提取的音频文件进行文字转化。在转化的过程中,对于文字所对应的音频资料发生的时间点进行记录,为文字做附加标注。s5033、形成对于音频资料的完整文字材料,得到音频文字材料texta2,注意此文字材料与教学材料上传教师的语言属于同种语言。经过上述s502和s503这两个步骤之后形成了视频文字材料texta1和音频文字材料texta2两个文字材料,这两个文字材料与视频材料的时间轴有镜像对应关系。s504、将所述视频文字材料texta1和音频文字材料texta2进行整合,形成整合完整文字材料;其中,所述整合包括以下处理:语义识别、去重、矫正、对于知识点和反复重点的甄别与提取。在上述s502和s503这两个步骤之后,已经形成了从视频资料提取的文本框信息,以及文本框的文字识别,以及通过音频资料的转化文字信息,形成了视频文字材料texta1和音频文字材料texta2两个文字材料,这两个文字材料与视频材料的时间轴有了一一对应的镜像关系。s5041、将视频文字材料texta1和音频文字材料texta2按照视频时间轴区分重新排列。由于视频资料的文本框资料本来就是ppt或者板书资料,所以在语义的连贯性和完整性上应该完成了基本处理。s5042、将视频文字材料texta1已划分的文字按照知识点结构的开始截止时间,对应此开始截止时间的音频文字材料texta2文字资料。s5043、将同一知识点结构下的视频文字材料texta1的文字和音频文字材料texta2的文字进行语义识别。此时,不仅拥有texta1的文字,texta2的文字,还需要应用教学大纲的内容。在这个基础上,使用主题分析模型(topicmodel)来对文档的隐含语义结构进行统计和聚类,用来挖掘文本中所蕴含的知识结构。具体来说,这个部分由于有一部分锚定词汇和锚定语义结构(通过教学大纲得到的),可以使用掺入少许先验知识的主体模型进行语义分析(topicmodellingwithminimaldomainknowledge)。根据主题建模的方式会产生丰富的主题内容,方便提取文本数据信息。这个技术允许对于大型语料库建模,可以进行分层主题建模,提供了一种整合领域知识的机制,通过锚定词汇和信息瓶颈来时间。这种半监督的锚定方式,在这种场景下可以得到解释性和准确性很高的主题提取。s5044、在主题分析模型的基础上,完成提取重点、关键词和知识点结构。其中,知识点结构包括但不限于通过关键词“定义”、“含义”确定的知识点解释和通过“1,2,3,”、“分为以下三点”而生成的知识点解构信息。s5045、通过整合视频文字材料texta1和音频文字材料texta2生成的重点、关键词和知识点,按照视频的时间序列信息和知识点结构框架进行顺序重组,形成完整的文字材料。s5046、通过语义分析、知识标引两个技术,将知识图谱搭建起来。这个部分的工作主要是根据文字碎片化程度,特别是语义解析,重点排序和知识图谱搭建的技术,完成生成第二格式类型formatb的文字材料。如图6所示为一个举例。s505、将所述整合完整文字材料自动翻译成中文,生成第二格式类型formatb的中文文字材料。s506、将自动翻译的所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料。s507、自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook。这个步骤主要是按照课堂教学文字资料格式要求,将所述第三格式类型formatc的文字材料自动转化为文字教材formatbook。包括:s5071、按照语义学内容和知识图谱的架构,遵守图书规范,将所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,重新排版、修饰、增加页眉、页脚、边沿、字体等格式化处理,完成电子化文稿。s5072、将电子化文稿转化成手机,电脑以及其他电子化设备可以直接分享的文稿。s5073、将电子化文稿转化成有书号,抬头,封面的纸板印刷体文稿格式,直接链接印刷出版部门。在本实施例中,通过将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata,从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2,将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料,将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料,自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook,从而可以实现将海外视频教学通过文字识别方式自动视频文字化,将海外视频教学资源通过音频转化自动音频文字化,通过语义识别和知识图谱的技术,将以上视频文字化和音频文字化的文字材料完成系统化学习资料的识别与生成,完成自动地将海外视频教学资源转化成文字教材的裂变过程,无需依赖人工处理,可以标准化地自动处理海外视频教学资源,将原本单一的线上视频资料多元化,效率高,方便学生用多元化的方式进行学习,解决中国学生对于国际教学资源的吸纳问题。此外,本发明实施例还提供一种电子设备,如图7所示,所述电子设备900包括:存储器902、处理器901及存储在所述存储器902中并可在所述处理器901上运行的一个或者多个计算机程序,所述存储器902和所述处理器901通过总线系统903耦合在一起,所述一个或者多个计算机程序被所述处理器901执行时以实现本发明实施例提供的一种海外视频教学资源转化方法的以下步骤:s1、将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata。s2、从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2。s3、将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料。s4、将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料。s5、自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook。上述本发明实施例揭示的方法可以应用于所述处理器901中,或者由所述处理器901实现。所述处理器901可能是一种集成电路芯片,具有信号处理能力。在实现过程中,上述方法的各步骤可以通过所述处理器901中的硬件的集成逻辑电路或软件形式的指令完成。所述处理器901可以是通用处理器、dsp、或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器901可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器902,所述处理器901读取存储器902中的信息,结合其硬件完成前述方法的步骤。可以理解,本发明实施例的存储器902可以是易失性存储器或者非易失性存储器,也可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(rom,read-onlymemory)、可编程只读存储器(prom,programmableread-onlymemory)、可擦除可编程只读存储器(eprom,erasableread-onlymemory)、电可擦除只读存储器(eeprom,electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram,ferromagneticrandomaccessmemory)、闪存(flashmemory)或其他存储器技术、光盘只读存储器(cd-rom,compactdiskread-onlymemory)、数字多功能盘(dvd,digitalvideodisk)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置;易失性存储器可以是随机存取存储器(ram,randomaccessmemory),通过示例性但不是限制性说明,许多形式的ram可用,例如静态随机存取存储器(sram,staticrandomaccessmemory)、静态随机存取存储器(ssram,synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram,dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram,synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram,doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdram,enhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram,synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram,directrambusrandomaccessmemory)。本发明实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。需要说明的是,上述电子设备实施例与方法实施例属于同一构思,其具体实现过程详见方法实施例,且方法实施例中的技术特征在所述电子设备实施例中均对应适用,这里不再赘述。另外,在示例性实施例中,本发明实施例还提供一种计算机存储介质,具体为计算机可读存储介质,例如包括存储计算机程序的存储器902,所述计算机存储介质上存储有一种内存管控的方法的一个或者多个程序,所述一种内存管控的方法的一个或者多个程序被处理器901执行时以实现本发明实施例提供的一种海外视频教学资源转化方法的以下步骤:s1、将海外视频教学资源的原始格式类型format1自动转换为数据库交互的第一格式类型formata。s2、从第一格式类型formata中提取视频信息和音频信息分别生成视频文字材料texta1和音频文字材料texta2。s3、将所述视频文字材料texta1和音频文字材料texta2进行整合,生成第二格式类型formatb的中文文字材料。s4、将所述第二格式类型formatb的中文文字材料和第一格式类型formata的材料进行校对,校对后形成第三格式类型formatc的文字材料。s5、自动从所述第三格式类型formatc的文字材料中提取图形、标题和核心内容,生成杂志性样式的文字教材formatbook。需要说明的是,上述计算机可读存储介质上的一种海外视频教学资源转化方法程序实施例与方法实施例属于同一构思,其具体实现过程详见方法实施例,且方法实施例中的技术特征在上述计算机可读存储介质的实施例中均对应适用,这里不再赘述。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1