一种绘本文件的处理、同步显示方法、装置及存储介质与流程

文档序号:27018175发布日期:2021-10-23 04:03阅读:137来源:国知局
1.本发明涉及计算机
技术领域
:,具体涉及一种绘本文件的处理、同步显示方法、装置及存储介质。
背景技术
::2.在未获取字体授权的情况下对绘本的文本文件进行解析处理时,一般按行裁剪文本并保存为png(portablenetworkgraphics,便携式网络图形)格式的图片资源,在终端进行显示时则动态地加载不同字体文字的图片资源以实现音频和文本的同步。但是这种方式存在弊端,一方面,在ipad、iphone、android、android平板等不同尺寸的终端屏幕上,png格式的文字图片随屏幕大小缩放后会出现文本模糊的问题,降低阅览效果;另一方面,按照行来切割文本并保存为图片资源,导致资源占用空间过大。在提供绘本阅读、听音功能的教育类应用中,上述问题都会严重影响用户的使用体验。3.因此,需要针对在字体未被授权情况下在不同终端平台上存在文本显示模糊及占用资源大的问题作出改善。技术实现要素:4.为了解决现有技术的问题,本发明提供了一种绘本文件的处理、同步显示方法、装置及存储介质。所述技术方案如下:5.第一方面,本发明提供了一种绘本文件的处理方法,所述方法包括:6.获取绘本的文本文件和音频文件;7.当所述文本文件中文本的字体未被授权时,将所述文本文件转换为预设格式的资源文件,所述资源文件至少包括:包含字体属性的第一资源文件、包含文本属性的第二资源文件以及包含背景信息的第三资源文件;8.从所述第二资源文件中抽取得到文本资源;9.对所述音频文件进行语音识别,得到语音文本列表;10.基于所述语音文本列表为所述文本资源中的文本添加时刻信息,并更新所述文本资源,完成对绘本文件的处理,以使随所述音频文件的播放,在终端同步显示所述第一资源文件和所述第三资源文件。11.第二方面,本发明提供了一种绘本文件的同步显示方法,显示区域包括绘本页面显示区域和音频播放控制区域,所述方法包括:12.获取绘本当前页的第一资源文件、文本资源和第三资源文件,所述第一资源文件、所述文本资源和所述第三资源文件通过如
发明内容第一方面所述的一种绘本文件的处理方法得到;13.根据所述第一资源文件得到上层第一资源文件和下层第一资源文件;14.响应用户的音频播放控制操作,从所述音频播放控制区域获取所述绘本当前页的音频文件的当前播放时刻;15.根据所述当前播放时刻和所述文本资源确定高亮显示区域;16.根据所述高亮显示区域将所述上层第一资源文件进行渲染并裁剪显示,以及根据所述绘本页面显示区域对所述下层第一资源文件和所述第三资源文件进行渲染并显示。17.第三方面,本发明提供了一种绘本文件的处理装置,所述装置包括:18.文件获取模块,用于获取绘本的文本文件和音频文件;19.文件转换模块,用于当所述文本文件中文本的字体未被授权时,将所述文本文件转换为预设格式的资源文件,所述资源文件至少包括:包含字体属性的第一资源文件、包含文本属性的第二资源文件以及包含背景信息的第三资源文件;20.文本抽取模块,用于从所述第二资源文件中抽取得到文本资源;21.音频识别模块,用于对所述音频文件进行语音识别,得到语音文本列表;22.文本时刻信息添加模块,用于基于所述语音文本列表为所述文本资源中的文本添加时刻信息,并更新所述文本资源,完成对绘本文件的处理,以使随所述音频文件的播放,在终端同步显示所述第一资源文件和所述第三资源文件。23.第四方面,本发明提供了一种绘本文件的同步显示装置,其特征在于,显示区域包括绘本页面显示区域和音频播放控制区域,所述装置包括:24.资源文件获取模块,用于获取绘本当前页的第一资源文件、文本资源和第三资源文件,所述第一资源文件、文本资源和第三资源文件通过如
发明内容第三方面所述的一种绘本文件的处理装置得到;25.资源文件处理模块,用于根据所述第一资源文件得到上层第一资源文件和下层第一资源文件;26.音频播放时刻获取模块,用于从所述音频播放控制区域获取所述绘本当前页的音频文件的当前播放时刻;27.高亮显示区域确定模块,用于响应用户的音频播放控制操作,根据所述当前播放时刻和所述文本资源确定高亮显示区域;28.渲染显示模块,用于根据所述高亮显示区域将所述上层第一资源文件进行渲染并裁剪显示,以及根据所述绘本页面显示区域对所述下层第一资源文件和所述第三资源文件进行渲染并显示。29.第五方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如第一方面所述的一种绘本文件的处理方法或如第二方面所述的一种绘本文件的同步显示方法。30.本发明提供的一种绘本文件的处理、同步显示方法、装置及存储介质,具有如下技术效果:31.本发明针对文本的字体未被授权的情况,将绘本的文本文件转换为可缩放的矢量格式的资源文件,能够适配不同尺寸的终端屏幕,为用户提供更加清晰的阅览、学习体验,同时保存的资源文件的占用空间更小,便于网络的传输。32.在矢量格式的资源文件中,包含各种字体属性的文本内容是通过矢量格式的图形绘制元素绘制而出并单独保存为字体资源文件,在终端对字体资源文件直接进行渲染显示则可实现对各种字体样式的文本内容的支持;包含文本属性的文本内容是通过矢量格式的文本元素进行描述,涵盖了文本的坐标位置等信息,结合语音识别得到的文本时刻信息,能在终端随音频文件的播放确定字体资源文件高亮显示的区域,以达到文本与音频同步的视觉效果,便于用户在阅览时进行跟读学习。33.本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。附图说明34.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。35.图1是本发明实施例提供的一种绘本文件的处理方法的流程图;36.图2是本发明实施例提供的一种基于svg格式的绘本文件的处理方法的流程图;37.图3是本发明实施例提供的一种利用svg<path>元素绘制文本内容的实例运行结果示意图;38.图4是本发明实施例提供的确定文本资源中的文本与语音文本列表中的文本的对应关系的流程框图;39.图5是本发明实施例提供的根据对应关系生成文本资源中文本的时刻信息的流程框图;40.图6是本发明实施例提供的资源文件在数据层上的类结构示意图;41.图7是本发明实施例提供的一种绘本文件的同步显示方法的流程图;42.图8是本发明实施例提供的一种下层第一资源文件渲染后的显示视图;43.图9是本发明实施例提供的一种提供绘本阅读听音功能的用户交互界面示意图44.图10是本发明实施例提供的一种计算高亮显示区域的流程框图;45.图11是本发明实施例提供的一种在终端进行渲染的图层示意图;46.图12是本发明实施例提供的一种绘本文件的处理装置示意图;47.图13是本发明实施例提供的一种绘本文件的同步显示装置示意图。48.图14是本发明实施例提供的运行一种绘本文件的处理方法的服务器的硬件结构框图。具体实施方式49.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。50.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。51.为了使本发明实施例公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明实施例进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明实施例,并不用于限定本发明实施例。52.以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。为了便于理解本发明实施例所述的技术方案及其产生的技术效果,本发明实施例首先对于相关专业名词进行解释:53.svg:scalablevectorgraphics,可缩放的矢量图形;可缩放矢量图形是基于可扩展标记语言(标准通用标记语言的子集),用于描述二维矢量图形的一种图形格式。它由万维网联盟制定,是一个开放标准。54.asr:automaticspeechrecognition,自动语音识别技术;是一种将人的语音转换为文本的技术,语音识别原理流程包括“输入—编码—解码—输出”。55.云教育(cloudcomputingeducation简称:ccedu),是指基于云计算商业模式应用的教育平台服务。在云平台上,所有的教育机构,培训机构,招生服务机构,宣传机构,行业协会,管理机构,行业媒体,法律结构等都集中云整合成资源池,各个资源相互展示和互动,按需交流,达成意向,从而降低教育成本,提高效率。56.图1是本发明实施例提供的一种绘本文件的处理方法的流程图,请参照图1,本说明书实施例提供的一种绘本文件的处理方法方法包括如下步骤:57.s101:获取绘本的文本文件和音频文件。58.在本说明书实施例中,所述绘本为有声绘本,所述绘本包含电子版的文本文件和音频文件,出版商或著作者提供的文本文件一般是绘本原始的pdf(portabledocumentformat,可携带文档格式)文件。在一种为适龄儿童、学生提供英文绘本阅读、听音功能的终端应用中,为了满足用户能在终端清晰地阅览英文绘本、对绘本中的文本内容进行听音跟读的需求,需要对取得授权的文本文件进行解析处理,以便在用户终端进行渲染显示,并给用户提供一种文本随音频的播放同步高亮显示的视觉效果。59.s103:当所述文本文件中文本的字体未被授权时,将所述文本文件转换为预设格式的资源文件,所述资源文件至少包括:包含字体属性的第一资源文件、包含文本属性的第二资源文件以及包含背景信息的第三资源文件。60.可以理解的是,若所述文本文件中的文本字体获得了授权,则可以在字体数据库中调用相应的字体资源对文本文件中的文本内容进行解析处理或是在终端进行渲染显示;若所述文本文件中的文本字体未被授权或者字体数据库中没有相应的字体资源可供调用(以下统称未被授权),一般地按行裁剪文本内容并保存为png格式的图片资源以实现对不同字体样式的文本内容的支持,并通过动态加载png格式的图片资源实现在终端的显示,但这种方式无法适配不同尺寸的屏幕,造成页面文字不清晰,影响用户的阅览效果,同时图片资源会占用较大资源空间,不利于网络的传输。因此本说明书实施例提出了一种将绘本的文本文件转换为可缩放的矢量格式的资源文件的方法来对文本文件进行解析处理,矢量格式的缩放效果能够在不同尺寸的屏幕上都有很高的清晰度,同时矢量格式的资源文件体积小,便于网络的传输和在终端的加载。61.在一种可行的实施方式中,具体地,所述将所述文本文件转换为预设格式的资源文本可以包括以下步骤:62.s201:根据预设的矢量格式将所述文本文件转换为第一资源文件,在所述第一资源文件中通过所述矢量格式的第一类元素绘制包含字体属性的文本内容。63.图2是本发明实施例提供的一种基于svg(scalablevectorgraphics,可缩放的矢量图形)格式的绘本文件的处理方法的流程示意图。如图2所示,利用mutool工具可将pdf格式的文本文件转换为svg格式的资源文件,并根据svg中<path>(路径)元素的格式输出包含字体信息的svg文件作为第一资源文件,所述第一资源文件中存储的文本内容通过<path>元素绘制成图形,绘制出的文本内容携带了原始的文本内容的字体样式,并以可缩放的矢量图形进行保存。64.在svg中,<path>元素用于定义一条路径,该元素不仅能创建基本形状,还能创建其他形状。<path>元素中包含了直线命令、曲线命令,请参照表1,其示出了svg<path>元素的虚拟画笔可以使用的命令,其中大写的指令通常将参数坐标解析为绝对坐标,小写的指令通常将参数坐标解析为相对坐标。65.[0066][0067]表1svg<path>元素可以使用的命令[0068]下面以一实例具体说明利用svg中的<path>元素完成对未授权字体的文本内容的绘制。[0069]<svgxmlns="http://www.w3.org/2000/svg"version="1.1"height="400"width="450">//svg代码以<svg>元素开始,包括开启标签<svg>和关闭标签</svg>,这是根元素。width和height属性可设置此svg文档的宽度和高度。version属性可定义所使用的svg版本,xmlns属性可定义svg命名空间。[0070]<path[0071]class="letter-d"d="m39.1,54.5c5.6-8.1,14-18.5,23.2-29.2c68.6,18,76,10.3,83.7,3.1c2-2,4.1-3.1,6.7-3.1c1.8,0,2.5,0.5,2.7,1.3[0072]c-4.9,4.7-13.9,14.6-20.5,22.3c-5.9,6.8-12.1,14.2-22.5,27.5c-5.6,7.2-13.3,17.8-14.9,20.7c-1.3,2.2-1.3,3.6-0.5,4.1[0073]c0.9,0.7,2.7,0,4.1-0.7c1.8-0.9,5.2-3.2,8.1-5.6c3.8-3.1,6.7-5.6,8.6-7.4c1.1-0.9,2-1.8,2.5-1.3c0.5,0.5-0.4,1.4-2.3,3.2[0074]c-2.3,2.2-6.7,5.9-10.1,8.6c-3.6,2.9-9.5,7.2-15.5,7.2c-3.4,0-5-1.6-5.2-3.8c-0.2-2,0.9-4.5,2.5-6.5l-0.2-0.2[0075]c-4.9,4.3-13,10.1-19.8,10.4c-4,0.2-7.9-1.3-7.4-7.2c0.5-4.3,4.1-10.6,13-17.1c5.9-4.3,16.2-8.6,22.1-7.6[0076]c38.6,49,39.8,51.3,39.1,54.5z[0077]m25.2,68.9c5.8-5,12.2-12.8,12.4-15.7c0.2-2.3-1.3-3.2-3.2-3.2c-3.6,0-10.1,4.9-16.6,11.3[0078]c11,68,7.4,72.9,7.8,75.6c0.2,1.3,1.1,1.8,2.3,1.8c13.5,77.4,20.4,73.4,25.2,68.9z"/>[0079]</svg>[0080]可以理解的是,所有的绘制工作都是在<path>元素中通过d属性来完成的。<d>属性包含了用于绘制的命令,在上述的实例中,<path>元素中的内容包含了指令m、m、c、c,参照表1,其中m命令代表“moveto”(直线移动到)的意思,c命令代表“curveto”(三次贝兹曲线至)的意思,运行上述实例的程序,可得到如图3所示的运行结果——包含一定字体属性的文本“d”,也即通过svg的<path>元素绘制出了未知字体样式的文本内容,为了适配不同尺寸的终端屏幕,只需对坐标进行统一的缩放,缩放后显示的清晰度不会受到影响,能够解决利用png格式裁剪字体未授权的文本内容时出现的显示模糊的问题,同时svg格式的字体资源文件体积小,利于网络的传输和在终端的渲染显示。[0081]s203:根据所述矢量格式将所述文本文件转换为第二资源文件,在所述第二资源文件中通过所述矢量格式的第二类元素描述包含文本属性的文本内容,当所述文本文件中文本的字体未被授权时,所述文本属性不包含所述文本内容的字体属性。[0082]如图2所示,利用mutool工具将pdf格式的文本文件转换为svg格式的资源文件,并根据svg中<text>(文本)元素输出包含文本属性的svg文件作为第二资源文件,所述第二资源文件中存储的文本内容通过<text>元素进行描述,在文本文件的字体未被授权的情况下,<text>元素中不包含字体属性内容。[0083]在svg中,<text>元素用于定义文本,在一个svg文档中<text>元素内部可以放任何的文字并设置文字的属性,如文字的位置属性、描边属性、填充属性、间距属性、字距属性、旋转属性、渲染方向属性和文字样式属性等,其中文字样式属性包括<font-family>表示的文字字体、<font-size>表示的文字大小等。若文本文件中的字体已被授权,则可以直接利用<font-family>元素表示文字内容的字体属性,但在文本内容的字体未被授权的情况下,则无法利用<font-family>元素来表示文本内容的字体。[0084]在本发明提供的实施例中,所述第二资源文件作为中间资源文件,主要用于提取绘本的背景图片信息以生成第三资源文件,以及提取文本资源用于音频与文本的对齐和同步显示,因此第二资源文件中除了绘本的背景图片信息,还至少包括文本内容中每个文本的位置信息。[0085]s205:以及,删除所述第二资源文件中的文本内容,得到第三资源文件,所述第三资源文件包含所述文本文件中绘本页的背景信息。[0086]在本发明提供的实施例中,具体地,步骤s205可以根据所述矢量格式的第二类元素对应的标签对应删除文本内容,得到包含所述文本文件中绘本页的背景信息的第三资源,并保存为第三资源文件。如图2所示,在基于svg格式转换得到的第二资源文件中,文本内容包含在svg的<text>文本元素中,根据标签<text>和</text>删去其中的文本内容后,对于绘本而言剩余部分则为背景图片部分的svg资源,可以将其保存为jpg(jpeg的简称,jointphotographicexpertsgroup)格式的背景图片。[0087]s105:从所述第二资源文件中抽取得到文本资源。[0088]可以理解的是,所述第二资源文件作为中间资源文件,除了用于提取绘本的背景图片信息以生成第三资源文件,还用于提取文本资源用于音频与文本的对齐和在终端的同步显示。[0089]在一种可行的实施方式中,具体地,所述步骤s105可以包括:根据所述矢量格式的第二类元素对应的标签抽取包含文本属性的文本内容,得到文本资源,所述文本资源至少包含文本的位置属性。在如图2所示的一种基于svg格式的绘本文件的处理方法中,在第二资源文件中通过svg的<text>元素描述包含文本属性的文本内容,通过定位<text>元素标签提取其中的内容并汇总为所述文本资源。在字体未被授权时,所述文本属性不包含文本内容的字体属性,但至少包含文本的位置属性,如包括文本的坐标属性、旋转角度属性等,所述文本属性用于在终端显示时确定文本内容的高亮显示区域以实现文本随音频播放同步显示的视觉效果。[0090]优选地,在一种为适龄儿童、学生提供英文绘本阅读、听音功能的终端应用中,英文绘本按页显示并播放绘本当前页的音频,因此在对文本文件进行解析处理时,文本资源按页划分,在每页的文本资源中对文本内容再按照段落、行、单词进行更细致地划分,并确定段落文本、行文本和单词文本的位置属性。[0091]s107:对所述音频文件进行语音识别,得到语音文本列表。[0092]在一种可行的实施方式中,具体地,将所述音频文件输入训练后的自动语音识别模型,得到以第一单位划分文本的语音文本列表,并确定所述语音文本列表中文本的索引值、开始时间和结束时间。优选地,根据绘本的语言确定第一单位,第一单位为绘本语言的最小字符单位,如是英文绘本,可按单词划分识别出的文本,并依次为每个单词设置索引值,并确定每个单位在音频文件中的开始时间和结束时间,如为中文绘本,则可按照汉字划分识别出的文本。[0093]s109:基于所述语音文本列表为所述文本资源中的文本添加时刻信息,并更新所述文本资源,完成对绘本文件的处理,以使随所述音频文件的播放,在终端同步显示所述第一资源文件和所述第三资源文件。[0094]在本发明提供的实施例中,具体地,所述基于所述语音文本列表为所述文本资源中的文本添加时刻信息可以包括以下步骤:[0095]s301:遍历所述文本资源中的文本,确定所述文本资源中的文本与所述语音文本列表中的文本的对应关系。[0096]在一种可行的实施方中,针对英文绘本,对英文绘本的音频文件进行语音识别,得到语音文本列表也即单词列表oe_list,从英文绘本的第二资源文件中抽取得到文本资源也即原文。如图4所示,具体地,遍历原文的单词,取当前单词并判断识别音频文件得到的单词列表中是否包含所述单词;当所述单词列表不包含所述单词时,则在原文中将所述单词的索引值设置为无效值,一般地无效值为-1,表示不存在关于所述单词的对应关系,可以理解的是,英文绘本中并不是所有的文本内容都有对应的音频以供用户跟读学习,还有一类文本内容仅仅是静态显示;当所述单词列表包含所述单词时,进一步判断所述单词列表中所述单词的索引值与原文中所述单词的上一个单词的索引值的差值大小,优选地,考虑到语音识别的误差,可以将差值阈值设为2;均满足判断条件则将所述单词列表中所述单词的索引值赋予给所述原文中的所述单词,否则将其索引值确定为无效值-1。[0097]本发明提供的实施例中通过设置索引值确定所述文本资源的文本与所述语音文本列表中的文本的对应关系,基于文本资源或语音文本列表的结构可以采用其他方式确定其对应关系,本发明实施例对此不作具体限定。[0098]s303:根据所述对应关系将所述语音文本列表中文本的开始时间和结束时间添加至所述文本资源,以生成所述文本资源中文本的时刻信息。[0099]在一种可行的实施方中,针对英文绘本,对英文绘本的音频文件进行语音识别得到的语音文本列表也即单词列表oe_list中包含每个单词在音频文件中的开始时间和结束时间,在所述对应关系的基础上,可以为所述文本资源中的文本添加时刻信息,以在终端实现音频和文本的同步显示功能。如图5所示,具体地,判断当前单词的索引值是否为无效值以及判断语音文本列表也即单词列表oe_list中是否存储有对应索引值的单词的时刻信息,均满足判断条件则将所述单词列表中对应索引值的单词的时刻信息添加给原文中的当前单词,并更新原文内容。[0100]在另一种可行的实施方中,在遍历所述文本资源中的文本时,若所述文本资源中的文本与所述语音文本列表中的文本不存在对应关系或无法确定所述语音文本列表中的文本的开始时间和结束时间,则所述文本资源中的文本根据前后文本的时刻信息确定自身的时刻信息。具体地,如图5所示,将当前单词的上一个单词的结束时间作为当前单词的开始时间,将当前单词的下一个单词的开始时间作为结束时间,对当前单词的时刻信息进行补充。进一步地,还可以考虑到音频文件中语速的快慢,在前后单词的时刻信息的基础上增减一定的间隔时间作为当前单词的时刻信息。[0101]优选地,图6是本发明实施例提供的资源文件在数据层上的类结构示意图,具体地,其中:[0102]inteactivereadingpage是绘本-个页面的数据,其中的backgroundurl表示当前绘本页的背景图片,相当于本发明实施例中的第三资源文件,textsvgurl是绘本-个页面中所有的文字svg图片,通过<path>元素绘制出包含字体属性的文本内容,相当于本发明实施例中的第一资源文件。[0103]本发明实施例中在提取文本内容并将音频和文本进行对齐后的所述文本资源在数据层上可以如inteactivereadingparagraph、inteactivereadingline和inteactivereadingword中所示。[0104]其中inteactivereadingparagraph表示绘本页中的文本内容以段落进行划分;[0105]inteactivereadingline表示对绘本中的段落文本内容以行进行划分,其中存储了行旋转角度、行高度和行起始位置信息;[0106]inteactivereadingword表示对绘本中的行文本内容以单词进行划分,包括了单词相对于行的位置偏移、单词宽度、单词在音频文件中的开始时间和结束时间等。[0107]在本发明提供的实施例中,针对文本的字体未被授权的情况,将文本文件转换为可缩放的矢量格式的资源文件,能够适配不同尺寸的终端屏幕,为用户提供更加清晰的阅览、学习体验,同时保存的资源文件的占用空间更小,便于网络的传输。[0108]在矢量格式的资源文件中,包含各种字体属性的文本内容是通过矢量格式的图形绘制元素绘制而出并单独保存为字体资源文件,在终端对字体资源文件直接进行渲染显示则可实现对各种字体样式的文本内容的支持;包含文本属性的文本内容是通过矢量格式的文本元素进行描述,涵盖了文本的坐标位置等信息,结合语音识别得到的文本时刻信息,能在终端随音频文件的播放确定字体资源文件高亮显示的区域,以达到文本与音频同步的视觉效果,便于用户在阅览时进行跟读学习。[0109]图7是本发明实施例提供的一种绘本文件的同步显示方法的流程图,显示区域包括绘本页面显示区域和音频播放控制区域,请参照图7,本发明实施例提供的一种绘本文件的同步显示方法包括如下步骤:[0110]s701:获取绘本当前页的第一资源文件、文本资源和第三资源文件,所述第一资源文件、所述文本资源和所述第三资源文件通过一种绘本文件的处理方法得到。[0111]优选地,所述第一资源文件为包含字体属性的字体svg资源,通过svg<path>元素绘制出具有一定字体样式的文本内容,并保存为svg图片,适用于字体未被授权的情况下对绘本进行渲染显示,能够适配不同尺寸的电子屏幕并清晰地显示文本内容,同时占用的资源空间小。所述文本资源包括绘本的文本内容及其位置属性,并结合了语音识别文本得到的文本时刻信息,用于在终端随音频文件的播放确定第一资源文件高亮显示的区域,以达到文本与音频同步的视觉效果,给用户提供更好的阅读、听音与跟读体验。第三资源文件为包含绘本当前页的背景图片,可以直接在终端进行渲染显示。[0112]s703:根据所述第一资源文件得到上层第一资源文件和下层第一资源文件。[0113]优选地,将所述上层第一资源文件的显示颜色设置为紫色,将所述下层第一资源文件的显示颜色设置为黑色。在用户终端同时加载两层第一资源文件时,所述下层第一资源文件的显示区域为所述绘本页面显示区域,对所述上层第一资源文件的显示区域进行裁剪,根据音频的播放进度确定裁剪的显示区域。因二者的显示颜色和显示区域不同,即可在终端界面中营造出随音频的播放文本同步变色的动态视觉效果。[0114]在一种可行的实施方式中,当用户进入绘本阅读的功能时,对所述下层第一资源文件和所述第三资源文件进行渲染并显示在所述绘本页面显示区域内,呈现绘本当前页的初始视图内容,如图8所示,图8为一种下层第一资源文件在终端渲染后绘本文本内容的显示视图。[0115]s705:响应用户的音频播放控制操作,从所述音频播放控制区域获取所述绘本当前页的音频文件的当前播放时刻。[0116]图9是本发明实施例提供的一种提供绘本阅读听音功能的用户交互界面示意图,如图9中所示,交互界面的显示区域包含绘本页面显示区域910和音频播放控制区域920,还可以包含绘本翻页控制区域930。所述绘本页面显示区域用于显示绘本的图片、文本等内容;在所述音频播放控制区域中用户可以控制绘本音频的播放与暂停、调节播放速度、拖动播放进度等;在所述绘本翻页控制区域中用户可以切换到绘本的上一页或下一页。[0117]具体地,当用户在终端数使用绘本阅读、听音功能并点击播放按钮,在绘本页面显示区域需要让文字随着音频播放的时间,自动的高亮显示已经播放过的单词部分,如播放过的单词部分显示为为紫色,未播放过的单词部分显示为黑色。用户还可以拖动播放进度条,在绘本页面显示区域需要使文字部分根据播放的时间重新进行文字的高亮显示,以达到文本随音频同步显示的视觉效果。结合本发明实施例中对绘本文件的处理过程和资源文件的结构,需要获取用户实施控制操作后音频文件的当前播放时刻以实现上述的功能。[0118]s707:根据所述当前播放时刻和所述文本资源确定高亮显示区域。[0119]在本发明实施例中,所述文本资源的数据类结构可以如图6中所示,在所述文本资源中,明确了每个单词文本的坐标位置信息、开始时间和结束时间等,同时还明确了每个单词文本所在行的位置信息等。所述当前播放时刻用于确定绘本当前页中对应时刻的单词文本,在确定了当前播放时刻对应的单词文本后,根据该单词文本的坐标位置信息进一步确定高亮显示区域。所述高亮显示区域既是所述上层第一资源文件的裁剪显示区域,也是当前播放时刻之前的文本所占的显示区域,需要将已播放的文本部分进行高亮显示,以和未播放的文本部分区分开来。[0120]图10是本发明实施例提供的一种计算高亮显示区域的流程框图,如图10中所示,具体地,本发明实施例提供的步骤s707可以包括以下步骤:[0121]s7071:根据音频的当前播放时刻和所述文本资源确定当前绘本页中的目标单词。[0122]具体地,若所述当前播放时刻落在所述文本资源中某个单词的起止时间区间之内,则将该单词作为目标单词,否则,优选地将距所述当前播放时刻最近的前一个单词作为目标单词。[0123]s7073:根据所述文本资源中所述目标单词的位置信息确定区域关键参数。[0124]具体地,如图10中所示,对于水平显示的一段文本,在确定了目标单词后,根据所述目标单词的所在行确定第一参数currentline;根据所述目标单词的宽度、目标单词的开始时间和结束时间、当前播放时刻确定第二参数endx;根据第一参数currentline的位置信息和行宽确定第三参数endy。[0125]s7075:根据所述区域关键参数确定高亮显示区域。[0126]具体地,如图10中所示,在确定了第一参数、第二参数和第三参数后,对于水平显示的一段文本,可以较为容易地确定当前播放时刻对应的高亮显示区域,该高亮显示区域为一多边矩形,所述多边矩形的顶点坐标分别为(0,0)、(0,endy)、(endx,endy)、(endx,currentline.starty)、(page.width,currentline.starty)和(page.width,0),其中(0,0)表示绘本页的原点,page.width表示当前绘本页的宽度。本发明实施例中第二参数endx引入了当前播放时刻,能够根据播放时刻信息实时更新高亮显示区域,可以实现更为细致的同步显示效果。当绘本的文本倾斜显示时,还需根据倾斜角度等因素确定高亮显示区域,此时可基于几何数学方法计算得到,本发明实施例不再赘述。[0127]s709:根据所述高亮显示区域将所述上层第一资源文件进行渲染并裁剪显示,以及根据所述绘本页面显示区域对所述下层第一资源文件和所述第三资源文件进行渲染并显示。[0128]图11是本发明实施例提供的一种在终端进行渲染的图层示意图,包含背景图片信息的第三资源文件在最底层,svg格式的下层第一资源文件在中间层,并将其显示颜色设置为黑色,svg格式的上层第一资源文件在最上层,将其显示颜色设置为紫色,并根据计算得到的高亮显示区域对所述上层第一资源文件进行裁剪显示。在本发明实施例中,在用户终端同时加载两层第一资源文件时,所述上层第一资源文件的显示颜色和所述下层第一资源文件的显示颜色设置为不同,并且所述下层第一资源文件的显示区域为所述绘本页面显示区域,所述上层第一资源文件的显示区域为根据当前播放时刻实时更新的高亮显示区域,二者显示颜色和显示区域的不同,进而可以在终端营造出随音频的播放文本同步变色显示的视觉效果。[0129]本发明实施例还提供了一种绘本文件的处理装置,如图12所示,所述装置可以包括:[0130]文件获取模块1210,用于获取绘本的文本文件和音频文件。[0131]文件转换模块1220,用于当所述文本文件中文本的字体未被授权时,将所述文本文件转换为预设格式的资源文件,所述资源文件至少包括:包含字体属性的第一资源文件、包含文本属性的第二资源文件以及包含背景信息的第三资源文件。[0132]文本抽取模块1230,用于从所述第二资源文件中抽取得到文本资源。[0133]音频识别模块1240,用于对所述音频文件进行语音识别,得到语音文本列表。[0134]文本时刻信息添加模块1250,用于基于所述语音文本列表为所述文本资源中的文本添加时刻信息,并更新所述文本资源,完成对绘本文件的处理,以使随所述音频文件的播放,在终端同步显示所述第一资源文件和所述第三资源文件。[0135]在一个实施例中,所述文件转换模块1220可以包括:[0136]第一转换单元1221,用于根据预设的矢量格式将所述文本文件转换为第一资源文件,在所述第一资源文件中通过所述矢量格式的第一类元素绘制包含字体属性的文本内容;[0137]第二转换单元1222,用于根据所述矢量格式将所述文本文件转换为第二资源文件,在所述第二资源文件中通过所述矢量格式的第二类元素描述包含文本属性的文本内容,当所述文本文件中文本的字体未被授权时,所述文本属性不包含所述文本内容的字体属性;[0138]第三转换单元单元1223,用于删除所述第二资源文件中的文本内容,得到第三资源文件,所述第三资源文件包含所述文本文件中绘本页的背景信息。[0139]具体地,本发明实施例公开的一种绘本文件的处理装置与上述对应的方法实施例均基于相同发明构思。详情请参见方法实施例,在此不再赘述。[0140]本发明实施例还提供了一种绘本文件的同步显示装置,显示区域包括绘本页面显示区域和音频播放控制区域,如图13所示,所述装置可以包括:[0141]资源文件获取模块1310,用于获取绘本当前页的第一资源文件、文本资源和第三资源文件,所述第一资源文件、文本资源和第三资源文件通过一种绘本文件的处理方法或装置得到。[0142]资源文件处理模块1320,用于根据所述第一资源文件得到上层第一资源文件和下层第一资源文件。[0143]音频播放时刻获取模块1330,用于响应用户的音频播放控制操作,从所述音频播放控制区域获取所述绘本当前页的音频文件的当前播放时刻。[0144]高亮显示区域确定模块1340,用于根据所述当前播放时刻和所述文本资源确定高亮显示区域。[0145]渲染显示模块1350,用于根据所述高亮显示区域将所述上层第一资源文件极性渲染并裁剪显示,以及根据所述绘本页面显示区域对所述下层第一资源文件和所述第三资源文件进行渲染并显示。[0146]具体地,本发明实施例公开的一种绘本文件的同步显示装置与上述对应的方法实施例均基于相同发明构思。详情请参见方法实施例,在此不再赘述。[0147]本发明实施例提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的绘本文件的处理方法或绘本文件的同步显示方法。[0148]存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据所述设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。[0149]本发明实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行,即上述计算机设备可以包括移动终端、计算机终端、服务器或者类似的运算装置。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本技术在此不做限制。以运行在服务器上为例,图14是本发明实施例提供的运行一种绘本文件的处理方法的服务器的硬件结构框图。如图14所示,该服务器1400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessingunits,cpu)1410(处理器1410可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1430,一个或一个以上存储应用程序1423或数据1422的存储介质1420(例如一个或一个以上海量存储设备)。其中,存储器1430和存储介质1420可以是短暂存储或持久存储。存储在存储介质1420的程序可以包括一个或一个以上模块,每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1410可以设置为与存储介质1420通信,在服务器1400上执行存储介质1420中的一系列指令操作。服务器1400还可以包括一个或一个以上电源1460,一个或一个以上有线或无线网络接口1450,一个或一个以上输入输出接口1440,和/或,一个或一个以上操作系统1421,例如windowsservertm,macosxtm,unixtm,linuxtm,freebsdtm等等。[0150]本领域普通技术人员可以理解,图14所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,服务器1400还可包括比图14中所示更多或者更少的组件,或者具有与图14所示不同的配置。[0151]本发明实施例还提供了一种计算机可读存储介质,所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种绘本文件的处理方法或一种绘本文件的同步显示方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的绘本文件的处理方法或绘本文件的同步显示方法。[0152]可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。[0153]由上述本发明提供的一种绘本文件的处理、同步显示方法、装置及存储介质的实施例可见,本发明针对文本的字体未被授权的情况,通过将绘本的文本文件转换为可缩放的矢量格式的资源文件,能够适配不同尺寸的终端屏幕,为用户提供更加清晰的阅览、学习体验,同时保存的资源文件的占用空间更小,便于网络的传输。[0154]在矢量格式的资源文件中,包含各种字体属性的文本内容是通过矢量格式的图形绘制元素绘制出并单独保存为字体资源文件,在终端对字体资源文件直接进行渲染显示则可实现对各种字体样式的文本内容的支持;包含文本属性的文本内容是通过矢量格式的文本元素进行描述,涵盖了文本的坐标位置等信息,结合语音识别得到的文本时刻信息,能在终端随音频文件的播放确定字体资源文件高亮显示的区域,以达到文本与音频同步的视觉效果,便于用户在阅览时进行跟读学习。[0155]需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。[0156]本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、设备和存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。[0157]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。[0158]以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1