一种音像同步显示方法及系统的制作方法
【技术领域】
[0001]本发明涉及语言数据处理方法技术领域，具体涉及一种音像同步显示方法及系统。
【背景技术】
[0002]随着现代科技的发展，人们越来越重视感官感受，对虚拟对象的准确度、便捷度、仿真度以及互动性也有了越来越高的要求。单纯固定的图像演示或视频演示已经不能满足体验者的感官需求，现代体验中更需要文字、声音、图像结合的全方位展示。现有技术中的声像同步方法多是利用视频处理技术，将文字嵌入视频流中，根据音频中每个文字的播放时间段来逐步显示文字。例如，申请号为21^200510130405.8、21^200610027001.0和ZL201210078552.5的中国专利申请所公布的文字音频同步方法，均是应用于音频视频后期同声字幕制作，所用方法为使音频码对应时间数据来达到音频流和时间同步的效果，这种同步方法仅适用于音频或视频制作。但对于本身含有文字的展示对象而言，上述方法制作的虚拟对象无法清晰的演示出展示对象的内容细节，更无法达到将内容细节和声音图像同步逐字显示的效果，镶嵌在虚拟图像旁边的文字也无法代替图像真实有效的模仿展示对象。且通过上述方法制作的虚拟产品还是只停留在二维的平面制作上，不能体现出展示对象的立体感，感官体验较差。现有技术中的文字声音同步方法还存在很多不足。
【发明内容】
[0003]本发明的目的在于提供一种音像同步显示方法及系统，以解决的现有技术的问题:现有技术中无法实现将虚拟对象上包含文字内容和其声音、图像同步逐字显示的功能。
[0004]为了实现上述发明目的，本发明提供的技术方案如下:
[0005]—种音像同步显示方法，包括以下步骤:
[0006]步骤一，读取文本文件，将所述文本文件中每个文字生成文字贴图；
[0007]步骤二，将所述文字贴图嵌入材质贴图；
[0008]步骤三，依据所述文本文件生成音频文件，逐字截取每个文字播放时间pt;
[0009]步骤四，通过所述播放时间pt生成时间贴图；
[0010]步骤五，所述时间贴图遮罩所述文字贴图；
[0011]步骤六，播放所述音频文件时，调整所述时间贴图遮罩的所述文字贴图的渲染颜色值，使所述文字贴图显像在所述材质贴图上。
[0012]进一步地，所述时间贴图为渐变色块，所述色块的颜色由所述播放时间pt的长度决定。
[0013]进一步地，所述步骤三中，通过所述音频文件中每个文字读取的起始时间St和截止时间et，截取出每个文字的所述播放时间Pt。
[0014]进一步地，通过音频文件的音波变化自动获取所述起始时间st和所述截止时间et或手动设定所述起始时间st和所述截止时间et。
[0015]进一步地，所述材质贴图嵌有所述文本文件中的文字。
[0016]进一步地，所述文字贴图嵌入所述材质贴图的位置对应所述材质贴图中的相同文字。
[0017]进一步地，所述音像同步显示方法还包括以下步骤:
[0018]步骤七，所述播放时间pt与所述文本文件中每个文字建立对应关系；
[0019]步骤八，根据所述对应关系获取输入的检索文字的播放时间，当其与所述时间贴图中包含所述播放时间Pt相同时，渲染所述时间贴图遮罩的所述文字贴图的颜色值，使所述文字贴图显像在所述材质贴图上。
[0020]进一步地，设定所述文本文件中相同的文字的多段所述播放时间pt合并，建立多个时间数据对应一个文字的关系。
[0021]进一步地，输入检索的文字为单个文字或词或句。
[0022]进一步地，扫描三维对象的图像并采集其包含的文字信息，将所述文字信息生成文本文件。
[0023]进一步地，所述三维对象的图像信息生成材质贴图。
[0024]—种使用所述音像同步方法的音像同步系统，包括
[0025]文本处理模块，用于将文本文件中的文字转建立文字贴图；
[0026]音频处理模块，用于截取音频文件中每个文字的播放时间pt，并依据所述播放时间Pt建立时间贴图；
[0027]图像处理模块，用于将所述文字贴图嵌入材质贴图，将所述时间贴图遮罩所述文字贴图；
[0028]显示处理模块，用于在播放音频文件时，实时调整所述文字贴图的渲染颜色值。
[0029]进一步地，所述音像同步系统还包括检索处理模块，用于建立并存储所述播放时间Pt和所述文本文档中的每个文字的对应关系。
[0030]进一步地，显示处理模块，用于在输入检索文字时，根据所述检索文字的播放时间与所述时间贴图中包含的所述播放时间Pt的比对，判断是否渲染所述文字贴图的颜色值。
[0031]进一步地，所述音像同步系统还包括采集模块，用于根据显示对象的图像建立所述材质贴图。
[0032]进一步地，所述音频处理模块包括自动处理模块和手动处理模块。
[0033]本发明的音像同步显示方法及系统，将文本文件转化成文字贴图，将音频文件的播放时间转化为时间贴图，并将其依附于材质贴图表面;当音频文件被播放时，本发明通过将当前音频的播放时间值匹配到时间贴图同步渲染其遮罩的文字贴图，使文字贴图显像，以实现将虚拟对象中包含的文字信息与其文字录音及整体图像同步显示的目的。体验者在对含有文字信息的展示对象进行参观交互时，不仅可以看图听音，还可以本发明的辅助下，快速准确地定位每个播放文字在图像中的位置;并且能够根据体验者的要求快速检索出展示对象中包含的制定文字。为对展示对象表面文字信息的实时检索与辨识提供了很大便利。本发明能够广泛应用于文物、教育、科研行业。
【附图说明】
[0034]图1是本发明的音像同步显示方法的流程图；
[0035]图2是本发明的音像同步显示方法的多层贴图的流程图；
[0036]图3是本发明的音像同步显示系统的框图。
【具体实施方式】
[0037]为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0038]本发明的目的在于提供一种音像同步显示方法及系统，能够在图像和音频播放时，在图像中相应的文字位置上层同步突显出播放的文字，便于体验者方便快捷的阅览展示对象，不会因为自主识别图像困难而影响体验感受，也大大增加展示对象的真实度。
[0039]实施例1
[0040]参照图1、图2所示，为实现将虚拟对象中包含的文字信息与其文字录音及整体图像同步显示的目的，本发明提供的一种音像同步显示方法，包括:
[0041]步骤I，读取文本文件，将所述文本文件中每个文字生成文字贴图，其分为:
[0042]步骤10，根据三维扫描仪采集的含有文字信息的展示对象的三维数据，建立所述展示对象的三维图像，
[0043]步骤11，将所述展示对象包含的文字信息单独记录生成文本文件，
[0044]步骤12，根据所述文本文件将所述展示对象包含的每个文字生成文字贴图；
[0045]步骤2，将所述文字贴图嵌入材质贴图，其分为:
[0046]步骤20，依据所述三维图像建立材质贴图，
[0047]步骤21，获取所述材质贴图上所述每个文字所占的面积，设定与所述文字对应的文字贴图的面积与所述文字的面积相同，
[0048]步骤22，将所述文字贴图嵌入到所述材质贴图的对应位置，即所述文字贴图覆盖在所述材质贴图的相同文字上；
[0049]步骤3，根据所述文本文件生成音频文件，逐字截取每个文字播放时间pt，其分为:
[0050]步骤30，根据文本文件录制音频文件，
[0051 ]步骤31，获取所述音频文件中每个文字读取的起始时间st和截止时间et;获取方式可以为手动设定所述起始时间st和所述截止时间et、也可以通过音频波纹变化自动截取所述起始时间st和所述结束时间et，然后再根据所述起始时间st和所述结束时间et计算每个文字的所述播放时间Pt，
[0052]步骤4，通过所述播放时间pt生成时间贴图，其分为:
[0053]步骤40，读取所述播放时间pt，并以其时间数据为参考生成渐变色块图像;根据所述时间数据的长短设定所述色块的颜色，所述时间数据越大、所述色块的渐变层越多，
[0054]步骤41，依据所述色块建立时间贴图；
[0055]步骤5，所述时间贴图遮罩所述文字贴图，其分为:
[0056]步骤50，获取所述文字贴图的面积，设定与所述文字贴图对应的时间贴图的面积与其面积相同，
[0057]步骤51，设置所述时间贴图遮罩对应的所述文字贴图，
[0058]步骤6，播放所述音频文件时，调整所述时间贴图遮罩的所述文字贴图的渲染颜色值，使所述文字贴图显像在所述材质贴图上，其分为:
[0059]步骤60，播放所述音频文件，调取所述播放时间Pt数据，
[0060]步骤61，根据所述播放时间pt的数值变化来调整其所遮罩的所述文字贴图的渲染颜色值，
[0061]步骤62，所述文本贴图根据其所述颜色值，设定显像在所述材质贴图上或隐藏在所述材质贴图上。
[0062]如需进一步实现快速准确检索查询每个播放文字在图像中位置的功能，本发明的音像同步显示方法还需包括:
[0063]步骤7，所述播放时间pt与所述文本文件中每个文字建立对应关系，其分为:
[0064]步骤70，获取所述播放时间pt，
[0065]步骤71，所述文本文档中的文字和所述播放时间pt建立一对一对应关系，步骤72，整合相同文字的对应关系，将所述对应关系中的多段所述播放时间Pt设定集合对应一个文字。
[0066]步骤8，根据所述对应关系获取输入的检索文字的播放时间，当其与所述时间贴图中包含所述播放时间Pt相同时，渲染所述时间贴图遮罩的所述文字贴图的颜色值，使所述文字贴图显像在所述材质贴图上，其分为:
[0067]步骤80，在检索栏输入需要检索的文字字符，
[0068]步骤81，根据所述文字和所述对应关系获取该文字的播放时间，
[0069]步骤82，提取所述时间贴图中包含的所述播放时间Pt，将其与步骤81中的所述播放时间比较，如时间数值相同，则判断渲染所述时间贴图遮罩的所述文字贴图的颜色值，否则提取下一所述时间贴图继续比较，
[0070]步骤82，设定被渲染的文字贴图显像在所述材质贴图上。