电视画面和外设声音同步控制方法和装置与流程

文档序号:12476031阅读:553来源:国知局
电视画面和外设声音同步控制方法和装置与流程

本发明涉及电视技术领域,尤其涉及一种电视画面和外部设备声音同步控制方法和装置。



背景技术:

电视设备是最常用的多媒体播放设备之一,电视设备可以对流数据中的图像信息和声音信息进行解码,在电视屏幕和电视喇叭上进行播放。随着用户对声音播放效果的要求越来越高,用户希望听到更低失真率,更少噪声的声音效果。

目前,在市场上销售的电视由于成本因素,电视设备自带的喇叭达不到完好的音效,用户常常选用更高声音效果的功放设备或蓝牙音箱设备进行声音播放。但是对于外部设置的声音播放设备,由于在声音数据传输和解码过程中需要耗时,且这种耗时难以避免,往往导致电视屏幕播放画面与外设的声音播放不同步,大大降低了用户视听体验。

上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。



技术实现要素:

本发明的主要目的在于提供一种自动同步电视画面和外部设备声音的方法和装置。

为实现上述目的,本发明提供一种电视画面和外部设备声音同步控制方法,包括:

将目标码流中的图像信号和声音信号解码,提取解码的声音信号在目标时段内声音振幅峰值,并将声音信号传输到外部设备中播放;

采集环境声音,并提取目标时段内环境声音振幅峰值;

将提取的解码声音振幅峰值与环境声音振幅峰值进行对比,计算电视画面播放与传输至外部设备播放的声音时间差;

根据所述时间差控制电视图像信号延时输出,以达到声画同步。

优选地,所述将提取的解码声音振幅峰值与环境声音振幅峰值进行对比,计算电视画面播放与传输至外部设备播放的声音时间差,包括:

判断目标码流解码的声音信号与环境声音解码的声音信号是否为同一内容;

在为同一内容时,根据目标码流解码的声音信号与环境声音解码的声音信号播放的延时,计算出目标码流解码后的声音信号播放与该声音信号传输至外部设备并解码成声音信号播放的声音时间差T3。

优选地,所述方法还包括:

将目标码流解码的声音信号和采集的环境声音转化为波形图;

按照目标间隔时间分别从解码声音波形图和环境声音波形图中获取预设次数的振幅峰值后,对应组成解码声音信号波形振幅峰值数组和环境声音信号波形振幅峰值数组。

优选地,所述判断目标码流解码的声音信号与环境声音解码的声音信号是否为同一内容,包括:

将解码声音信号波形振幅峰值数组中第一个振幅峰值与环境声音信号波形振幅峰值数组中第一个振幅峰值进行对比;

若相等,则比较两个数组中第二个振幅峰值;

若不相等,则解码声音信号波形振幅峰值数组中的第二个振幅峰值与环境声音信号波形振幅峰值数组中第一个振幅峰值对比,直至从解码声音信号波形振幅峰值数组中比对出与环境声音信号波形振幅峰值数组中第一个振幅峰值相等的振幅峰值;

若解码声音信号波形振幅峰值数组与环境声音信号波形振幅峰值数组连续相等的振幅峰值的数量大于预设阈值,则判断目标码流解码的声音信号与环境声音解码的声音信号为相同内容。

优选地,所述根据时间差,计算目标播放设备画面缓冲等待目标时间段,并调整电视图像信号输出延时,以达到声画同步包括:

根据目标码流中图像信号经过解码后在电视屏幕显示的耗时T1,目标码流中声音信号经过解码后播放的耗时T2,以及目标码流中声音信号传输至外部设备转化后播放与T2的时间差T3,计算图像信号缓冲时间Ts;

若T1<T2+T3,则Ts=T2+T3-T1,将图像信号缓冲Ts后播放;

若T1>T2+T3,则Ts=T1-T2-T3,将图像信号缓冲Ts后播放。

此外,为实现上述目的,本发明还提供一种电视画面和外设声音同步控制装置,包括:

解析模块,用于将目标码流中的图像信号和声音信号解码,提取解码的声音信号在目标时段内声音振幅峰值;

传输模块,用于将声音信号传输到外部设备中,并使用外部设备的播放功能进行播放;

采集模块,用于采集环境声音,并提取目标时段内环境声音振幅峰值;

对比模块,用于将提取的解码声音振幅峰值与环境声音振幅峰值进行对比;

计算模块,用于计算电视画面播放与传输至外部设备播放的声音时间差;

调整模块,用于根据所述时间差控制电视图像信号延时输出,以达到声画同步。

优选地,所述装置还包括:

判断模块,用于判断目标码流解码的声音信号与环境声音解码的声音信号是否为同一内容;

所述计算模块,还用于在为同一内容时,根据目标码流解码的声音信号与环境声音解码的声音信号播放的延时,计算出目标码流解码后的声音信号播放与该声音信号传输至外部设备并解码成声音信号播放的声音时间差T3。

优选地,所述装置还包括:

转化模块,用于将目标码流解码的声音信号和采集的环境声音转化为波形图;

获取模块,用于按照目标间隔时间分别从解码声音波形图和环境声音波形图中获取预设次数的振幅峰值后,对应组成解码声音信号波形振幅峰值数组和环境声音信号波形振幅峰值数组。

优选地,所述装置还包括:确认模块,

所述对比模块,还用于将解码声音信号波形振幅峰值数组中第一个振幅峰值与环境声音信号波形振幅峰值数组中第一个振幅峰值进行对比;对比模 块还用于

若相等,则比较两个数组中第二个振幅峰值;对比模块还用于

若不相等,则解码声音信号波形振幅峰值数组中的第二个振幅峰值与环境声音信号波形振幅峰值数组中第一个振幅峰值对比,直至从解码声音信号波形振幅峰值数组中比对出与环境声音信号波形振幅峰值数组中第一个振幅峰值相等的振幅峰值;

所述确认模块,用于若解码声音信号波形振幅峰值数组与环境声音信号波形振幅峰值数组连续相等的振幅峰值的数量大于预设阈值,则判断目标码流解码的声音信号与环境声音解码的声音信号为相同内容。

优选地,所述计算模块,还用于根据目标码流中图像信号经过解码后在电视屏幕显示的耗时T1,目标码流中声音信号经过解码后播放的耗时T2,以及目标码流中声音信号传输至外部设备转化后播放与T2的时间差T3,计算图像信号缓冲时间Ts;

所述调整模块,用于若T1<T2+T3,则Ts=T2+T3-T1,将图像信号缓冲Ts后播放;调整模块还用于

若T1>T2+T3,则Ts=T1-T2-T3,将图像信号缓冲Ts后播放。

本发明将目标码流中的图像信号和声音信号解码,提取解码的声音信号在目标时段内声音振幅峰值,并将声音信号传输到外部设备中播放;采集环境声音,并提取目标时段内环境声音振幅峰值;将提取的解码声音振幅峰值与环境声音振幅峰值进行对比,计算电视画面播放与传输至外部设备播放的声音时间差;根据所述时间差控制电视图像信号延时输出,以达到声画同步。有效将电视画面和外设声音同步播放,提升了用户视听体验,并增强了用户体验度。

附图说明

图1为本发明电视画面和外设声音同步控制方法的第一实施例的流程示意图;

图2为本发明电视画面和外设声音同步控制装置的第一实施例的功能模块示意图;

图3为根据目标码流声音振幅峰值图与环境声音振幅峰值图对比的声画 同步时间差解析流程。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明提供一种电视画面和外设声音同步控制方法。

参照图1,图1为本发明电视画面和外设声音同步控制方法的第一实施例的流程示意图。

在一实施例中,所述方法包括:

步骤S1,将目标码流中的图像信号和声音信号解码,提取解码的声音信号在目标时段内声音振幅峰值,并将声音信号传输到外部设备中播放;

将目标码流中的图像信号和声音信号进行解析,成为图像信号和声音信号,并在已解码声音信号中截取目标时段内声音信号,提取该目标时段内声音信号的振幅峰值,并将峰值数据转化为数值组合成峰值数组,得到目标码流中声音信号振幅峰值数组;由目标码流解析出的声音信号完整传输至外部设备中播放。所述目标码流,为互联网络中传输的一段视频文件,包括图像信号和声音信号;所述目标时段为用户在系统中设置的声音信号收集时长。

步骤S2,采集环境声音,并提取目标时段内环境声音振幅峰值;

采集环境声音,并在已采集到环境声音中,截取目标时段声音保存,定义为环境声音。将环境声音解码成为环境声音信号,提取该环境声音信号振幅峰值,根据提取到环境声音信号振幅峰值,将峰值数据转化为数值组合成峰值数组,即环境声音振幅峰值数组。所述目标时段为用户在系统中设置的环境声音收集时长;所述环境声音包括步骤S1中目标码流解析出来并播放的声音信号和生活环境声音。

进一步的,在目标码流解析的声音信号和采集的环境声音提取声音振幅峰值之前,还包括:

将目标码流解码的声音信号和采集的环境声音转化为波形图,即解码声音波形图及环境声音波形图。所述解码声音波形图及环境声音波形图时长都 为目标时段,所述目标时段为用户在系统中设置的声音信号截取时长及环境声音截取时长。

在解码声音波形图及环境声音波形图中,按照目标间隔时间分别从解码声音波形图和环境声音波形图中获取预设次数的振幅峰值,对应组成解码声音信号波形振幅峰值数组和环境声音信号波形振幅峰值数组;所述目标间隔时间为用户在系统中设置的,提取声音振幅峰值的间隔时间。该间隔时间结合波形图的时长,要使获得的波形振幅峰值的数组中的数据量大于目标数量;例如所述解码声音波形图和环境声音波形图提取声音振幅峰值数组过程为:

在目标时间段为2分钟内的解码声音波形图和环境声音波形图中,每隔2S记录一次声音信号的振幅峰值,并定义目标码流解码声音信号振幅峰值记录为n,码流声音振幅峰值变化率为m,定义下标为x,则mx=(nx–n(x-1))/n(x-1);环境声音振幅峰值记录为p,环境声音振幅峰值变化率为q,定义下标为x,则qx=(px–p(x-1))/p(x-1);重复记录振幅峰值数据50次,即得到50个波形图振幅峰值数组的数值,所述目标数量,为峰值数组的最低数值数量;即组成解码声音信号波形振幅峰值数组a1=[n1,n2,n3,n4,n5……n49,n50];定义解码声音信号波形振幅峰值变化表数组a=[m1,m2,m3,m4,m5……m49,m50],其中

m1=(n2–n1)/n1

m2=(n3–n2)/n2

m3=(n4–n3)/n3

m4=(n5–n4)/n4

……

m48=(n49–n48)/n48

m49=(n50–n49)/n49

组成环境声音信号波形振幅峰值数组b1=[p1,p2,p3,p4,p5……p49,p50];定义环境声音信号波形振幅峰值变化表数组b=[q1,q2,q3,q4,q5……q49,q50],其中

q1=(p2–p1)/p1

q2=(p3–p2)/p2

q3=(p4–p3)/p3

q4=(p5–p4)/p4

……

q48=(p49–p48)/p48

q49=(p50–p49)/p49

步骤S3,将提取的解码声音振幅峰值与环境声音振幅峰值进行对比,计算电视画面播放与传输至外部设备播放的声音时间差;

确定当前目标码流解码的声音信号与环境声音解码的声音信号为同一个声音信号,根据已设定计算公式计算二者时间差,所述时间差为:目标码流解码的声音信号通过传输至外部设备中播放后,当前目标播放设备播放目标码流解码的声音信号与传输至该外部设备的目标码流解码的声音信号播放后的时间差T3,并通过该时间差与目标码流中图像信号经过解码在电视屏幕显示的耗时T1,及目标码流中声音信号经过解码在目标播放设备播放的耗时T2,计算电视画面播放与目标码流中声音信号传输至外部设备播放的声音时间差Ts。

进一步的,在对比目标码流声音振幅峰值与环境声音振幅峰值之前,还包括:

判断目标码流解码的声音信号与环境声音解码的声音信号是否为同一内容;通过目标码流解码的声音信号振幅峰值数组与环境声音振幅峰值数组的对比,判断两段声音信号是否为同一段声音信号。

在目标码流解码的声音信号与环境声音解码的声音信号为同一段声音信号时,根据目标码流解码的声音信号与环境声音解码的声音信号播放的延时,计算出目标码流解码后的声音信号播放与该声音信号传输至外部设备并解码成声音信号播放的声音时间差T3。

进一步的,在判断目标码流解码的声音信号与环境声音解码的声音信号是否为同一内容之前,还包括:

将解码声音信号波形振幅峰值数组中第一个振幅峰值与环境声音信号波形振幅峰值数组中第一个振幅峰值进行对比;若相等,则比较两个数组中第二个振幅峰值;若不相等,则解码声音信号波形振幅峰值数组中的第二个振幅峰值与环境声音信号波形振幅峰值数组中第一个振幅峰值对比,直至从解码声音信号波形振幅峰值数组中比对出与环境声音信号波形振幅峰值数组中 第一个振幅峰值相等的振幅峰值;

在已经获取到的解码声音信号波形振幅峰值数组和环境声音信号波形振幅峰值数组中,使用解码声音信号波形振幅峰值数组第一个数据与环境声音信号波形振幅峰值数组第一个数据进行比较,相等则依次继续比较两个数组下一个振幅峰值数据;若不相等则重新对比解码声音信号波形振幅峰值数组第一个数据与环境声音信号波形振幅峰值数组第二个数据,依次类推直至相等为止。如果两个数组连续目标数量的峰值数据都相等,则认为这两段声音信号是同样的内容。所述目标数量,为用户在系统中设置的对比声音信号相等的振幅峰值数据数量。并计算目标码流解码的声音信号及环境声音信号的时间差。具体根据以下计算方式对目标码流的振幅峰值变化表和环境声音的振幅峰值变化表进行确认:

定义c[I]表示数组c中下表为i的元素的值;对于步骤S1和步骤S2获取到的目标码流振幅峰值变化表数组a和环境声音振幅峰值变化表数组b,通过以下规则进行计算,相关步骤流程图可参照图3:

(1)令i=0,k=0;

(2)如果i+k<50,执行步骤(3),否则执行步骤(8);

(3)取a[i]与b[i+k]进行对比,如果a[i]与b[i+k]相等,则执行步骤(4),否则执行步骤(5);

(4)令i=i+1,执行步骤(6);

(5)令k=k+1,i=0,执行步骤(2);

(6)如果i>10,执行步骤(7),否则执行步骤(2);

(7)返回k的值,结束运算;

(8)时间差未找到,结束运算。

若解码声音信号波形振幅峰值数组与环境声音信号波形振幅峰值数组连续相等的振幅峰值的数量大于预设阈值,则判断解码后的声音信号与采集到的环境声音为相同内容。

若确认振幅峰值变化表对应的声音一致,则两段声音信号的时间差为声音传播耗时T3;如图3所述,根据目标规则的计算方式,若计算出来声音时间差,则表示两段振幅峰值变化表来自同一段声音,并将计算得到的时间差定义为T3,用于调整电视画面和外设声音的播放一致;

若确认振幅峰值变化表对应的声音不一致,则表示当前声音环境已经超出系统可识别范围,则声音传播耗时T3=T4*k;如图3所述,根据目标规则的计算方式,若未计算出来声音时间差,则可能存在外设声音播放演示过大,或外设声音太小,或环境噪声太大已超出目标播放设备的可识别范围,系统已不能自动同步电话画面和外设声音,则将原本是计算得到的时间差定义为T3=T4*k,所述T4为系统中技术人员设置的固定值,用以在不能计算出时间差的情况下根据算法对应计算时间差,以调整电视画面和外设声音的播放一致。

步骤S4,根据所述时间差控制电视图像信号延时输出,以达到声画同步。

根据计算到的电视画面播放与传输至外部设备播放的声音时间差,对应计算电视图像信号的延时时间,并控制图像信号在指定内存中缓存延时时间后在电视显示,达到声画同步的效果。

进一步的,所述达到声画同步的具体调整包括:

根据目标码流中图像信号经过解码后在播放设备的屏幕显示的耗时T1,目标码流中声音信号经过解码后播放的耗时T2,目标码流中声音信号传输至外部设备转化后播放与T2的时间差T3,计算图像信号缓冲时间Ts;

所述目标码流中的图像信号、声音信号的解码,图像信号经过解码后在播放设备的屏幕显示的耗时为T1,声音信号经过解码的耗时为T2;在目标码流中,通过解码将码流的图像信号及声音信号分开,所述图像信号解码后在播放设备的屏幕中显示需耗时T1,所述声音信号在解码后在播放设备的音频播放的耗时为T2;计算解码后的声音信号通过传输达到外设和外设转换成声音信号的耗时为T3,则音画同步的标准为T1=T2+T3。目标码流的图像信号与声音信号通过传输至设备中进行显示与播放,根据图像信号在播放设备屏幕显示的耗时T1与声音信号在播放设备的音频播放的耗时T2,计算出来的结果为电视画面及外设声音同步的时间差T1=T2+T3。

若T1<T2+T3,则Ts=T2+T3-T1,将图像信号缓冲Ts后播放;

若得到的屏幕耗时T1小于音频耗时T2并时间差T3,则根据计算方式(T2+T3-T1)计算得到电视画面缓冲时间Ts,例如T1=1S,T2=0.5s,T3=1.5S,则T1<T2+T3,计算得到的电视画面缓冲时间Ts=(0.5+1.5-1),则将电视画面传输至指定的内存空间存储1S,即缓冲1S后播放电视画面;所述指定的内 存空间,为当前播放设备已有的缓冲视频的内存空间。

若T1>T2+T3,则Ts=T1-T2-T3,将图像信号缓冲Ts后播放。

若得到的屏幕耗时T1大于音频耗时T2并时间差T3,则根据计算方式(T1-T2-T3)计算得到电视画面缓冲时间Ts,例如T1=2.5S,T2=0.5s,T3=1.5S,则T1>T2+T3,计算得到的电视画面缓冲时间Ts=(2.5-0.5-1.5),则将电视画面传输至指定的内存空间存储0.5S,即缓冲0.5S后播放电视画面。

本实施例中,通过提取目标码流中解析而来的声音信号的振幅峰值变化图与采集到的环境声音目标时段内的声音振幅峰值变化图,将二者通过目标格式进行计算,得出当前电视画面的显示和外设声音播放存在的时间差,通过对应调整该时间差使电视画面与外设声音达到一致,提升了用户的视听体验,并增强了用户体验。

本发明进一步提供一种电视画面和外设声音同步控制装置。

参照图2,图2为本发明自动同步电视画面和外设声音装置的第一实施例的功能模块示意图。

在一实施例中,所述装置包括:解析模块10、传输播放模块20、采集模块30、转化模块40、获取模块50、对比模块60、计算模块70、判断模块80、确认模块90、调整模块100及操作模块110。

解析模块10,用于将目标码流中的图像信号和声音信号解码,提取解码的声音信号在目标时段内声音振幅峰值;

将目标码流中传输的图像信号和声音信号进行解析,成为图像信号和声音信号,并在已解码声音信号中截取目标时段内声音信号,提取该目标时段内声音信号振幅峰值,并将峰值数据转化为数值组合成峰值数组,得到目标码流中声音信号振幅峰值数组;所述目标码流,为互联网络中传输的一段视频文件,包括图像信号和声音信号;所述目标时段为用户在系统中设置的声音信号收集时长。

传输播放模块20,用于将声音信号传输到外部设备中,并使用外部设备的播放功能进行播放;

将解析完成的完整声音信号传输至外设播放设备中,并经过外部设备的解码功能对声音信号进行解码后播放,所述外部设备为有音频播放功能的硬 件设备。

采集模块30,用于采集环境声音,并提取目标时段内环境声音振幅峰值;

采集环境声音,并在已采集到环境声音中,截取目标时段声音保存,定义为环境声音。将环境声音解码成为环境声音信号,提取该环境声音信号振幅峰值,根据提取到环境声音信号振幅峰值,将峰值数据转化为数值组合成峰值数组,即环境声音振幅峰值数组。所述目标时段为用户在系统中设置的环境声音收集时长;所述环境声音包括步骤S1中目标码流解析出来并播放的声音信号和生活环境声音。

进一步的,在目标码流解析的声音信号和采集的环境声音提取声音振幅峰值之前,还包括:

转化模块40,用于将目标码流解码的声音信号和采集的环境声音转化为波形图,即解码声音波形图及环境声音波形图。所述解码声音波形图及环境声音波形图时长都为目标时段,所述目标时段为用户在系统中设置的声音信号截取时长及环境声音截取时长。

在解码的声音信号波形图及环境声音波形图中,还包括:获取模块50,用于按照目标间隔时间分别从解码声音波形图和环境声音波形图中获取预设次数的振幅峰值后,对应组成解码声音信号波形振幅峰值数组和环境声音信号波形振幅峰值数组;所述目标间隔时间为用户在系统中设置的,提取声音振幅峰值的间隔时间。该间隔时间结合波形图的时长,要使获得的波形振幅峰值的数组中的数据量大于目标数量;例如所述解码声音波形图和环境声音波形图提取声音振幅峰值数组过程为:

在目标时间段为2分钟内的解码声音波形图和环境声音波形图中,每隔2S记录一次声音信号的振幅峰值,并定义目标码流解码声音信号振幅峰值记录为n,码流声音振幅峰值变化率为m,定义下标为x,则mx=(nx–n(x-1))/n(x-1);环境声音振幅峰值记录为p,环境声音振幅峰值变化率为q,定义下标为x,则qx=(px–p(x-1))/p(x-1);重复记录振幅峰值数据50次,即得到50个波形图振幅峰值数组的数值,所述目标数量,为峰值数组的最低数值数量;即组成解码声音信号波形振幅峰值数组a1=[n1,n2,n3,n4,n5……n49,n50];定义解码声音信号波形振幅峰值变化表数组a=[m1,m2,m3,m4,m5……m49,m50],其中

m1=(n2–n1)/n1

m2=(n3–n2)/n2

m3=(n4–n3)/n3

m4=(n5–n4)/n4

……

m48=(n49–n48)/n48

m49=(n50–n49)/n49

组成环境声音信号波形振幅峰值数组b1=[p1,p2,p3,p4,p5……p49,p50];定义环境声音信号波形振幅峰值变化表数组b=[q1,q2,q3,q4,q5……q49,q50],其中

q1=(p2–p1)/p1

q2=(p3–p2)/p2

q3=(p4–p3)/p3

q4=(p5–p4)/p4

……

q48=(p49–p48)/p48

q49=(p50–p49)/p49

对比模块60,用于将提取的解码声音振幅峰值与环境声音振幅峰值进行对比;

计算模块70,用于计算电视画面播放与传输至外部设备播放的声音时间差;

确定当前目标码流解码的声音信号与环境声音解码的声音信号为同一个声音信号,根据已设定计算公式计算二者时间差,所述时间差为:目标码流解码的声音信号通过传输至外部设备中播放后,当前目标播放设备播放目标码流解码的声音信号与传输至该外部设备的目标码流解码的声音信号播放后的时间差T3,并通过该时间差与目标码流中图像信号经过解码在电视屏幕显示的耗时T1,及目标码流中声音信号经过解码在目标播放设备播放的耗时T2,计算电视画面播放与目标码流中声音信号传输至外部设备播放的声音时间差Ts。

进一步的,在对比目标码流声音振幅峰值与环境声音振幅峰值之前,还 包括:

判断模块80,用于判断目标码流解码的声音信号与环境声音解码的声音信号是否为同一内容;通过目标码流解码的声音信号振幅峰值数组与环境声音振幅峰值数组的对比,判断两段声音信号是否为同一段声音信号。

所述计算模块70,还用于目标码流解码的声音信号与环境声音解码的声音信号为同一段声音信号时,根据目标码流解码的声音信号与环境声音解码的声音信号播放的延时,计算出目标码流解码后的声音信号播放与该声音信号传输至外部设备并解码成声音信号播放的声音时间差T3。

进一步的,在判断目标码流解码的声音信号与环境声音解码的声音信号是否为同一内容之前,还包括:

所述对比模块60,还用于将解码声音信号波形振幅峰值数组中第一个振幅峰值与环境声音信号波形振幅峰值数组中第一个振幅峰值进行对比;若相等,则比较两个数组中第二个振幅峰值;若不相等,则解码声音信号波形振幅峰值数组中的第二个振幅峰值与环境声音信号波形振幅峰值数组中第一个振幅峰值对比,直至从解码声音信号波形振幅峰值数组中比对出与环境声音信号波形振幅峰值数组中第一个振幅峰值相等的振幅峰值;

在已经获取到的解码声音信号波形振幅峰值数组和环境声音信号波形振幅峰值数组中,使用解码声音信号波形振幅峰值数组第一个数据与环境声音信号波形振幅峰值数组第一个数据进行比较,相等则依次继续比较两个数组下一个振幅峰值数据;若不相等则重新对比解码声音信号波形振幅峰值数组第一个数据与环境声音信号波形振幅峰值数组第二个数据,依次类推直至相等为止。如果两个数组连续目标数量的峰值数据都相等,则认为这两段声音信号是同样的内容。所述目标数量,为用户在系统中设置的对比声音信号相等的振幅峰值数据数量。并计算目标码流解码的声音信号及环境声音信号的时间差。具体根据以下计算方式对目标码流的振幅峰值变化表和环境声音的振幅峰值变化表进行确认:

定义c[I]表示数组c中下表为i的元素的值;对于步骤S1和步骤S2获取到的目标码流振幅峰值变化表数组a和环境声音振幅峰值变化表数组b,通过以下规则进行计算,相关步骤流程图可参照图3:

(1)令i=0,k=0;

(2)如果i+k<50,执行步骤(3),否则执行步骤(8);

(3)取a[i]与b[i+k]进行对比,如果a[i]与b[i+k]相等,则执行步骤(4),否则执行步骤(5);

(4)令i=i+1,执行步骤(6);

(5)令k=k+1,i=0,执行步骤(2);

(6)如果i>10,执行步骤(7),否则执行步骤(2);

(7)返回k的值,结束运算;

(8)时间差未找到,结束运算。

确认模块90,用于若解码声音信号波形振幅峰值数组与环境声音信号波形振幅峰值数组连续相等的振幅峰值的数量大于预设阈值,则判断解码后的声音信号与采集到的环境声音为相同内容。

若确认振幅峰值变化表对应的声音一致,则两段声音信号的时间差为声音传播耗时T3;如图3所述,根据目标规则的计算方式,若计算出来声音时间差,则表示两段振幅峰值变化表来自同一段声音,并将计算得到的时间差定义为T3,用于调整电视画面和外设声音的播放一致;

若确认振幅峰值变化表对应的声音不一致,则表示当前声音环境已经超出系统可识别范围,则声音传播耗时T3=T4*k;如图3所述,根据目标规则的计算方式,若未计算出来声音时间差,则可能存在外设声音播放演示过大,或外设声音太小,或环境噪声太大已超出目标播放设备的可识别范围,系统已不能自动同步电话画面和外设声音,则将原本是计算得到的时间差定义为T3=T4*k,所述T4为系统中技术人员设置的固定值,用以在不能计算出时间差的情况下根据算法对应计算时间差,以调整电视画面和外设声音的播放一致。

所述计算模块70,还用于计算电视画面播放与传输至外部设备播放的声音时间差;

调整模块100,用于根据时间差,控制电视图像信号延时输出,以达到声画同步。

根据计算到的电视画面播放与传输至外部设备播放的声音时间差,对应计算电视图像信号的延时时间,并控制图像信号在指定内存中缓存延时时间后在电视显示,达到声画同步的效果。

进一步的,所述达到声画同步的具体调整包括:

所述计算模块70,还用于根据目标码流中图像信号经过解码后在播放设备的屏幕显示的耗时T1,目标码流中声音信号经过解码后播放的耗时T2,目标码流中声音信号传输至外部设备转化后播放与T2的时间差T3,计算图像信号缓冲时间Ts;

所述目标码流中的图像信号、声音信号的解码,图像信号经过解码后在播放设备的屏幕显示的耗时为T1,声音信号经过解码的耗时为T2;在目标码流中,通过解码将码流的图像信号以及声音信号分开,所述图像信号解码后在播放设备的屏幕中显示需耗时T1,所述声音信号在解码后在播放设备的音频播放的耗时为T2;计算解码后的声音信号通过传输达到外设和外设转换成声音信号的耗时为T3,则音画同步的标准为T1=T2+T3。目标码流的图像信号与声音信号通过传输至设备中进行显示与播放,根据图像信号在播放设备屏幕显示的耗时T1与声音信号在播放设备的音频播放的耗时T2,计算出来的结果为电视画面及外设声音同步的时间差T1=T2+T3。

操作模块110,用于若T1<T2+T3,则Ts=T2+T3-T1,将图像信号缓冲Ts后播放;

若得到的屏幕耗时T1小于音频耗时T2与时间差T3的和,则根据计算方式(T2+T3-T1)计算得到电视画面缓冲时间Ts,例如T1=1S,T2=0.5S,T3=1.5S,则T1<T2+T3,计算得到的电视画面缓冲时间Ts=(0.5+1.5-1),则将电视画面传输至指定的内存空间存储1S,即缓冲1S后播放电视画面;所述指定的内存空间,为当前播放设备已有的缓冲视频的内存空间。

所述操作模块110,还用于若T1>T2+T3,则Ts=T1-T2-T3,将图像信号缓冲Ts后播放。

若得到的屏幕耗时T1大于音频耗时T2与时间差T3的和,则根据计算方式(T1-T2-T3)计算得到电视画面缓冲时间Ts,例如T1=2.5S,T2=0.5S,T3=1.5S,则T1>T2+T3,计算得到的电视画面缓冲时间Ts=(2.5-0.5-1.5),则将电视画面传输至指定的内存空间存储0.5S,即缓冲0.5S后播放电视画面。

本实施例中,通过提取目标码流中解析而来的声音信号的振幅峰值变化图与采集到的环境声音目标时段内的声音振幅峰值变化图,将二者通过目标 格式进行计算,得出当前电视画面的显示和外设声音播放存在的时间差,通过对应调整该时间差使电视画面与外设声音达到一致,提升了用户的视听体验,并增强了用户体验。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1