数据转换方法和装置与流程

文档序号:12068813阅读:247来源:国知局
数据转换方法和装置与流程

本发明涉及通讯领域,尤其涉及一种数据转换方法和装置。



背景技术:

随着通讯技术的发展,电信网络、有线电视网络和计算机网络相互渗透,互相包容,并慢慢发展成为全世界统一的通信网络,而互联网则为三者中核心的部分。交互式网络电视IPTV机顶盒的出现,使得人们只要通过一根网线就能欣赏到丰富多彩的电视节目。据最新调查显示:我国有多于2000万的老年人有听力障碍,而65岁以上老人中,出现听力下降的人群大约占百分之三十。除了老年人外,我国大约有7.8万的儿童有听力障碍,而每年新出生的婴儿中就会出现2-3万的听力障碍儿童。据统计,我国有语言障碍的人口约为2057万,约占全国人口为百分之二。而目前,机顶盒的设计主要还是针对健全人群,忽略了这些有听力障碍和语言障碍的人群,导致他们无法使用机顶盒、或能使用机顶盒观看的节目,但能使用机顶盒的功能受限,比如仅仅能观看一些服务器上特地为聋哑人准备的节目,或一些有字幕的节目,而不能观看一些没有字幕的节目等。

上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。



技术实现要素:

本发明的主要目的在于提供一种数据转换方法及装置,旨在解决现有的机顶盒不适用有听力障碍和语言障碍的人群的技术问题。

为实现上述目的,本发明提供的一种数据转换方法,包括步骤:

机顶盒获取普通播放场景播放内容的语音,或获取可视通讯场景的手语动作;

读取预设工作模式的配置文件;

根据所述配置文件,以预置启动方式启动所述预设工作模式;

在所述预设工作模式下,将所述播放内容的语音转换成手语动画和/或字幕,或将所述手语动作转换为语音和/或字幕。

优选地,根据所述配置文件,以预置启动方式启动所述预设工作模式的步骤包括:

判断所述预置启动方式的类型;

当所述预置启动方式为默认启动方式,且侦测到所述预设工作模式的当前状态为关闭状态时,根据所述配置文件,以所述默认启动方式启动所述预设工作模式;

当所述预置启动方式为手动启动方式,且侦测到所述预设工作模式的当前状态为关闭状态时,根据所述配置文件,以所述手动启动方式启动所述预设工作模式。

优选地,所述在所述预设工作模式下,将所述播放内容的语音转换成手语动画和/或字幕,或将所述手语动作转换为语音和/或字幕的步骤包括:

在所述预设工作模式下,判断当前工作场景的类型;

若所述当前工作场景为普通播放场景,则确认所述普通播放场景所对应的第一路解码器;

提取所述第一路解码器码流中的音频流,并根据所述音频流从所述播放内容中提取语音;

将所提取的语音通过模式识别在预置的手语-语音库中查找出对应的手语动画,和/或将所提取的语音转换为字幕。

优选地,所述在所述预设工作模式下,判断当前工作场景的类型步骤之后,还包括:

若当前工作场景为可视通讯场景,则获取用户的手语动作,确认所述可视通讯场景所对应的第二路解码器;

对所述第二路解码器码流中的所述手语动作对应的动作图像进行降噪处理,得到降噪后的动作图像;

对所述降噪后的动作图像进行形态学平滑处理,再通过遗传算法得到所述动作关键图像组;

通过所述模式识别在所述预置的手语-语音库中查找与所述动作关键图像 组匹配的手语动画,根据所述匹配的手语动画在所述预置的手语-语音库中选择对应的语音,以将所述手语动作转换成语音和/或字幕。

优选地,所述配置文件包括预设工作模式的当前状态、预设工作模式的启动方式、预设工作模式的工作方式、预设工作模式的字幕显示位置和预设工作模式的手语动画的显示位置。

此外,为实现上述目的,本发明还提供一种数据转换装置,所述数据转换装置包括:

获取模块,用于获取普通播放场景播放内容的语音,或获取可视通讯场景的手语动作;

读取模块,用于读取预设工作模式的配置文件;

启动模块,用于根据所述配置文件,以预置启动方式启动所述预设工作模式;

转换模块,用于在所述预设工作模式下,将所述播放内容的语音转换成手语动画和/或字幕,或将所述手语动作转换为语音和/或字幕。

优选地,所述启动模块包括:

第一判断单元,用于判断所述预置启动方式的类型;

启动单元,用于当所述预置启动方式为默认启动方式,且侦测到所述预设工作模式的当前状态为关闭状态时,根据所述配置文件,以所述默认启动方式启动所述预设工作模式;

关闭单元,用于当所述预置启动方式为手动启动方式,且侦测到所述预设工作模式的当前状态为关闭状态时,根据所述配置文件,以所述手动启动方式启动所述预设工作模式。

优选地,所述转换模块包括:

第二判断单元,用于在所述预设工作模式下,判断当前工作场景的类型;

第一确认单元,用于若所述当前工作场景为普通播放场景,则确认所述普通播放场景所对应的第一路解码器;

提取单元,用于提取所述第一路解码器码流中的音频流,并根据所述音频流从所述播放内容中提取语音;

第一转换单元,用于将所提取的语音通过模式识别在预置的手语-语音库 中查找出对应的手语动画,和/或将所提取的语音转换为字幕。

优选地,所述转换模块还包括:

第二确认单元,用于若当前工作场景为可视通讯场景,则获取用户的手语动作,确认所述可视通讯场景所对应的第二路解码器;

降噪单元,用于对所述第二路解码器码流中的所述手语动作对应的动作图像进行降噪处理,得到降噪后的动作图像;

处理单元,用于对所述降噪后的动作图像进行形态学平滑处理,再通过遗传算法得到所述动作关键图像组;

第二转换单元,用于通过所述模式识别在所述预置的手语-语音库中查找与所述动作关键图像组匹配的手语动画,根据所述匹配的手语动画在所述预置的手语-语音库中选择对应的语音,以将所述手语动作转换成语音和/或字幕。

优选地,所述配置文件包括预设工作模式的当前状态、预设工作模式的启动方式、预设工作模式的工作方式、预设工作模式的字幕显示位置和预设工作模式的手语动画的显示位置。

本发明通过为机顶盒增加一种适用于有听力障碍或语言障碍的用户的预设工作模式,在用户开启所述预设工作模式时,机顶盒将当前播放内容的语音转换成手语动画和/或字幕,或将获取的手语动作转换为语音和/或字幕。使有听力障碍或语言障碍的用户也能观看当前播放的内容,提高了有听力障碍或语言障碍的用户的体验效果。

附图说明

图1为本发明数据转换方法较佳实施例的流程示意图;

图2为本发明实施例中根据所述配置文件,以预置启动方式启动所述预设工作模式的一种流程示意图;

图3为本发明实施例中在所述预设工作模式下,将所述播放内容的语音转换成手语动画和/或字幕,或将所述手语动作转换为语音和/或字幕的一种流程示意图;

图4为本发明数据转换装置较佳实施例的功能模块示意图;

图5为本发明实施例中启动模块的一种功能模块示意图;

图6为本发明实施例中转换模块的一种功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

本发明提供一种数据转换方法。

参照图1,图1为本发明数据转换方法第一实施例的流程示意图。

在本实施例中,所述数据转换方法包括:

步骤S10,机顶盒获取普通播放场景播放内容的语音,或获取可视通讯场景的手语动作;

步骤S20,读取预设工作模式的配置文件;

若机顶盒工作在普通播放场景,则获取所述普通播放场景所播放内容的语音,若所述机顶盒是工作在可视通讯场景,则通过其摄像头获取所述可视通讯场景中用户的手语动作。所述机顶盒的配置分区中存储有配置文件,所述配置文件存储了所述机顶盒的基本配置信息,所述配置文件包括主页地址、所述机顶盒的接入方式、各种认证信息等。其中,所述配置文件包括了所述机顶盒预设工作模式的配置文件。所述预设工作模式为适用于有听力障碍和/或有语言障碍的用户的工作模式,即能将所述播放内容的语音转换成手语动画和/或字幕,或将所述手语动作转换为语音和/或字幕的工作模式。当所述机顶盒上电之后,读取所述预设工作模式的配置文件。其中,所述预设工作模式的配置文件包括预设工作模式的当前状态、预设工作模式的启动方式、预设工作模式的工作方式、预设工作模式的字幕显示位置和预设工作模式的手语动画的显示位置。即所述机顶盒读取所述预设工作模式的当前状态、启动方式、工作方式和字幕和/或手语动画的显示位置。如当所述预设工作模式的当前状态为开启状态时,所述机顶盒将所述预设工作模式的当前状态的配置项的值置为1,当所述预设工作模式的当前状态为关闭状态时,所述机顶盒将 所述预设工作模式的当前状态的配置项的值置为0;所述机顶盒根据用户在设置界面选择的启动方式启动所述预设工作模式,并将所述启动方式保存在配置项中,当所述机顶盒侦测到所述用户选择以默认启动方式启动所述预设工作模式时,将所述启动方式的配置项的值置为1,当所述机顶盒侦测到所述用户选择以手动启动方式启动所述预设工作模式时,将所述启动方式的配置项的值置为0;所述机顶盒侦测所述用户在所述设置界面选择所述预设工作模式的工作方式,当所述机顶盒侦测到所述用户选择所述预设工作模式以字幕方式工作时,将所述工作方式的配置项的值置为1,当所述机顶盒侦测到所述用户选择所述预设工作模式以手语动画方式工作时,将所述工作方式的配置项的值置为2,当所述机顶盒侦测到所述用户选择所述预设工作模式以手语动画方式和字幕方式工作时,将所述工作方式的配置项的值置为3;所述机顶盒侦测到所述用户设置所述预设工作模式的字幕显示位置的坐标和手语动画显示位置的坐标。如所述字幕和/或所述手语动画可以显示在所述机顶盒屏幕的左上角和/或右下角。

进一步地,所述机顶盒根据所述用户的操作设置所述预设工作模式。如所述机顶盒根据所述用户在所述预设工作模式的设置菜单中的操作对所述预设工作模式的配置文件中的启动方式和工作方式等进行设置。当所述机顶盒侦测到所述用户选择所述预设工作模式以字幕方式工作时,输出提示信息,提示所述用户选择字幕在所述屏幕上的显示位置;当侦测到所述用户选择所述预设工作模式以手语动画方式工作时,输出提示信息,提示所述用户选择所述手语动画在所述屏幕上的显示位置,当侦测到所述用户选择所述预设工作模式以手语动画方式和字幕方式工作时,输出提示信息,提示所述用户选择所述手语动画和所述字幕在所述屏幕上的显示位置。

步骤S30,根据所述配置文件,以预置启动方式启动所述预设工作模式;

所述机顶盒根据所述配置文件,以预置启动方式启动所述预设工作模式。其中,所述预置启动方式包括默认启动方式和手动启动方式。所述机顶盒根据所述用户所预先设置的启动方式进入下级菜单的设计界面。当所述用户选择手动启动方式启动所述预设工作模式时,所述机顶盒弹出下级菜单界面,以供所述用户在所述下级菜单界面选择启动或者关闭所述预设工作模式。当所述机顶盒侦测到启动所述预设工作模式的指令时,若所述预设工作模式未 启动,则启动所述预设工作模式,且当所述机顶盒关闭之后,重新启动时,所述预设工作模式不会自动启动,需要所述用户手动启动所述预设工作模式。当所述机顶盒侦测到关闭所述预设工作模式的指令时,若所述预设工作模式处于启动状态,则关闭所述预设工作模式。当所述机顶盒关闭重新启动之后,根据所述用户所选择的启动方式来判断是否启动所述预设工作模式,若所述机顶盒侦测到所述当前启动所述预设工作模式的方式为手动启动方式时,不启动所述预设工作模式,若侦测到所述当前启动所述预设工作模式的方式为默认启动方式时,启动所述预设工作模式。

当所述机顶盒侦测到所述用户选择默认启动方式启动所述预设工作模式时,若所述预设工作模式未启动,则启动所述预设工作模式,若所述预设工作模式已启动,则不做任何操作,当所述机顶盒重新启动之后,会自动启动所述预设工作模式。

步骤S40,在所述预设工作模式下,将所述播放内容的语音转换成手语动画和/或字幕,或将所述手语动作转换为语音和/或字幕。

当所述机顶盒在所述预设工作模式下,所述机顶盒根据所述预设工作模式的工作方式执行对应的功能。如当所述预设工作模式的工作方式是字幕方式时,所述机顶盒将所述播放内容的语音转换成字幕,并根据预先设置的字幕显示位置显示在所述屏幕上,如显示在所述屏幕的左上角。当所述预设工作模式的工作方式是手语动画方式时,所述机顶盒将所述播放内容的语音转换成手语动画,并根据预先设置的手语动画显示位置显示在所述屏幕上。当所述预设工作模式的工作方式是手语动画方式和字幕方式时,所述机顶盒将所述播放内容的语音转换成手语动画和字幕,并根据预先设置的手语动画和字幕的显示位置对应显示在所述屏幕上。

当所述机顶盒通过其内置的摄像头获取到所述用户的手语动作时,根据所述用户的选择,将所述用户的手语动作转换为语音或者字幕,或者转换为语音和字幕,并根据预先设置好的显示位置对应显示在所述屏幕上。

本实施例通过为机顶盒增加一种适用于有听力障碍或语言障碍的用户的预设工作模式,在用户开启所述预设工作模式时,机顶盒将当前播放内容的语音转换成手语动画和/或字幕,或将获取的手语动作转换为语音和/或字幕。使有听力障碍或语言障碍的用户也能观看当前播放的内容,提高了有听力障 碍或语言障碍的用户的体验效果。

参照图2,图2为本发明实施例中根据所述配置文件,以预置启动方式启动所述预设工作模式的一种流程示意图。

在本实施例中,步骤S30包括:

步骤S31,判断所述预置启动方式的类型;

步骤S32,当所述预置启动方式为默认启动方式,且侦测到所述预设工作模式的当前状态为关闭状态时,根据所述配置文件,以所述默认启动方式启动所述预设工作模式;

所述机顶盒判断所述预置启动方式的类型,即判断所述用户设置的所述预设工作模式的启动方式。当所述机顶盒判定所述预设工作模式的启动方式为默认启动方式时,当所述机顶盒上电后,若侦测到所述预设工作模式的当前状态为关闭状态,则根据所述预设工作模式的配置文件,以所述默认启动方式启动所述预设工作模式,并将所述预设工作模式的工作方式的配置项的值修改为1。

步骤S33,当所述预置启动方式为手动启动方式,且侦测到所述预设工作模式的当前状态为关闭状态时,根据所述配置文件,以所述手动启动方式启动所述预设工作模式。

当所述机顶盒判定所述预设工作模式的启动方式为手动启动方式时,当所述机顶盒上电后,若侦测到所述预设工作模式的当前状态为关闭状态,则根据所述预设工作模式的配置文件,以所述手动启动方式启动所述预设工作模式,并将所述预设工作模式的工作方式的配置项的值修改为1;若侦测到所述预设工作模式的当前状态为开启状态,则关闭所述预设工作模式,并将所述预设工作模式的工作方式的配置项的值修改为0。

参照图3,图3为本发明实施例中在所述预设工作模式下,将所述播放内容的语音转换成手语动画和/或字幕,或将所述手语动作转换为语音和/或字幕的一种流程示意图。

在本实施例中,步骤S40包括:

步骤S41,在所述预设工作模式下,判断当前工作场景的类型;

步骤S42,若所述当前工作场景为普通播放场景,则确认所述普通播放场景所对应的第一路解码器;

步骤S43,提取所述第一路解码器码流中的音频流,并根据所述音频流从所述播放内容中提取语音;

步骤S44,将所提取的语音通过模式识别在预置的手语-语音库中查找出对应的手语动画,和/或将所提取的语音转换为字幕。

所述机顶盒在所述预设工作模式下,判断当前工作场景的类型。当所述机顶盒判定当前的工作场景为普通播放场景时,确认所述普通播放场景的当前播放的内容所对应的第一路解码器,分离所述第一路解码器码流中的音频流,再从所述音频流中提取出关键的语音。当所述预设工作模式的工作方式为字幕方式时,所述机顶盒将所提取的语音转换为字幕,并输出显示在所述屏幕预先设置的字幕显示位置上;当所述预设工作模式的工作方式为手语动画方式时,所述机顶盒通过模式识别在预置的手语-语音库中查找与所提取的语音对应的手语动画,并输出显示在所述屏幕预先设置的手语动画显示位置上;当所述预设工作模式的工作方式为手语动画方式和字幕方式时,所述机顶盒通过模式识别在预置的手语-语音库中查找与所提取的语音对应的语音,选取出与所述语音对应的手语动画,并将所述语音转化成字幕,将所述手语动画和所述字幕同步输出显示在所述屏幕预先设置的手语动画显示位置和字幕显示位置上。所述模式识别是通过计算机用数学技术方法来研究模式的自动处理和判读,是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。

步骤S45,若当前工作场景为可视通讯场景,则获取用户的手语动作,确认所述可视通讯场景所对应的第二路解码器;

步骤S46,对所述第二路解码器码流中的所述手语动作对应的动作图像进行降噪处理,得到降噪后的动作图像;

步骤S47,对所述降噪后的动作图像进行形态学平滑处理,再通过遗传算法得到所述动作关键图像组;

步骤S48,通过所述模式识别在所述预置的手语-语音库中查找与所述动 作关键图像组匹配的手语动画,根据所述匹配的手语动画在所述预置的手语-语音库中选择对应的语音,以将所述手语动作转换成语音和/或字幕。

当所述机顶盒判定当前工作场景为可视通讯场景时,通过其内置的摄像头获取所述用户的手语动作,并确认区分录制码流和播放码流这两路码流,所述机顶盒通过这两路码流所使用的不同解码器来区分录制码流和播放码流。一般情况下,所述机顶盒使用第一路解码器处理的码流为播放码流,所述内置摄像头使用第二路解码器,即所述第二路解码器处理的为录制码流。所述机顶盒分析所述第二路解码器的码流,对所述第二路解码器码流中的所述手语动作所对应的动作图像进行降噪处理,得到降噪后的动作图像。所述机顶盒对所述降噪后的动作图像进行形态学平滑处理,再通过遗传算法进行结构元素选取,以对复杂变化的动作图像实现良好的滤波性能和稳健的适应能力,解决知识获取和知识精炼的机器学习问题,并最终形成可以对比的关键图像组。所述机顶盒通过所述模式识别在所述预置的手语-语音库中查找与所述动作关键图像组匹配的手语动画,根据所述匹配的手语动画在所述预置的手语-语音库中选择对应的语音。所述机顶盒将所述语音转换为音频流和/或字幕,对应加入第二路解码器中,在所述第二路解码器中经过延迟处理,将所述音频流和/或字幕传送至与所述机顶盒进行可视通讯的终端。进一步地,所述机顶盒会将与所述及机顶盒进行可视通讯的终端发送的视频中的语音与所述预置的手语-语音库中的语音进行对比,在所述的手语-语音库中找到与所述视频中的语音对应的手语动画和/或对应的字幕,并在输出显示在所述屏幕预先设置的手语动画显示位置和/或字幕显示位置上。所述遗传算法(Genetic Algorithm)是一种借鉴生物界的进化规律(适者生存,优胜劣汰的遗传机制)演化而来的随机化搜索方法。所述遗传算法的主要特点是直接对结构对象进行操作,不存在求导和函数连续性的限定,具有内在的隐并行性和更好的全局寻优能力,通过采用概率化的寻优方法,能自动获取和指导优化的搜索空间,自适应地调整搜索方向,不需要确定的规则。

本实施例通过在所述预设工作模式下,将当前播放内容的语音转换成手语动画和/或字幕,或将获取的的手语动作转换为语音和/或字幕,使有听力障碍和语言障碍的用户也可以欣赏机顶盒播放的节目,也使有听力障碍和语言障碍的用户可以通过机顶盒与不懂手语的用户或者同样有听力障碍和语言障 碍的用户进行可视通讯。

本发明进一步提供一种数据转换装置。

参照图4,图4为本发明数据转换装置较佳实施例的功能模块示意图。

在本实施例中,所述数据转换装置包括:

获取模块10,用于获取普通播放场景播放内容的语音,或获取可视通讯场景的手语动作;

读取模块20,用于读取预设工作模式的配置文件;

若机顶盒工作在普通播放场景,则获取所述普通播放场景所播放内容的语音,若所述机顶盒是工作在可视通讯场景,则通过其摄像头获取所述可视通讯场景中用户的手语动作。所述机顶盒的配置分区中存储有配置文件,所述配置文件存储了所述机顶盒的基本配置信息,所述配置文件包括主页地址、所述机顶盒的接入方式、各种认证信息等。其中,所述配置文件包括了所述机顶盒预设工作模式的配置文件。所述预设工作模式为适用于有听力障碍和/或有语言障碍的用户的工作模式,即能将所述播放内容的语音转换成手语动画和/或字幕,或将所述手语动作转换为语音和/或字幕的工作模式。当所述机顶盒上电之后,读取所述预设工作模式的配置文件。其中,所述预设工作模式的配置文件包括预设工作模式的当前状态、预设工作模式的启动方式、预设工作模式的工作方式、预设工作模式的字幕显示位置和预设工作模式的手语动画的显示位置。即所述机顶盒读取所述预设工作模式的当前状态、启动方式、工作方式和字幕和/或手语动画的显示位置。如当所述预设工作模式的当前状态为开启状态时,所述机顶盒将所述预设工作模式的当前状态的配置项的值置为1,当所述预设工作模式的当前状态为关闭状态时,所述机顶盒将所述预设工作模式的当前状态的配置项的值置为0;所述机顶盒根据用户在设置界面选择的启动方式启动所述预设工作模式,并将所述启动方式保存在配置项中,当所述机顶盒侦测到所述用户选择以默认启动方式启动所述预设工作模式时,将所述启动方式的配置项的值置为1,当所述机顶盒侦测到所述用户选择以手动启动方式启动所述预设工作模式时,将所述启动方式的配置项的值置为0;所述机顶盒侦测所述用户在所述设置界面选择所述预设工作模式的工作方式,当所述机顶盒侦测到所述用户选择所述预设工作模式以字幕方 式工作时,将所述工作方式的配置项的值置为1,当所述机顶盒侦测到所述用户选择所述预设工作模式以手语动画方式工作时,将所述工作方式的配置项的值置为2,当所述机顶盒侦测到所述用户选择所述预设工作模式以手语动画方式和字幕方式工作时,将所述工作方式的配置项的值置为3;所述机顶盒侦测到所述用户设置所述预设工作模式的字幕显示位置的坐标和手语动画显示位置的坐标。如所述字幕和/或所述手语动画可以显示在所述机顶盒屏幕的左上角和/或右下角。

进一步地,所述机顶盒根据所述用户的操作设置所述预设工作模式。如所述机顶盒根据所述用户在所述预设工作模式的设置菜单中的操作对所述预设工作模式的配置文件中的启动方式和工作方式等进行设置。当所述机顶盒侦测到所述用户选择所述预设工作模式以字幕方式工作时,输出提示信息,提示所述用户选择字幕在所述屏幕上的显示位置;当侦测到所述用户选择所述预设工作模式以手语动画方式工作时,输出提示信息,提示所述用户选择所述手语动画在所述屏幕上的显示位置,当侦测到所述用户选择所述预设工作模式以手语动画方式和字幕方式工作时,输出提示信息,提示所述用户选择所述手语动画和所述字幕在所述屏幕上的显示位置。

启动模块30,用于根据所述配置文件,以预置启动方式启动所述预设工作模式;

所述机顶盒根据所述配置文件,以预置启动方式启动所述预设工作模式。其中,所述预置启动方式包括默认启动方式和手动启动方式。所述机顶盒根据所述用户所预先设置的启动方式进入下级菜单的设计界面。当所述用户选择手动启动方式启动所述预设工作模式时,所述机顶盒弹出下级菜单界面,以供所述用户在所述下级菜单界面选择启动或者关闭所述预设工作模式。当所述机顶盒侦测到启动所述预设工作模式的指令时,若所述预设工作模式未启动,则启动所述预设工作模式,且当所述机顶盒关闭之后,重新启动时,所述预设工作模式不会自动启动,需要所述用户手动启动所述预设工作模式。当所述机顶盒侦测到关闭所述预设工作模式的指令时,若所述预设工作模式处于启动状态,则关闭所述预设工作模式。当所述机顶盒关闭重新启动之后,根据所述用户所选择的启动方式来判断是否启动所述预设工作模式,若所述机顶盒侦测到所述当前启动所述预设工作模式的方式为手动启动方式时,不 启动所述预设工作模式,若侦测到所述当前启动所述预设工作模式的方式为默认启动方式时,启动所述预设工作模式。

当所述机顶盒侦测到所述用户选择默认启动方式启动所述预设工作模式时,若所述预设工作模式未启动,则启动所述预设工作模式,若所述预设工作模式已启动,则不做任何操作,当所述机顶盒重新启动之后,会自动启动所述预设工作模式。

转换模块40,用于在所述预设工作模式下,将所述播放内容的语音转换成手语动画和/或字幕,或将所述手语动作转换为语音和/或字幕。

当所述机顶盒在所述预设工作模式下,所述机顶盒根据所述预设工作模式的工作方式执行对应的功能。如当所述预设工作模式的工作方式是字幕方式时,所述机顶盒将所述播放内容的语音转换成字幕,并根据预先设置的字幕显示位置显示在所述屏幕上,如显示在所述屏幕的左上角。当所述预设工作模式的工作方式是手语动画方式时,所述机顶盒将所述播放内容的语音转换成手语动画,并根据预先设置的手语动画显示位置显示在所述屏幕上。当所述预设工作模式的工作方式是手语动画方式和字幕方式时,所述机顶盒将所述播放内容的语音转换成手语动画和字幕,并根据预先设置的手语动画和字幕的显示位置对应显示在所述屏幕上。

当所述机顶盒通过其内置的摄像头获取到所述用户的手语动作时,根据所述用户的选择,将所述用户的手语动作转换为语音或者字幕,或者转换为语音和字幕,并根据预先设置好的显示位置对应显示在所述屏幕上。

本实施例通过为机顶盒增加一种适用于有听力障碍或语言障碍的用户的预设工作模式,在用户开启所述预设工作模式时,机顶盒将当前播放内容的语音转换成手语动画和/或字幕,或将获取的手语动作转换为语音和/或字幕。使有听力障碍或语言障碍的用户也能观看当前播放的内容,提高了有听力障碍或语言障碍的用户的体验效果。

参照图5,图5为本发明实施例中启动模块的一种细化功能模块示意图。

在本实施例中,所述启动模块30包括:

第一判断单元31,用于判断所述预置启动方式的类型;

启动单元32,用于当所述预置启动方式为默认启动方式,且侦测到所述 预设工作模式的当前状态为关闭状态时,根据所述配置文件,以所述默认启动方式启动所述预设工作模式;

所述机顶盒判断所述预置启动方式的类型,即判断所述用户设置的所述预设工作模式的启动方式。当所述机顶盒判定所述预设工作模式的启动方式为默认启动方式时,当所述机顶盒上电后,若侦测到所述预设工作模式的当前状态为关闭状态,则根据所述预设工作模式的配置文件,以所述默认启动方式启动所述预设工作模式,并将所述预设工作模式的工作方式的配置项的值修改为1。

关闭单元33,用于当所述预置启动方式为手动启动方式,且侦测到所述预设工作模式的当前状态为关闭状态时,根据所述配置文件,以所述手动启动方式启动所述预设工作模式。

当所述机顶盒判定所述预设工作模式的启动方式为手动启动方式时,当所述机顶盒上电后,若侦测到所述预设工作模式的当前状态为关闭状态,则根据所述预设工作模式的配置文件,以所述手动启动方式启动所述预设工作模式,并将所述预设工作模式的工作方式的配置项的值修改为1;若侦测到所述预设工作模式的当前状态为开启状态,则关闭所述预设工作模式,并将所述预设工作模式的工作方式的配置项的值修改为0。

参照图6,图6为本发明实施例中转换模块的一种细化功能模块示意图。

在本实施例中,所述转换模块40包括:

第二判断单元41,用于在所述预设工作模式下,判断当前工作场景的类型;

第一确认单元42,用于若所述当前工作场景为普通播放场景,则确认所述普通播放场景所对应的第一路解码器;

提取单元43,用于提取所述第一路解码器码流中的音频流,并根据所述音频流从所述播放内容中提取语音;

第一转换单元44,用于将所提取的语音通过模式识别在预置的手语-语音库中查找出对应的手语动画,和/或将所提取的语音转换为字幕。

所述机顶盒在所述预设工作模式下,判断当前工作场景的类型。当所述 机顶盒判定当前的工作场景为普通播放场景时,确认所述普通播放场景的当前播放的内容所对应的第一路解码器,分离所述第一路解码器码流中的音频流,再从所述音频流中提取出关键的语音。当所述预设工作模式的工作方式为字幕方式时,所述机顶盒将所提取的语音转换为字幕,并输出显示在所述屏幕预先设置的字幕显示位置上;当所述预设工作模式的工作方式为手语动画方式时,所述机顶盒通过模式识别在预置的手语-语音库中查找与所提取的语音对应的手语动画,并输出显示在所述屏幕预先设置的手语动画显示位置上;当所述预设工作模式的工作方式为手语动画方式和字幕方式时,所述机顶盒通过模式识别在预置的手语-语音库中查找与所提取的语音对应的语音,选取出与所述语音对应的手语动画,并将所述语音转化成字幕,将所述手语动画和所述字幕同步输出显示在所述屏幕预先设置的手语动画显示位置和字幕显示位置上。所述模式识别是通过计算机用数学技术方法来研究模式的自动处理和判读,是指对表征事物或现象的各种形式的(数值的、文字的和逻辑关系的)信息进行处理和分析,以对事物或现象进行描述、辨认、分类和解释的过程,是信息科学和人工智能的重要组成部分。

第二确认单元45,用于若当前工作场景为可视通讯场景,则获取用户的手语动作,确认所述可视通讯场景所对应的第二路解码器;

降噪单元46,用于对所述第二路解码器码流中的所述手语动作对应的动作图像进行降噪处理,得到降噪后的动作图像;

处理单元47,用于对所述降噪后的动作图像进行形态学平滑处理,再通过遗传算法得到所述动作关键图像组;

第二转换单元48,用于通过所述模式识别在所述预置的手语-语音库中查找与所述动作关键图像组匹配的手语动画,根据所述匹配的手语动画在所述预置的手语-语音库中选择对应的语音,以将所述手语动作转换成语音和/或字幕。

当所述机顶盒判定当前工作场景为可视通讯场景时,通过其内置的摄像头获取所述用户的手语动作,并确认区分录制码流和播放码流这两路码流,所述机顶盒通过这两路码流所使用的不同解码器来区分录制码流和播放码流。一般情况下,所述机顶盒使用第一路解码器处理的码流为播放码流,所述内置摄像头使用第二路解码器,即所述第二路解码器处理的为录制码流。 所述机顶盒分析所述第二路解码器的码流,对所述第二路解码器码流中的所述手语动作所对应的动作图像进行降噪处理,得到降噪后的动作图像。所述机顶盒对所述降噪后的动作图像进行形态学平滑处理,再通过遗传算法进行结构元素选取,以对复杂变化的动作图像实现良好的滤波性能和稳健的适应能力,解决知识获取和知识精炼的机器学习问题,并最终形成可以对比的关键图像组。所述机顶盒通过所述模式识别在所述预置的手语-语音库中查找与所述动作关键图像组匹配的手语动画,根据所述匹配的手语动画在所述预置的手语-语音库中选择对应的语音。所述机顶盒将所述语音转换为音频流和/或字幕,对应加入第二路解码器中,在所述第二路解码器中经过延迟处理,将所述音频流和/或字幕传送至与所述机顶盒进行可视通讯的终端。进一步地,所述机顶盒会将与所述及机顶盒进行可视通讯的终端发送的视频中的语音与所述预置的手语-语音库中的语音进行对比,在所述的手语-语音库中找到与所述视频中的语音对应的手语动画和/或对应的字幕,并在输出显示在所述屏幕预先设置的手语动画显示位置和/或字幕显示位置上。所述遗传算法(Genetic Algorithm)是一种借鉴生物界的进化规律(适者生存,优胜劣汰的遗传机制)演化而来的随机化搜索方法。所述遗传算法的主要特点是直接对结构对象进行操作,不存在求导和函数连续性的限定,具有内在的隐并行性和更好的全局寻优能力,通过采用概率化的寻优方法,能自动获取和指导优化的搜索空间,自适应地调整搜索方向,不需要确定的规则。

本实施例通过在所述预设工作模式下,将当前播放内容的语音转换成手语动画和/或字幕,或将获取的的手语动作转换为语音和/或字幕,使有听力障碍和语言障碍的用户也可以欣赏机顶盒播放的节目,也使有听力障碍和语言障碍的用户可以通过机顶盒与不懂手语的用户或者同样有听力障碍和语言障碍的用户进行可视通讯。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、 方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1