专利名称：从数字电视节目中自动抽取图像的系统及其应用的制作方法
技术领域：
本发明涉及数字电视技术领域，特别是涉及ー种从数字电视节目中自动抽取图像的系统及其应用。
背景技术：
视频可以理解为在时间上连续的图像序列，通过调查和试验发现，在对数字电视的视频内容进行理解时，并非所有的图像都起着同样重要的作用。真正对数字电视视频的理解起到重要作用的图像有以下几类 有对应字幕的帧； 发生场景切换的帧； 有人脸出现的帧；·有人物对象出现的帧； 有一定运动幅度的帧； 有对应语音出现的帧。上述图像可以作为判断是否为对数字电视视频的理解起到重要作用图像的条件，可以根据用户的需求加以组合，最終定义出“关键帧”，该“关键帧”至少符合其中ー个条件或全部条件。因此，如何从数字电视的视频信号中自动抽取出对内容的理解有重要意义的“关键帧”，正是本发明和业内人士关注的问题。
发明内容
本发明要解决的技术问题是提供ー种从数字电视节目中自动抽取图像的系统，能够从数字电视的视频信号中自动抽取出对内容的理解有代表意义的“关键帧”，结构简单，容易实现。为解决上述技术问题，本发明的从数字电视节目中自动抽取图像的系统，包括数字电视接收终端，该数字电视接收终端包括解复用模块、视频解码模块、字幕解析模块、音频解码模块、视频显示模块和音频显示模块；其中，还包括图像判别模块，与所述视频解码模块相连接，用于接收视频解码模块的输出帧；通过场景切换检测、人脸检测、运动检测和人物对象检测算法分析视频数据；字幕判别模块，与所述字幕解析模块相连接，接收字幕解析模块的解析结果，确定在当前时刻字幕是否存在；语音判别模块，与所述音频解码模块相连接，接收音频解码模块输出的音频数据，判断当前收到的音频数据是否是话音；关键视频帧和话音提取模块，与所述图像判别模块、字幕判别模块、语音判别模块、视频解码模块和音频解码模块相连接；接收视频数据分析检测的结果、字幕判别的结果和话音判别的结果，以及音频和视频数据，判断接收到的当前视频是否有字幕，接收到的当前视频是否有对应话音，根据用户的设置和视频数据分析检测的结果、字幕判别的结果和话音判别的结果提取出关键视频帧和相关话音。采用本发明的从数字电视节目中自动抽取图像的系统，可以从数字电视的视频信号中自动抽取出对内容的理解有代表意义的“关键帧”，对这些关键帧可以降低分辨率并进行特殊效果处理，如“油画”、“卡通”等效果；再配以字幕和语音，在数字电视的基本内容可以理解的前提下极大地减少数据量并増加趣味性，最終的用途包括 配合字幕和语音制作成电子书籍； 配合字幕打印并制作成卡通画； 配合字幕并和语音复用后制作成小分辨率，定期显示图像的视频文件在移动设备上播放。
下面结合附图与具体实施方式
对本发明作进ー步详细的说明图I是本发明的结构原理框图；图2-图7是采用本发明进行图像处理前后的效果对比图。
具体实施例方式參见图I所示，本发明的从数字电视节目中自动抽取图像的系统包括，数字电视接收终端以及图像判别模块、字幕判别模块、语音判别模块和关键视频帧和话音提取模块。所述数字电视接收终端是现有的标准框架，其中不包括信道调谐、解调制部分。所述数字电视接收终端包括解复用模块、视频解码模块、字幕解析模块、音频解码模块、视频显示模块和音频显示模块。所述解复用模块,用于解析系统层如TS流(MPEG2 System Layer),分离出音频基本流、视频基本流和字幕信息，分别输入到音频解码器、视频解码器和字幕解析模块。所述视频解码模块，与解复用模块相连接，用于将视频压缩流解码后输出用于后处理或播放的视频数据。所述字幕解析模块，与解复用模块相连接，用于将字幕信息转换成可以显示的形式。所述音频解码模块，与解复用模块连接，用于将音频压缩流解码后输出用于后处理或播放的音频数据。所述视频显示模块，与视频解码模块和字幕解析模块相连接，用于将视频信息和字幕信息显示给用户。所述音频显示模块，与音频解码模块相连接，用于音频信息的播放。所述图像判别模块，与所述视频解码模块连接，用于接收视频解码模块的输出帧。通过场景切换检测、人脸检测、运动检测和人物对象检测等算法分析视频数据，并将分析检测的结果送至“关键视频帧和话音提取模块”。所述图像判别模块能够对场景切换检测、人脸检测、运动检测和人物对象检测算法进行任意组合(即实现其中的ー种或几种算法)，并至少实现其中ー种算法、但并不要求实现全部算法，具体的组合应根据实际需要进行确定。所述字幕判别模块，与所述字幕解析模块连接，接收字幕解析模块的解析结果，确定在当前时刻字幕是否存在，并将结果送至“关键视频和话音提取模块”。所述语音判别模块，与所述音频解码模块相连接，接收音频解码模块输出的音频数据，判断当前收到的音频数据是否是话音，并将结果送至“关键视频和话音提取模块”。关键视频帧和话音提取模块，与所述图像判别模块、字幕判别模块、语音判别模块、视频解码模块和音频解码模块相连接；接收视频数据分析检测的结果、字幕判别的结果和话音判别的结果，以及音频和视频数据，判断接收到的当前视频是否有字幕，接收到的当前视频是否有对应话音，根据用户的设置和视频数据分析检测的结果、字幕判别的结果和话音判别的结果提取出关键视频帧和相关话音。图像卡通画处理模块，与所述关键视频帧和话音提取模块相连接，接收提取出的“关键帧”，将“关键帧”以图像的形式呈现。采用如图像的边界提取，油画效果处理等常用的图像特效处理算法对“关键帧”进行特效处理。在保持“关键帧”基本内容的前提下増加 图像的趣味性。从而为电子书籍制作和卡通画打印模块提供素材。电子书籍制作模块，与所述图像卡通画处理模块相连接，将图像卡通画处理模块处理后的“关键帧”制作成电子书籍。卡通画打印模块，与所述图像卡通画处理模块相连接，将图像卡通画处理模块处理后的“关键帧”打印成卡通画。图像音频编码复用模块，与所述图像卡通画处理模块及关键视频帧和话音提取模块相连接，将图像卡通画处理模块处理后的“关键帧”制作成小分辨率，定期显示图像的视频文件。采用本发明的系统，提取出“关键帧”并进行特殊效果处理后，能够达到“油画”、“卡通”等效果。图2-图7是采用本发明最终实现的效果对比实例。图2(a)-图7a)是原始的视频图像，图2(b)-图4(b)是进行特殊效果处理后对应的具有带边界的油画效果图像；图5(b)是进行特殊效果处理后对应的彩色粗边界提出的图像；图6(b)是进行特殊效果处理后对应的彩色细边界提出的图像；图7(b)是进行特殊效果处理后对应的素描效果图像。以上通过具体实施方式
和实施例对本发明进行了详细的说明，但这些并非构成对本发明的限制。在不脱离本发明原理的情况下，本领域的技术人员还可做出许多变形和改迸，这些也应视为本发明的保护范围。
权利要求
1.一种从数字电视节目中自动抽取图像的系统，包括，数字电视接收终端，该数字电视接收终端包括解复用模块、视频解码模块、字幕解析模块、音频解码模块、视频显示模块和音频显示模块；其特征在于，还包括 图像判别模块，与所述视频解码模块相连接，用于接收视频解码模块的输出帧；通过场景切换检测、人脸检测、运动检测和人物对象检测算法分析视频数据； 字幕判别模块，与所述字幕解析模块相连接，接收字幕解析模块的解析结果，确定在当前时刻字幕是否存在； 语音判别模块，与所述音频解码模块相连接，接收音频解码模块输出的音频数据，判断当前收到的音频数据是否是话音； 关键视频帧和话音提取模块，与所述图像判别模块、字幕判别模块、语音判别模块、视频解码模块和音频解码模块相连接；接收视频数据分析检测的结果、字幕判别的结果和话音判别的结果，以及音频和视频数据，判断接收到的当前视频是否有字幕，接收到的当前视频是否有对应话音，根据用户的设置和视频数据分析检测的结果、字幕判别的结果和话音判别的结果提取出关键视频帧和相关话音。
2.如权利要求I所述的系统，其特征在于所述图像判别模块能够对场景切换检测、人脸检测、运动检测和人物对象检测算法进行任意组合，并至少实现其中一种算法。
3.权利要求I所述的系统在电子书籍中的应用。
4.权利要求I所述的系统在卡通画中的应用。
5.权利要求I所述的系统，在配合字幕并和语音复用后制作成小分辨率，定期显示图像的视频文件在移动设备上播放的应用。
全文摘要
本发明公开了一种从数字电视节目中自动抽取图像的系统及其应用，包括图像判别模块，通过场景切换检测、人脸检测、运动检测和人物对象检测算法分析视频数据；字幕判别模块，确定在当前时刻字幕是否存在；语音判别模块，判断当前收到的音频数据是否是话音；关键视频帧和话音提取模块，接收视频数据分析检测的结果、字幕判别的结果和话音判别的结果，根据用户的设置和视频数据分析检测的结果、字幕判别的结果和话音判别的结果提取出关键视频帧和相关话音。本发明能够从数字电视的视频信号中自动抽取出对内容的理解有代表意义的“关键帧”。本发明能够应用于电子书籍、卡通画及制作成小分辨率，定期显示图像的视频文件。
文档编号H04N21/434GK102685574SQ20111005553
公开日2012年9月19日 申请日期2011年3月9日 优先权日2011年3月9日
发明者须泽中 申请人:须泽中