专利名称：一种在视频流中提供高质量字幕叠加的系统和方法
技术领域：
本发明涉及视频监控领域的一种图像或视频信号处理系统和方法，具体地 说，涉及在视频监控领域中把字幕、日期、时间等内容叠加到视频画面中，且能 持续显示高质量，高清晰度的字幕叠加内容的一种系统和方法。
背景技术：
目前在视频监控领域，都需要把时间、日期和场景的一些信息叠加到视频图 像中。供监控人员监视，这些信息也需要保存下来，以便以后查阅。在中国专利 200610029649.1,中国专利200610029650.4,中国专利200710194751.1,中 国专利200610001243.2,中国专利01136295.2,都对字幕叠加做了说明，但 是这些都是仅仅说明了如何在视频图像上叠加字幕，而对字幕叠加后的效果，是 否清晰，没有说明。
在视频图像上进行字幕叠加的第一种做法就是釆用专用字符叠加芯片设计 而成，这种做法需要在视频编码前端增加一个单独的芯片如图1所示，模拟视频 信号输入，经过AD转换后变成数字信号，再由字符叠加芯片来叠加字幕，叠加 字幕后的视频图像再经过视频编码压缩后，又由视频解码器来把原来的视频还 原，显示字母叠加后的视频图像。这种做法不仅增加了成本，而且灵活性也很差， 字库没有办法更改。第二种做法如图2所示，模拟视频信号输入，经过AD转换 后变成数字信号，把所要叠加的字符从点阵字符中提取后转换成YUV格式，再把 视频图像和转换的字幕叠加，叠加字幕后的视频图像再经过视频编码压缩后，又 由视频解码器来把原来的视频还原，显示字母叠加后的视频图像。第三种做法如 图3所示，模拟视频信号输入，经过AD转换后变成数字信号，再经过视频编码， 然后解码视频，在后端叠加字幕，最后显示字幕叠加后的视频图像。
针对第一、二种做法的主要缺点
1第一种做法不仅增加了成本，而且灵活性也很差，字库的字体没有办法更
改；
42这两种做法在视频的分辨率发生变化时，当从D1变成CIF，或QCIF,或 从CIF变成QCIF时，这是图像实际上是做了缩放处理，这时叠加在视频图像上 的字幕也会随着图像一起缩放，使字幕会变小。
3这两种做法在视频的码流发生变化后，会对在视频数据中叠加的字幕产生 很大的影响，由于受到编码算法的影响，字幕会和图像一样受到压缩比率的影响。 当压缩比率很大时，图像的损失就会很多，图像就会变的不是很清楚，叠加在图 像上的字幕也会受到同样的影响，特别是在当视频出现大画面运动时，在视频图 像上就会出现大量的方块，这样就会使叠加在视频上的字幕变得无法辨认。虽然 在分辨率为Dl,码流为1M以上时，或CIF在265K以上时，这种码率下不会对 视频上叠加的字幕产生影响。但是当视频图像在网络上传输时，常常受到网络带 宽的影响码率都不会很大，这样上述的问题就会发生。
第三种做法虽然总是能在视频显示时显示很清晰的字幕，但是由于是在视频 后端叠加的字母，当客户需要看本地存储下来的录像文件时，即使是在网络带宽 能够满足显示清晰字幕要求的时候都就看不到叠加在视频图像的字幕了。
因此，现有的方案都难以找到满足同时满足双流方式的高清晰字幕产生方法。
发明内容
由于现在的数据传输一般在网络差的时候都釆用的是双流的方式，即在本地 录像釆用的是D1的分辨率，在网传时采用的是CIF或QCIF的分辨率，这样保证
了本地存储和网传都能有好的效果。
因此，为了解决现有由于在视频监控的视频图像上叠加字幕时，当分辨率或 者码流的改变对叠加的字幕产生的影响，本发明提供了一种适用于图像或视频内 容的字幕叠加系统和方法。该系统不仅解决字幕受视频分辨率和码流的影响问 题，而且也满足了网络传输和本地存储的要求。
本发明解决其技术问题所釆用的技术方案是提供一种在视频流中提供高质 量字幕叠加的系统，其包括图像和字幕混合模块、图像縮放模块、控制模块、图 像压缩编码模块、网络传输模块、网络接收模块、分析视频头数据模块以及视频 解码显示模块、后端叠加字幕信息模块。其中控制模块主要根据视频参数来选择所使用的分辨率的大小以及所使用的汉字库的大小；图像缩放模块主要根据控制 模块所设置的分辨率来缩放图像，字库选择和转换模块主要把所要显示的汉字从
点阵汉字库中提取出来，并转换成YUV格式；图像字幕混合模块主要把转换后的
汉字叠加到所要显示的图像中；图像压縮编码模块主要负责对图像进行压缩处 理；网络传输模块主要把图像信息和视频头信息传送解码器；网络接收模块(解 码器)将接收到的数据传输给分析视频头数据模块，分析视频头数据模块主要就
是把视频信息和视频头信息进行分离，提取视频头信息，并且解析视频头信息， 根据信息看是否需要叠加字幕信息，在那个区域叠加，叠加的内容是什么并把内 容信息转换成YUV信息；视频解码显示模块主要把压缩的视频信息进行还原处理 转换成YUV格式，进行显示；后端叠加字幕信息模块是将需要后端叠加的字幕信 息输入到视频解码显示模块。其连接关系是控制模块连接图像缩放模块、字库 选择和转换模块，图像缩放模块、字库选择和转换模块之间具有图像和字幕混合 模块，图像和字幕混合模块依次连接有图像压缩编码模块、网络传输模块、分析 视频头数据模块及视频解码显示模块，在分析视频头数据模块和视频解码显示模 块之间设置有后端叠加字幕信息模块。
所述的在视频流中提供高质量字幕叠加的系统，其还具有本地存储模块，本 地存储模块用以在本地存储要播放的视频数据，其与图像压缩编码模块连接，如 果不是直接播放，图像压縮编码模块将视频数据压缩后存储到本地存储模块。
所述的在视频流中提供高质量字幕叠加的系统，其图像压缩编码模块还连接 有图像头数据模块，图像头数据模块，把视频的头信息加到图像数据的开始，用 以判断是否需要解码器(网络接收模块)来添加字幕。
一种在视频流中提供高质量字幕叠加的方法，其包括如下步骤
1、 首先由控制模块来判断是否需要叠加字幕；
2、 如果需要，就根据所采用的分辨率和码流信息来判断是在前端叠加字幕 还是在后端叠加字幕；
3 、如果在前端叠加字幕，根据分辨率的大小或用户信息选择字库的类型， 把字库信息转换成YUV422或者YUV420格式文件；
4、图像缩放模块将图像进行缩放，图像和字幕混合模块把图像縮放后的图
6像信号和由字库选择和转换模块传送的字幕信号相叠加，得到叠加信号；
5、 图像压缩编码模块把图像字幕混合模块传送来的叠加信号进行编码，
6、 编码后形成的视频数据选择是否需要本地存储或者通过网络传输、或者 两者同时进行；
7、 把视频数据传输给远端的解码器，进行解码；
8、 视频数据解码后，分析视频头数据模块来解码视频头信息，看视频头中 的是否需要解码器在后端叠加字幕，如果需要就把字幕信息从视频头中提取出 来，否则不提取；
9、 显示。
所述的在视频流中提供高质量字幕叠加的方法，在第2步的叠加字幕前先判 断图像的分辨率和码流的大小，并根据所使用的分辨率和视频的码流来决定采用 多大的点阵字库和是否需要把字幕信息叠加在视频数据头中传送给解码器由解 码器来显示。
所述的在视频流中提供高质量字幕叠加的方法，叠加信号进行编码后，再通 过图像头数据模块，把视频的头信息加到编码后图像数据的开始。头信息中包括 是否需要解码器来叠加字幕的判断信号，如果需要解码模块来叠加字幕，那么就
还有字幕信息，否则为空。
本发明解决了在分辨率改变或者在较低码流下时，在视频图像中叠加的字幕 显示不清楚地的问题。使字幕的大小不会随着视频分辨率的改变而改变，也不会 受到码流的改变而改变，始终在视频解码图像中显示清晰的OSD字幕。
下面结合附图和实施方式对本发明进一步说明。
图i是现有技术方式一的结构框图； 图2是现有技术方式二的结构框图； 图3是现有技术方式三的结构框图； 图4是本发明的字幕叠加系统的方框图； 图5是本发明的字幕叠加系统的流程图。
具体实施例方式
本发明的技术方案包括如下步骤
视图4所示，本发明包括控制模块、图像缩放模块、字库选择和转换模块、 图像字幕混合模块、图像压缩解码模块、图像头数据模块、网络传输模块、网络 接收模块、视频头数据分析模块、后端叠加字幕信息模块、图像解码模块。其中 控制模块主要根据视频参数来选择所使用的分辨率的大小以及所使用的汉字库 的大小；图像缩放模块主要根据控制模块所设置的分辨率来缩放图像，原始的图 像是720x576 (P制式)，720x480 (N制式)，当分辨率为Dl时缩放比率为1: 1， 当分辨率为2CIF时缩放比率为1: 2，当分辨率为和D1时縮放比率为1: 2,当 分辨率为CIF时缩放比率为1: 4，当分辨率为QCIF时缩放比率为1: 16;字库 选择和转换模块主要把所要显示的汉字从点阵汉字库中提取出来，并转换成YUV 格式；图像字幕混合模块主要把转换后的汉字叠加到所要显示的图像中；图像压 缩模块主要负责对图像进行压缩处理；图像头数据模块主要把是否需要后端叠加 字幕的一些信息，包括是否需要后端叠加字幕的判断信息和需要叠加的字幕信 息；网络传输模块主要把图像信息和视频头信息传送到解码器端，可以为TCP、 UDP、 RTP等方式传送；网络接收模块主要用来接收从编码器端传送过来的视频 数据；图像头数据分析模块主要就是把视频信息和视频头信息进行分离，提取视 频头信息，并且解析视频头信息，根据信息看是否需要叠加字幕信息，在那个区 域叠加，叠加的内容是什么并把内容信息转换成YUV信息；图像解码模块主要把 压缩的视频信息进行还原处理转换成YUV格式。
1首先图像信号为YUV422或者YUV"0格式，由控制模块来控制图像的分辨 率，也就是缩放参数(如D1、 HD1、 2CIF、 CIF、 QCIF);
2字幕信号传送给字库选择和转换模块，由控制模块来判断是否需要叠加字
3如果需要，就根据所采用的分辨率和码流信息来判断是在前端叠加字幕还 是在后端叠加字幕；
4如果在前端叠加字幕，根据分辨率的大小需用多大的字库，根据用户信息 选择字库的类型，把字库信息转换成YUV422或者Y群420格式文件；5图像和字幕混合模块把图像縮放后的图像信号和由字库选择和转换模块传
送的字幕信号相叠加；
6图像压缩编码模块把图像字幕混合模块传送来的图像信号进行编码，可以 选择是否需要本地存储或者通过网络传输、或者两者同时进行；
7图像头数据模块，把视频头信息加到图像数据的开始。头信息中包括是否 需要解码模块来叠加字幕的判断信号，如果需要解码模块来叠加字幕，那么就还 有字幕信息，否则为空；
8网络传输模块把视频数据传输给远端的解码器；
9解码器通过网络接收模块来接收视频数据；
10通过分析视频头数据模块来解码视频头信息，看视频头中的是否需要解 码器在后端叠加字幕，如果需要就把字幕信息从视频头中提取出来，否则不提取；
11视频解码显示模块来解码视频数据，并进行显示；
12如果需要由后端来叠加字幕就把字幕信息在后端叠加图像上，并且在显 示屏幕上显示，如果不需要后端来叠加字幕就直接把图像在显示屏幕上显示。
图5所示中的视频参数信息指的是视频的分辨率、码流、帧率、字幕信息 以及是否在解码端叠加字幕等信息。本发明根据这些信息来决定所采用的字库的 大小，以及是否在解码后端叠加字幕。本发明现在采用的是当分辨率为Dl和2CIF 时采用24X24或者32X32字库，HD1和CIF采用16X16的字库，QCIF采用8X8的 字库，对字库的字体也可以任意选择(包括楷书、宋体、黑体)。是否在解码后 端叠加字幕是由用户来选择的， 一般当D1的分辨率小于512K时、CIF在分辨率 小于128K时，如果有运动图像出现时就会在解码显示端出现马赛克方块装，使 图像很不清楚，叠加的字幕根本无法看清，这是就需要在解码后端叠加字幕。
在网络传输中，图像质量受到网络带宽的影响。特别是在网络采用ADSL或 无线时，网络带宽更小，所以在传输图像时，所采用的分辨率和码率都比较小， 同时图像也不是很清晰。在这样的运用场合都采用双流的方式，即在本地存储采 用D1大小的分辨率，在网传时釆用CIF或QCIF大小的分辨率。在这种应用场合 本发明的优势就更为明显，在本地存储的时候，在前端叠加字幕，采用网络传输 时，在后端叠加字幕。
由上面所述的实施过程可以进一步明确本发明所述方法能使字幕叠加信息
9不会受到视频信号的影响，而始终在解码端显示清晰的图像。本发明可以满足用 户对字幕信息的各种需求，包括是否显示字幕，在视频数据中叠加字幕(使本地 存储的信息中也包括字幕信息)，在解码后端叠加字幕(使本地存储的信息中不 包括字幕信息)。这样可以使对字幕的设置更灵活，由于字的大小和字体可以任 意原则使得字幕的显示更清晰。
权利要求
1、一种在视频流中提供高质量字幕叠加的系统，其特征在于该系统包括图像和字幕混合模块、图像缩放模块、控制模块、图像压缩编码模块、网络传输模块、解码器分析视频头数据模块以及视频解码显示模块、后端叠加字幕信息模块；其中控制模块主要根据视频参数来选择所使用的分辨率的大小以及所使用的汉字库的大小；图像缩放模块主要根据控制模块所设置的分辨率来缩放图像，字库选择和转换模块主要把所要显示的汉字从点阵汉字库中提取出来，并转换成YUV格式；图像字幕混合模块主要把转换后的汉字叠加到所要显示的图像中；图像压缩编码模块主要负责对图像进行压缩处理；网络传输模块主要把图像信息和视频头信息传送解码器；解码器将接收到的数据传输给分析视频头数据模块，分析视频头数据模块主要就是把视频信息和视频头信息进行分离，提取视频头信息，并且解析视频头信息，根据信息看是否需要叠加字幕信息，在那个区域叠加，叠加的内容是什么并把内容信息转换成YUV信息；视频解码显示模块主要把压缩的视频信息进行还原处理转换成YUV格式，进行显示；后端叠加字幕信息模块是将需要后端叠加的字幕信息输入到视频解码显示模块；连接关系是控制模块连接图像缩放模块、字库选择和转换模块，图像缩放模块、字库选择和转换模块之间具有图像和字幕混合模块，图像和字幕混合模块依次连接有图像压缩编码模块、网络传输模块、分析视频头数据模块及视频解码显示模块，在分析视频头数据模块和视频解码显示模块之间设置有后端叠加字幕信息模块。
2、 如权利要求1所述的在视频流中提供高质量字幕叠加的系统，其特征在 于该系统还具有本地存储模块，本地存储模块用以在本地存储要播放的视频数 据，其与图像压缩编码模块连接，如果不是直接播放，图像压缩编码模块将视频 数据压缩后存储到本地存储模块。
3、 如权利要求1所述的在视频流中提供高质量字幕叠加的系统，其特征在 于图像压缩编码模块还连接有图像头数据模块，图像头数据模块，把视频的头信 息加到图像数据的开始，用以判断是否需要解码器来添加字幕。
4、 一种在视频流中提供高质量字幕叠加的方法，其包括如下步骤1) 、首先由控制模块来判断是否需要叠加字幕；2) 、如果需要，就根据所采用的分辨率和码流信息来判断是在前端叠加字幕还是在后端叠加字幕；3) 、如果在前端叠加字幕，根据分辨率的大小或用户信息选择字库的类型，把字库信息转换成YUV422或者YUV420格式文件；4) 、图像缩放模块将图像进行缩放，图像和字幕混合模块把图像缩放后的图 像信号和由字库选择和转换模块传送的字幕信号相叠加，得到叠加信号；5) 、图像压缩编码模块把图像字幕混合模块传送来的叠加信号进行编码，6) 、编码后形成的视频数据选择是否需要本地存储或者通过网络传输、或者 两者同时进行；7) 、把视频数据传输给远端的解码器，进行解码；8) 、视频数据解码后，分析视频头数据模块来解码视频头信息，看视频头中 的是否需要解码器在后端叠加字幕，如果需要就把字幕信息从视频头中提取出 来，否则不提取；9) 、显示。
5、 如权利要求4所述的在视频流中提供高质量字幕叠加的方法，其特征在 于在第2)步的叠加字幕前先判断图像的分辨率和码流的大小，并根据所使用的 分辨率和视频的码流来决定采用多大的点阵字库和是否需要把字幕信息叠加在视频数据头中传送给解码器由解码器来显示。
6、 如权利要求4所述的在视频流中提供高质量字幕叠加的方法，叠加信号 进行编码后，再通过图像头数据模块，把视频的头信息加到编码后图像数据的开 始。头信息中包括是否需要解码器来叠加字幕的判断信号，如果需要解码模块来 叠加字幕，那么就还有字幕信息，否则为空。
全文摘要
本发明是一种在视频流中提供高质量字幕叠加的系统和方法，该系统包括图像和字幕混合模块、图像缩放模块、控制模块、图像压缩编码模块、网络传输模块、解码器分析视频头数据模块以及视频解码显示模块、后端叠加字幕信息模块。在进行视频数据叠加前，首先由控制模块来判断是否需要叠加字幕；如果需要，就根据所采用的分辨率和码流信息来判断是在前端叠加字幕还是在后端叠加字幕；再针对性地从前端或后端进行字幕的叠加。本发明解决了在分辨率改变或者在较低码流下时，在视频图像中叠加的字幕显示不清楚的问题。使字幕的大小不会随着视频分辨率的改变而改变，也不会受到码流的改变而改变，始终在视频解码图像中显示清晰的OSD字幕。
文档编号H04N7/08GK101478661SQ20081021752
公开日2009年7月8日 申请日期2008年11月4日 优先权日2008年11月4日
发明者吴贻刚, 周锐鹏, 唐李卉, 张雪林, 敏 易, 翟卫东 申请人:深圳中兴力维技术有限公司