专利名称：一种字幕叠加系统和方法
技术领域：
本发明涉及一种图像或视频信号处理系统和方法，尤其是一种在图像或视频内容上叠加字幕的系统和方法。
背景技术：
现今的影视作品，无论是国外的还是国内的，一般都配有字幕，供人们在欣赏作品的同时便于理解作品的内容。通常采用的字幕叠加方法是屏上显示(OSD)技术，即在播放影视内容时，对图像和字幕两路信号进行Alpha混合，再经由乘法器输出，以实现背景图像和字幕的叠加。
由于该方法需要在播放图像或视频内容时实时地对图像和字幕进行混合运算，因此，所需的运算资源比较大，而且图像和字幕需要分别存储，所需的存储资源也比较大。此外，在内容制作时直接在影视内容上叠加字幕的方法需要在制作影视内容时对颜色分量进行下采样，并在播放时对颜色分量进行上采样恢复，这种方法会导致图像和字幕的色度信息相互污染，造成字幕清晰度降低的不良效果，尤其当背景图像的颜色或亮度与字幕图像相近时，更是难以分辨字幕内容，给观众造成极大的困扰。
发明内容
为了解决现有的在内容制作时直接在影视内容上叠加字幕的方法存在的色度信息相互污染，运算、存储资源消耗大的问题，本发明提供一种适用于图像或视频内容的字幕叠加系统和方法，该系统不仅能避免字幕和图像内容间的颜色污染现象，而且能节省播放时的运算资源和存储资源。
本发明解决其技术问题所采用的技术方案是提供一种字幕叠加系统，其包括控制模块、第一和第二下采样模块及图像字幕混合模块，控制模块分别与所述的这些模块连接，图像字幕混合模块分别与第一、第二下采样模块连接，图像信号经第一下采样模块输入至图像字幕混合模块，其中，所述字幕叠加系统还包括一字幕加边模块，字幕信号依次经由字幕加边模块和第二下采样模块输入至图像字幕混合模块，混合后的图像和字幕信号从图像字幕混合模块输出。
本发明的另一方案是提供一种字幕叠加方法，它包括下列步骤在字幕信号中的笔划像素周围加上边框像素；分别对图像信号和加边后的字幕信号下采样；以及混合下采样后的图像信号和字幕信号。
本发明的有益效果是，通过对笔划像素加边框，清晰地勾勒出字幕内容，从而解决了图像和字幕直接混合时出现的颜色污染问题，达到良好的字幕叠加效果。同时，通过事先将字幕叠加到背景图像上，使得播放视频内容时只需存储字幕叠加后的图像，而无需进行额外的运算，有效地节省了存储资源和运算资源。
下面结合附图和实施例对本发明进一步说明。
图1是本发明的字幕叠加系统的方框图；图2是本发明的字幕叠加方法的流程图；图3是本发明实施例的工作流程图；图4是像素点的空间8邻域示意图；图5是图3所示实施例中字幕加边步骤的分解流程图；图6A和图6B是图3所示实施例中图像和字幕混合步骤的分解流程图。
具体实施例方式
如图1所示，本发明的字幕叠加系统包括控制模块1，字幕加边模块2，第一和第二下采样模块3a、3b，以及图像字幕混合模块4。控制模块1分别与第一、第二下采样模块3a、3b及图像字幕混合模块4连接，图像字幕混合模块4分别与第一、第二下采样模块3a、3b连接。图像信号经第一下采样模块3a从图像字幕混合模块4输入，字幕信号依次经由字幕加边模块2和第二下采样模块3b输入至图像字幕混合模块4，混合后的图像和字幕信号从图像字幕混合模块4输出。
参阅图2和图3，具体说明本发明的字幕叠加方法和字幕叠加系统的工作流程。于本实施例中，图像和字幕输入信号均为YUV444格式。若原始信号是RGB信号，则需经过RGB到YUV格式转换(步骤100)，将图像和字幕信号转换到YUV域后再进入字幕叠加流程。图像信号直接输入至第一下采样模块3a，字幕信号经由字幕加边模块2对其笔划像素进行加边框处理(步骤120)后输入至第二下采样模块3b。控制模块1根据最终需要输出的图像格式，例如YUV420或者YUV422格式，确定下采样模块3a、3b的工作模式以及图像字幕混合模块4的混合逻辑。第一、第二下采样模块3a、3b依照控制模块1设定的工作模式分别对图像信号和加边后的字幕信号进行YUV444到YUV420或者YUV444到YUV422下采样(步骤140)。图像字幕混合模块4再依照控制模块1设定的混合逻辑对经下采样输出的图像信号和字幕信号进行混合(步骤160)。最后，从图像字幕混合模块4输出的内容经MPEG4编码(步骤180)生成最终压缩后的影视内容。
下面结合图4、图5、图6A和图6B，详细说明本发明实施例的字幕加边步骤及图像字幕混合步骤。图4显示了一个像素的8邻域示意图，其中，圆点代表当前像素，方点表示空间位置上紧邻圆点(当前像素)的邻域像素，共有8个，所以称为8邻域。在以下叙述中，透明像素是指字幕图片中既非笔划像素又非边框像素的点。透明像素具有透明色，即该点在最终混合图像上显示为背景图像相应点的颜色。
参阅图5，其显示本发明实施例中字幕加边步骤的分解流程图。当字幕信号输入字幕加边模块2后，首先判断当前像素是否为笔划像素(步骤121)。如果不是，则对该像素不作处理(步骤122)，继续判断下一个像素(步骤123)；如果该像素是笔划像素，则由字幕加边模块2对该笔划像素的8邻域像素作进一步判断如下如果该邻域像素是笔划像素即非透明色，则对该邻域像素不作处理(步骤124)，继续判断下一个邻域像素(步骤125)；如果该邻域像素是透明色，则判断当前笔划像素的亮度分量值(步骤126)，若该亮度分量大于等于一阈值，于本实施例中选取亮度范围的中间值128作为阈值，就将该邻域像素的亮度分量设为系统允许的最暗值，否则将该邻域像素的亮度分量设为系统允许的最亮值，然后将该邻域像素的色度分量设为当前笔划像素的色度值(步骤127-129)。当每一个笔划像素的8邻域像素都判断完毕后，退出字幕加边模块2。
参阅图6A和图6B，详细说明本发明实施例中图像和字幕混合步骤的工作流程。该步骤需要对字幕信号中的每一个像素进行判断，首先设定字幕信号中笔划像素和透明像素的亮度。如图6A所示，判断当前像素是否为透明像素(步骤161)，如果是，则该点的亮度设为背景图像相应点的亮度，否则设为字幕相应点的亮度(步骤162-163)，当字幕信号中所有的像素点都判断完毕，即退出该流程。接着，通过周边像素判断来设定边框像素的亮度和色度。
如图6B所示，由图像字幕混合模块4判断当前像素是否为笔划像素(步骤164)，如果是，则该点采用笔划的色度(步骤165)；如果不是，则继续判断该点是否为字幕加边步骤中生成的边框像素(步骤166)。如果不是，则该点为透明像素，采用背景图像相应点的亮度和色度(步骤167)；如果是，则依照控制模块1设定的混合逻辑，对该边框像素作进一步判断如下如果最终需要生成YUV420图像，则在图像字幕混合模块4中判断当前点的右侧、下方和右下方三个相邻点中是否存在笔划像素(步骤168)。如果有，则该点采用笔划的色度(步骤165)，否则该点采用背景图像相应点的亮度和色度(步骤167)；如果最终需要生成YUV422图像，则在图像字幕混合模块4中判断当前点右侧相邻的像素点是否为笔划像素(步骤169)。如果是，则该点采用笔划的色度(步骤165)，否则采用背景图像相应点的亮度和色度(步骤167)。
字幕图片上的每个像素点经过上述逻辑判断后，确定了其在最终图像上的亮度和色度。混合完成的图像信号从图像字幕混合模块4输出，并经过MPEG4编码生成最终压缩后的影视内容。
采用本发明的字幕叠加系统及方法生成的图像或视频内容，在播放时，字幕笔划周围会有一个像素宽度的勾边。由于该勾边与笔划本身在亮度上有鲜明的对比，因此不会出现字幕和背景图像混为一团的情形，大大提高了字幕的清晰度。此外，经过字幕叠加的图像在播放时，无需进行额外的运算，只需要存储字幕叠加后的图像即可，与传统的屏上显示技术相比，大大节省了运算资源和存储资源，达到了降低成本的效果。
权利要求
1.一种字幕叠加系统，包括控制模块(1)、第一和第二下采样模块(3a、3b)及图像字幕混合模块(4)，控制模块(1)分别与所述的这些模块连接，图像字幕混合模块(4)分别与第一、第二下采样模块(3a、3b)连接，图像信号经第一下采样模块(3a)输入至图像字幕混合模块(4)，其特征在于所述的字幕叠加系统还包括一字幕加边模块(2)，字幕信号依次经由字幕加边模块(2)和第二下采样模块(3b)输入至图像字幕混合模块(4)，混合后的图像和字幕信号从图像字幕混合模块(4)输出。
2.如权利要求1所述的字幕叠加系统，其特征在于所述的控制模块(1)根据所要输出的图像格式，确定第一和第二下采样模块(3a、3b)的工作模式以及图像字幕混合模块(4)的混合逻辑。
3.如权利要求2所述的字幕叠加系统，其特征在于输出的图像格式包括YUV420和YUV422。
4.如权利要求1或2所述的字幕叠加系统，其特征在于所述字幕加边模块(2)根据字幕信号中笔划像素的亮度在该笔划周围加上亮的或暗的边框。
5.如权利要求1或2所述的字幕叠加系统，其特征在于该图像字幕混合模块(4)根据周边像素判断来确定混合后的像素的亮度和色度。
6.一种字幕叠加方法，其特征在于，所述的方法包括下列步骤在字幕信号中的笔划像素周围加上边框像素；分别对图像信号和加边后的字幕信号下采样；以及混合下采样后的图像信号和字幕信号。
7.如权利要求6所述的字幕叠加方法，其特征在于，所述方法还包括一格式转换步骤，用于分别对图像信号和字幕信号进行RGB到YUV域的转换。
8.如权利要求6或7所述的字幕叠加方法，其特征在于，所述字幕加边步骤进一步包括(1)判断笔划像素的亮度是否达到一阈值，若判断结果为是，则在该笔划像素的周围加上暗的边框像素；(2)若步骤(1)中判断的结果为否，则在该笔划像素的周围加上亮的边框像素。
9.如权利要求8所述的字幕叠加方法，其特征在于该阈值为亮度取值范围的中间值。
10.如权利要求6或7所述的字幕叠加方法，其特征在于所述图像字幕混合步骤进一步包括(1)设定字幕信号中笔划像素和透明像素的亮度；(2)对字幕信号中的边框像素进行周边像素判断；(3)根据步骤(2)的判断结果，设定该边框像素的亮度和色度。
11.如权利要求10所述的字幕叠加方法，其特征在于，所述下采样步骤和图像字幕混合步骤由所要输出的图像格式决定。
12.如权利要求11所述的字幕叠加方法，其特征在于，输出的图像格式包括YUV420和YUV422。
全文摘要
一种字幕叠加系统和方法。现有的在内容制作时直接在影视内容上叠加字幕的方法存在图像和字幕的色度信息相互污染和资源消耗大的问题。本发明的字幕叠加系统包括控制模块、第一和第二下采样模块以及图像字幕混合模块，控制模块分别与所述的这些模块连接，图像字幕混合模块分别与第一、第二下采样模块连接，图像信号经第一下采样模块输入至图像字幕混合模块，所述字幕叠加系统还包括一字幕加边模块，字幕信号依次经由字幕加边模块和第二下采样模块输入至图像字幕混合模块，混合后的图像和字幕信号从图像字幕混合模块输出。利用本发明的字幕叠加系统和方法可以节省系统的运算资源和存储资源，并能达到良好的字幕叠加效果。
文档编号H04N5/278GK1889636SQ200610029649
公开日2007年1月3日 申请日期2006年8月2日 优先权日2006年8月2日
发明者罗巍 申请人:智多微电子(上海)有限公司