专利名称：用于处理嵌入在数字视频中的符号的系统和方法
技术领域：
本发明通常涉及多媒体传输。
背景技术：
为了节约带宽，在传输之前对通常包括视频帧的多媒体流进行压缩。压缩视频通常意味着用相对较小的位组来表示相对较大的位组。
当一个或多个视频帧包含一个符号时，将表示符号的位和表示图像的位一起压缩，其中所述符号通常在这里用于指图形符号和字母-数字字符两者。即，当利用图形或字母-数字字符覆盖视频时，将原始(underlying)的图像和符号两者压缩到一起以进行传输。在接收后，对流进行解压缩以呈现原始图像的“有损”版本。
本发明理解，当对多媒体的高效传输要求很高时，压缩和解压缩多媒体流经常导致一些数据损失。因此，原始流中的一些有用信息可能无法在解压缩后的流中重现。本发明还理解，在视频图像的情况下，由于观看者将不能在构成视频图像的相对大量的数据中发觉损失，因此少量信息的损失通常只有很小的后果。
然而，本发明深刻地认识到符号通常并不需要大量数据来呈现。因此，在压缩/解压缩过程中少量符号信息的损失能够导致在解压缩后的符号中有可察觉的失真和/或赝象。此外，不得不将符号和与其有关联的图像一起压缩并传输，这会消耗多媒体传输带宽。
除了上面的认识，本发明理解，通过无线链路将图像传输到便携式设备经常使分辨率的显著降低不可避免。降低的分辨率意味着只有较少的像素可用于表示一个符号。通常用于移动设备上的小显示屏限制了人类视觉系统(或HVS)容易且准确地辨别符号的能力。本发明理解，如果能够增大或转换显示在小屏幕上的视频中的符号，那么将提高HVS辨别符号的能力。考虑到这些观察结果，提供下述的本发明。
发明内容
一种用于处理图像的系统，包括执行逻辑的处理器，其中所述图像例如是具有符号的视频图像，所述符号例如是图形符号或字母-数字字符，所述逻辑包括扫描该图像。此外，处理器使用字符/符号识别技术来创建该符号的表示，然后对该图像进行压缩以呈现经过压缩的图像。
在一个优选实施例中，由处理器执行的逻辑包括在压缩动作之前消除图像中的符号。或者，可以将符号与图像一起压缩。符号的表示不仅可以包括符号类型或标识，还可以包括其它描述性的参数，所述其它描述性的参数包括但不限于符号特征、符号位置、符号尺寸、符号字体及符号颜色。
当系统包括发射处理器并且发射经过压缩的图像以及符号的表示时，系统还可以包括对经过压缩的图像进行解压缩以呈现解压缩后的图像的接收处理器。通过使用符号的表示，接收处理器能够将符号和解压缩后的图像合并。例如，接收处理器能够使用符号的位置来将符号或符号的转换版本插入到解压缩后的图像中。符号的表示可以被嵌入在经过压缩的流中，或者符号的表示从其中单独地发射出来。
在另一方面，一种用于处理包括视频图像信息和视频中的符号的多媒体流的方法包括，从流中移去符号，然后压缩视频图像信息以呈现经过压缩的流。
在又一个方面，接收处理器对经过压缩的视频流进行解压缩以呈现解压缩后的图像。通过使用已经包括在原始图像中的符号的表示，接收处理器将符号和解压缩后的图像合并。优选的非限定性的符号表示能够采用几种形式中的一种。例如，能够将符号的逐像素的位图表示嵌入在经过压缩的流中发送，例如在经过压缩的流的帧头中，或者能够在单独的流中传输位图。或者，也可以替代位图，以同样地方式传输表示符号的码字。
在又一个方面，公开了一种用于处理具有符号的经过扫描的视频图像的计算机产品。所述产品包括用于识别经过扫描的图像中的符号以呈现符号信息的装置。然后装置压缩该图像。
参照附图，能够最好地理解本发明关于其结构和操作两者的细节，在所有附图中，相同的标号表示相同的部件，其中
图1是本发明的功能方框图；图2是压缩和发射逻辑的流程图；以及图3是能够使用的各种接收和解压缩方法的流程图。
具体实施例方式
首先参照图1，示出了一个系统，用于对来自多媒体源12的、包括视频流的经过压缩的多媒体进行发射和接收的系统，总体标记为10。尽管这里所公开的内容关注的是多媒体流的视频部分，但是应该理解的是，本原理也适用于包括音频、幻灯片、2D图形和3D图形等的其它多媒体。
如图所示，系统10包括扫描仪14，扫描器14扫描来自于源12的多媒体源图像并将该图像和/或扫描的结果发送到发射处理器16，根据下面讨论的逻辑，该发射处理器16与其他部件一起起到符号识别器和视频压缩器的作用。这里所使用的“符号”意味着图形符号和字母-数字字符两者，因此“符号识别”包括了符号识别和字符识别两种。
尽管为了公开内容的简洁，只示出了单个发射处理器16，但是可以使用多个处理器来执行图2中的逻辑。例如，在其中与流分离开来压缩符号自身的实施例中，能够如图所示来提供符号处理器17。如下面所讨论的，将压缩后的视频与由字符/符号识别得到的符号信息一起发送到发射机18以用于其发射。
图1中示出的非限制优选实施例示出了使用无线装置的多媒体发射机18，更具体的是使用码分多址(CDMA)原理的多媒体发射机18。可以根据需要将流广播到多个接收机，或者使用点到点或多播无线传输原理来将流发射到多个接收机。应该理解的是，本原理可应用于其它形式的无线通信，例如GSM、TDMA、S-TDMA、宽带CDMA、OFDM等，以及通过电缆系统、互联网等进行的多媒体传输。
一个或多个接收机20能够接收所发射的视频和符号信息并将其发送到一个或多个接收处理器22。接收处理器22起到视频解压器的作用。如果需要，假如在传输过程中符号被压缩，那么接收处理器22也能够对该符号进行解压缩，或者由如图所示的单独的符号处理器23来对该符号进行解压缩。然后流合并器24根据下面讨论的图3的逻辑将符号与图像流合并。具有符号的解压缩后的多媒体可以显示在诸如视频显示器、打印机、扬声器等的输出设备25上。
现在参照图2来了解压缩和发射逻辑。在块26，由适当的扫描设备14对流中的视频图像进行扫描。可以使用任何适当的扫描器14。优选地，可以以相当高的采样速率来扫描图像，该采样速率足够来降低或消除视频图像中的符号的失真。由扫描器14生成具有符号的图像的数字化表示。
如果需要，并非需要扫描流中所有的视频帧。例如，可以扫描每第十个帧直到检测到符号。然后，扫描符号的随后的每个帧。当遇到的帧没有符号时，扫描频率能够回到每第nth帧进行扫描。这样，就增加了扫描速度。
进行到块28，利用在发射处理器16(或，如果需要，符号处理器17)上执行的字符识别软件来识别图像中的符号。能够使用任何适当的字符识别算法。发射处理器16(或符号处理器17)生成符号信息，即符号的二进制表示，所述符号的二进制表示不仅表明了被扫描的符号的标识(类型)，而且优选地表明了图像中的符号的位置，以及如果需要，还可以表明符号的颜色、字体、尺寸等。
因此，这里所使用的“符号信息”和信息/数据“符号的表示”有别于基于逐像素来表示视频图像的非符号部分的颜色或灰影(grayshade)的像素化数据。更确切地，“符号信息”意味着由字符识别引擎输出的二进制码，该字符识别引擎与特定的字符(及其上面提到的特征)相互关联。在块30记录这个符号信息。
在扫描之后，在块32对视频图像(最低限度，表示非符号图像数据的像素信息)进行压缩。可以使用任何适当的视频压缩方法或算法。在一个优选实施例中，通过例如处理器16消除符号(例如通过将由符号区域覆盖的像素设置成单个的预定的二进制值)来使压缩忽略原始图像中的符号，从而在图像压缩过程中不对符号进行压缩。这样节省了带宽。也可以使用本领域中已知的用于忽略待压缩的图像流的一部分的其它方式。例如，能够用与符号周围的像素信息匹配的像素信息来替换图像中的符号，被压缩时这将呈现比在其他情况下呈现的流更小的流。或者，能够利用用于控制、传送一般信息、或纠错的辅助数据替换符号。然而，如果需要，可以不必消除图像中的符号，而是将其与图像数据一起压缩，并且在接收机仍然使用所识别的符号信息以在扩展之后呈现未失真的符号。在任何情况下，无论是与压缩后的视频信息分开发射或一起发射(例如，在视频帧的帧头)，如上所述，由符号识别算法输出的符号信息自身都能够被压缩(例如，通过符号处理器17)。
在块34发射表示视频图像的压缩后的流。在块36，同样发射由发射处理器16(或符号处理器17)的字符识别逻辑所呈现的符号信息。可以将这个符号信息与压缩后的视频图像流分离开来发射，实际上，可以在一个与视频流完全不同的信道上发射这个符号信息。或者，可以将符号信息嵌入在流中，例如，该符号信息包含在视频帧的帧头中。
当独立于视频流来发射符号时，可以在一条无线通信路径上发射符号，而在另一条无线路径、或实际上独立的传输系统上发射视频流。能够将符号和视频流点到点地发射到一个接收机，或者可以将其多播或广播到多个接收机。
现在参照图3，在块38接收压缩后的视频图像流。同样在块38，当符号信息与视频流一起在同一个信道中传输时，符号信息也被接收。进行到块40，对压缩后的视频流进行解压缩，如果符号信息已经被例如压缩在视频流的帧头中且被发射，那么同样也对符号信息进行解压缩。另一方面，如果符号没有被压缩，那么从块40发送到块41，其中能够根据需要对符号进行处理和转换以提高可视性。例如，如果发送了经过编码的符号的表示，并且根据需要进行了增大或其他转换(例如，通过改变符号的形状、字体、颜色、或其他属性)，那么能够在块41解码符号。图3还示出替代方案，其中独立于视频流来发射符号，在该实施例中将符号直接从其独立的信道接收到块41以进行转换和/或处理。
在块42，能够使用符号信息中的位置信息及其它信息将符号重新插入到视频图像中其相应的位置，并且在块44显示具有符号的图像。
对于上述发明，应该明白的是，考虑到更大的灵活性，可以独立于视频流自身来处理视频流中的符号。例如，能够独立于视频流来发射符号。同样，根据需要，由接收处理器22在时间或空间上重新定位符号在图像中的位置。此外，为了增强可视性，能够在解压缩后的视频图像中放大符号，或者由图标完全替换符号以在视频图像上消耗更小的空间，从而提高图片质量和符号识别以及可读性。此外，能够将图标用作下拉或弹出菜单，当用户选择表示性的符号时，所述菜单能够显示扫描后的符号。实际上，根据需要，能够独立于视频图像来显示符号。
尽管此处示出和详细描述的具体的“用于处理嵌入在数字视频中的符号的系统和方法”能够完全实现本发明的上述目的，但应当理解的是，这只是本发明目前的优选实施例，因此只是代表本发明广义考虑的主题，本发明的保护范围还包括对本领域技术人员来说显而易见的其他实施例，因此，除所附的权利要求之外，本发明的保护范围不受其他限定，其中，除非明确声明，否则对元件的单数说明并不表示“一个且仅一个”，而是表示“一个或多个”。与对于本领域普通技术人员来说都是已知的或者以后将成为已知的上述优选实施例的元件相等同的所有结构和功能等价物明确地并入此处，作为参考，并且趋向于被本发明的权利要求所覆盖。此外，对于本权利要求所覆盖的一种设备或方法，不必解决本发明欲解决的每个问题。此外，不管在权利要求中是否明确表述了本公开中的任何要素、部件或方法步骤，该要素、部件或方法步骤都趋向于不为公众所用。除非一个产品权利要求使用“用于……的装置”的措辞来明确表述，或者在一个方法权利要求情况下，该元件被表述为“步骤”而非“动作”，否则，这里任何的单项权利要求都不得按照美国法典第35条第112款第六段来进行解释。
权利要求
1.一种用于处理包括视频图像信息和至少一个符号的多媒体流的方法，包括从所述流中移去所述符号；以及至少压缩所述视频图像信息以呈现压缩后的流。
2.如权利要求1所述的方法，其中所述符号是至少一个字母一数字字符。
3.如权利要求1所述的方法，其中所述符号是至少一个非字母数字式图形符号。
4.如权利要求1所述的方法，其中所述图像信息表示至少一个图像，并且所述方法还包括在所述压缩动作之前扫描所述图像。
5.如权利要求4所述的方法，还包括使用字符识别来识别所述符号。
6.如权利要求5所述的方法，还包括记录所述图像中的符号的位置。
7.如权利要求6所述的方法，还包括对所述压缩后的流进行解压缩以呈现解压缩后的流。
8.如权利要求7所述的方法，还包括使用所述符号的位置以将所述符号插入到至少一个由所述解压缩后的流表示的图像中。
9.如权利要求1所述的方法，包括将所述压缩后的流与表示所述符号的数据分离开来发射。
10.如权利要求1所述的方法，包括将所述压缩后的流与表示所述符号的数据一起发射，表示所述符号的所述数据嵌入在所述压缩后的流中。
11.如权利要求1所述的方法，包括在所述压缩动作之前消除所述符号。
12.如权利要求1所述的方法，其中所述移去动作包括在所述压缩动作之前，用与所述符号周围的像素匹配的像素信息替换表示所述符号的像素信息。
13.如权利要求1所述的方法，包括通过无线信道传输所述压缩后的流和表示所述符号的所述数据中的至少一个。
14.如权利要求13所述的方法，其中所述无线信道是广播信道。
15.如权利要求13所述的方法，其中在第一无线信道上传输所述压缩后的流，并且在第二无线信道上传输表示所述符号的所述数据。
16.如权利要求15所述的方法，其中所述信道中的至少一个是广播信道。
17.如权利要求13所述的方法，其中在第一传输系统上传输所述压缩后的流，并且在第二传输系统上传输表示所述符号的所述数据。
18.一种用于处理至少一个具有至少一个符号的扫描后的图像的系统，包括一个处理器，包括用于采取下述动作的逻辑使用识别技术以呈现所述符号的表示；以及压缩所述图像以呈现压缩后的图像。
19.如权利要求18所述的系统，其中由所述处理器采取的所述方法动作包括下述中的至少一个在所述压缩动作之前消除所述图像中的所述符号；用一些值替换表示所述符号的像素值，当该一些值与所述图像一起压缩时产生的压缩后的流要小于将所述图像与表示所述符号的像素值一起压缩时产生的压缩后的流；以及利用用于控制、传送一般信息、或纠错的数据来替换所述符号。
20.如权利要求18所述的系统，其中由所述处理器采取的所述方法动作包括在所述存储动作之后，将所述符号与所述图像一起压缩。
21.如权利要求18所述的系统，其中所述符号是至少一个字母一数字字符。
22.如权利要求18所述的系统，其中所述符号是至少一个非字母数字式图形符号。
23.如权利要求18所述的系统，其中由所述处理器采取的所述方法动作还包括记录下述中的至少一个所述图像中的符号的位置、所述符号的颜色、所述符号的尺寸、以及所述符号的字体。
24.如权利要求18所述的系统，其中所述处理器是发射处理器，并且发射所述压缩后的图像和所述符号的表示，并且所述系统还包括执行逻辑以采取方法动作的接收处理器，所述方法动作包括对所述压缩后的图像进行解压缩以呈现解压缩后的图像；以及使用所述符号的表示以呈现符号图像并且将该符号图像与所述解压缩后的图像合并。
25.如权利要求24所述的方法，其中由所述接收处理器采取的所述方法动作还包括使用所述符号的位置以将所述符号插入到所述解压缩后的图像中。
26.如权利要求18所述的方法，其中通过无线信道传输所述压缩后的图像和所述符号的表示中的至少一个。
27.如权利要求26所述的系统，其中所述无线信道是广播信道。
28.如权利要求18所述的系统，其中在第一无线信道上传输所述压缩后的图像，并且在第二无线信道上传输所述符号的表示。
29.如权利要求28所述的系统，其中所述信道中的至少一个是广播信道。
30.如权利要求18所述的系统，其中在第一传输系统上传输所述压缩后的图像，并且在第二传输系统上传输所述符号的表示。
31.如权利要求24所述的系统，其中由所述接收处理器采取的所述方法动作还包括在将所述符号与所述解压缩后的图像合并之前，使用用于所述符号的转换参数来改变所述符号。
32.一种用于处理至少一个具有至少一个符号的图像的系统，包括一个接收处理器，包括用于采取下述动作的逻辑对压缩后的视频图像进行解压缩以呈现解压缩后的图像；以及使用符号的表示，将该符号与所述解压缩后的图像合并。
33.如权利要求32所述的系统，其中由所述接收处理器采取的所述方法动作还包括使用在所述符号的表示中接收的位置以将所述符号插入到所述解压缩后的图像中。
34.如权利要求33所述的系统，其中由所述接收处理器采取的所述方法动作还包括在将所述符号与所述解压缩后的图像合并之前，使用用于所述符号的转换参数来改变所述符号。
35.如权利要求32所述的系统，还包括执行逻辑以采取方法动作的发射处理器，所述方法动作包括扫描原始图像；使用识别技术以创建所述符号的表示；以及对所述原始图像进行压缩以呈现所述压缩后的图像。
36.如权利要求35所述的系统，其中由所述发射处理器采取的所述方法动作包括下述中的至少一个在所述压缩动作之前消除所述原始图像中的所述符号；用一些值替换表示所述符号的像素值，当该一些值与所述图像一起压缩时产生的压缩后的流小于将所述图像与表示所述符号的像素值一起压缩时产生的压缩后的流；以及利用用于控制、传送一般信息、或纠错的数据来替换所述符号。
37.如权利要求35所述的系统，其中由所述发射处理器采取的所述方法动作包括在所述存储动作之后，将所述符号与所述原始图像一起压缩。
38.如权利要求35所述的系统，其中所述符号是至少一个字母一数字字符或者至少一个非字母数字式图形符号。
39.如权利要求35所述的系统，其中使用无线信道传输所述压缩后的图像和所述符号的表示中的至少一个。
40.如权利要求39所述的系统，其中所述无线信道是广播信道。
41.如权利要求39所述的系统，其中在各自的信道上传输所述压缩后的图像和所述符号的表示。
42.一种用于处理具有符号的扫描后的视频图像的计算机产品，包括用于识别所述扫描后的图像中的符号以呈现符号信息的装置；以及用于压缩所述图像的装置。
43.如权利要求42所述的计算机产品，其中所述符号不被从所述图像中移去，并且所述压缩装置将所述图像和所述符号一起压缩。
44.如权利要求42所述的计算机产品，其中所述符号是下述中的至少一个在压缩所述图像之前从所述图像中消除的符号；用与所述符号周围的值至少近似匹配的像素值替换的符号；以及利用用于控制、一般信息传送、或纠错的数据替换的符号。
45.如权利要求42所述的计算机产品，其中所述符号信息包括下述中的至少一个符号位置、符号尺寸、符号字体、以及符号颜色。
46.如权利要求42所述的计算机产品，其中在将所述符号与解压缩后的图像合并之前转换所述符号。
47.如权利要求42所述的计算机产品，还包括用于对所述压缩后的图像进行解压缩的装置；以及用于使用所述符号信息，将所述符号和所述压缩后的图像合并的装置。
48.如权利要求47所述的计算机产品，还包括用于对压缩后的符号图像进行解压缩的装置。
全文摘要
在用于发射的压缩之前，扫描例如多媒体流中的视频图像以识别例如图形符号和字母－数字字符的符号。记录符号的类型、位置、尺寸等以呈现符号信息，然后压缩图像，并且压缩或不压缩符号，如果需要，可以在压缩之前将符号从图像中移去。将压缩后的视频和符号信息发送到接收机，接收机对视频进行解压缩，或者转换符号，然后将符号插入到由符号信息所示的位置。
文档编号G06K9/46GK1947127SQ200380108653
公开日2007年4月11日 申请日期2003年11月7日 优先权日2002年11月12日
发明者理查德·D·莱恩, 阿姆农·西尔贝格 申请人:高通股份有限公司