专利名称：用于识别并选择视频流中的数据图像的系统、方法和媒介的制作方法
技术领域：
本公开的主题是关于识别并选择视频流中的数据图像的系统、方法和媒介。
背景技术：
在各种不同的领域中，使用现有的视频信道的数据在远程的参与者之间共享。为达到此目的，数据被捕获，然后使用标准视频编码器编码以使其像是自然的视频。远程参与者使用视频解码器接收视频和数据(例如，作为组成数据视频的数据图像)。但是，在这些情景中，因为数据是实时视频流，用户不能容易地浏览数据(例如，展示中的幻灯片)、回顾之前呈现的数据(例如，当出席视频会议迟到时)、在它被共享之后分配呈现的数据(例如，在视频会议期间)等
发明内容
本发明提供了用于识别并选择在视频流中的数据图像的系统、方法和媒介。根据一些实施例，提供了用于在视频流中识别并选择数据图像的系统，该系统包括至少一个处理器被编程用于接收表示多个图像的视频比特流；识别在多个图像中的数据图像组，其中每个数据图像提供了数据的图像表示且在任何数据图像组中的每个数据图像对应于单一数据图像；且从数据图像组中选择至少一个最佳的数据图像。根据一些实施例，提供了用于在视频流中识别并选择数据图像的方法，该方法包括接收表示多个图像的视频比特流；使用被编程的处理器来识别多个图像中的数据图像组，其中每个数据图像提供了数据的图像表示且在任何数据图像组中的每个数据图像对应于单一数据图像；且使用被编程的处理器来从数据图像组中选择至少一个最佳的数据图像。根据一些实施例，提供了包含计算机可执行指令的计算机可读媒介，当指令被处理器执行时，使得处理器执行识别并选择视频流中的数据图像的方法，该方法包括接收表示多个图像的视频比特流；识别多个图像中的数据图像组，其中每个数据图像提供了数据的图像表示且在任何数据图像组中的每个数据图像对应于单一数据图像；且从数据图像组中选择至少一个最佳的数据图像。
图I是在一些实施例中能被使用的硬件的图表。图2是根据一些实施例处理视频比特流的过程的图表。图3是根据一些实施例识别数据图像组的过程的图表。图4是根据一些实施例显示滤波器通过数和假阳性率、假阴性率和与滤波器通过数相关联的复杂度的表格的图表。图5是根据一些实施例在数据图像组中选择最佳数据图像过程的图表。
具体实施例方式根据各种不同的实施例，本发明提供了用于在视频流中识别并选择数据图像的机制。这些机制能在多个应用中使用，例如允许数据图像的在线浏览、允许视频会议中迟到时接收先前被显示的数据、允许稍后分配在视频会议中提供的数据图像和允许使用数据图像作为索引通过已记录的视频会议呼叫浏览。转向图1，其图解了在一些实施例中能被使用的硬件100的例子。如其所示，使用照相机104，数据102能被提供给视频编码器106或直接提供给视频编码器108。数据可为任何适当的数据并且可为视觉显示的形式(例如，比如POWERPOINT显示)。照相机104可为任何适当的照相机，比如摄影机。视频编码器106和108可为任何适当的硬件和/或软件视频编码器且使用任何适当的视频编码标准和/或编码器/解码器(多媒体数字信号编解码器)用来制造视频信号和/或压缩该信号。在一些实施例中，照相机104和/或视频编码器106或108可为电视会议端点的一部分。
在数据被编码后，比特流可由视频编码器提供。该比特流可通过网络110传输。任何适当的网络和/或网络组合可被用作一些实施例中的网络110。例如，网络110可包括因特网、有线网络、无线网络、局域网、广域网、电话网络、电缆网、卫星网络、纤维光学网络，等。在一些实施例中，网络110可包括任何适当的设备比如路由器、防火墙、服务器、代理服务器、多点会议单元、网关等。在一些实施例中，比特流可被提供到网络装置112和/或端点122 (例如，通过网络110，直接从编码器106或108，等)。网络装置112可为任何适当的设备或任何适当设备的一部分。例如，装置112可以是服务器。装置112可包括视频解码器114和图像识别器和选择器116。端点122可为任何适当的设备或任何适当设备的一部分。例如，端点122可为配置作为电视会议端点的计算机。端点122可包括视频解码器124和图像识别器和选择器126。端点122也可包括端点部件128和数据图像库130。视频解码器114和124可为任何适当的硬件和/或软件视频解码器用于解码视频比特流成一连串视频图像。视频解码器114和124可使用任何适当的视频编码标准和/或编码器/解码器(多媒体数字信号编解码器)。例如，视频解码器可包括匹配在视频编码器106或108中的编码器的解码器。图像识别器和选择器116和126可为任何适当的硬件和/或软件用于识别和选择图像。例如，图像识别器和选择器可识别和选择与图3和图5相联系的这里描述的图像。硬件100也可包括端点118和数据图像库120。端点118和端点部件128可为任何适当的硬件和/或软件用于执行视频会议端点。数据图像库120和130可为任何适当的用于存储数据图像的存储机制。例如，数据图像库120和130可包括大容量存储设备(比如磁盘驱动器、光驱、磁介质，存储器，等)和数据库逻辑(比如数据库硬件和/或软件)。在一些实施例中，数据图像库120和/或任何其它适当的存储设备可包括视频会议已记录的副本，比特流可为视频会议的一部分。在一些实施例中，硬件100的不同部件(例如视频编码器106和108、视频解码器114和124、图像识别器和选择器116和126、端点118、端点部件128和数据图像库120和130)可在一个或多个通用设备比如计算机或者专用设备比如客户机、服务器等中执行。这些通用或专用设备的任何一个可包括任何适当的部件例如处理器(可为微处理器、数字信号处理器、控制器等)、存储器、通信接口、显示控制器、输入设备等，并能被配备用来响应于与这里描述的功能一致的软件指令操作。图2图解了在一些实施例中能被网络装置112和/或端点122执行的过程200的例子。如其所示，在过程200之后，从202开始，该过程在204接收视频比特流。视频比特流能以任何适当的方式接收，例如通过在网络110上传输。接下来，在206,视频比特流能被解码成视频图像。任何适当的解码可用在一些实施例中。然后在208数据图像组可在视频图像中被识别。识别数据图像的任何适当的方式可被用在一些实施例中。例如，数据图像组能使用如图3所示的过程300被识别。在一些实施例中，过程300能使用滤波器评估视频图像。例如，滤波器可被用来通过比较图像的签名确定当前图像是否与先前的图像不同。任何数量的签名(包括没有)可被用在滤波器中，且不同的滤波器可使用不同的签名。签名可为图像的任何适当的表示。 例如，在一些实施例中，签名可从对图像可用的编码信息中得到，例如，帧类型、帧大小、宏块(MB)类型等，和/或图像的像素水平信息，例如平均像素亮度，像素差异等。在一些实施例中，签名基于的东西可被预定，可被任意确定，或可基于图像内容确定。假定一列的平均像素亮度是某一滤波器的签名，列选择可为任意(例如，每第η列)或根据图像的内容(例如，基于每列中的像素差异)。 为了得到不同的假阳性FP和假阴性FC率，在一些实施例中，不同的滤波器可有不同水平的复杂度C。假阳性是被检测不匹配其它数据图像但事实上却匹配的数据图像。假阴性是不匹配其它数据图像但检测却匹配的数据图像。在一些实施例中，滤波器可用于在图像上以贯序通过，这样第一个滤波器是最不复杂的，下一个滤波器是较复杂的，且随后的滤波器是渐进更复杂的。以这种方式，如果第一个滤波器能被用来确定当前图像和先前图像是一样的，那么更加复杂的滤波器不需要被使用。图4显示了表格400，提供了能被用来评估图像的通过数I至N的滤波器的例子。这些滤波器可具有假阳性率FP1至FPn，假阴性率FN1至FNn，和复杂度C1至Cn，其中FP1 >FP2 > . . . > FPn, FN1 < = FN2 < = FNn,且 C1 < C2 < · · · < CN。回到图3，在过程300之后，起始于302，在304该过程能选择第一视频图像作为当前图像。下一步，在306过程300能创造带有当前图像的一组并使当前图像为先前图像。然后，在308，过程300可确定是否有更多的图像，如果没有，在310结束。否则，在312过程300可选择下一个视频图像作为当前图像。下一步，在314，第一滤波器可被选择作为当前滤波器。第一滤波器可基于任何适当的标准或准则被选择，例如复杂程度、假阳性率、假阴性率、使用的签名等。在316当前滤波器然后能被应用到当前图像以获得一个或更多的当前签名。如上所描述，任何适当类型的签名可被获得。在318，过程300可下一步确定当前图像是否与先前图像不同。做出这个确定的任何适当的方式可在一些实施例中被使用。例如，过程300能比较当前图像和先前图像的签名以确定它们是否不同(与相同或相似相对)。如果当前图像被确定与先前图像相同，那么过程300可增加当前图像到带有先前图像的组并在320使当前图像为先前图像，然后转到308。
如果当前图像被确定与先前图像不相同，那么过程300在322确定是否有更多应用的滤波器。如果是这样的，那么过程300在324可选择下一个滤波器作为当前滤波器并循环至316。否则，过程循环至306并创造带有当前图像的组并使当前图像为先前图像。在一些实施例中，当比较当前图像和先前图像来确定它们是否应当在同一个组时，存在于数据图像中的动画、锐化和其它视频效果可被忽略。确定忽略的动画、锐化或其它视频以及能够达成的任何适当的方式能用在一些实施例中。转回到图2，在数据图像组已在208被识别后，例如使用FIG. 3的过程300，过程200能在210在每组数据图像中选择最佳的数据图像。确定最佳数据图像的任何适当的方式能在一些实施例中被使用。例如，在一些实施例中，在每组数据图像中的最佳数据图像能使用图5所示的过程500被选择 。如图5所示，在过程500之后，开始于502，该过程能在504选择第一组数据图像。下一步，在506该过程可确定图像被获取的时间间隔是否太短。例如，如果一数据图像出现半秒，那么该图像对于人来说不是可观看的，因此该图像不大可能是有效数据图像。在一些实施例中，任何适当的时间帧可被用作确定时间间隔是否太短的基础。如果确定时间间隔太短，那么过程500能在508选择下一组数据图像并在506重复时间间隔评估。如果在506确定该组的时间间隔不是太短，那么过程500可基于在510的质量排序组中的图像。任何适当的机制可被用来确定图像的质量。例如，如果组中一连串图像具有变化的水平的锐度(例如，因为带宽限制已影响锐度)，那么具有最佳锐度的图像可被选择作为具有最佳质量。下一步，在512，过程500可基于完整度排序组中的图像。任何适当的机制可被用来确定图像的完整度。例如，如果数据渐进地被添加到空表格(例如)在一组中一连串图像中，具有最完整数据组的图像(例如，最后的图像)可被选择具有最佳的完整度。基于质量和完整度的排序，在514，当前组的最佳的图像可接下来被选择。例如，排序的加权和可被用来寻找最佳的图像。可选的，在一些实施例中，这些排序的仅仅一个可被使用，或一些其它的因素可被用来选择最佳图像。在一些实施例中，图像甚至可被任意地选择作为最佳图像，例如，通过随机(或伪随机)选择，通过是组中最后的图像等。在516，过程500可确定是否有更多的图像组，如果有，在508选择下一组并循环至506.否则，如果没有更多的组，那么过程500可在518结束。转回到图2，在210选择最佳图像之后，过程200可在212使得最佳图像对于一个或更多的用户可获得。做这个的任何适当的方式可在一些实施例中被使用。例如，过程200可在数据图像库120和/或130中存储最佳图像。在212使得最佳图像对于用户是可获得的之后，过程200可在214等待下一个视频比特流，然后循环至204。转回到图1，在一些实施例中，端点118和/或122 (端点)可使得用户基于最佳数据图像对于用户可用执行特定的功能。例如，端点(和/或任何计算机)可使得用户执行数据的在线浏览，可允许在视频会议迟到时接收先前被显示的数据，可被用来在视频会议结束后接收在视频会议中提供的数据，可允许基于对应它的数据的选择，选择一部分已记录的视频会议呼叫。在一些实施例中，任何适当的计算机可读媒介可被用来存储执行这里描述的过程的指令。例如，在一些实施例中，计算机可读媒介可以是短暂的或永久的。例如，永久计算机可读媒介可包括媒介例如磁媒介(例如硬盘、软盘等)，光学(例如光盘，数字化视频光盘、蓝光盘等)，半导体媒介(例如闪存、电可编程只读存储器(EPROM)、电可擦除只读存储器(EEPROM)等)，任何适当的非短暂的或在传输过程中没有任何持久的媒介，和/或任何适当的可触及的媒介。作为另一个例子，短暂的计算机可读媒介可包括网络上、电线、导体、光纤、电路中的信号，短暂的和传输过程中没有任何持久的任何适当的媒介， 和/或任何适当的无形的媒介。虽然本发明在前述的说明性的实施例中已被描述和说明，应当理解的是本公开的技术方案仅通过例子作出，本发明的实施细节中的许多变动可在不偏离本发明的实质和范围的情况下作出，本发明的实质和范围仅受下面跟着的权利要求限制。公开的实施例的特征可以各种不同的方式结合和重新排列。
权利要求
1.一种用于识别和选择视频流中的数据图像的系统，包括 至少一个处理器，被编程用于 接收表示多个图像的视频比特流； 识别多个图像中的数据图像组，其中每个数据图像提供数据的图像表示且在任何数据图像组中的每个数据图像对应于单一数据图像；和 从数据图像组中选择至少一个最佳的数据图像。
2.如权利要求I所述的系统，其中至少一个处理器也被编程用于应用滤波器来识别数据图像组。
3.如权利要求2所述的系统，其中滤波器使用图像签名来评估图像。
4.如权利要求2所述的系统，其中至少一个处理器也被编程用于应用第二更复杂的滤波器以识别数据图像组。
5.如权利要求I所述的系统，其中至少一个处理器也被编程用于确定与数据图像组有关联的时间间隔是否低于阈值。
6.如权利要求I所述的系统，其中选择最佳的数据图像包括评估在数据图像组中的数据图像的质量。
7.如权利要求I所述的系统，其中选择最佳的数据图像包括评估在数据图像组中的数据 图像的完整性。
8.如权利要求I所述的系统，其中视频比特流是视频会议呼叫的一部分，且其中至少一个处理器也被编程用于在至少一个图像在视频比特流中不再被表示之后使得视频会议呼叫的参与者从至少一个最佳数据图像中观看至少一个图像。
9.如权利要求8所述的系统，其中至少一个图像存储在服务器上。
10.如权利要求I所述的系统，其中视频比特流是视频会议呼叫的一部分，且其中至少一个处理器也被编程用于分配一组至少两个最佳数据图像给至少一个会议呼叫的参与者。
11.如权利要求I所述的系统，其中视频比特流是已记录的视频呼叫的一部分，且其中至少一个处理器也被编程用于使得观看者基于选择至少一个最佳的数据图像的一个，选择被观看的视频呼叫的一部分。
12.一种用于在视频流中识别并选择数据图像的方法，包括 接收表示多个图像的视频比特流； 使用编程的处理器来识别在多个图像中的数据图像组，其中每个数据图像提供数据的图像表示且在任何数据图像组中的每个数据图像对应于单一数据图像；和 使用编程的处理器来从数据图像组中选择至少一个最佳的数据图像。
13.如权利要求12所述的方法，进一步包括应用滤波器识别数据图像组。
14.如权利要求13所述的方法，其中该滤波器使用图像签名来评估该图像。
15.如权利要求13所述的方法，进一步包括应用第二更复杂的滤波器来识别数据图像组。
16.如权利要求12所述的方法，进一步包括确定与一组数据图像相关联的时间间隔是否低于阈值。
17.如权利要求12所述的方法，其中选择最佳数据图像包括评估在数据图像组中的数据图像的质量。
18.如权利要求12所述的方法，其中选择最佳数据图像包括评估在数据图像组中的数据图像的完整性。
19.如权利要求12所述的方法，其中视频比特流是视频会议呼叫的一部分，进一步包括在至少一个图像在视频比特流中不再被表示之后使得视频会议呼叫的参与者从至少一个最佳数据图像中观看至少一个图像。
20.如权利要求19所述的方法，其中该至少一个图像存储于服务器上。
21.如权利要求12所述的方法，其中视频比特流是视频会议呼叫的一部分，进一步包括分配一组至少两个最佳数据图像给会议呼叫的至少一个参与者。
22.如权利要求12所述的方法，其中视频比特流是已记录的视频呼叫的一部分，进一步包括使得观看者基于选择至少一个最佳数据图像的一个选择被观看的视频呼叫的一部分。
23.一种包含计算机可执行指令的计算机可读媒介，当被处理器执行该指令，使得处理器执行识别并选择在视频流中的数据图像的方法，该方法包括 接收表示多个图像的视频比特流； 识别在多个图像中的数据图像组，其中每个数据图像提供数据的图像表示且在任何数据图像组中的每个数据图像对应于单一数据图像；和 从数据图像组中选择至少一个最佳的数据图像。
24.如权利要求23所述的媒介，其中该方法进一步包括应用滤波器以识别数据图像组。
25.如权利要求24所述的媒介，其中该滤波器使用图像签名以评估该图像。
26.如权利要求24所述的媒介，其中该方法进一步包括应用第二更复杂的滤波器以识别数据图像组。
27.如权利要求23所述的媒介，其中该方法进一步包括确定与一组数据图像相关联的时间间隔是否低于阈值。
28.如权利要求23所述的媒介，其中选择最佳数据图像包括评估在数据图像组中的数据图像的质量。
29.如权利要求23所述的媒介，其中选择最佳数据图像包括评估在数据图像组中的数据图像的完整性。
30.如权利要求23所述的媒介，其中视频比特流是视频会议呼叫的一部分，且其中该方法进一步包括在至少一个图像在视频比特流中不再被表示之后使得视频会议呼叫的参与者从至少一个最佳数据图像中观看至少一个图像。
31.如权利要求30所述的媒介，其中该至少一个图像存储于服务器上。
32.如权利要求23所述的媒介，其中视频比特流是视频会议呼叫的一部分，且其中该方法进一步包括分配一组至少两个最佳数据图像给会议呼叫的至少一个参与者。
33.如权利要求23所述的媒介，其中视频比特流是已记录的视频呼叫的一部分，其中该方法进一步包括使得观看者基于选择至少一个最佳数据图像的一个，选择被观看的视频呼叫的一部分。
全文摘要
本发明提供了用于在视频流中识别并选择数据图像的系统、方法和媒介。根据一些实施例，提供了在视频流中识别并选择数据图像的方法，该方法包括接收表示多个图像的视频比特流；使用编程的处理器来识别多个图像中的数据图像组，其中每个数据图像提供了数据的图像表示且在任何数据图像组中的每个数据图像对应于单一数据图像；且使用编程的处理器来从数据图像组中选择至少一个最佳的数据图像。
文档编号H04N7/15GK102986209SQ201180026655
公开日2013年3月20日 申请日期2011年5月28日 优先权日2010年5月28日
发明者S·本-泽德夫, Y·威纳 申请人:锐迪讯有限公司