专利名称：新型用户敏感信息适应性视频代码转换架构的制作方法
新型用户敏感信息适应性视频代码转换架构
背景技术：
代码转换表示一种数字文件到另 一种的转换。这种转换包括但不 限于格式变化、分辨率变化以及比特率变化。在视频点播应用中，主 机计算机可以响应于用户请求来浏览所存储的视频文件。主机计算机 可以把所存储的视频文件进行代码转换而变成合适的视频格式和比 特率，以通过网络传输给用户。代码转换的格式可以是与用户平台相 兼容的，例如，电视或个人电脑。主机计算机也可以调整传输比特率 以满足连接主机计算机和用户的网络的带宽需求。
主机计算机和用户之间的网络连接有时可能是不稳定的或拥塞
的。无线连接比如无线保真(WiFi)网络上的视频传输很容易发生数 据丟失或者错误。因此，主机计算机上的代码转换一般降低传输比特 率以在这种网络条件下进行防护。但是，降低的比特率一般会降低用 户所接收到的视频质量。
通过举例的方式来阐明了诸实施例，附图中图形并不是对本发明 的限制，附图中，相同的附图标记表示相同的元件。需要注意的是， 本发明中"一个"实施例并不一定是指的同一个实施例，其表示至少 一个。
图1是一见频系统实施例的方框图。
图2是包括有三帧的帧序列的示例。
图3是视频系统静态模型的方框图。
图4视频系统动态;f莫型的方框图。
图5是示出视频系统代码转换操作的流程图。
具体实施例方式
图1示出了视频系统10实施例的方框图。视频系统10可以是个人电脑，文件服务器，或者任意具有视频代码转换功能的计算设备。
在一个实施例中，视频系统IO可以是视频点播(VOD)系统，响应于用 户请求通过网络向终端用户发逸视频流。^见频系统10可以通过存储 器接口 17和存储路径18而耦合到存储器12。视频系统10也可以通 过网络接口 19耦合到网络15上，用于向终端用户发送^f见频流。网络 15可以是有线或无线网络，或者二者组合。网络15可以是局域网， 广域网，因特网或以上所述的组合。存储器12可以是一个或多个易 失或非易失存储设备的组合，或者任意机器可读介质。例如，机器可 读介质包括只读存储器(ROM);随机存取存储器(RAM);磁盘存储々莱 体；光存储媒体；闪存设备；生物电子、机械系统；电、光、声或其 它形式的传播信号(比如，载波、红外信号或数字信号)。
存储器12可存储多个视频文件，包括一种或多种视频格式的媒 体流文件123。媒体流文件123可包括一系列帧。每个帧的部分可包 含用户特别感兴趣或敏感的信息。例如，图2示出了三个连续帧，其 中每个都包括一个正在奔跑的人和两辆移动的汽车。用户可能对人比
对汽车更感兴趣，因此，可能会更加关注人的细节。因此，用户可以指定人为包含更多用户敏感信息的物体。包含人的区域，如椭圓21-23所表示的，被称之为敏感信息部分(SIP)区域。SIP区域之外的区域称之为非SIP区域。
参照图1,在一个实施例中，视频系统IO可以具有一个包括代码转换器110、敏感信息部分(SIP)产生器120以及可选SIP文件分析器130的代码转换单元16,用于向视频文件施加偏差率控制。在一个实施例中，比起向非SIP区域，代码转换器110可以向SIP区域分配更多的用于每个宏块的位数(例如16象素x 16象素块)，从而增强SIP的质量和用户体验。SIP产生器120为每一帧产生SD 信息。SIP信息可 以与代码转换流的传输一起产生或者静态地产生到存储在存储器12
里的SIP配置文件125。如果SIP信息是离线产生的并存储到SIP配 置文件125中的，SIP配置文件的格式可能并不能与代码转换器110 相兼容。SIP文件分析器130可以用于把用于代码转换器110的文件 格式进行转换以解决任何格式不兼容问题。
图1中，代码转换器110、 SIP产生器120以及SIP文件分析器 130作为硬件设备而示出，其可通过特定用途集成电路(ASIC)、现场 可编程门阵列(FPGA),或任何适用于逻辑设备执行的硬件技术。这些 硬件设备可以通过直接存储器存取(DMA)控制器13直接对存储器12 里的文件进行存取。作为备选地， 一个或多个代码转换器110、 SIP 产生器120和SIP文件分析器130可以实现为预定义的存储在机器可 读介质中的软件模块。这些软件模块可以包含由处理器14执行的指 令。
在静态实施例中，SIP可以在用户的指导下产生。例如，用户可 以手动为各帧标记一个或多个SIP区域，并为所标记的区域分配优先 级。SIP产生器120可以产生每个被标记区域的坐标，并将其存储到 SIP配置文件125中。作为备选地，用户可以在SIP首先出现的帧中 对SIP进行标记。SIP产生器120可以使用标记的信息来自动对其后 的帧中的SEP进行定位。例如，参照图2,用户可以手动标记椭圆21-23 来表示正在奔跑的人包包^^敏感信息。用户可以仅仅选择性地标记椭 圆21。 SEP产生器120可以分析物体(正在奔跑的人)的特点，或者 包含在椭圆21内的区域，并且在后续帧中搜索具有相同或相似特点 的物体或区域。SEP产生器120可以利用标准函数，比如运动图象专 家組-4(MPEG-4)中所描述的，来进行分析或搜索。当SDP产生器120 对物体或区域定位后，SIP产生器可以产生标记，椭圆形或者任意合 适的形状，来包围它。标记的坐标，无论是由用户还是SIP产生器120 产生的，都可以存储在SIP配置文件125中。SIP配置文件125可以 以项目(item)形式来存储每个SIP,该项目包括帧序列号、SIP号、SIP 优先级以及包围SIP的标记的形状和坐标。
作为备选地，用户也可以向SIP产生器120指示某个物体(比如 正在奔跑的人)就是SIP，而不用把物体圈起来。在这种场景下，用 户可以向SIP产生器120来描述物体的特点(比如某种颜色或某种高宽 比的物体)。作为备选地，用户还可以把固定坐标或形状的区域指定 SIP区域。SIP产生器120可以根据用户的指导来在所有帧中定位物体 或区域。
SIP产生器120也可以自动对SIP进行定位，而不需要用户的指 导，或者只需要用户最小的输入。例如，用户可以为每个频繁出现的 物体提供一个优先级。SIP产生器120可以比较帧序列中的物体，并 指定出现最频繁的物体和/或具有最高优先级的物体为SIP。作为备选 地，SIP产生器120也可以比较一系列帧中的物体，并指定出现这些 帧最中心位置的物体作为SIP。在另外一些场景中，SIP产生器120 可以比较帧序列中的感兴趣区域并指定这些出现最为频繁的区域作 为SIP。
在某些实施例中，图1中的视频系统IO可以由静态模型或静态 模型实现。图3和图4分别示出了视频系统10的静态模型和动态模 型的实施例。在静态模型和动态模型中，代码转换器IIO可以基于SIP 信息和网络15的可用带宽来对i某体流文件123进行代码转换。代码 转换器IIO可以为SIP区域和非SIP区域决定不同的比特率以保证SIP 的质量并不妥协于有限的带宽。与非SIP区域相比，SIP区域可以以 更高的比特率被发送。如果可用带宽命支低，或者网络15不稳定，代 码转换器IIO可以降低用于发送非SIP区域的比特率而维持用于发送 SIP区域的比特率。作为备选的，代码转换器110可以降低用于SIP 和非SIP区域的比特率，但是对非SIP区域施加的比特率降低更多。 为了为高优先级SIP保留更多的带宽， 一些低优先级的SEP区域可能 会丟弃。即，低优先级SIP区域可以用与非SIP区域相同的比特率进 行编码。因此，视频系统10可以适用于不同的网络环境，并可以有 效地利用带宽来传输高质量的敏感信息。
在图3的静态4莫型中，SIP配置文件125优先于被代码转换的视 频传输而产生。SIP配置文件125也可以从不同的平台导入，并且可 以具有不易^支代码转换器110所解读的格式。SIP文件分析器130可 以读取SIP配置文件125，并4巴文件格式转换成其它能与代码转换器 110兼容的格式。然后代码转换器110可以基于从SIP文件分析器130 处所接收到的SIP和网络15的带宽状态而从4某体流文件123中产生代 码转换的流。
图4的动态模型中，SIP配置文件125和SIP文件分析器130可 以省略。SIP产生器120与代码转换操作同时产生SIP信息，并且直 接把SIP发送给代码转换器110。在一个实施例中，代码转换器110 可以把网络15的带宽状态馈送给SIP产生器120，并允许SEP产生器 基于网络条件动态地调整SIP的量。
图5是示出某些实施例中例如图1中的代码转换器110中代码转 换器操作的例子的流程图。方框51处，代码转换器110接收带宽状 态，带宽状态指示可用于发送代码转换的视频的可用带宽。方框52 处，根据图3的静态模型，代码转换器110从SIP文件分析器130处 接收SIP信息。作为备选的，根据图4的动态模型，代码转换器110 也可从SIP产生器120处接收SIP信息，并把带宽状态转发SIP产生 器。尽管，如图所示，SIP信息是在接收到带宽状态之后才被接收的， 但是，这些接收可以是任意顺序的，并且可以是同时的。方框53处， 代码转换器IIO基于带宽状态而决定对SIP以及非SIP区域进行代码 转换的比特率。代码转换器110也可以决定是否丟弃具有低优先级的 SIP。方框54处，代码转换器IIO形成近似被标记区域或物体的宏块。 在块55处，比起非SIP区域中的宏块，代码转换器110对SIP区域的 宏块中的每一个用更高的比特率进行代码转换。方框56处，代码转 换器通过网络15向每个终端用户发送进行了代码转换的流。
在上述说明中，对一些特定实施例进行了说明。但是，4艮明显可 以对其进行各种变型或变化，而并不偏离权利要求书的精神和范围。因而，本说明以及附图应该视为是示范性的，而非限制性的。
权利要求
1.一种方法，包括定义帧的第一部分为包含敏感信息，其中所述帧包括所述第一部分和第二部分；基于可用于发送代码转换的帧的带宽，而对所述帧的所述第一部分以高于所述帧的所述第二部分的比特率进行代码转换。
2. 如权利要求1所述的方法，其特征在于，所迷定义帧的第一 部分还包括定义所述帧的所述第一部分的一个或多个项目为包含敏感信息， 其中所述项目为区域和物体中的一个。
3. 如权利要求2所述的方法，还包括 把每个所述项目的坐标存储到文件中。
4. 如权利要求2所述的方法，其特征在于，定义所述帧的所述第 一部分的一个或多个项目还包4舌如果所迷可用带宽降低，则用与所述帧的所述第二部分相同的比 特率对低优先级项目进行代码转换。
5. 如权利要求1所述的方法，其特征在于，所述代码转换还包括 如果所述可用带宽降低，则降低所述帧的所述第二部分的比特率，同时维持所述帧的所述第一部分的比特率。
6. 如权利要求1所述的方法，其特征在于，所述代码转换还包括 如果所述可用带宽降低，则所述帧的所述第二部分的比特率的降低大于所述帧的所述第一部分的比特率的降低。
7. 如权利要求1所述的方法，其特征在于，定义帧的第一部分 还包括比较帧序列中的物体；以及定义所述第一部分为包含所述帧序列中出现最频繁的物体。
8. 如权利要求1所述的方法，其特征在于，定义帧的第一部分还包括比较帧序列中的物体；以及定义所述第一部分为包含所述帧序列中最中心位置出现的物体。
9. 一种系统，包括敏感信息产生器，以产生把帧的第一部分作为包含敏感信息的定义，其中所述帧包括所述第一部分和第二部分；代码转换器，以基于可用于发送代码转换的帧的带宽，而对所述帧的所述第一部分以高于所述帧的所述第二部分的比特率进行代码转换。
10. 如权利要求9所述的系统，还包括存储器，以存储包括所述帧的所述第一部分中项目的坐标的配置文件，其中所述项目是物体和区域中的一个。
11. 如权利要求9所述的系统，还包括存储器，以存储包括所述帧的所述第一部分中项目的优先级的配置文件，其中所述项目是物体和区域中的一个。
12. 如权利要求11所述的系统，还包括文件分析器，以把所述配置文件的格式转换成与所述代码转换器兼容的另一种格式。
13. 如权利要求9所述的系统，其特征在于，所述敏感信息产生器发送所述第一帧的定义到所述代码转换器，并且从所述代码转换器接收的所述带宽的状态。
14. 一种其中具有指令的机器可读介质，在所述指令被执行时能使机器定义帧的第一部分为包含敏感信息，其中所述帧包括所述第一部分和第二部分；基于可用于发送代码转换的帧的带宽，而对所述帧的所述第一部分以高于所述帧的所述第二部分的比特率进行代码转换。
15. 如权利要求14所述的机器可读介质，其特征在于，定义帧的第一部分还包括如下指令，所迷指令可操作以定义所述帧的所述第一部分的一个或多个项目为包含敏感信息， 其中所述项目是区域和物体中的 一个。
16. 如权利要求15所述的机器可读介质，其特征在于，定义所述 帧的所述第一部分的一个或多个项目还包括指令，可操作以如果所述可用带宽降低，则以与所述帧的所述第二部分相同的比 特率对低优先级项目进行代码转换。
17. 如权利要求14所述的机器可读介质，其特征在于，还包括指 令，可操作以如果所述可用带宽降低，则降低所述帧的所述第二部分的比特 率，同时维持所述帧的所述第一部分的比特率。
18. 如权利要求14所述的机器可读介质，其特征在于，还包括指 令，可操作以如果所述可用带宽降低，则所述帧的所述第二部分的比特率的降 低大于所述帧的所述第 一部分的比特率的降低。
19. 如权利要求14所述的机器可读介质，其特征在于，所述定义 帧的第一部分还包括指令，可操作以比较帧序列中的物体；以及定义所述第一部分为包含所述帧序列中出现最频繁的所述物体。
20. 如权利要求14所述的方法，其特征在于，所述定义帧的第 一部分还包括指令，可操作以比较帧序列中的物体；以及定义所述第一部分为包含所述帧序列中最中心位置出现的物体。
全文摘要
本发明涉及一种视频系统，该视频系统包括敏感信息产生器，用于产生敏感信息部分(SIP)区域的定义。该视频系统还包括代码转换器，基于用于对被代码转换过的帧进行发送的可用带宽，对SIP区域以高于非SIP区域的比特率进行代码转换。SIP区域是静态地或动态地产生的。视频系统适用于不同的网络环境，并且能够有效地利用带宽来进行高质量的敏感信息传输，并能增强用户体验。
文档编号H04N7/26GK101346997SQ200580052395
公开日2009年1月14日 申请日期2005年12月28日 优先权日2005年12月28日
发明者C·X·陈, R·李 申请人:英特尔公司