专利名称：用于抗共谋指纹的视频流传送和接收方法,相应的传送和接收装置的制作方法
技术领域：
本发明涉及到计算机实施的视频信号处理方法和应用于数字视频流的设 备。主要是应用于可以使用指纹和追踪视频流及其拷贝的所谓"数字版权管理"(DRM)系统。特别适用于IPTV("互联网协议电视")的领域，视频流是在加密之后传输 的，防止内容泄漏或盗版。在接收后对视频流解密并加指纹。视频指纹被用来在视频流中嵌入用户信息以保护数字内容所有者的版权。 换句话说，指纹是嵌入视频或视频分发拷贝(电影等等)的一种不易察觉的 识别标记，用来阻止用户，如电影院、专业视频编辑者(包括新闻、广告、艺 术等视频编辑)等非法拷贝或分发视频。在拷贝被非法使用或分发时，可以用 嵌入的指纹识别分发者以禁止这种违法行为。
技术背景目前已提出多种在视频中采用指纹的数字水印算法。然而，视频指纹水印的一个最大的弱点是所谓"共谋攻击"，即同谋者将几 个含有不同指纹的加指纹视频(例如是通过取均值、替代攻击等方法)合成，通 过合成视频中各个指纹的相互补偿得到一个消弱或去除指纹的新拷贝。抵抗这种共谋攻击的一种有效方法是由Yinian Mao和Kivanc Mihcak提出 的，参见wCollusion-Resistant Intentional De-Synchronization for Digital Video Fingerprinting. (Proceedings of IEEE International Conference on Image Processing(ICIP), 2005)"。该文献提出了对每个用户的视频拷贝稍做伪 随机修改(去同步)的方法，对于单个拷贝而言，这些修改是不易察觉的，但 是，在向用户传输视频流之前将多个拷贝组合到一起时，就会足够明显地产生 可察觉的赝象。虽然上述公知方法可以有效地抵抗共谋攻击，但仍然存在以下几个缺陷。 首先，上述公知方法是为了处理原始视频而设计的，并且与压缩标准不能兼容。然而，对于视频传输而言，压縮又是必要的，所以必须作为一个单独的额外步骤。其次，上述现有技术中提出的去同步过程不提供去同步视频流的安全传输。 此外，上述现有技术方法在去同步过程中需要进行运动估算处理，它与公知的MPEG等压縮方法中使用的运动估算是独立的。因此，如图4A所示，在整个视频流的处理过程中，需要对视频执行两次复 杂且非常耗时的运动估算处理，艮P--对原始视频41执行第一运动估算步骤42，用于在视频流中执行帧替换步骤 43 (将某些原始帧替换为去同步的帧)；以及_压縮所需的第二运动估算步骤44,以便获得可供传输的压縮视频45。在去同步之后将压縮视频传输给用户。视频流中经过不同去同步的各个拷 贝必须单独地传输给各个用户。然后，在各个用户的接收机中执行解压縮步骤46对接收的视频流解压縮。 发明内容按照本发明，在用户接收侧随着解密过程对数字视频帧进行时间去同步。得 到的显示媒体在时间上被去同步。其次，由于在传输前原始视频没有去同步，本发明可以解决去同步视频帧的 安全传输问题。然而，受到合理的视觉质量和灵活性的约束，为了满足特殊的安全要求，显 示去同步的媒体会产生几个关键的问题。为了达到这个目的而提出了一种接收由加密帧序列构成的加密视频流的方法。按照本发明，所述方法包括在用户接收机中执行以下步骤 -接收加密帧序列；-接收与所述序列有关的一件跳跃信息；-按照由所述一件跳跃信息限定的一种跳跃模式跳过加密帧序列中的至少一 个加密帧，对所述加密帧去同步，提供一个剩余加密帧序列； -对所述剩余加密帧解密并加指纹。按照本发明的方法有可能在接收侧对加密视频流中的帧及时去同步。由此实 现随着解密过程按时间去同步。具体地说，按照本发明的时间去同步是借助跳过某些加密视频流帧完成的。换句话说，某些接收的帧在接收过程中被"放在一边"。对加密视频流中没 有被放在一边的剩余帧解密并同时加上提供安全的指纹。这样，按照本发明用于接收加密视频流的方法就能抗共谋。值得注意的是，视频流在传输之前已经被预先延长了。按照一个具体实施例，所述跳跃模式采用一种随机序列。例如可以按照用户 的解密密钥和/或一种随机密钥产生该随机序列。由于采用了随机序列，帧跳跃对各个接收机是不同的。因此，该方法能抗共谋o值得注意的是，可以存储在接收机上或是由发送设备发送的解密密钥对各个 接收机是不同的。例如，加密帧的序列包括被称作I帧的内部型帧，被称作p帧的预测型帧，和/或被称作B帧的双向预测型帧，并且所述去同步步骤仅仅允许跳过P或B帧。 按照本例，只能跳过有可能存在的P或B帧。由于参考帧(内部帧I)决不会被跳过(或放在一边)，去同步就不会影响解压縮。具体地说，所述的一件跳跃信息可以取决于属于以下组中的至少一个要素 -视频流内容；-视频流质量； -压縮模式；-来自用户接收机的反馈信息； -来自用户接收机的要求。为了在视频流中找出能够跳过的帧，可以按照视频内容，和/或压縮图形， 和/或用户的反馈或要求等等限定一个"跳跃帧池"。然后由这一跳跃帧池产生 一件跳跃信息。值得注意的是，如果至少考虑到视频内容，压缩模式，密钥控制或用户的反 馈或要求，去同步具有很少的视觉损伤和良好的灵活性。例如，所述反馈信息是由选自一组可能的预定质量等级中的一个质量等级来 代表的。按照本发明的另一个特征，所述解密和加指纹的步骤采用用户的解密密钥和 一件代表所述至少跳过一个加密帧的信息。按照另一方面，本发明还提供了一种用来接收由加密帧序列构成的加密视频 流的装置，所述装置包括-接收加密帧序列的装置；-接收与所述序列有关的一件跳跃信息的装置；-对所述加密视频流去同步的装置，按照由所述一件跳跃信息限定的一种跳 跃模式跳过加密帧序列中的至少一个加密帧，提供一个剩余加密帧序列； -对所述剩余加密帧解密并加指纹的装置。这种接收装置例如是个人计算机，电视机，个人数字助理，移动电话等等， 它执行该方法的某些或所有特征，按照本发明接收加密视频流。本发明的另一实施例涉及一种计算机程序产品，可以从通信网络上下载并且/或是预先存储在计算机可读介质上并且/或是可以由处理器执行，包括用来实 现所述加密视频接收方法的程序指令。本发明的另一方面涉及到发送由连续的原始视频帧序列构成的原始视频流 的一种方法，包括以下步骤-压縮所述序列的各个帧；-对所述压縮视频流加密，提供一个加密视频流；-产生一件有关所述原始视频帧的跳跃信息；-向至少一个接收机发送加密视频流和所述的一件跳跃信息。按照本发明的这一方面，同样的加密视频流可以通过广播或多点传送发送给用户。本发明由此能够节省占用带宽和处理时间。实际上仅仅需要计算一个加密视 频流，并将同样的加密拷贝传送给每个人。与现有技术相比，为了制作仅能传 送给n个用户的n个拷贝不需要计算n次。该传送方法还包括向各个用户接收机传送解密密钥的步骤。为了安全目的，用户密钥当然是按照单点传送技术传送给唯一用户的。例如，在发送侧用一组所有用户都知道的密钥Kg执行加密。在各个接收机上 接收对各个用户是唯一的单一保密密钥Ki。值得注意的是，所述一件跳跃信息取决于属于以下组中的至少一个要素-视频流内容；-视频流质量；-压縮模式；-来自用户接收机的反馈信息； -来自用户接收机的要求。例如，通过来自接收机的"反馈信息"可以得知该文件中有一个代表质量等 级或是由接收机的用户提出的要求(例如是要求高分辨率发射)的信息。按照本发明的一个实施例，在压縮步骤之前按照比显示时更高的帧速率对原 始视频流采样。这样就会延长视频流，例如是捕捉较高分辨率的视频图像。按照另一个实施例，原始视频流在压縮步骤中被延长，例如是采用内插技术。 由于视频流在传输之前被延长，在接收时跳过某些帧不会影响显示的视频流 的视觉质量。同样值得注意的是，按照本发明的方法能够在抗共谋攻击的保密视频广播系 统中提供较小的视觉劣化和良好的灵活性。按照本发明的另一方面还提供了一种用来发送由连续的原始视频帧序列构 成的视频流的装置，包括-压縮所述序列的各个帧的装置；-对所述压縮视频流加密，提供一个加密视频流的装置； -产生一件有关所述原始视频帧的跳跃信息的装置； -向至少一个接收机发送加密视频流和所述的一件跳跃信息的装置。 这种发送装置例如是一个服务器。它执行该方法的某些或所有特征，按照本发明发送原始视频流。本发明的另一实施例涉及一种计算机程序产品，可以从通信网络上下载并且/或是预先存储在计算机可读介质上并且/或是可以由处理器执行，包括用来实现所述原始视频发送方法的程序指令。本发明还覆盖了按照本发明的原始视频流发送方法的部分或全部上述特征对视频流进行编码。本发明的其他特征和优点将在后文中参照附图，以非限定性方式例举一或多个实施例，在对其描述中可以更清楚地体现出来。
图l表示按照本发明的可以应用于抗共谋指纹的保密视频去同步系统的主 要阶段。图2的流程图表示按照本发明产生一件跳跃信息的具体实施例。 图3的流程图表示按照本发明的跳跃模式的具体实施例。 图4由图4A和图4B构成。图4A已经参照现有技术介绍过了，它说明了连续时间去同步后按各自的运动估算步骤单独压縮的基本原理。而图4B表示按照本发明发送和接收视频流的方法，在接收方对视频流去同步。图5和6分别表示按照本发明的视频流发送方法和接收方法的主要阶段。 图7A和7B表示由九个帧构成的压縮视频序列的两个例子。具体实施例的说明本发明的基本原理包括向不同用户广播同样的加密视频流，并且在不同的用户接收机中对接收的加密视频流按时间去同步。如图5所示，按照本发明发送的视频流的方法包括四个主要阶段。用来处理由连续原始视频帧序列构成的原始数字视频流51，最终得到一个加密视频流和一件跳跃信息，具体就是-第一阶段52，压縮序列多种各帧，提供一压縮视频流。最好是在压縮步骤之前或是过程中通过再采样或内插将原始视频流51延长； -第二阶段53，对压縮视频流加密，提供一加密视频流； -第三阶段54，产生一件与原始视频帧序列有关的跳跃信息；以及 -第四阶段55，向至少一个接收机发送加密视频流和一件跳跃信息。 另外，如图6所示，按照本发明的视频流接收方法包括四个主要阶段，具体地说-在第一阶段61接收由连续的加密视频帧序列构成的加密视频流； -在第二阶段62接收一件与加密帧序列有关的跳跃信息；-在第三阶段63，按照一件跳跃信息所限定的跳跃模式从加密帧序列的至少一帧处跳跃，对加密视频流去同步，提供一剩余视频帧序列；以及-在第四阶段64为剩余的加密帧即没有被放在一边的加密帧同时解密和加指纹。与图4A的公知程序不同，如图4B所示，本发明的方法能够在接收机侧而不 是发送一侧对加密帧去同步。因此，按照本发明的技术有助于解决带宽消耗和计算时间，因为加密视频流 可以多点传送到所有用户。在接收机侧对加密视频流解密(63)，并且结合着解密加指纹(64)。这样就能 对非法拷贝解密视频流的窃贼进行跟踪，因为视频流是在同时解密和加指纹的。然后可以对视频流进行解压縮(65)。图1表示按照本发明的可以应用于抗共谋指纹的保密视频去同步系统的主要 阶段。在诸如服务器的发送装置(ll)一侧，首先在步100捕捉视频。在压縮步骤110 之前或是其间将视频流延长。换句话说，视频帧与用户看到的相比有所增加。例如可以对视频帧执行超采样实现延长，按照比显示时更高的帧速率对视频 采样。可以在捕捉步骤100中捕捉较高分辨率的视频。按照另一个实施例，可以在压縮步骤110中通过对视频帧执行内插按照视频 帧的过采样实现延长。有关这些技术的细节，可供参考的文献有，A.M. Tourapis，F.Wu和S.P.Li 的"Direct Mode Coding for Bipredictive Slices in the H. 264 Standard(IEEE Trans. On Circuits and System for Video Technology. Vol. 15(1) (2005) :119-126)或是J. N. Zhang, L. F. Sun， S, Q. Yang和Y. Z. Zhong的"Position Prediction Motion-Compensated Interpolation for Frame Rate Up-Conversion Using Temporal Modeling" (ICIP 2005.Vol.1:53-56)。然后在步120用一组密钥Kg对延长和压縮的视频流加密。如此通过不同的用 户密钥130构成的一组密钥控制加密步骤120。采用一组密钥Kg的加密技术并且向一个接收机发送唯一密钥Ki例如可以参见 De印a Kundur和Kaiman Karthik在"Video Fingerprinting and Encryption Principles for Digital Rights Management ，， (Proceedings of the IEEE, Vol. 92， No. 6:918-932， June 2004)中所述。还要限定一个跳跃帧池125，以便发现"有可能跳过的帧"，也就是视频流中 能够跳过的那些帧。跳跃帧池可以按照捕捉步骤100中发布的视频内容，压縮模式110，和用户 的反馈来确定。然后由这一跳跃帧池产生一件跳跃信息。以下要参照图2具体说明跳跃帧池125的工作原理。加密视频流或是加密的内容以及一件跳跃信息被多点广播到不同的用户，而 用户密钥仅仅是单点广播给用户。将除用户密钥之外的内容多点广播给用户能 够节省带宽占用。在接收机(12)—侧，通过跳过加密视频流中的某些帧(步150)对加密视频流 去同步。帧跳跃是由"跳跃模式"模块140决定的，它采用一个随机序列和一 件跳跃信息作为输入。随机序列可以按照用户密钥或随机密钥145产生。 以下要参照图3具体说明"跳跃模式"模块140的工作原理。 在通过帧跳跃150去同步之后，在同一模块160中为加密视频流解密并加指纹。为一个视频流解密和加指纹的组合算法例如可以参见De印a Kuridur和 Kaiinan Karthik在"Video Fingerprinting and Encryption Principles for Digital Rights Management" (Proceedings of the IEEE， Vol. 92， No. 6:918-932 June 2004)中所述。该文献建议将解密和加指纹程序集成。按照该文献， 一个服务器用一组密钥 Kg对介质加密。在各个接收机上采用对每个用户是唯一的单一保密密钥Ki执行 组合加指纹和解密。该程序部分是存储器多路复用解密。然而，采用Ki^&来解 密能够为各个用户引入唯一的指纹，使得各个解密拷贝截然不同。这样就能在接收机上在视频流中嵌入指纹来保护解密拷贝。值得注意的是， 为了在接收侧保护介质，视频流在嵌入指纹之前应该是密码文本。按照现有技术，指纹通常是在传输前嵌入加密视频流的，因此，为了系统的 安全，需要按不同用户发送许多拷贝。组合解密和加指纹程序160是由代表跳跃模式140的一件跳跃信息和用户密 钥Ki来控制的。例如，假定是一组由序列'K。， Kb K2， K:s， K4，…'构成的密钥Kg，而跳跃模式(140) 限定了所得的序列是'O，l，O，O，l，…'。以下要参照图3说明的这一所得序列 代表能够按等于'I'的一位跳跃的帧。然后，假定接收的加密帧序列是由'F。，Fi，F2，F3，F4,…'构成的，按帧跳跃步 骤150去同步后的序列就是<FQ，F2，Ff'。在解密和加指纹步骤160中输入的代表跳跃模式140的一件跳跃信息能够得 到的解密序列是'0，1，0，0，1，…'。因此，解密密钥认可的跳跃模式是 Ko， K2， K3,。举一个简单的例子，在一帧中嵌入一位，则在组合解密和加指纹步骤160中剩下的指纹就会是'o o r。在步骤160中，在解密时嵌入指纹 F。④《。(8)'0'，尸2 尺2圾'0'，尸30《3<8)'1';用巧e《(8)'6'代表按密钥《解密的帧Fi，除了代表'b'的段(代表不同位的 不同的未解密段)。同样可以参见De印a Kundur和Kannan Karthik在"Video Fingerprinting and Encryption Principles for Digital Rights Management" 中对组合解密和加指纹算法的具体描述。然后在步170对视频流解压縮，并且可以在步180显示在例如是个人计算机 的屏幕上。应该注意到接收机可以(但是不一定)向发送装置发送反馈信息，向发送装置 告知用户接收机的要求或能力。图2表示从跳跃帧池产生一件跳跃信息。如上所述，跳跃帧池中限定的可能的跳跃帧是按照原始视频流200，压縮模 式210和用户的反馈或要求220形成的。在步205可以对原始视频流200进行压縮。在步230对原始视频流200或压 縮视频流205的视频内容进行分析。例如，假定以联系的原始视频帧序列的十个帧作为视频内容分析模块230的输出。采用二进制表示的序列可以表示成十个等于'r的位 公式1='…1 111111111，然后考虑压縮模式210，假定压縮图形仅仅保留五帧中的四帧。帧的典型类型 有I帧即内帧，P帧即预测帧，和B帧即双向预测帧。值得注意的是，为了能够 为视频流完美地解压縮，只能跳过P或B帧。从压縮模式模块210输出的采用二进制表示的序列可以是-公式2= 0 11110 111…，最后考虑来自用户220的反馈。例如是根据用户的要求不能跳过视频的某些 部分。从用户要求/反馈模块220输出的仍然用二进制表示的序列可以是 公式3='…1 1 1 1 0 0 0 1 1 1 ' ，还可以考虑到捕捉视频质量(在图2中未表示)。快速视频捕捉显然不能有太 多的跳跃。例如，仍然用二进制表示的序列可以是 公式4='…1 1 0 0 0 1 1 1 1 1…，在步240中组合不同的序列，即在序列之间采用逻辑功能"AND"，就会获得公式1='…1 111111111…， AND公式2二 '…1 0 11110 111…， AND公式3二 '…1 1 1 1 0 0 0 1 1 1…， AND公式4二 '…1 1 0 0 0 1 1 1 1 1…， GIVES 0 0 0 0 0 0 1 1 1…，如果是考虑十个帧Al到AIO，仅有帧Al， A8， A9和A10可以跳过。剩余的帧 A2到A7不能跳过。然后对所得的代表着可以用等于的位跳过的那些帧的序列执行压缩和 编码步骤250，并且输出它作为一件跳跃信息299。如上所述，只有现存的B或P帧可以跳过。实际上，由于I帧是参考帧，它 们载有大部分信息并且不能被跳过。参见图7A的实施例，图中表示由I-型帧及P-型和B-型帧构成的压縮视频序列。图7A上面的箭头表示帧Bl和B2可以用帧10和P3的信息重建，帧B4和B5 可以用帧P3和16的信息重建，依此类推。因此，由于P-型和B-型帧都是可以利用的，从压缩模式模块210输出的序 列公式2可以是公式2='…0 110 110 11…'意味着可以跳过帧B1和B2，B4和B5，以及B7和B8，而基本的帧10， P3和 16是不能跳过的。图7B表示另一个例子，其中的压縮视频序列仅仅是由I-型的帧和P-型的帧 构成的。图7B上面的箭头表示帧Pl和P2可以用帧10的信息重建，帧P4和P5可以 用帧I3的信息重建，而帧P7和P8可以用帧I6的信息重建，依此类推。因此，由于只有I-型和P-型帧是可以利用的，从压縮模式模块210输出的 序列公式2可以是 '公式2二 '…0 110 110 11…，意味着可以跳过帧Pl和P2， P4和P5,以及P7和P8，而基本的帧10， 13和 16是不能跳过的。由这个例子可以看出，那些参考帧即图7A中的I和P帧以及图7B中的I帧 是不能跳过的，因此仍然留在去同步的视频流(即去同步步骤之后)中。因此， 按照本发明的去同步对解压縮没有影响。最后，图3的流程图表示按照本发明的跳跃模式的一个具体实施例。 按照这一具体实施例，采用跳跃模式的是一个按照密钥310(用户解密密钥和/或一个随机密钥)产生的随机序列320，也被称作随机增量整数序列。跳跃模式 的输入还有一件跳跃信息300。例如，假定仅仅用用户密钥产生以下形式的随机序列随机序列='…0 10 0 11 0…'而由跳跃帧池产生的一件跳跃信息是这样的序列-跳跃序列=""1 110 0 1 0…，采用二进制表示法，用等于'r的位代表会被跳过的帧。在步330中组合这两个序列，即在两个序列之间采用逻辑功能"AND"，就得到随机序列- '…0 10 0 11 0…， AND 跳跃序列='…1 110 0 1 0…' GIVES ""0 1 0 0 0 1 0…，得到的序列399被发送给图1的跳跃帧模块150，就能为加密视频流解压縮， 能够确定哪些加密帧可以被跳过，而哪些加密帧不能被跳过。特别是输出帧(399) 与显示的帧具有几乎相同的帧。在本例中，在接收加密的视频流时仅有对应着等于'r的位的第二和第六 帧会被跳过。
权利要求
1. 一种接收由加密帧序列构成的加密视频流的方法，其特征是所述方法包括在用户接收机中执行以下步骤-接收加密帧序列；-接收与所述序列有关的一件跳跃信息；-按照由所述一件跳跃信息限定的一种跳跃模式跳过加密帧序列中的至少一个加密帧，对所述加密帧去同步，提供一个剩余加密帧序列；-对所述剩余加密帧解密并加指纹。
2. 按照权利要求l的方法，其特征在于所述跳跃模式采用一种随机序列。
3. 按照权利要求2的方法，其特征在于所述随机序列是按照用户的解密密 钥和/或一个随机密钥产生的。
4. 按照权利要求1或2的方法，其特征在于所述加密帧序列包括被称作I 帧的内部型帧，被称作P帧的预测型帧，和/或被称作B帧的双向预测型帧，并且所述去同步步骤仅仅允许跳过P或B帧。
5. 按照权利要求1或2的方法，其特征在于所述的一件跳跃信息取决于属 于以下组中的至少一个要素-视频流内容； -视频流质量； -压縮模式；-来自用户接收机的反馈信息。
6. 按照权利要求5的方法，其特征在于所述反馈信息是由选自可能的一组 预定质量等级中的一个质量等级来表示的。
7. 按照权利要求1或2的方法，其特征在于所述解密和加指纹的步骤采用 崩户的解密密钥和一件代表所述至少跳过一个加密帧的信息。
8. —种用来接收由加密帧序列构成的加密视频流的装置，其特征是所述装置 包括-接收加密帧序列的装置；-接收与所述序列有关的一件跳跃信息的装置；-对所述加密视频流去同步的装置，按照由所述一件跳跃信息限定的一种跳 跃模式跳过加密帧序列中的至少一个加密帧，提供一个剩余加密帧序列； -对所述剩余加密帧解密并加指纹的装置。
9. 发送由连续的原始视频帧序列构成的原始视频流的一种方法，包括以下步骤-压縮所述序列的各个帧；-对所述压縮视频流加密，提供一个加密视频流；-产生一件有关所述原始视频帧的跳跃信息；-向至少一个接收机发送加密视频流和所述的一件跳跃信息。
10. 按照权利要求9的方法，其特征在于包括向各个用户接收机传送解密密 钥的步骤。
11. 按照权利要求8或9的方法，其特征在于所述一件跳跃信息取决于属于 以下组中的至少一个要素-视频流内容； -视频流质量； -压縮模式；-来自用户接收机的反馈信息。
12. 按照权利要求8或9的方法，其特征在于在压縮步骤之前按照比显示时 更高的帧速率对原始视频流采样。
13. 按照权利要求8或9的方法，其特征在于原始视频流在压縮步骤中被延长。
14. 一种用来发送由连续的原始视频帧序列构成的视频流的装置，所述装置包括-压縮所述序列的各个帧的装置；-对所述压縮视频流加密，提供一个加密视频流的装置；-产生一件有关所述原始视频帧的跳跃信息的装置；-向至少一个接收机发送加密视频流和所述的一件跳跃信息的装置。
全文摘要
一种接收由加密帧序列构成的加密视频流的方法，其特征是所述方法包括在用户接收机中按顺序执行以下步骤-接收加密帧序列；-接收与所述序列有关的一件跳跃信息；-按照由所述一件跳跃信息限定的一种跳跃模式跳过加密帧序列中的至少一个加密帧，对所述加密帧去同步，提供一个剩余加密帧序列；-对所述剩余加密帧解密并加指纹。
文档编号H04N7/24GK101242525SQ20061017047
公开日2008年8月13日 申请日期2006年12月30日 优先权日2006年12月30日
发明者真 任, 刘忠轩, 廉士国 申请人:法国电信公司