专利名称：影像分发装置、影像接收装置以及关键帧分发方法
技术领域：
本发明涉及通过网络的影像分发技术，特别涉及实现快进等特殊再生的 影像分发装置、影像接收装置以及关键帧分发方法
背景技术：
近年来，由于以因特网为代表的网络技术的发展，电影等影像内容经由
网络的VOD (Video On Demand)分发正在普及。在VOD分发中，除了从现 有的影像分发服务器向PC (Personal Computer)的流^ 某体分发之外，出现了 将电视上连接的STB ( Set Top Box )、或者内置STB功能的电视机作为客户端 的VOD分发系统。
在这些VOD分发系统中，即使是经由网络的流式分发，也要求进行在现 有的视频装置中广泛实现的快进、回巻等特殊再生(特技再生)。为了应对该 要求，在影像分发服务器中，需要生成考虑了特殊再生的影像流，向STB等 客户端进行分发。
为了实现特殊再生，在专利文献1记载的影像服务器装置中，公开了以 下的技术从压缩编码的影像数据中生成仅包含进行了帧内编码的帧(关键帧) 的影像流，以任意倍的速率进行发送。
专利文献1特开平10—032809号公报
在上述现有的方法中，为了实现任意倍速率的再生，假定在影像内容中 按照固定的间隔包含关键帧，把从影像内容中读出关键帧进行分发的间隔作为 固定值进行计算，按照该间隔分发关键帧。
但是，在影像内容中包含的关键帧的间隔并不限于是固定的，特别在VBR (Variable Bit Rate)的影像内容中为了提高压缩效率，有时由于动画运动的激 烈度，关键帧的插入间隔变化较大。另外，即使是CBR ( Constant Bit Rate) 的影像内容，有时根据编码算法，关键帧的插入间隔发生变化，由于编码后的 影像内容的编辑以及传送时的错误等而丟失关键帧，存在关键帧不以固定间隔出现的影像内容。
在对不是以固定的间隔包含关键帧的影像内容应用专利文献1的方法时， 在关键帧的间隔疏松的部分影像内容的再生时刻加速，在关键帧的间隔紧密的 部分影像内容的再生时刻减速，有可能在发送的关键帧的分发时刻和再生时间 之间产生偏差。另夕卜，在对缺失关键帧的影像内容应用时，当长时间持续进行 特殊再生时，有可能关键帧的分发时刻和再生时间之间的偏差进行积累，特殊 再生时的分发时间和内容的再生时间的不一致变得显著。
发明内容
本发明的目的在于提供影像分发装置、影像接收装置以及关键帧分发方 法，它们在只发送关键帧的特殊再生中，即使在把不是以固定的间隔包含关键 帧的影像内容作为对象时，也可固定地保持关键帧的发送帧速率，而且使关键 帧的分发时刻和实际的影像内容的再生时间的不一致保持在最小限度。
为解决所述课题，本发明在周期执行的影像分发服务器的分发控制部中， 使用关键帧信息发送具有最接近周期分发时刻的分发时刻的关键帧。
影像分发服务器的分发控制部以 一定周期执行动作。关于在影像内容中 包含的各关键帧，关键帧信息存储内容文件内的偏移、关键帧大小、分发时刻 的信息。分发控制部在每次周期执行时参照关键帧信息，选择与在周期执行的 时刻考虑了再生倍率的分发时刻最接近的关键帧来进行分发。此时，根据影像 内容中包含的关键帧的间隔，有时多次发送同一帧。
分发控制部的执行周期以及再生倍率包含在分发服务器的设定或者来自 客户端的要求中。对执行周期指定正数。执行周期与影像内容中包含的关键帧 的间隔以及再生倍率独立地规定发送帧速率。在对再生倍率指定了比1大的值 时为快进，在指定了比1小的小数时为慢放，在指定了负数时为回巻(反向再 生)。
客户端可以忽略特殊再生时在影像内容中包含的时刻信息，在每次接收 到一个关键帧时解码并显示。
根据本发明，在周期执行的影像分发服务器的分发控制部中，使用关键 帧信息发送具有最接近周期分发时刻的分发时刻的关键帧，在仅发送关键帧的 特殊再生中，即使在把不是以固定间隔包含关键帧的影像内容作为对象时，也能够固定地保持关键帧的发送帧速率，而且使关键帧的分发时刻和实际的影像
内容的再生时间的不一致保持在最小限度。
图l是影像分发系统的框图。
图2是分发控制部的硬件框图。
图3说明关键帧信息。
图4说明分发请求。
图5是分发处理部的分发处理流程图。
图6说明内容文件的关键帧发送。
图7是客户端装置的动作流程图。
图8表示进行分发频带的控制的影像分发系统。
图9说明频带确保指示。
图IO说明分发指示。
图ll是通信控制部的处理流程图。
图12是对考虑了带宽的关键帧发送处理过程的一部分进行说明的流程图。
符号说明
20分发指示，101影像分发服务器，102分发控制部，103存储装置， 104内容文件，105关4建帧信息，106客户端装置，107再生控制部，108影 像再生部，109网络，201 CPU, 2021/0接口， 203主存储器，204程序存储 区域，205分发控制应用程序，401分发请求，500影像分发系统，801通信 控制服务器，802通信控制部，901频带确保指示
具体实施例方式
下面使用实施例并参照
本发明的实施方式。此外，对实质上相 同的部位赋予相同的参照符号，不重复说明。 (实施例1 )
参照图1说明实施例1的影像分发系统。这里，图1是影像分发系统的 框图。影像分发系统500由与网络109连接的影像分发服务器101和客户端装 置106构成。影像分发服务器101由分发控制部102和存储装置103组成。分发控制部102控制影像分发服务器101的动作。存储装置103是内置硬盘驱动 器(HDD)、 SAN (Storage Area Network)连接的存储装置等，存储作为影像 内容的编码数据的内容文件104以及关键帧信息105。
客户端装置106是PC、 STB等，由再生控制部107以及影像再生部108 组成。影像分发服务器101和客户端装置106通过因特网、LAN ( Local Area Network)等网络109连接。此外，对于一台影像分发服务器101,可以通过 网络109连接多个客户端装置106。
客户端装置106的再生控制部107根据用户的操作对影像分发服务器101 发送分发请求。影像分发服务器101的分发控制部102根据接收到的分发请求 读出存储装置103内的内容文件104，并向客户端装置106进行分发。客户端 装置106的影像再生部108对接收到的影像内容的编码数据进行解码，然后在 监视器、电视机等显示设备上显示为连续的图像。
参照图2，说明影像分发服务器的分发控制部的内部结构。这里，图2 是分发控制部的硬件框图。在图2中，分发控制部102由CPU( Central Processing Unit) 201、 I/O (Input/Output)接口 202、主存储器203、程序存储区域204 组成。程序存储区域204是ROM (Read Only Memory )等非易失性存储设备， 存储分发控制应用程序205。程序存储区域204也可以是在存储装置103内确 保的区域。
分发控制部102从程序存储区域204把分发控制应用程序205读入到主 存储器203中，由CPU201来执行，由此控制影像分发服务器101的动作。换 言之，影像分发服务器101的功能通过分发控制应用程序205来实现。分发控 制部102经由1/0接口 202访问存储装置103等设备以及网络109。
此外，关于客户端装置106的再生控制部107以及影像再生部108,虽然 在程序存储区域204中存储的软件各自不同，但是为与分发控制部102相同的 结构。
参照图3对影像分发服务器的存储装置中存储的关键帧信息进行说明。 在此，图3说明关键帧信息。在图3中，关键帧信息105对于在对应的内容文 件104中包含的全部的关键帧，存储关键帧号码ll、偏移12、大小13、分发 时刻14各种信息。关键帧号码11是内容文件104中包含的关键帧的从文件头部开始的序号。关键帧Ij表示第j号的关键帧。偏移pj是表示关键帧Ij在内 容文件104内的位置的偏移字节。大小lj是表示关键帧Ij的大小的字节大小。 分发时刻ij是表示在通常(等速)分发关键帧Ij时的分发定时的信息。分发
时刻ij是把内容文件104的头部作为0的毫秒单位的时刻信息。这些信息使用 对内容文件104的内容进行解析的应用工具(application tool)预先生成。此 外，分发时刻ij可以使用更小的单位，也可以使用更大的单位。
参照图4，对客户端装置经由网络向影像分发服务器发送的分发请求进行 说明。在此，图4是说明分发请求的图。在图4中，分发请求401存储对成为 分发对象的内容文件104进行识别的URI ( Uniform Resource Identifier )、以时 间单位指示内容文件104内的分发开始位置的开始时刻T0、再生倍率N。这 里，在再生倍率N为1以上时，成为特殊再生要求。
分发请求401根据用户的操作由客户端装置106的再生控制部107生成， 并由影像分发服务器101的分发控制部102进行解释。
参照图5说明影像分发服务器的分发控制部的处理流程。这里，图5是 分发处理部的分发处理流程图。在图5中，最初，分发控制部102接收分发请 求401,从分发请求401取得URI、开始时刻T0、再生倍率N各种信息，进 行打开URI指定的内容文件104等分发准备(S501 )。再生倍率为1时为通常 的分发，所以省略说明，以下对再生倍率(N)为1以外的特殊再生的情况进 行说明。此外，在分发控制部102中，当把对周期执行的次数进行计数的变量 设为k时，在分发开始时k=0。
然后，分发控制部102判定分发时刻是否处于内容文件104的再生时间 范围内(S502)。在此，当把分发控制部102周期执行的间隔，即执行周期设 为T时，第k次周期执行时的分发时刻tk表示为tk = TO + NxkxT。在分发 时刻tk未处于再生时间范围内时，分发控制部102认为分发已结束，结束处 理。在分发时刻tk处于再生时间范围内时，分发控制部102进入到步骤S503。
分发控制部102参照与内容文件104对应的关键帧信息105,取得分发时 刻不超过tk的关键帧Ij的分发时刻ij ( S503 )。此时，可以每次从头部按顺序 检索关键帧信息105,但是从第二次开始把上次分发的关键帧Ik - 1作为基点 进行检索可以提高检索效率。然后，分发控制部102同样地参照关键帧信息105,取得分发时刻为tk 以上的关键帧Ij+1的分发时刻ij+l (S504)。
分发控制部102判定关键帧Ij是否比关键帧Ij+1接近分发时刻tk( S505 )。 这点通过比较关键帧Ij的分发时刻ij与tk的差和关键帧Ij+1的分发时刻ij+l 与tk的差来进行。即，分发控制部102判定不等式lij-tkl〈iij + l-tkl是否 成立。分发控制部102在不等式成立时进入步骤506进行处理，在不等式不成 立时前进到步骤507。
在步骤506,分发控制部102选择关键帧Ij作为最接近分发时刻tk的关 键帧Ik，并前进到步骤508。在步骤507,分发控制部102选择关键帧Ij + 1 作为最接近分发时刻tk的关键帧Ik，并前进到步骤508。
关于选4奪出的关键帧Ik，分发控制部102参照关键帧信息105取得偏移 pk以及大小lk，从内容文件104中读出与关键帧Ik相应的部分，向客户端装 置106发送(S508 )。分发控制部102在下一个执行周期到来之前进行等待。 当下一个执行周期到来时，对周期执行的次数进行计数的变量k加1 (S509), 然后返回步骤502。
通过重复上述从步骤502到步骤509的处理，分发控制部102在每次周 期执行时，参照关键帧信息105从内容文件104读出具有与分发时刻tk最接 近的分发时刻ik的关键帧Ik,然后发送给客户端装置106。
参照图6对基于分发控制部的处理的从影像分发服务器向客户端装置的、 与时间经过相匹配的内容文件的关键帧发送进行说明。这里，图6是说明内容 文件的关键帧发送的图。在图6中，图6 (a)说明在内容文件中包含的关键 帧。另外，图6 (b)说明在特殊再生中发送关键帧的间隔。在图6中，关于 在特殊再生中发送关键帧的间隔，其与内容文件104中包含的关键帧的间隔独 立，为分发控制部102的执行周期。因此，从影像分发服务器IOI对客户端装 置106发送的关键帧的帧速率为1/T并且恒定。
参照图7说明客户端装置的特殊再生的处理过程。在此，图7是客户端 装置的动作流程图。在图7中，最初，客户端装置106的再生控制部107根据 来自用户的操作，向影像分发服务器101发送分发请求401 (S701)。
然后，再生控制部107对于影像再生部108指示是特殊再生。通过该指示，影像再生部108把再生动作从通常的动作切换为特殊再生动作(S702)。 影像再生部108接收一个由影像分发服务器101发送的关键帧(S703 )。此时， 在用户进行了结束操作时，通过来自再生控制部107的指示终止接收处理。另 夕卜，可以设定超时，即使在没有完全接收关键帧的情况下也结束接收处理。对 于该超时值，可以指定比接收一个关键帧所需要的时间大，比发送来下一个关 键帧的时间小的值，即可以设定为与影像分发服务器101的分发控制部102 的执行周期T相等的值。
再生控制部107判定影像再生部108的接收处理的结束是否是由于来自 用户的结束操作引起的(S704)。在由于结束操作引起的情况下，再生控制部 107结束影像再生处理，在不是由于结束操作引起的情况下，前进到步骤705。
影像再生部108判定是否接收到完整的关键帧(S705 )。在没有接收到完 整的关键帧时，影像再生部108废弃接收到的不完整的关键帧，为了接收下一 个关键帧而返回步骤703。在已接收到完整的帧时，影像再生部108前进到步 骤706。
影像再生部108对接收到的关键帧进行解码，并在显示设备上显示为一 幅静止图像(S706)。此时，即使在关键帧的数据的一部分中包含时刻信息或 声音信息，影像再生部108也可以将其忽略。影像再生部108维持图像显示不 变，将处理返回到步骤703。
通过重复上述从步骤703到步骤706的处理，影像再生部108在每次接 收到从影像分发服务器IOI发送的关键帧时，进行解码然后进行显示，显示为 更新周期T的连续图像。
如上所述，根据本实施例，在周期执行的影像分发服务器101的分发控 制部102中，使用关键帧信息105发送具有最接近周期分发时刻tk的分发时 刻ik的关键帧Ik。因此，即使在把不是以固定的间隔包含关键帧的内容文件 104作为对象时，也能够固定地保持关键帧的发送帧速率。另外，即使在内容 文件104中包含的关^l建帧的间隔变动较大的情况下，分发控制部102也以执行 周期T,在关键帧的间隔疏松的部分重复发送同样的关键帧，在关键帧的间隔 紧密的部分跳越发送关键帧。因此，即使在长时间持续进行特殊再生的情况下， 也能够使发送的关键帧的分发时刻和影像内容的再生时间的不一致保持在最小限度。
(实施例2)
参照图8说明实施例2。这里，图8是影像分发系统的框图。在图8中， 影像分发系统500A由与网络109连接的通信控制服务器801、影像分发服务 器101、和客户端装置106组成。通信控制服务器801由通信控制部802组成。 通信控制部802由和图2所示的影像分发服务器101的通信控制部102相同的 结构实现。通信控制部802从客户端装置106接收分发请求401,根据分发请 求401向影像分发服务器101发送分发指示。另外，通信控制部802对构成网 络109的路由器、交换机或者管理网络109的通信频带的SIP( Session Initiation Protocol)服务器等通信控制装置发送频带确保指示(虛线箭头)，由此来控制 网络109的通信频带。此外，在图8中通信服务器801以及影像分发服务器 101表示为不同的装置，但是也可以包含管理网络109的通信频带的SIP服务 器等，在同 一装置内作为以时分方式等执行的多个或者单一的应用程序来实 现。
参照图9说明通信控制服务器的通信控制部对通信控制装置发送的频带 确保指示。这里，图9是说明频带确保指示的图。在图9中，频带确保指示 901由发送源地址、发送目的地地址、带宽R组成，在网络109中，指示把从 发送源地址对于发送目的地地址的通信频带确保为带宽R。这里，发送源地址 是影像分发服务器101的网络地址，发送目的地地址是客户端装置106的网络 地址。带宽R可以根据客户端装置106的优先级(例如有无计费等)决定适 当的值。
参照图10，说明通信控制服务器的通信控制部对于影像分发服务器发送 的分发指示。这里，图10是说明分发指示的图。在图10中，分发指示20除 了分发请求401中包含的URI、开始时刻T0、再生倍率N之外，还包含对影 像分发服务器101的分发控制部102的周期执行的周期进行指定的执行周期 T、和根据频带确保指示901在网络109中确保的带宽R。这里，通过指定执 行周期T，通信控制服务器801能够控制影像分发服务器101发送的关键帧的 帧速率。通信控制服务器801如果判明影像内容中存储的关键帧的大概的字节 大小，则也可以求出并指定不超过带宽R的执行周期T。参照图11说明通信控制服务器的通信控制部的处理过程。这里，图11
是通信控制部的处理流程图。在图11中，最初，通信控制部802从客户端装 置106接收分发请求401，取得URI、开始时刻TO、再生倍率N各种信息(S31 )。 然后，通信控制部802决定适当的带宽R,对网络109的通信控制装置发送频 带确保指示901 (S32)。然后，通信控制部802决定适当的执行周期，对影像 分发服务器101发送分发指示1101 ( S33 )。
通信控制部802等待影像分发服务器101结束关键帧的发送(S34 )。这 里，通信控制部802可以通过从影像分发服务器101明确地收到发送结束的通 知来识别发送结束，或者根据影像内容的分发时间、开始时刻TO以及再生倍 率求出发送结束时间，进行该时间的待机。最后，通信控制部802为了释放在 步骤32确保的频带，对网络109的通信控制装置发送频带释放指示(S35)。 这里，频带释放指示例如可以对频带确保指示901的带宽R指定负值。
通过以上的处理，通信控制服务器801的通信控制部802按照来自客户 端106的分发请求401,对网络109发送频带确保指示901,由此来确保带宽 R,并且通过对影像分发服务器101发送包含所确保的带宽R以及执行周期T 的分发指示1001，控制影像分发服务器101的特殊再生时的分发帧速率以及 发送带宽。
参照图12，说明影像分发服务器的分发控制部中的考虑了带宽的关键帧 发送的处理过程。这里，图12是对考虑了带宽的关键帧发送的处理过程的一 部分进行说明的流程图。这里，通过用图12的处理置换图5的步骤508，图 12实现考虑了带宽R的关键帧的发送。除步骤508以外的整个处理过程和实 施例1相同，这里省略i兌明。
在步骤41,对于在前段的步骤中，即在步骤506或者507中选择出的关 键帧Ik,判定是否可以不超过在通信控制服务器801中指定的带宽(R)进行 发送。这点通过对于上次发送的关^:帧II的大小Ll以及发送时刻tl、当前的 分发时刻tk、带宽(R),不等式L1/(tk-tl)〈R是否成立来进行判定。在不 等式成立时，前进到步骤42。在不等式不成立时，不进行关键帧的发送处理， 前进到下一步骤，即步骤509。此外，在不存在上次发送的关键帧时，即是关 于最初的关键帧时，可以假设不等式成立。在步骤42,通过和步骤508相同的处理，发送选择出的关键帧Ik。然后 在步骤43,使用关键帧Ik的信息更新最后发送的关键帧Il的信息。即，把最 后的关键帧II的大小Ll作为Lk,把最后发送关键帧的时刻tl作为tk。
通过以上的处理，影像分发服务器101的分发控制部102在关键帧发送 时，跳过超过在通信控制服务器801中指定的带宽R的关键帧的发送，由此 来控制发送的关键帧的带宽。
如上所述，根据本发明，在进行特殊再生时，从通信控制服务器801对 可以进行通信频带控制的网络109使用频带确保指示卯l确保带宽R,对影像 分发服务器101发送包含带宽R的分发指示1001,由此能够控制向客户端装 置106发送的关键帧的频带。
权利要求
1. 一种影像分发装置，其通过发送关键帧来实现特殊再生，其特征在于，具有存储装置，其存储关键帧信息，该关键帧信息包含内容文件中包含的关键帧的号码和从文件头部开始的偏移；以及分发控制部，其按照预定的周期执行分发，所述分发控制部在执行特殊再生时，在每一所述周期，参照所述关键帧信息，在所述内容文件中包含的关键帧中发送具有最接近分发时刻的所述偏移的关键帧。
2. 根据权利要求1所述的影像分发装置，其特征在于， 所述分发控制部参照所述关键帧信息，比较所述分发时刻之前的关键帧的第一分发时刻与所述分发时刻的差、和所述分发时刻后的关键帧的第二分发 时刻与所述分发时刻的差，由此来选择具有最接近所述分发时刻的分发时刻的 关键帧。
3. 根据权利要求1或2所述的影像分发装置，其特征在于， 通过控制所述周期，控制关键帧的分发帧速率。
4. 根据权利要求1至权利要求3中任何一项所述的影像分发装置，其特 征在于，将最后发送的关键帧的大小除以从下一分发时刻中减去所述最后发送的 关键帧的发送时刻的差得到的值与带宽进行比较，跳过超过所述带宽的关键帧 的发送，由此进行关键帧发送的频带限制。
5. —种通信控制装置，用于控制权利要求4所述的影像分发装置的通信， 其特征在于，按照来自影像接收装置的请求确保网络的通信带宽，把所确保的通信带 宽以及周期分发时刻作为分发指示信息发送给所述影像分发装置，由此来控制 所述影像分发装置的分发频带以及分发帧速率。
6. —种影像接收装置，对从网络接收到的编码影像数据进行解码然后进 行显示，其特征在于，在特殊再生时，在接收到完整的关键帧时，忽略所述关键帧中包含的时 刻信息来显示解码后的图像，在接收到下一个完全的关键帧之前持续进行该图 像的显示。
7. —种关键帧分发方法，其特征在于，对于内容文件中包含的关键帧，存储由关键帧的号码、从文件头部开始 的偏移、以及关键帧的大小组成的关键帧信息，使用所述关键帧信息，从所述内容文件中包含的关键帧中选择具有最接 近周期分发时刻的分发时刻的关键帧，周期性地发送所选择的关键帧。
8. 根据权利要求7所述的关键帧分发方法，其特征在于， 通过控制所述周期，控制关键帧的分发帧速率。
9. 根据权利要求7或8所述的关键帧分发方法，其特征在于， 使最后发送的关键帧的大小除以从下一分发时刻中减去所述最后发送的关键帧的发送时刻的差，将得到的值与带宽进行比较， 跳过超过所述带宽的关键帧的发送。
全文摘要
本发明提供影像分发装置、影像接收装置以及关键帧分发方法。在使用关键帧实现特殊再生的影像分发系统中，在关键帧的间隔疏松的部分影像内容的再生时刻加速，在关键帧的间隔紧密的部分影像内容的再生时刻减速，在发送的关键帧的分发时刻和再生时间之间产生偏差。具有存储装置，其存储关键帧信息，该关键帧信息包含内容文件中包含的关键帧的号码和从文件头部开始的偏移；和分发控制部，其按照预定的周期执行分发，分发控制部在执行特殊再生时，在每一周期参照关键帧信息，在内容文件包含的关键帧中，发送具有最接近分发时刻的所述偏移的关键帧。
文档编号H04N7/173GK101287106SQ200810090139
公开日2008年10月15日 申请日期2008年4月7日 优先权日2007年4月9日
发明者一木友和, 小西薰, 峰博史, 木村信二, 脊古尚久 申请人:株式会社日立制作所