本发明涉及一种信息处理设备和信息处理系统。
背景技术：
诸如视频的高图像质量和再现的连续性(再现不被切断)的再现质量对于再现流式传输的视频的技术而言重要。为了改进再现的质量，例如，日本未审专利申请公布no.2002-344941公开了一种技术，其中接收装置请求内容的质量级别，并且发送装置发送以所请求的质量级别编码的内容。
技术实现要素：
有一种分发设备存储具有不同比特率的多个视频并以动态选择的比特率流式传输视频的技术(例如，mpeg-dash)。尽管优选的是由分发设备存储大量视频以改进视频的再现质量，但是由于存储容量，视频的数量可能受到限制。在这种情况下，例如，当对于要存储的任何视频一直使用相同的比特率组合时，根据视频的内容仅分发高清晰度视频，并且再现的连续性降低，因此再现的质量可能下降。因此，本发明的目的在于，与对于要以动态选择的比特率分发的视频一直选择相同的比特率组合的情况相比，寻找比特率组合以实现更高的再现质量。
根据本发明的第一方面，提供了一种信息处理设备，该信息处理设备包括：劣化程度获取器，当原始视频被转换为具有不同比特率的a(a是自然数)个视频时，其获取所述a个视频中的各个视频的多个区段中的每一个区段中的劣化程度；数据量计算器，其计算当针对所述多个区段中的每一个从b(b是小于a+1的自然数)个视频选择劣化程度满足第一图像质量条件的视频时生成的分发视频数据的数据量；以及识别器，其在计算数据量的b个视频的比特率的组合当中识别组合，所述组合允许数据量距最小量在预定顺位内。
本发明的第二方面提供了根据第一方面的信息处理设备，其中，劣化程度获取器获取通过将从原始视频生成的a个视频中的每一个与原始视频进行比较而获得的劣化程度，并且数据量计算器针对从a个视频的比特率或a个视频和原始视频的比特率选择b个比特率的多个组合中的每一个计算数据量。
本发明的第三方面提供了根据第一方面的信息处理设备，其中，识别器识别包括预定的c(c是小于b的自然数)个比特率的组合，并且数据量计算器针对从a个视频的比特率或a个视频和原始视频的比特率选择包括c个比特率的b个比特率的多个组合中的每一个计算数据量。
本发明的第四方面提供了根据第一方面的信息处理设备，其中，识别器识别包括预定的d(d是小于b的自然数)个比特率的组合，劣化程度获取器获取由通过将原始视频与通过将原始视频的比特率转换为d个比特率而生成的视频进行比较而获得的劣化程度指示的a个视频中的每一个的劣化程度，并且数据量计算器针对从a个视频的比特率或a个视频和原始视频的比特率选择包括d个比特率的b个比特率的多个组合中的每一个计算数据量。
本发明的第五方面提供了根据第一方面的信息处理设备，其中，劣化程度获取器获取由通过将原始视频与通过将原始视频的比特率转换为e(e是小于a的自然数)个不同的比特率而生成的视频进行比较而获得的劣化程度指示的a个视频中的每一个的比特率的劣化程度。
本发明的第六方面提供了一种信息处理设备，该信息处理设备包括：劣化程度获取器，当原始视频被转换为具有不同比特率的f(f是自然数)个视频时，其获取所述f个视频中的各个视频的多个区段中的劣化程度；以及识别器，其识别所述f个视频当中的如下的视频的比特率的组合或所述f个视频当中的如下的视频和所述原始视频的比特率的组合，即，这些视频允许所获取的劣化程度全体满足第二图像质量条件。
本发明的第七方面提供了根据第六方面的信息处理设备，其中，当f个视频中的一个视频不满足第二图像质量条件时，劣化程度获取器获取通过将原始视频与替代视频进行比较而获得的劣化程度，所述替代视频是通过将原始视频的比特率转换为与所述一个视频的比特率不同的比特率而生成的，并且当针对替代视频获取的劣化程度全体满足第二图像质量条件时，识别器识别包括替代视频的比特率的组合。
本发明的第八方面提供了一种信息处理系统，该信息处理系统包括：根据第一至第七方面中的任一方面的信息处理设备；生成器，其生成其中原始视频的比特率被转换的视频；以及计算器，其通过将所生成的视频与原始视频进行比较来计算劣化程度。
根据本发明的第一和第八方面，与对于要以动态选择的比特率分发的视频一直选择相同的比特率组合的情况相比，可找到实现更高的再现质量的比特率组合。
根据本发明的第二方面，与针对未生成的视频获取劣化程度的情况相比，可利用更高的精度获取劣化程度。
根据本发明的第三方面，具有预定比特率的视频可必定包括在要分发的视频中。
根据本发明的第四和第五方面，与生成具有所有比特率的视频的情况相比，从指定原始视频直到流式分发变得可用所花费的时间减少。
根据本发明的第六方面，在具有所识别的比特率组合的视频的数据量减少的同时，再现质量的下降可降低。
根据本发明的第七方面，与没有添加替代视频的比特率的情况相比，要分发的视频的数据量可减少。
附图说明
将基于以下附图详细描述本发明的示例性实施方式，附图中：
图1是示出根据示例性实施方式的视频浏览系统的整体配置的图；
图2是示出智能电话的硬件配置的图；
图3是示出视频分发设备、视频转换设备和比特率识别设备的硬件配置的图；
图4是示出由视频浏览系统实现的功能配置的图；
图5是示出流式分发的机制的图；
图6是示出所存储的图像质量信息的示例的表；
图7是示出所确定的比特率的示例的表；
图8是示出所计算的数据量的示例的表；
图9是示出分发准备处理中的各个设备的操作步骤的示例的图；
图10是示出改型中所计算的数据量的示例的表；以及
图11a和图11b分别是示出由近似表达式评估的劣化程度的示例的表和曲线图。
具体实施方式
[1]示例性实施方式
图1示出根据示例性实施方式的视频浏览系统1的整体配置。视频浏览系统1是将视频流式传输到用户所使用的再现装置以允许用户浏览视频的系统。视频的流式分发通过这样的机制分发视频：视频被分割成多个区段，并且指示各个区段中的视频的分段数据在按照再现次序发送和接收的同时被顺序地再现。除了由经营者准备的视频之外，分发的视频还包括由用户上传的视频。
视频浏览系统1包括第一通信线路2、智能电话10和视频分发系统3。视频分发系统3将诸如由经营者提供的视频或由用户上传的视频的原始视频处理成可流式传输的视频，并使用处理之后的视频执行流式分发。视频分发系统3包括第二通信线路4、视频分发设备20、视频转换设备30和比特率识别设备40。
第一通信线路2是用作设备之间的数据交换的媒介的系统，并且例如是移动通信网络和互联网。智能电话10无线地连接(或者可有线地连接)到第一通信线路2。另外，第二通信线路4连接到第一通信线路2。
第二通信线路4是用作设备之间的数据交换的媒介的系统，并且例如是数据中心中的局域网(lan)。视频分发设备20、视频转换设备30和比特率识别设备40有线地连接(或者可无线地连接)到第二通信线路4。
智能电话10是再现由视频浏览系统1流式传输的视频的再现设备。另外，智能电话10接收用户上传视频的操作，并将视频发送给视频分发系统3。所发送的视频是要流式传输的原始视频。
视频分发设备20是将视频流式传输到诸如智能电话10的再现装置的信息处理设备。视频分发设备20存储从上述原始视频(例如，由经营者提供的视频或者由用户上传的视频)转换而来的具有不同比特率的多个视频。比特率是数据量(以mbps(兆比特每秒)或mb/sec(兆字节每秒)用作单位)。
具体地，视频分发设备20将指示多个视频的分段数据组存储为分发用视频数据(用于流式分发的视频数据)。视频分发设备20通过按照再现次序顺序地发送分段数据来执行视频的流式分发。在此示例性实施方式中，智能电话10确定各个区段的最佳比特率，并向视频分发设备20请求比特率。然后，视频分发设备20从分发用视频数据读取具有所请求的比特率的视频的分段数据，并发送分段数据。
视频转换设备30是执行用于将原始视频转换为具有不同比特率的视频的转换处理的信息处理设备。视频转换设备30通过转换处理生成具有转换的比特率的视频，并将所生成的视频提供给比特率识别设备40。以下，通过以这种方式从原始视频转换比特率而生成的视频被称为“转换视频”。比特率识别设备40是从多个比特率确定由视频分发设备20存储的视频的比特率的组合的信息处理设备。比特率识别设备40使用从视频转换设备30提供的视频来进行确定。
分发用视频数据所指示的视频的比特率的类型越多，可能找到越合适的比特率。然而，分发用视频数据的数据量增加，并且视频分发设备20的存储容量被占用。另外，由视频转换设备30执行的转换处理的次数增加，并且从获取原始视频到开始分发的时段增加。因此，分发用视频数据所指示的视频的比特率的类型的数量不能无限地增加，通常限定数量的上限。
在不超过上限的范围内，比特率识别设备40确定实现流式分发的相对较高的再现质量(视频的高图像质量和再现的连续性(再现不被切断))的比特率的组合。比特率识别设备40是本发明的“信息处理设备”的示例。应当注意，尽管分发用视频数据可包括原始视频，但是在此示例性实施方式中，仅转换视频用作分发用视频数据，其不包括原始视频。
视频转换设备30将原始视频转换为具有所确定的组合的比特率的视频以生成分发用视频数据，并将所生成的分发用视频数据提供给视频分发设备20。视频分发设备20存储所提供的分发用视频数据，并使用具有所存储的分发用视频数据所指示的多个比特率的视频执行流式分发。
图2是示出智能电话10的硬件配置的图。智能电话10是包括中央处理单元(cpu)11、随机存取存储器(ram)12、只读存储器(rom)13、通信器14、闪存15、触摸屏16和扬声器17的计算机。cpu11使用ram12作为工作区，以通过执行存储在rom13或闪存15中的程序来控制各个组件的操作。通信器14具有天线和通信电路，并且经由第一通信线路2执行通信。
闪存15存储由cpu11用来进行控制的数据和程序。在此示例性实施方式中，程序包括浏览器的程序，并且本发明的后述功能通过在浏览器上执行的javascript来实现。应当注意，不限于此，可存储实现本发明的功能的应用程序。触摸屏16包括显示器以及设置在显示器的表面上的触摸面板，并且显示图像以及从用户接收操作。扬声器17将指示声音的声音数据转换为模拟信号以发出声音。
图3示出视频分发设备20、视频转换设备30和比特率识别设备40的硬件配置。这些设备各自是包括cpu21、ram22、rom23、通信器24和硬盘驱动器(hdd)25的计算机。cpu21至rom23与图2所示的具有相同名称的硬件相同。通信器24具有通信电路并经由第二通信线路4执行通信。hdd25存储由cpu21用来进行控制的数据和程序。
下面所描述的功能通过由视频浏览系统1所包括的各个设备的cpu执行程序以控制各个组件来实现。图4示出由视频浏览系统1实现的功能配置。智能电话10包括视频信息获取器101、比特率确定器102、分发请求器103、分段数据接收器104、临时存储装置105、视频再现器106、上传操作受理器107和原始视频发送器108。
视频分发设备20包括分发用视频数据存储装置201、视频信息存储装置202、视频信息发送器203、分段数据读取器204和分段数据发送器205。视频转换设备30包括原始视频获取器301和比特率转换器302。比特率识别设备40包括视频获取器401、图像质量评估器402、图像质量信息获取器403、分发数据量计算器404、比特率组合识别器405和视频信息生成器406。
上述功能大致分为与视频分发有关的功能以及准备视频的流式分发的功能(一些包括两种功能)。首先，将描述与视频分发有关的功能。在视频浏览系统1中，例如，遵照称为运动图像专家组(mpeg)-基于http的动态自适应流传输(dash)的标准来流式分发具有在再现期间可改变的比特率的视频。
图5示出流式分发的机制。在图5的示例中，视频分发设备20将具有相应比特率“高”、“中”、“低”的分段数据组a1、a2、a3存储为分发用视频数据。例如，各个分段数据是指示视频中的1至10秒的区段的数据。例如，在视频浏览系统1中区段的长度是预定的。随着由各个分段数据组表示的视频的比特率增加，视频具有更高的分辨率和更高的帧频。
当请求视频的流式分发时，智能电话10指定要分发的视频的比特率。视频分发设备20从具有指定的比特率的分段数据组顺序地读取分段数据并发送分段数据。智能电话10临时存储(缓存)所接收的分段数据，并读取缓存的分段数据以再现分段数据。
另外，在视频再现期间，当智能电话10指定与视频的比特率不同的比特率并请求分发视频时，在接收到该请求之后，视频分发设备20发送具有新指定的比特率的分段数据。在接收到分段数据时，智能电话10接着具有先前比特率的分段数据所表示的视频之后再现具有新比特率的分段数据所表示的视频。
参照图4，给出描述。如上所述，视频分发设备20的分发用视频数据存储装置201存储由视频转换设备30生成的分发用视频数据(用于流式分发的视频数据，即，图5的示例中的分段数据组a1、a2、a3)。
视频信息存储装置202存储关于存储在分发用视频数据存储装置201中的分发用视频数据所表示的视频的视频信息。该视频信息包括关于分发用视频数据所指示的视频的比特率信息以及指示那些视频的多个区段中的每一个中的图像质量的图像质量信息。视频信息存储装置202例如存储mpeg-dash中的媒体呈现描述(mpd)作为比特率信息。
另外，作为图像质量信息，视频信息存储装置202存储由分发用视频数据所指示的各个视频相对于原始视频的变化大小表示的指标。该指标例如使用均方误差(mse)方法、峰值信噪比(psnr)方法或结构相似性(ssim)方法来表示。各个指标指示与原始视频没有差别的图像具有最高质量，并且随着与原始图像的差别增加，图像质量下降。即，图像质量信息是指示图像相对于原始视频的劣化程度的信息。在此示例性实施方式中，视频信息存储单元202存储ssim(1是指示最高图像质量的指标，0是指示最低图像质量的指标)作为图像质量信息。
图6示出所存储的图像质量信息的示例。在图6的示例中，对于具有间隔为200kbps的10种比特率“200kbps”、“400kbps”、“600kbps”、...“2000bps”的视频，示出关于各个再现时间“t0”、“t1”、“t2”、...的帧的评估的图像质量信息(ssim)。这些再现时间各自被定义为表示流式分发中的各个区段的时间。在此示例性实施方式中，包括上述比特率信息和图像质量信息的视频信息由比特率识别设备40的后述视频信息生成器406生成。
例如，当用户执行视频的再现开始操作(例如，在网页上选择到视频的链接的操作)时，智能电话10的视频信息获取器101从视频分发设备20获取关于视频的视频信息。具体地，视频信息获取器101向视频分发设备20发送用于请求关于视频的视频信息的请求数据。该请求数据包括识别视频的信息(例如，到mpeg-dash中的mpd文件的统一资源定位符(url))。
当视频分发设备20的视频信息发送器203接收到从智能电话10发送来的请求数据时，视频信息发送器203从视频信息存储装置202读取由请求数据识别的视频，即，关于存储在视频分发设备20中的视频的视频信息，并将视频信息发送到作为请求源的智能电话10。视频信息获取器101获取如此发送的视频信息，并将所获取的视频信息提供给比特率确定器102。
比特率确定器102确定由视频信息获取器101所获取的视频信息指示的多个比特率中的一个是再现的视频的比特率。在此示例性实施方式中，比特率确定器102确定在视频的各个区段中相对于原始视频的劣化程度满足图像质量条件的视频的比特率中的最小一个是再现的视频的比特率。这里所使用的图像质量条件(即，用于确定再现的视频的比特率的图像质量条件)是本发明的“第一图像质量条件”的示例。
图7示出所确定的比特率的示例。在图7的示例中，在图6所示的比特率当中，指示在包括再现时间之一的区段中确定的比特率。在此示例中，假设当图像质量信息指示0.9或以上时，满足图像质量条件。例如，在包括再现时间“t1”的区间中，确定在图像质量信息为“0.9066”的情况下的“600kbps”，在包括再现时间“t2”的区间中，确定在图像质量信息为“0.9843”的情况下的“400kbps”。
应当注意，在包括再现时间“t0”的区间中，假设确定图7中被省略的比特率。另外，在包括再现时间“t5”的区间中，由于在图像质量信息指示0.9或以上的情况下不存在比特率，所以确定在图像质量信息指示最大值的情况下的“2000kbps”。比特率确定器102按照预定时间间隔重复地确定比特率。作为时间间隔，例如，使用比一条分段数据所指示的视频的区段短的时间间隔(例如，当区段为2秒长时，每隔一秒)。每当确定比特率时，比特率确定器102将所确定的比特率通知给分发请求器103。
分发请求器103指定由比特率确定器102确定的比特率，并向视频分发设备20请求视频的流式分发。当由比特率确定器102确定的比特率改变时，分发请求器103所指定的比特率也相应地改变。
当向外部设备请求视频的流式分发时，视频分发设备20的分段数据读取器204读取具有请求中所指定的比特率的视频的分段数据。具体地，当第一次接收到请求时，分段数据读取器204从视频的开头起顺序地从具有指定的比特率的分段数据组读取预定数量的分段数据。
随后，分段数据读取器204按照一次读取的分段数据所指示的视频部分的再现时间的间隔或者比该再现时间短的时间间隔，重复地执行从已经读取的分段数据之后的数据读取预定数量的分段数据的处理。在读取期间当所指定的比特率改变时，分段数据读取器204从具有新比特率的分段数据当中要再现的数据部分读取预定数量的分段数据。每次读取分段数据时，分段数据读取器204将所读取的分段数据提供给分段数据发送器205。
分段数据发送器205将所提供的分段数据发送给请求了视频的流式分发的请求源(在此实施方式中，智能电话10)。智能电话10的分段数据接收器104接收从视频分发设备20发送来的分段数据，并将所接收的分段数据提供给临时存储装置105。
临时存储装置105临时存储由分段数据接收器104接收的分段数据，直到由分段数据指示的视频部分被再现。当分段数据被存储在临时存储装置105中时，视频再现器106顺序地读取所存储的分段数据，并顺序地再现由所读取的分段数据指示的视频。到目前为止描述了与视频分发有关的功能。
接下来，将描述准备要分发的视频的功能。以下将描述使用智能电话10的用户上传原始视频的情况。智能电话10的上传操作受理器107受理用户的原始视频上传操作。上传操作包括例如选择存储在智能电话10中的视频以及沿着将视频上传到视频分发站点的步骤的操作(例如，登录到站点并输入补充信息(例如，视频名称、视频的描述性语句和检索用关键词))(即，指定原始视频的操作)。
上传操作受理器107将通过所受理的操作上传的视频的存储位置和发送目的地(在此示例性实施方式中，视频转换设备30)通知给原始视频发送器108。原始视频发送器108读取通过上传操作受理器107所受理的操作上传的视频，并将该视频作为原始视频发送给视频转换设备30。在此过程中，原始视频发送器108将关于原始视频的补充信息连同视频一起发送。
视频转换设备30的原始视频获取器301获取已被指定为要流式分发的视频的原始视频。原始视频获取器301获取例如从智能电话10发送的视频作为原始视频。原始视频获取器301还获取关于原始视频的补充信息，并将所获取的原始视频和补充信息发送到提供包括到原始视频的链接的网页的web服务器设备。web服务器设备提供包括原始视频的缩略图以及关于原始视频的补充信息的网页。在该网页上，执行视频的上述再现开始操作。
比特率转换器302将原始视频获取器301所获取的原始视频的比特率转换为至少一个或更多个比特率，并生成各自具有与原始视频的比特率不同的比特率的转换视频。比特率转换器302是本发明的“生成器”的示例。在此示例性实施方式中，当从原始视频获取器301提供原始视频时，比特率转换器302将原始视频转换为具有预定类型的比特率(例如，图6所示的从200kbps至2000kbps的10种比特率)的视频。在执行转换处理以生成10个转换视频之后，比特率转换器302将所生成的那些转换视频和原始视频发送到比特率识别设备40。
比特率识别设备40的视频获取器401获取由比特率转换器302生成的转换视频和原始视频。在此示例性实施方式中，视频获取器401获取上述10个转换视频和原始视频，并将所获取的那些视频提供给图像质量评估器402。
图像质量评估器402评估视频获取器401所获取的转换视频的多个区段中的图像质量。这里所称的多个区段是在流式分发中视频被分割成的区段，图像质量是指图像相对于原始视频的上述劣化程度。在此示例性实施方式中，图像质量评估器402将表示图7所示的对应一个区段的再现时间处的帧与对应于原始视频的帧进行比较，并计算上述劣化程度的指标(在此示例性实施方式中，由ssim指示的0以上1以下的值)，从而评估包括该再现时间的区段中的图像质量。
这里所使用的各个帧是由比特率转换器302使用原始视频实际生成的转换视频的帧。换言之，图像质量评估器402通过将从原始视频实际生成的多个视频与原始视频进行比较来计算相对于原始视频的劣化程度。图像质量评估器402是本发明的“计算器”的示例。应当注意，尽管在图7的示例中一个再现时间表示各个区段，但是两个再现时间可表示各个区段，并且图像质量评估器402可计算所述再现时间处的帧的劣化程度的指标值的平均值以评估各个区段中的图像质量。
简言之，计算指标以使得在所有区段中评估视频的图像质量就足够了。例如，每次计算各个转换视频的各个区段中的劣化程度的指标时，图像质量评估器402将所计算的指标的值连同用于计算的转换视频的比特率和帧的再现时间一起作为评估结果提供给图像质量信息获取器403。
图像质量信息获取器403获取指示图像质量评估器402所评估的转换视频的多个区段中的图像质量的图像质量信息。当原始视频被转换为具有不同比特率的多个视频(多个转换视频)时，图像质量信息是指示各个视频的多个区段中的劣化程度的信息。图像质量信息获取器403是本发明的“劣化程度获取器”的示例。在此示例性实施方式中，如上所述，图像质量信息获取器403获取通过将从原始视频实际生成的多个视频与原始视频进行比较而获得的劣化程度(由图像质量评估器402基于比较评估的劣化程度)。
图像质量信息获取器403基于从图像质量评估器402提供的评估结果生成将比特率和再现时间与评估结果所指示的指标值关联的信息(例如，如图7所示的示例中一样)，并获取该信息作为图像质量信息。应当注意，图像质量评估器402可生成图像质量信息，并且图像质量信息获取器403可获取所生成的图像质量信息。图像质量信息获取器403将所获取的图像质量信息提供给分发数据量计算器404和视频信息生成器406
分发数据量计算器404使用图像质量信息获取器403所获取的图像质量信息(指示视频的劣化程度的信息)，并计算当在各个区段中从获取图像质量信息的多个视频选择劣化程度满足图像质量条件的视频时生成的分发视频数据的数据量。分发数据量计算器404是本发明的“数据量计算器”的示例。
这里所称的分发视频数据是指示包括在分发用视频数据中的多个视频的分段数据当中实际分发的分段数据所指示的分发视频的数据。设a(a是自然数)是获取图像质量信息的转换视频的数量，则分发数据量计算器404从少于a的b(b是自然数)个视频(在此示例性实施方式中，所有转换视频)计算分发视频数据的数据量。
这里所称的数量b指示由视频分发设备20存储为分发用视频数据的视频的数量(比特率的数量)。在此示例性实施方式中，分发数据量计算器404针对从a个视频的比特率中选择b个比特率的多个组合中的每一个计算数据量。像这样，数量a指示提取b个视频的总群中所包括的视频的数量。分发数据量计算器404如图6的示例中一样计算当转换视频的数量为10(a＝10)时的数据量，并且5(b＝5)个转换视频用作分发视频数据。
在这种情况下，分发数据量计算器404针对从10个转换视频(比特率)选择5个转换视频(比特率)的多个组合(即，10c5＝(10×9×8×7×6)÷(5×4×3×2×1)＝126种组合)中的每一个计算数据量。在此示例中，分发数据量计算器404针对从a个视频的比特率选择b个比特率的所有组合中的每一个计算数据量。
没有必要针对所有组合中的每一个计算数据量。例如，对于明显允许数据量增加的组合(例如，选择b个最大比特率的组合)，分发数据量计算器404可不计算数据量，以使得与针对所有组合中的每一个计算数据量的情况相比，计算数据量所花费的时间可减少。
分发数据量计算器404所计算的数据量指示当视频分发设备20将b个转换视频存储为分发用视频数据并执行视频的流式分发时由视频分发设备20发送的分段数据(即，由智能电话10接收的分段数据)的数据量。例如，当获取图6所示的图像质量信息(相对于原始视频的劣化程度)并且0.9或以上的劣化程度满足图像质量条件时，如图7所示，分发数据量计算器404从图像质量信息为0.9或以上的比特率当中选择各个区段中的最小比特率。
这样，分发数据量计算器404通过与比特率确定器102所使用的确定比特率的方法相同的方法来选择比特率。分发数据量计算器404计算具有如此选择的比特率的分段数据的总数据量作为分发视频数据的数据量。分发数据量计算器404将所计算的数据量提供给比特率组合识别器405。
从已由分发数据量计算器404计算了数据量的b个视频的比特率的组合，比特率组合识别器405识别所计算的数据量距最小值各自在预定顺位内的组合。比特率组合识别器405是本发明的“识别器”的示例。在此示例性实施方式中，比特率组合识别器405将所确定的顺位设定为第一顺位，换言之，识别实现所计算的数据量的最小值的组合。
图8示出所计算的数据量的示例。在图8的示例中，对于比特率组合“400、600、800、1200、1400(kbps)”，数据量为“b1”，对于“400、600、800、1000、1400(kbps)”，数据量为“b2”，对于“400、600、1000、1200、1600(kbps)”，数据量为“b3”(其中b1<b2<b3)。各个其它组合的数据量被假设为大于b3。在这种情况下，比特率组合识别器405识别实现最小数据量b1的比特率组合“400、600、800、1200、1400(kbps)”。
当比较数据量b1和b2的组合时，比特率“400,600,800,1400(kbps)”是共同的，而剩余比特率“1200”、“1000”不同。像这样，例如，在具有其中例如对于比特率“1000”不满足图像质量条件，但是对于比特率“1200”满足图像质量条件的许多区段的情况下，出现组合中包括比特率较高而数据量较小的情况。
在这种情况下，针对b1的组合选择“1200”，而针对b2的组合选择“1400”，因此b2的组合的数据量大于b1的组合。比特率组合识别器405将指示如此识别的比特率组合的比特率信息发送给视频转换设备30，并将比特率信息提供给视频信息生成器406。
当接收到所发送的比特率信息时，在此示例性实施方式中，视频转换设备30的比特率转换器302将所生成的转换视频当中具有由所接收的比特率信息指示的比特率的转换视频发送到视频分发设备20。视频分发设备20的分发用视频数据存储装置201将所发送的转换视频存储为分发用视频数据。
比特率识别设备40的视频信息生成器406生成包括从图像质量信息获取器403提供的图像质量信息和从比特率组合识别器405提供的比特率信息的信息，作为视频信息。视频信息生成器406将如此生成的视频信息发送到视频分发设备20。视频分发设备20的视频信息存储装置202存储所发送的视频信息。如上所述，视频分发设备20存储分发用视频数据和视频信息，因此完成上传的原始视频的分发准备。到目前为止描述了准备要分发的视频的功能。
包括在视频浏览系统1中的各个设备基于上述配置执行准备视频的流式分发的分发准备处理。图9示出分发准备处理中的各个设备的操作步骤的示例。例如，由用户经由智能电话10上传原始视频的操作触发，图9所示的操作步骤开始。
首先，视频转换设备30(原始视频获取器301)获取原始视频(步骤s11)。接下来，视频转换设备30(比特率转换器302)生成各自具有从原始视频的比特率转换的不同比特率的转换视频(步骤s12)。将所生成的转换视频和所获取的原始视频发送到比特率识别设备40(步骤s13)。比特率识别设备40(视频获取器401)获取所发送的转换视频和原始视频(步骤s21)。接下来，比特率识别设备40(图像质量评估器402)将所获取的转换视频与原始视频进行比较，并评估指示各个转换视频的多个区段中的每一个中的图像质量的相对于原始视频的劣化程度(步骤s22)。
随后，比特率识别设备40(图像质量信息获取器403)获取在步骤s22中评估的转换视频的多个区段中的图像质量信息(步骤s23)。接下来，比特率识别设备40(分发数据量计算器404)计算当在各个区段中从获取图像质量信息的多个视频选择劣化程度满足图像质量条件的视频时生成的分发视频数据的数据量(步骤s24)。
随后，从在步骤s24中计算了数据量的多个视频的比特率组合，比特率识别设备40(比特率组合识别器405)识别所计算的数据量距最小值各自在预定顺位内的组合(步骤s25)。将指示所识别的组合的比特率信息发送到视频转换设备30(步骤s26)。视频转换设备30(比特率转换器302)将具有所接收的比特率信息所指示的比特率的转换视频发送到视频分发设备20(步骤s27)。视频分发设备20(分发用视频数据存储装置201)将所发送的转换视频存储为分发用视频数据(步骤s28)。
另外，比特率识别设备40的(视频信息生成器406)生成包括在步骤s23中获取的图像质量信息和指示在步骤s25中识别的组合中的比特率的比特率信息的视频信息(步骤s31)，并将所生成的视频信息发送到视频分发设备20(步骤s32)。视频分发设备20(视频信息存储装置202)存储所发送的视频信息(步骤s33)。因此，完成视频的流式分发的准备。
如上所述，在使用动态选择的比特率来执行视频的流式分发的视频分发设备20中，作为分发用视频数据存储的视频的数量越多越好。然而，由于存储容量的条件等，该数量受到限制。然后，选择有限数量的比特率的组合，并且具有所选择的比特率的视频被存储为分发用视频数据。在这种情况下，例如，具有相同组合的比特率的视频总是被存储为分发用视频数据。
然后，根据视频的内容仅选择高质量的比特率，并且分发视频数据的数据量增加并且再现可能被切断，因此再现的质量可下降。在此示例性实施方式中，如上所述，预先计算当在各个区段中选择劣化程度满足图像质量条件的视频时生成的分发视频数据的数据量，并且识别实现最小数据量的比特率组合。因此，作为使用由视频分发设备20动态选择的比特率分发的视频的比特率组合，与总是选择相同组合的情况相比，可找到用于更高再现质量的组合。
[2]改型
上述示例性实施方式仅是本发明的实现方式的示例，并且可如下修改。另选地，根据需要，可组合并执行示例性实施方式和各个改型。
[2-1]识别组合的方法
比特率组合识别器405可通过与示例性实施方式的方法不同的方法来识别比特率的组合。例如，在示例性实施方式中，根据原始视频，组合中可不包括任何比特率。然而，在此改型中，定义了组合中必定包括的比特率。
在此改型中，比特率组合识别器405识别包括预定的c(c是自然数)个比特率的组合。像这样固定的预定比特率中的每一个被称为“恒定比特率”。数量c被假设为小于上述数量b(由视频分发设备20存储为分发用视频数据的视频的数量(比特率的数量))。当分发用视频数据是示例性实施方式中描述的那五个视频时，例如，两个比特率被预定义为恒定比特率。
作为恒定比特率，定义允许任何视频被如期望地发送到例如预期的再现装置的比特率。作为示例，对于具有小显示画面并且可能具有恶劣的通信环境的小型智能电话，200kbps被定义为恒定比特率，因此即使在恶劣的通信环境下，也执行再现不太可能被切断的流式分发。
另外，对于具有大画面并通过有线通信允许大容量数据通信的台式pc，2000kbps被定义为恒定比特率，因此对于任何视频，执行具有最高图像质量的流式分发。在此改型中，分发数据量计算器404针对从a个视频的比特率中选择包括c个恒定比特率的b个比特率的多个组合中的每一个计算数据量。
图10示出在此改型中计算的数据量的示例。在图10的示例中，200、2000kbps被定义为恒定比特率，并且比特率组合“200、400、800、1000、2000(kbps)”的数据量被计算为“b11”。类似地，计算“200、600、800、1200、2000(kbps)”的数据量“b12”和“200、400、1000、1200、2000(kbps)”的“b13”(其中b11<b12<b13)。各个其它组合的数据量被假设为大于b13。
在这种情况下，比特率组合识别器405识别实现最小数据量b11的比特率组合“200、400、800、1000、2000(kbps)”。根据此改型，如上所述，具有允许任何视频被如期望地发送到期望的再现装置的比特率的视频作为转换用视频数据被存储在视频分发设备20中。因此，具有恒定比特率的视频必定被包括在分发的视频中。
[2-2]数据量的计算方法1
在示例性实施方式中，针对仅包括实际生成的转换视频的比特率(称为“实际生成的比特率”)的组合计算数据量。然而，在此改型中，当假设生成实际未生成的转换视频时，估计转换视频的比特率的图像质量信息(即，相对于原始视频的劣化程度)，并且针对还包括估计了劣化程度的比特率(称为“估计的比特率”)的组合(实际生成的比特率+估计的比特率的组合、仅估计的比特率的组合)计算数据量。
在此改型中，将描述实际生成的比特率是恒定比特率的情况。此改型的比特率组合识别器405识别包括预定的d(d是自然数)个恒定比特率的组合。数量d被假设为小于上述数量b(由视频分发设备20存储为分发用视频数据的视频的数量(比特率的数量))，并且在此改型中大于或等于二。当分发用视频数据是示例性实施方式中描述的那五个视频时，例如，两个比特率被预定义为恒定比特率。
在此改型中，当从原始视频获取器301提供原始视频时，比特率转换器302生成具有从原始视频转换的上述d种比特率的转换视频。图像质量评估器402将所生成的具有d种实际生成的比特率的转换视频与原始视频进行比较，并评估d个转换视频中的每一个的劣化程度。图像质量评估器402使用诸如最小二乘法的熟知近似技术来计算指示实际生成的比特率的如此评估的劣化程度与实际生成的比特率之间的关系的近似表达式，并且通过将估计的比特率代入所计算的近似表达式而确定的劣化程度被评估为所代入的估计的比特率的劣化程度。
图11a和图11b示出由近似表达式评估的劣化程度的示例。在图11a中，作为关于再现时间t0处的实际生成的比特率的图像质量信息(劣化程度)，示出200kbps＝0.892，400kbps＝0.899，800kbps＝0.902，并且2000kbps＝0.904的关系。在图11b中，在纵轴表示劣化程度并且横轴表示比特率的曲线图中，示出了近似曲线f1，其指示由图像质量评估器402从该关系计算出的近似表达式。在此曲线图中，通过黑点c1、c2、c3、c4示出实际生成的比特率(加下划线的200、400、800、2000)与劣化程度(0.892、0.899、0.902、0.904)之间的关系。
图像质量评估器402将估计的比特率600、1000、1200、1400、1600、1800(kbps)代入近似曲线f1中，从而确定对应劣化程度。在图11b中，在近似曲线f1上示出指示那些估计的比特率与所确定的劣化程度之间的关系的白点d1、d2、d3、d4、d5、d6。
图像质量信息获取器403获取由图像质量评估器402如此评估的实际生成的比特率的劣化程度和估计的比特率的劣化程度，即，由相对于原始视频的劣化程度(通过将原始视频与通过将原始视频的比特率转换为d个实际生成的比特率而生成的视频进行比较而获得)指示的a个视频(各自具有实际生成的比特率的视频和各自具有估计的比特率的视频，在图11的示例中为10个视频)的劣化程度。
分发数据量计算器404针对从a个视频的比特率中选择包括d个实际生成的比特率的b个比特率的多个组合中的每一个计算数据量。作为具体示例，分发数据量计算器404针对从图11b所示的10个视频的比特率中选择包括图11a所示的四个实际生成的比特率(200、400、800、2000)的五个比特率的多个组合(例如，(200、400、600、800、2000或200、400、800、1000、2000))中的每一个计算数据量。
比特率组合识别器405识别实现如此计算的数据量的最小值的比特率组合。由于在如此识别的比特率组合当中已经生成具有实际生成的比特率的各个转换视频，所以视频转换设备30的比特率转换器302从原始视频生成具有该组合中所包括的估计的比特率的转换视频。因此，视频分发设备20的分发用视频数据存储装置201将各自具有实际生成的比特率的转换视频和各自具有估计的比特率的转换视频存储为分发用视频数据。
根据此改型，如上述改型中一样，具有允许任何视频被如期望地发送到期望的再现装置的恒定比特率的视频作为转换用视频数据被存储在视频分发设备20中。由于针对估计的比特率没有生成转换视频，所以与生成具有所有比特率的转换视频的情况相比，直到识别出比特率组合所花费的时间减少，因此从指定原始视频直到流式分发变得可用所花费的时间减少。
相反，当如示例性实施方式中一样生成具有所有比特率的转换视频时，通过将实际转换视频与原始视频进行比较来评估图像质量(劣化程度)，因此与使用近似表达式进行评估(即，针对未生成的转换视频获取劣化程度)的情况相比，以更高的精度获取劣化程度。像这样，由于图像质量评估的精度和处理时间之间具有此消彼长关系，所以实际生成的比特率的数量可根据视频的流式分发中所需的服务级别(在流式分发变得可用之前应该设定多长时间)来确定。
[2-3]数据量的计算方法2
在改型中，具有实际生成的比特率的各个转换视频是具有恒定比特率的转换视频，因此必定作为分发视频数据存储在视频分发装置20中。然而，情况可能并非总是如此。换言之，具有实际生成的比特率的转换视频可仅用于计算具有估计的比特率的转换视频的劣化程度。应当注意，结果是具有实际生成的比特率的转换视频可自然包括在分发用视频数据中。
在此改型中，图像质量评估器402将所生成的具有e(e是自然数)个实际生成的比特率的转换视频与原始视频进行比较，并评估e个转换视频中的每一个的劣化程度。数量e小于a，a是提取上述数量b(作为分发用视频数据存储的视频的数量)个视频的总群中所包括的视频的数量，并且在此改型中数量e大于或等于二。如参照图11所描述的，图像质量评估器402使用评估结果来计算近似表达式，并使用所计算的近似表达式来评估估计的比特率的劣化程度。
图像质量信息获取器403获取由图像质量评估器402如此评估的实际生成的比特率的劣化程度和估计的比特率的劣化程度，即，由相对于原始视频的劣化程度(通过将原始视频与通过将原始视频的比特率转换为e个实际生成的比特率而生成的视频进行比较而获得)指示的a个视频的劣化程度。a个视频例如包括具有实际生成的比特率的所有e个转换视频。在这种情况下，估计的比特率的数量为(a-e)。
然而，不限于此，a个视频可不包括具有实际生成的比特率的e个转换视频中的部分或全部。这是因为即使在这种情况下，也获取a个视频的劣化程度。分发数据量计算器404针对从各自如此获取了劣化程度的a个视频的比特率中选择b个比特率的多个组合中的每一个计算数据量。b个比特率可包括或者可不包括实际生成的比特率。
同样在此改型中，如上述改型中一样，由于针对估计的比特率没有生成转换视频，所以与生成具有所有比特率的转换视频的情况相比，直到识别出比特率组合所花费的时间减少，因此从指定原始视频直到流式分发变得可用所花费的时间减少。
[2-4]比特率的排除
比特率组合识别器405可通过与示例性实施方式或改型的方法不同的方法来识别比特率的组合。在此改型中，当原始视频被转换为具有不同比特率的f(f是自然数)个视频时，图像质量信息获取器403获取各个视频的多个区段中的劣化程度。数量f指示由视频分发设备20存储为分发用视频数据的视频的数量(比特率的数量)的最大值。
图像质量信息获取器403将指示各个获取的劣化程度的图像质量信息和对应比特率提供给比特率组合识别器405。比特率组合识别器405识别从f个视频获取的多个劣化程度全体满足图像质量条件的视频的比特率组合。例如，当所获取的劣化程度为阈值th1或以上的区段占总区段的阈值th2或以上时，比特率组合识别器405确定满足图像质量条件。这里所使用的图像质量条件(即，用于确定是否从比特率组合排除比特率的图像质量条件)是本发明的“第二图像质量条件”的示例。
例如，假设f＝5并且获取具有200、400、800、1200、2000(kbps)的五个视频的劣化程度，并且阈值th1为0.7，阈值th2为70％。在这种情况下，例如，当劣化程度为0.7或以上的区段占具有200kbps的视频的总区段的50％时，比特率组合识别器405确定该视频不满足图像质量条件(低图像质量视频)，并从组合中要包括的比特率排除该视频的比特率。
相反，当劣化程度为0.7或以上的区段占具有400、800、1200、2000kbps的各个视频的总区段的70％或以上时，比特率组合识别器405确定这四个视频满足图像质量条件(高图像质量视频)，并识别这四个比特率的组合。
这样，从分发用视频数据排除低图像质量视频(不满足图像质量条件的视频)，因此与分发用视频数据中包括低图像质量视频的情况相比，由视频分发设备20存储的分发用视频数据(具有所识别的组合中的比特率的视频)的数据量减少(存储区域中节省了更多空闲空间)。另一方面，由于与高图像质量视频相比，低图像质量视频不太可能被分发，所以与高图像质量视频被排除的情况相比，流式分发的再现质量下降的可能性降低。
[2-5]替代比特率的添加
当通过上述方法排除低图像质量视频的比特率时，比特率组合识别器405可添加替代比特率，该替代比特率用作所排除的比特率的替代。在这种情况下，当f个视频包括不满足图像质量条件的低图像质量视频时，比特率组合识别器405向视频转换设备30请求通过转换原始视频而生成并具有与低图像质量视频的比特率不同的比特率的替代视频。
例如，当在具有200、400、800、1200、2000(kbps)的转换视频当中确定具有200kbps的转换视频是低图像质量视频时，比特率组合识别器405向视频转换设备30请求比特率比200kbps高预定值(例如，比200kbps高100kbps的300kbps)的替代视频。应当注意，当比特率等于转换视频的比特率时，比特率组合识别器405仍可请求具有比该比特率高预定值的比特率的替代视频。
视频转换设备30的比特率转换器302生成具有所请求的比特率的替代视频。视频获取器401获取所生成的替代视频，并且图像质量评估器402评估所获取的替代视频的图像质量(劣化程度)。图像质量信息获取器403获取替代视频的如此评估的图像质量，即，通过将原始视频与替代视频(通过转换原始视频而生成并具有与低图像质量视频的比特率不同的比特率)进行比较而获得的多个劣化程度(多个区段中的劣化程度)。
当图像质量信息获取器403所获取的多个劣化程度全体满足图像质量条件时，比特率组合识别器405识别包括替代视频的比特率的组合。例如，如上所述，当劣化程度为0.7或以上的区段占所获取的具有300kbps的替代视频的总区段的70％或以上时，比特率组合识别器405识别包括300kbps(替代视频的比特率)的比特率组合(300、400、800、1200、2000)。
例如，当在高于200kbps并低于300kbps的比特率范围内视频中的许多区段满足图像质量条件(示例性实施方式中所描述的第一图像质量条件)时，在组合(200、400、800、1200、2000)中，针对区段选择400kbps。即使在排除了低图像质量视频的比特率的组合(400、800、1200、2000)中，也针对区段选择400kbps。
相反，在添加了替代视频的比特率的组合(300、400、800、1200、2000)中，针对区段选择300kbps。因此，当识别出添加了替代视频的比特率的组合时，与在没有添加或排除比特率的情况下识别组合的情况相比，分发视频数据的数据量减少。
[2-6]包括原始视频的分发
在示例性实施方式和改型中，在由视频分发设备20存储的分发用视频数据(用于流式分发的视频数据)中不包括原始视频。然而，可包括原始视频。在这种情况下，图像质量评估器402将原始视频的图像质量评估为最低劣化程度(ssim值为1)，换言之，最高图像质量。
设a是获取图像质量信息的转换视频的数量，分发数据量计算器404从少于(a+1)(原始视频的数量与a相加)的b个视频计算分发视频数据的数据量。例如，在示例性实施方式中，分发数据量计算器404针对从a个视频和原始视频的比特率((a+1)个比特率)选择b个比特率的多个组合中的每一个计算数据量。
当使用图10中所描述的恒定比特率时，分发数据量计算器404针对从a个视频和原始视频的比特率((a+1)个比特率)选择包括c个恒定比特率的b个比特率的多个组合中的每一个计算数据量。
另外，当执行比特率的上述排除和添加时，在f个视频当中，比特率组合识别器405识别所获取的多个劣化程度全体满足图像质量条件的视频和原始视频的比特率组合(由于原始视频的劣化指标为1，所以图像质量条件必定全体满足)。根据此改型，原始视频的分段数据也被流式分发。
[2-7]再现装置
用于流式分发的视频的再现装置不限于智能电话。例如，平板终端、笔记本计算机或台式个人计算机可用作再现装置。可使用任何再现装置，只要装置再现流式分发的视频即可。
[2-8]比特率
在示例性实施方式中，随着比特率增加，视频具有更高的分辨率和更高的帧频。然而，不限于此，例如，在比特率增加的情况下，分辨率可不改变而仅帧频可增加，或者帧频可不改变而仅分辨率可增加。
[2-9]确定比特率的方法
确定比特率的方法不限于上述方法。除了上述劣化程度之外，比特率确定器102还可使用例如以下参数中的一个或更多个来确定比特率：再现装置的显示区域的尺寸、再现装置的缓存量(临时存储区域的大小)以及再现装置的传输速度。
具体地，比特率确定器102针对较大尺寸的显示区域、较大的缓存量和较高的传输速度确定较高的比特率。这些参数在再现装置实际再现视频时确定，因此当分发数据量计算器404计算数据量时没有确定这些参数。因此，分发数据量计算器404例如基于比特率确定器102在过去流式分发中确定比特率所使用的参数的类型来识别可能要在不久的将来使用的参数，并使用由所识别的参数指示的图像质量条件来计算数据量。
例如，当显示区域的尺寸为640×480时，使用图像质量信息指示阈值0.8或以上的图像质量条件，当显示区域的尺寸为1280×720时，使用图像质量信息指示阈值0.9或以上的图像质量条件。在这种情况下，例如，当过去最频繁使用的显示区域的大小为640×480时，分发数据量计算器404使用该尺寸所指示的图像质量条件(即，图像质量信息指示阈值0.8或以上的图像质量条件)来计算数据量。
另外，当640×480和1280×720的使用比率为2:1时，分发数据量计算器404可使用图像质量信息指示通过根据该使用比率指派权重而确定的阈值(0.8×2+0.9×1)÷3＝0.83)或以上的图像质量条件来计算数据量。根据此改型，即使当使用在再现装置实际再现视频时确定的参数来确定要流式分发的视频的比特率时，由分发数据量计算器404计算数据量。
[2-10]实现功能的设备
实现图4所示的功能的设备不限于图4所示的设备。例如，由视频转换设备30和比特率识别设备40实现的功能可通过一个信息处理设备来实现。另外，信息处理设备可进一步实现由视频分发设备20提供的功能。另外，由各个设备实现的功能可通过两个或更多个信息处理设备来实现。例如，智能电话10所提供的上传原始视频的功能可通过另一信息处理设备(用户所使用的诸如个人计算机的用户终端或者经营者所使用的工作终端)来实现。
另外，在由比特率识别设备40实现的功能当中，例如，视频获取器401、图像质量评估器402和视频信息生成器406可通过第一信息处理设备来实现，并且图像质量信息获取器403、分发数据量计算器404和比特率组合识别器405可通过第二信息处理设备来实现。在这种情况下，第二信息处理设备是本发明的“信息处理设备”的示例。简言之，图4所示的各个功能可通过包括在视频浏览系统1中的多个信息处理设备中的一个来实现。
[2-11]发明类别
本发明不仅适用于诸如智能电话、视频分发设备、视频转换设备和比特率识别设备的信息处理设备，而且适用于包括这些设备的信息处理系统。另外，本发明适用于实现由各个设备执行的处理的信息处理方法，或者适用于使控制各个设备的计算机运转的程序。该程序可按照存储该程序的诸如光盘的记录介质的形式提供，或者可按照该程序经由诸如互联网的通信线路被下载到计算机并被安装以可用的形式提供。
为了例示和描述目的提供了本发明的示例性实施方式的以上描述。其并不旨在为穷尽性的或者将本发明限于所公开的精确形式。显然，对本领域技术人员而言许多修改和变化将是显而易见的。选择并描述了实施方式以便最佳地说明本发明的原理及其实际应用，从而使得本领域技术人员能够理解本发明的各种实施方式以及适合于可以想到的具体用途的各种修改。本发明的范围旨在由随附权利要求书及其等同物限定。