发送装置、信息处理方法、程序、接收装置和应用链接系统的制作方法
【专利摘要】本公开内容涉及这样一种发送装置、信息处理方法、程序、接收装置和应用链接系统：当应用被执行以便与正在观看的内容的进度链接时，使得能够共享用于内容识别的多个ACR服务器的接口。作为本公开内容的第一方面的发送装置具有一个或多个内容识别单元和时间线数据产生单元，该时间线数据产生单元产生时间线数据并且共同地将公共的时间线数据提供给一个或多个内容识别单元。本公开内容适合于广播站广播装置等。
【专利说明】发送装置、信息处理方法、程序、接收装置和应用链接系统
【技术领域】
[0001]本公开内容涉及一种发送装置、处理信息的方法、程序、接收装置和应用协作系统，尤其涉及一种当与内容(诸如，电视节目)的进度协作地执行应用程序时有利地使用的发送装置、处理信息的方法、程序、接收装置和应用协作系统。
【背景技术】
[0002]例如，考虑当节目正被观看时在屏幕上显示与电视(TV)节目(以下，简单地称为节目)相关的信息(表演者、故事情节、下一次的公告等)、或者虽然不直接与节目相关但对观看者有用的信息(新闻、天气预报、交通信息等)。
[0003]为了实现以上显示，可正好将用于获取和开始专用应用程序(以下，简要描述为应用)的命令与节目的进度协作地发送给TV接收器等。实际上，在日本和欧洲，在TV广播信号中使用用于数据广播的频带发送命令或应用，由此实现以上显示(例如，参见专利文献I)。
[0004]同时，在美国，在TV广播信号中未提供用于数据广播的频带，并且未建立代替其的方法。因此，未实现与节目的进度协作地执行应用。
[0005]需要注意的是，在美国，与直接利用TV接收器接收TV广播波并且观看节目的家庭的数量相比，存在更大数量的通过CATV或IPTV观看节目的家庭。在CATV或IPTV中，有时从TV广播信号中可能仅提取和分发节目的视频和音频信号，因此，如果在美国在TV广播信号中提供用于数据广播的频带，则无法保证包括与应用相关的数据的数据广播信号被发送给接收装置。
[0006]另外，近年来，即使当不仅观看广播的节目而且观看记录的节目、从封装介质(诸如，DVD或BD)重放的视频或从因特网下载的任意内容(诸如，运动图像)时，也需要与节目、视频或任意内容的进度协作地执行应用。
[0007]引用列表
[0008]专利文献
[0009]专利文献1:日本专利申请特许公开N0.2006-50237
【发明内容】
[0010]本发明要解决的问题
[0011]如上所述，为了执行与现在正在观看的任意内容对应的应用，需要识别现在正在观看的内容。作为一种方法，假设应用被称为自动内容识别(ACR)的技术。
[0012]通过将经由预定提取方法从现在正在观看的内容提取的签名数据(特征量)和预先登记在数据库中的内容的签名数据进行比较，ACR识别现在正在观看的内容。
[0013]需要注意的是，在使用ACR对内容执行识别的ACR服务器的数据库中，除了内容的签名数据之外，还记录指示内容的信息、指示与内容的进度协作地执行的应用的信息等。从内容提供商(诸如，广播站)或应用提供商提供这些方法。
[0014]顺便提一句，对ACR服务器的管理和操作不限于广播站，可以考虑各种商业运营商的进入。作为结果，假设出现多个ACR服务器。即使在这种情况下，对于内容提供商或应用提供商，也希望可以通过对ACR服务器而言共同的接口来提供内容和应用的信息。
[0015]考虑到前面的内容而做出了本公开内容，并且本公开内容能够在与现在正在观看的任意内容的进度协作地执行应用时使得针对用于识别内容的多个ACR服务器的接口变成共同的。
[0016]问题的解决方案
[0017]根据本公开内容的第一方面的发送装置包括:一个或多个内容识别单元，包括:数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置；和时间线数据产生单元，被配置为产生时间线数据，并且共同地将公共的时间线数据提供给所述一个或多个内容识别单元。
[0018]根据本公开内容的第一方面的发送装置还包括:用户接口单元，用于控制所述时间线数据产生单元。
[0019]根据本公开内容的第一方面的发送装置还包括:签名数据提取单元，被配置为通过与所述一个或多个识别服务器中的每个识别服务器对应的提取方法从可在接收装置侧观看的内容中提取签名数据。
[0020]内容识别单元还包括:参考数据产生单元，被配置为使用由所述签名数据提取单元提取的签名数据产生参考数据。
[0021]所述签名数据提取单元产生指纹作为签名数据。
[0022]根据本公开内容的第一方面的处理发送装置的信息的方法包括下述步骤:由发送装置:产生用于被共同地提供给一个或多个内容识别单元的公共的时间线数据，内容识别单元包括:数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置；以及共同地将公共的时间线数据提供给所述一个或多个内容识别单元。
[0023]根据本公开内容的第一方面的程序使计算机执行:一个或多个内容识别单元，包括:数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置；和时间线数据产生单元，被配置为产生时间线数据，并且共同地将公共的时间线数据提供给所述一个或多个内容识别单元。
[0024]在本公开内容的第一方面，产生用于被共同地提供给一个或多个内容识别单元的公共的时间线数据，并且公共的时间线数据被共同地提供给所述一个或多个内容识别单元，所述一个或多个内容识别单元包括:数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置。
[0025]根据本公开内容的第二方面的接收装置包括:提取单元，被配置为从重放的内容中提取指示内容的特性的签名数据；查询产生单元，被配置为产生至少包括签名数据的查询，将查询发送给发送装置中所包括的一个或多个内容识别单元，并且接收响应于查询从内容识别单元返回的响应；和应用执行单元，被配置为基于接收到的响应中所包括的时间线数据获取与内容对应的应用并且与内容的进度协作地执行所获取的应用，其中时间线数据被共同地提供给所述一个或多个内容识别单元。
[0026]所述应用执行单元基于在接收到的响应中所包括的时间线数据中描述的应用标识符获取与内容对应的应用。
[0027]所述应用执行单元基于在接收的响应中所包括的时间线数据中描述的事件标识符获取与内容对应的应用的应用标识符，并且基于获取的应用标识符获取与内容对应的应用。
[0028]在本公开内容的第二方面，从重放的内容中提取指示内容的特性的签名数据，产生至少包括签名数据的查询，将查询发送给发送装置中所包括的一个或多个内容识别单元，并且接收响应于查询从内容识别单元返回的响应。另外，基于接收到的响应中所包括的时间线数据获取与内容对应的应用并且该应用被共同地提供给所述一个或多个内容识别单元，并且与内容的进度协作地执行所获取的应用。
[0029]在根据本公开内容的第三方面的由内容的发送装置和接收装置构成的应用协作系统中，所述发送装置包括:一个或多个内容识别单元，包括:数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置；和时间线数据产生单元，被配置为产生时间线数据，并且共同地将公共的时间线数据提供给所述一个或多个内容识别单元，和接收装置包括:提取单元，被配置为从重放的内容中提取指示内容的特性的签名数据；查询产生单元，被配置为产生至少包括签名数据的查询，将查询发送给发送装置中所包括的一个或多个内容识别单元，并且接收响应于查询从内容识别单元返回的响应；和应用执行单元，被配置为基于接收到的响应中所包括的时间线数据获取与内容对应的应用并且与内容的进度协作地执行所获取的应用，其中时间线数据被共同地提供给所述一个或多个内容识别单元。
[0030]在作为本公开内容的第三方面的应用协作系统中，由发送装置产生用于被共同地提供给一个或多个内容识别单元的公共的时间线数据，并且公共的时间线数据被共同地提供给所述一个或多个内容识别单元，所述一个或多个内容识别单元包括:数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置。另外，由接收装置从重放的内容中提取指示内容的特性的签名数据，产生至少包括签名数据的查询，将查询发送给发送装置中所包括的一个或多个内容识别单元，并且接收响应于查询从内容识别单元返回的响应。另外，基于接收到的响应中所包括的时间线数据获取与内容对应的应用并且该应用被共同地提供给所述一个或多个内容识别单元，并且与内容的进度协作地执行所获取的应用。
[0031]本发明的效果
[0032]根据本公开内容的第一方面，可以使得针对用于识别内容的多个内容识别单元的接口变成共同的。
[0033]根据本公开内容的第二方面，可以与现在正在观看的任意内容的进度协作地执行应用。
[0034]根据本公开内容的第三方面，当与现在正在观看的任意内容的进度协作地执行应用时，可以使得针对用于辨别内容的多个ACR服务器的接口变成共同的。
【专利附图】
【附图说明】
[0035]图1是表示作为本公开内容的实施例的应用协作系统的配置例子的方框图。
[0036]图2是表示ACR服务器的配置例子的方框图。
[0037]图3是表示事件消息的数据结构的示图。
[0038]图4是表示时间线数据的数据结构的示图。
[0039]图5是表不内容的进度定时和事件之间的关联例子的不图。
[0040]图6是表示ACR参考数据的数据结构的示图。
[0041]图7是表示ACR查询的数据结构的示图。
[0042]图8A和图8B是表示ACR响应的数据结构的示图。
[0043]图9是表示广播装置的操作人员屏幕的显示例子的示图。
[0044]图10是用于描述ACR数据库登记处理的流程图。
[0045]图11是用于描述时间线数据产生处理的流程图。
[0046]图12是用于描述ACR参考数据产生处理的流程图。
[0047]图13是用于描述由应用协作系统执行的一系列操作的流程图。
[0048]图14是表示与应用协作系统的变型对应的应用获取处理的方框图。
[0049]图15是用于描述与应用协作系统的变型对应的应用获取处理的流程图。
[0050]图16是表示计算机的配置例子的方框图。
【具体实施方式】
[0051]以下，将参照附图详细描述用于实现本公开内容的有益实施例(以下，称为实施例)。
[0052][应用协作系统的配置例子]
[0053]图1表示作为本公开内容的实施例的应用协作系统的配置例子。
[0054]这个应用协作系统10使用ACR来识别(辨别)由使用TV接收器的屏幕作为监视器的用户观看的内容，并且与内容的进度协作地执行应用。
[0055]这里，内容不限于由TV接收器接收到的现在广播的节目。例如，包括所有种类的AV内容，诸如由视频记录器记录并且重放的节目、由多媒体播放器从封装介质重放的视频(诸如，电影)和通过因特网下载的运动图像。另外，插入在节目之间或插入在节目中间的商业消息(以下，称为CM)也被包括在内容中。
[0056]应用协作系统10由发送装置20、以及通过广播网络11和双向通信网络12与发送装置20连接的多个接收装置30构成。广播网络11指示TV广播网络、CATV网络、IPTV网络等。双向通信网络12指示由因特网代表的IP通信网络。
[0057]接收装置30在内置于TV接收器等中的状态下被布置在用户房屋中。
[0058][发送装置20的描述]
[0059]发送装置20由内容管理服务器21、应用服务器22、事件服务器23、时间线产生客户机24、签名客户机25、多个ACR服务器26-1至26-N和NTP服务器28构成。
[0060]内容管理服务器21通过广播网络11广播内容(诸如，程序或CM)。
[0061]另外，内容管理服务器21将可在接收侧观看的处于解码状态下的内容提供给时间线产生客户机24和签名客户机25。内容可以是归档内容，或者可以是现在正在广播的实时流。
[0062]应用服务器22产生并且管理将要与内容的进度协作地执行的应用，响应于来自事件服务器23的搜索而通知用于指定应用的应用标识符(AppsUrl)，并且将在应用中使用的元数据提供给事件服务器23。另外，响应于来自接收装置30的事件处理器33的请求，应用服务器22通过双向通信网络12提供应用和在应用中使用的元数据。
[0063]事件服务器23产生同与内容的进度协作地执行应用的处理(以下，被称为事件)相关的事件消息，并且向时间线产生客户机24通知事件消息。以下将参照图3描述事件消息的细节。
[0064]时间线产生客户机24产生事件消息与内容的进度定时关联的时间线数据，并且共同地将公共的时间线数据提供给ACR服务器26-1至26-N。以下将参照图5描述时间线数据的细节。
[0065]签名客户机25以预定采样时间段通过与每个ACR服务器26对应的提取方法从自内容管理服务器21提供的内容中提取(产生)签名数据，并且将签名数据与指示提取(产生)源的内容的内容标识符一起提供给ACR服务器26-1至26-N。需要注意的是，签名客户机25可产生指纹作为签名数据。
[0066]利用指纹，即使内容的分辨率、宽高比、比特率和编码格式被转换，也可以在转换之前和之后获得相同的签名数据。因此，如果将指纹用作签名数据，则可以增加内容的识别准确性。
[0067]ACR服务器26-1 (i = 1，...，N)响应于从接收装置30的ACR客户机32-1至32-N中的对应ACR客户机32-1发送的ACR查询而识别(辨别)在接收装置30侧观看的内容。另外，ACR服务器26-1产生包括将要与内容的进度协作地执行的应用的信息等的ACR响应，并且将ACR响应返回到ACR客户机32-1。以下将描述ACR查询和ACR响应。
[0068]NTP服务器28将公共的时间信息提供给构成发送装置30的内容管理服务器21、应用服务器22、事件服务器23、时间线产生客户机24、签名客户机25和ACR服务器26_1至26-No
[0069]需要注意的是，构成发送装置30的内容管理服务器21、应用服务器22、事件服务器23、时间线产生客户机24、签名客户机25、ACR服务器26_1至26-N和NTP服务器28可集中地布置在一个地方，或者可按照分布式方式布置。另外，这些服务器和客户机可被合适地组合。
[0070][接收装置30的描述]
[0071]接收装置30包括内容呈现器31、多个ACR客户机32_1至32-K和事件处理器33。
[0072]内容呈现器31获取并且分割(branch)接收装置30被内置在的TV接收器的屏幕上显示的所有内容，并且将内容提供给ACR客户机32。也就是说，内容呈现器31不仅获取并且分割接收到的从内容管理服务器21广播的内容，而且获取并且分割通过TV接收器的各种输入端子(HDMI (注册商标)端子等)输入的内容，并且将内容提供给ACR客户机32-1至 32-N。
[0073]ACR客户机32-1 (i = 1，...，K (K彡N))对应于发送装置20的ACR服务器26_i，并且以预定采样时间段通过与ACR服务器26-1对应的提取方法从自内容呈现器31输入的内容中提取签名数据。
[0074]另外，ACR客户机32-1产生存储了提取的签名数据和用户简档数据的ACR查询，并且通过双向通信网络12将ACR查询发送给发送装置20的ACR服务器26_1至26-N中的对应ACR服务器26-1。
[0075]存储在ACR查询中的用户简档数据可以包括各项，例如用户的人口统计属性(年龄、性别、职业、学术背景、居住区域、邮件地址、业余爱好、品味、语言、家庭规模和内容的观看倾向)、接收装置30的规格(可用编解码的类型等)、双向通信网络12的拥塞状态、自然环境信息(天气、温度、湿度等)。
[0076]另外，ACR客户机32-1接收并且保存响应于发送的ACR查询从ACR服务器26_i返回的ACR响应。另外，ACR客户机32-1分析保存的ACR响应，并且向事件处理器33通知分析结果。需要注意的是，ACR响应中所包括的时间线数据被共同地从时间线产生客户机24提供给所有ACR服务器26，因此可以使得各个ACR客户机32中的ACR响应和时间线数据的分析处理变成共同的。
[0077]事件处理器33基于ACR响应的分析结果通过双向通信网络12从应用服务器22获取与现在正在观看的内容对应的应用，并且执行该应用。另外，事件处理器33从ACR客户机32或应用服务器22获取将要在现在正在执行的应用中处理的元数据。
[0078][ACR服务器26的详细配置例子]
[0079]图2表示ACR服务器26的详细配置。
[0080]ACR服务器26由时间线数据获取单元41、ACR参考数据产生单元42、ACR数据库43和ACR响应产生单元44构成。
[0081]时间线数据获取单元41将指示内容的进度定时和事件之间的对应性并且从时间线产生客户机24提供的时间线数据登记在ACR数据库43中。
[0082]ACR参考数据产生单元42通过使从签名客户机25提供的签名数据与指示签名数据的提取(产生)源的内容的内容标识符和指示提取(产生)定时的重放时间相关联来产生ACR参考数据，并且将ACR参考数据登记在ACR数据库43中。以下将参照图6描述ACR参考数据的数据结构。
[0083]ACR数据库43创建并且存储来自时间线数据获取单元41的时间线数据和来自ACR参考数据产生单元42的ACR参考数据的索引。需要注意的是，可在云上开发ACR数据库43。
[0084]ACR响应产生单元44通过参照ACR数据库43来识别从ACR客户机32发送的ACR查询中所包括的签名数据的提取源的内容，并且指定与该内容关联的时间线数据。另外，ACR响应产生单元44产生包括识别结果的内容标识符、与内容标识符对应的时间线数据等的ACR响应。需要注意的是，在产生ACR响应时，可基于ACR查询中所包括的用户简档数据来匹配和过滤将要被包括在ACR响应中的时间线数据中的元数据等，并且可发送适合于接收装置30的用户的数据。
[0085][各种类型的数据的结构]
[0086]接下来，将描述上述各种类型的数据的结构。
[0087][事件消息的数据结构]
[0088]图3表示在发送装置20的事件服务器23中产生的事件消息的数据结构。
[0089]为每个事件产生事件消息50，并且事件标识符51、事件处理器标识符52、应用标识符53和元数据54被存储在事件消息50中。
[0090]事件标识符51是每个事件的辨别信息。事件处理器标识符52是指示处理事件的接收装置30的事件处理器33的信息。应用标识符53是用于辨别为了实现事件而执行的应用的信息。例如，由统一资源定位器(URL)书写应用标识符53，并且应用标识符53还指示应用的获取目的地(应用服务器22)。元数据54是由应用标识符53所指示的应用处理的数据。需要注意的是，替代于元数据54，可存储由URL书写的、以及辨别元数据并且指示元数据的获取目的地的元数据标识符。
[0091][时间线数据的数据结构]
[0092]图4表示在发送装置20的时间线产生客户机24中产生的时间线数据的数据结构。
[0093]时间线数据60是通过将内容标识符65和时间线信息66添加到从事件消息50弓丨用的事件标识符61、事件处理器标识符62、应用标识符63和元数据64而获得的数据。内容标识符65是指示与事件关联的内容的信息。时间线信息66是指示与事件关联的内容的进度定时的信息。
[0094]例如，下面是这种情况的具体描述:当其关联时，使得如图5中所示从内容A的进度定时tl至t2执行事件Al并且从进度定时t2至t3执行事件A2。
[0095]〈timeLine〉// 时间线数据
[0096]<mediaId>MediaIDl</mediaId>// 内容标识符
[0097]〈event〉//与事件Al对应的描述
[0098]<eventHandler>EventHanlderIDlUrl</eventHandler〉// 事件处理器标识符
[0099]<appsUrl>AppslUrl</appsUrl>// 应用标识符
[0100]<startTime>tl</startTime>// 时间线信息
[0101]〈endTime>t2</endTime>// 时间线信息
[0102]〈/event〉
[0103]〈event〉//与事件A2对应的描述
[0104]<eventHandler>EventHanlderIDlUrl</eventHandler〉// 事件处理器标识符
[0105]<appsUrl>AppslUrl</appsUrl>// 应用标识符
[0106]<metadataUrl>MetadatalUrl</metadataUrl>// 兀数据标识符
[0107]<startTime>T2</startTime>// 时间线信息
[0108]<endTime>T3</endTime>// 时间线信息
[0109]〈/event〉
[0110]
[0111]〈/timeLine〉
[0112][ACR参考数据的数据结构]
[0113]接下来，图6表示由ACR服务器26的ACR参考数据产生单元42产生的ACR参考数据的数据结构。
[0114]在ACR参考数据70中，内容标识符72和重放时间73与从签名客户机25提供的签名数据71关联。
[0115]从签名客户机25提供签名数据71。内容标识符72是用于辨别签名数据71的提取源的内容的信息。重放时间73指示当从由内容标识符72指示的内容中提取签名数据71时的内容的处理定时，并且由从内容的头开始过去的时间表示。
[0116][ACR查询的数据结构]
[0117]图7表示从ACR客户机32向ACR服务器26发送的ACR查询的数据结构。
[0118]ACR查询80包括ACR查询标识符81、提取方法标识符82、服务标识符83、签名数据84、本地时间戳85、用户简档数据86、发送源地址87和签名88。
[0119]ACR查询标识符81是用于唯一地指定ACR查询80的信息。提取方法标识符82是用于指定当提取签名数据84时使用的提取方法的信息。服务标识符83是用于从多个ACR服务器26-1至26-N之中选择这样的ACR服务器26的信息，即ACR查询80被发送给该ACR服务器26并且从该ACR服务器26获得ACR响应。
[0120]从ACR客户机32中的内容中提取签名数据84。本地时间戳85指示从内容中提取签名数据84的定时，并且由接收装置30的本地系统时钟所指示的时间来表示。
[0121]用户简档数据86是包括用户的人口统计属性的信息。发送源地址87是双向通信网络12中的发送ACR查询80的ACR客户机32的地址，并且被用作指示响应于ACR查询80在ACR服务器26中产生的ACR响应的返回目的地的信息。签名88抑制ACR查询80的伪造。需要注意的是，整个ACR查询80可被加密并被发送。
[0122][ACR响应的数据结构]
[0123]图8A和图8B表示从ACR服务器26向ACR客户机32返回的ACR响应的数据结构。
[0124]需要注意的是，图8A是当ACR查询80中所包括的签名数据84的提取源的内容已经能够被识别时(也就是说，当现在正在观看的内容已经能够在接收装置30中被识别时)的ACR响应的数据结构。图8B是当内容未能被识别时的ACR响应的数据结构。
[0125]当现在正在观看的内容已经能够在接收装置30中被识别时的ACR响应90 (图8A)包括ACR查询标识符91、提取方法标识符92、服务标识符93、内容标识符94、重放时间95、本地时间戳96、时间线数据97、发送源地址98和签名99。
[0126]同时，当现在正在观看的内容未能在接收装置30中被识别时的ACR响应90 (图8B)包括ACR查询标识符91、服务标识符93、发送源地址98、签名99和识别失败标记101。
[0127]ACR查询标识符91、提取方法标识符92、服务标识符93和本地时间戳96被用于指定作为用于产生ACR响应90的触发器的ACR查询80，并且引用对应ACR查询80的ACR查询标识符81、提取方法标识符82、服务标识符83和本地时间戳85来描述上述ACR查询标识符91、提取方法标识符92、服务标识符93和本地时间戳96。
[0128]内容标识符94和重放时间95指示识别结果，并且引用对应ACR参考数据70的内容标识符72和重放时间73来描述上述内容标识符94和重放时间95。
[0129]时间线数据97与识别的内容关联，并且包括如图4中所示的各项。
[0130]发送源地址98是双向通信网络12上的发送ACR响应90的ACR服务器26的地址。签名99抑制ACR响应90的伪造。需要注意的是，可通过加密并且发送整个ACR响应90来防止伪造。
[0131]识别失败标记101指示这样的标记:该标记指示来自ACR客户机32的ACR查询80中所包括的签名数据84的提取源的内容未能在ACR服务器26中被识别，也就是说，现在正在观看的内容未能在ACR服务器26中被识别。
[0132][操作人员屏幕的描述]
[0133]图9表示由用于控制事件服务器23和时间线产生客户机24的广播装置20的操作人员使用的操作人员屏幕110的显示例子。假设:在显示操作人员屏幕110的阶段，已经选择了与事件关联的内容。
[0134]在操作人员屏幕110上，提供应用选择区域111、事件创作区域112、内容重放区域113和时间线设置区域114。
[0135]在应用选择区域111中，可以选择将要在每个事件中执行的应用。在事件创作区域112中，可以创作由在每个事件中执行的应用显示的信息。在内容重放区域113中，可以确认内容和与内容协作的应用的显示。在时间线设置区域114中，事件可以与内容的进度定时关联。另外，在时间线设置区域中114中，可以确认与事件关联的应用。
[0136][由应用协作系统10执行的操作]
[0137]接下来，将描述应用协作系统10的操作。
[0138]图10是用于描述直至产生每个ACR服务器26的ACR数据库43的处理(以下，被称为ACR数据库登记处理)的流程图。
[0139]在步骤SI中，执行产生时间线数据的时间线数据产生处理。图11是用于详细描述时间线数据产生处理的流程图。
[0140]在步骤Sll中，时间线产生客户机24从内容管理服务器21获取内容。在步骤S12中，事件服务器23在应用服务器22中搜索将要与内容协作的应用并且确定该应用，以及从应用服务器22获取应用标识符等。在步骤S13中，事件服务器23产生包括应用标识符等的事件消息，并且将事件消息输出到时间线产生客户机24。
[0141]在步骤S14中，时间线产生客户机24产生事件消息与内容的进度定时关联的时间线数据。在步骤S15中，时间线产生客户机24共同地向ACR服务器26-1至26-N通知产生的时间线数据。如上所述，使得针对ACR服务器26的接口(时间线数据)变成共同的。因此，即使ACR服务器26的数量增加，也可以抑制负载的增加。因此完成时间线数据产生处理，并且该处理返回到图10的步骤S2。
[0142]在步骤S2中，执行产生ACR参考数据的ACR参考数据产生处理。图12是用于详细描述ACR参考数据产生处理的流程图。
[0143]在步骤S21中，签名客户机25从内容管理服务器21获取内容。在步骤S22中，签名客户机25以预定采样时间段通过与每个ACR服务器26对应的提取方法从获取的内容中提取签名数据，并且将签名数据与指示提取源的内容的内容标识符一起提供给每个ACR服务器26。
[0144]在步骤S23中，每个ACR服务器26的ACR参考数据产生单元42使从签名客户机25提供的签名数据与指示签名数据的提取(产生)源的内容的内容标识符和指示提取(产生)定时的重放时间相关联，以产生ACR参考数据。因此完成ACR参考数据产生处理，并且该处理返回到图10的步骤S3。
[0145]需要注意的是，上述步骤SI的时间线数据产生处理和步骤S2的ACR参考数据产生处理可以并行地执行。
[0146]在步骤S3中，ACR数据库43创建并且存储在步骤SI中产生的时间线数据的索引和在步骤S2中产生的ACR参考数据的索引。因此完成ACR数据库登记处理。
[0147]图13是用于整体上描述应用协作系统10的一系列操作的流程图。
[0148]假设:发送装置20已经执行了上述ACR数据库登记处理，并且已产生了每个ACR服务器26的ACR数据库43。
[0149]在这种一系列操作中，发送装置20重复以下描述的步骤S31至S33。同时，接收装置30重复以下描述的步骤S41至S44。
[0150]在步骤S31中，发送装置20开始通过广播网络11从内容管理服务器21发送内容。
[0151]同时，在步骤S41中，接收装置30开始内容的重放。需要注意的是，可能无法从发送装置20发送内容。
[0152]在步骤S42中，内容呈现器31获取并且分割现在正在重放(也就是说，用户正在观看)的内容，并且将内容输出到ACR客户机32-1。在步骤S43中，ACR客户机32-1以预定采样时间段从自内容呈现器31输入的现在正在观看的内容中提取签名数据。另外，每次提取签名数据时，ACR客户机32-1产生包括签名数据和用户简档数据的ACR查询80，并且将ACR查询80发送给对应ACR服务器26-1。需要注意的是，一个或多个ACR客户机32产生并且发送ACR查询。
[0153]在已从ACR客户机32-1接收到ACR查询80的ACR服务器26_i中，在步骤S32中，ACR响应产生单元44参照ACR数据库43，并且识别与接收到的ACR查询80中所包括的签名数据84对应的内容。
[0154]在步骤S33中，ACR响应产生单元44根据内容的识别结果产生ACR响应90。此时，ACR响应产生单元44可基于ACR查询80中所包括的用户简档数据86对将要被包括在ACR响应90中的时间线数据97中的元数据64执行匹配和过滤。另外，ACR响应产生单元44将产生的ACR响应90返回给对应ACR客户机32_i。
[0155]在步骤S44中，已从ACR服务器26_i接收到ACR响应90的ACR客户机32_i分析ACR响应90中所包括的时间线数据97，并且向由事件处理器标识符62指示的事件处理器33通知在时间线数据97中描述的应用标识符63。事件处理器33通过双向通信网络12访问应用服务器22，以及获取并执行与通知的应用标识符63对应的应用。
[0156]需要注意的是，当已经获取了应用时，事件处理器33省略获取的处理，并且执行已经获取的应用。另外，当已经执行了应用时，现在正在执行的应用从ACR客户机32-1获取ACR响应90的时间线数据97的元数据64，并且使用元数据64。另外，当替代于元数据64描述元数据标识符时，执行的应用基于元数据标识符通过双向通信网络12从应用服务器22获取元数据，并且使用元数据。
[0157]当在接收装置30侧观看内容的同时，重复地执行上述步骤S31至S33的处理和步骤S41至S44的处理。因此，可以与现在正在观看的内容的进度定时协作地执行应用的操作。
[0158][变型]
[0159]接下来，将参照图14和图15描述应用协作系统10的一系列操作的变型。
[0160]图14表示与变型对应的应用协作系统10的配置例子，并且是从图1改变的示图，从而指示将事件标识符从事件处理器33发送给事件服务器23的箭头和指示将应用标识符从事件服务器23发送给事件处理器33的箭头被添加到图1。
[0161]在所述一系列操作的变型中，在接收装置30的ACR客户机26-1接收到ACR响应90之后直至事件处理器33获取并且执行应用的处理(以下，被称为应用获取处理)不同于以上描述。
[0162]图15是用于描述变型中的应用获取处理的流程图。
[0163]在步骤S51中，已接收到从发送装置20的ACR服务器26_i返回的ACR响应90的接收装置30的ACR客户机32-1分析ACR响应90中所包括的时间线数据97，并且向由事件处理器标识符62指示的事件处理器33通知在时间线数据97中描述的事件标识符61。事件处理器33通过双向通信网络12访问事件服务器23，并且向事件服务器23通知事件标识符61，由此获得对应的应用标识符63。
[0164]在步骤S52中，事件处理器33通过双向通信网络12访问应用服务器22，以及获取并执行与通知的应用标识符63对应的应用。因此完成变型中的应用获取处理的描述。
[0165]顺便提一句，除了由硬件构成的这些装置之外，执行上述一系列处理的发送装置20和接收装置30还可以由计算机执行的软件实现。该计算机包括集成有专用硬件的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。
[0166]图16是表示上述计算机的硬件的配置例子的方框图。
[0167]在计算机200中，中央处理单元(CPU) 201、只读存储器(ROM) 202和随机存取存储器(RAM) 203通过总线204而互相连接。
[0168]输入/输出接口 205连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接到输入/输出接口 205。
[0169]输入单元206由键盘、鼠标、麦克风等形成。输出单元207由显示器、扬声器等形成。存储单元208由硬盘、非易失性存储器等形成。通信单元209由网络接口等形成。驱动器210驱动可移动介质211，诸如磁盘、光盘、磁光盘或半导体存储器。
[0170]在如上所述配置的计算机200中，CPU 201通过输入/输出接口 205和总线204将存储在存储单元208中的程序加载到RAM 203并且执行该程序，由此执行上述一系列处理。
[0171]由计算机200(CPU 201)执行的程序可以被记录在作为封装介质的可移动介质211上并且可以被提供。另外，可以通过有线或无线传输介质(诸如，局域网、因特网或数字卫星广播)提供该程序。
[0172]在计算机100中，通过将可移动介质211安装到驱动器210，该程序可以通过输入/输出接口 105被安装到存储单元108。另外，该程序可以通过有线或无线传输介质由通信单元109接收并且被安装到存储单元108。替代地，该程序可以被预先安装在ROM 102或存储单元108中。
[0173]需要注意的是，由计算机100执行的程序可以是沿着本说明书中描述的次序按照时间顺序处理的程序，或者可以是并行地或在需要定时(诸如，被调用)处理的程序。
[0174]需要注意的是，本公开内容的实施例不限于上述实施例，并且可以在不偏离本公开内容的主旨的情况下做出各种改变。
[0175]参考标记列表
[0176]10应用协作系统
[0177]11广播网络
[0178]12双向通信网络
[0179]20发送装置
[0180]21内容管理服务器
[0181]22应用服务器
[0182]23事件服务器
[0183]24时间线产生客户机
[0184]25签名客户机
[0185]26 ACR 服务器
[0186]28 NTP 服务器
[0187]30接收装置
[0188]31 ACR 呈现器
[0189]32 ACR 客户机
[0190]33事件处理器
[0191]41时间线数据获取单元
[0192]42 ACR参考数据产生单元
[0193]43 ACR 数据库
[0194]44 ACR响应产生单元
[0195]50事件消息
[0196]60时间线数据
[0197]70 ACR参考数据
[0198]80 ACR 查询
[0199]90 ACR 响应
[0200]110操作人员屏幕
[0201]200计算机
[0202]201 CPU
【权利要求】
1.一种发送装置，包括: 一个或多个内容识别单元，包括: 数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和 响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置；和 时间线数据产生单元，被配置为产生时间线数据，并且共同地将公共的时间线数据提供给所述一个或多个内容识别单元。
2.如权利要求1所述的发送装置，还包括: 用户接口单元，用于控制所述时间线数据产生单元。
3.如权利要求2所述的发送装置，还包括: 签名数据提取单元，被配置为通过与所述一个或多个识别服务器中的每个识别服务器对应的提取方法从可在接收装置侧观看的内容中提取签名数据。
4.如权利要求3所述的发送装置，其中所述内容识别单元还包括:参考数据产生单元，被配置为使用由所述签名数据提取单元提取的签名数据产生参考数据。
5.如权利要求3所述的发送装置，其中所述签名数据提取单元产生指纹作为签名数据。
6.一种处理发送装置的信息的方法，所述方法包括下述步骤: 由发送装置: 产生用于被共同地提供给一个或多个内容识别单元的公共的时间线数据，内容识别单元包括: 数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和 响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置；以及 共同地将公共的时间线数据提供给所述一个或多个内容识别单元。
7.一种程序，用于使计算机执行: 一个或多个内容识别单元，包括: 数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和 响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置；和 时间线数据产生单元，被配置为产生时间线数据，并且共同地将公共的时间线数据提供给所述一个或多个内容识别单元。
8.一种接收装置，包括: 提取单元，被配置为从重放的内容中提取指示内容的特性的签名数据； 查询产生单元，被配置为产生至少包括签名数据的查询，将查询发送给发送装置中所包括的一个或多个内容识别单元，并且接收响应于查询从内容识别单元返回的响应；和应用执行单元，被配置为基于接收到的响应中所包括的时间线数据获取与内容对应的应用并且与内容的进度协作地执行所获取的应用，其中时间线数据被共同地提供给所述一个或多个内容识别单元。
9.如权利要求8所述的接收装置，其中所述应用执行单元基于在接收到的响应中所包括的时间线数据中描述的应用标识符获取与内容对应的应用。
10.如权利要求8所述的接收装置，其中所述应用执行单元基于在接收的响应中所包括的时间线数据中描述的事件标识符获取与内容对应的应用的应用标识符，并且基于获取的应用标识符获取与内容对应的应用。
11.一种由内容的发送装置和接收装置构成的应用协作系统， 所述发送装置包括: 一个或多个内容识别单元，包括: 数据库单元，在数据库单元中编译参考数据和时间线数据，在所述参考数据中至少描述指示可在接收装置侧观看的内容的特性的签名数据和指示产生源的内容的内容标识符，在所述时间线数据中至少描述指示将要与内容协作地执行的应用的应用标识符和指示应用的执行定时的时间线信息，其中所述签名数据是从内容产生的，和 响应产生单元，被配置为:通过参照所述数据库单元来识别从所述接收装置发送的查询中所包括的签名数据的提取源的内容，产生包括其中描述指示所识别的内容的内容标识符和指示将要与所识别的内容的进度协作地执行的应用的应用标识符的时间线数据的响应，并且将响应返回给所述接收装置；和 时间线数据产生单元，被配置为产生时间线数据，并且共同地将公共的时间线数据提供给所述一个或多个内容识别单元，和接收装置包括: 提取单元，被配置为从重放的内容中提取指示内容的特性的签名数据； 查询产生单元，被配置为产生至少包括签名数据的查询，将查询发送给发送装置中所包括的一个或多个内容识别单元，并且接收响应于查询从内容识别单元返回的响应；和应用执行单元，被配置为基于接收到的响应中所包括的时间线数据获取与内容对应的应用并且与内容的进度协作地执行所获取的应用，其中时间线数据被共同地提供给所述一个或多个内容识别单元。
【文档编号】H04N21/435GK104412605SQ201380035745
【公开日】2015年3月11日 申请日期:2013年7月2日 优先权日:2012年7月12日
【发明者】山岸靖明 申请人:索尼公司