成像图像数据处理装置和方法及视听信息产生装置和方法

专利名称：成像图像数据处理装置和方法及视听信息产生装置和方法
技术领域：
本发明涉及对目标视野的成像图像数据执行处理的成像图像数据处理装置和成像图像数据处理方法，以及产生视听信息(viewing information) 的视听信息产生装置、视听信息产生方法和视听信息产生系统。
背景技术：
在过去，通过由提供视听率(ratings)计算服务的公司所随机选择的 被置于部分家庭中的特别机器来测量电视广播节目的视听率，并且通过统 计学方法来平均该视听率。如在JP-A-4-307657和JP-A-2007-18218 (专利文献1和2)中，也已经公开了根据报纸和/或路人来掌握类似于视听率的信息的系统。 发明内容然而，过去的视听率是在电视广播节目被选择并且被电视接收机显示 的情况下测量的，并且在这种情况下该过去的视听率与收看收听者是否实 际上在收看收听节目无关。换言之，仅"节目是否正在被显示"被反映在 视听率上。实际上，虽然电视接收机处于工作状态，然而在"节目正在被 显示"的状态下很多时候收看收听者可能并没有收看收听它们。由于记录装置的广泛传播，越来越多的人记录广播节目并且之后收看 收听它们而非实时地收看收听。出于这些原因，很难说通过过去的方法所计算的视听率代表性地并且 适当地反映了收看收听电视节目的真实状态。那么，广告商很难充分认识 到需要改进的广告的效果。因此，期望产生诸如与实际相联系的收看收听者数目和视听率之类的 视听信息。根据本发明的实施例，提供了一种成像图像数据处理装置，其包括用 于获得由为使用者的视野成像的成像部件所成像的成像图像数据的获得装 置，用于从由获得装置所获得的成像图像数据中提取用以识别所收看收听 节目的识别数据的提取装置，以及用于将提取装置所提取的识别数据发送 到外部的视听信息产生装置的发送装置。例如，获得装置可以一体地具有成像部件并且获得在成像部件中进行 成像所得的成像图像数据。成像部件可以具有作为成像器件的CCD传感 器或者CMOS传感器。获得装置可以通过与被分离地设置的成像部件进行通信来获得在成像 部件中成像的成像图像数据。提取装置可以通过图像分析处理来识别在成像图像数据内的在图像显 示装置上的显示图像，并且如果在成像图像数据内存在图像显示装置的显 示图像那么从图像显示装置上的显示图像中提取识别数据。提取装置可以提取在成像图像数据内检测到的显示图像部分的图像数 据的全部或者一部分作为识别数据。可替代地，提取装置可以提取在成像 图像数据内检测到的显示图像中的文本、标记或者编码作为识别数据。发送装置可以经由网络通信将提取装置所提取的识别数据发送到外部 视听信息产生装置。成像图像数据处理装置还可以包括用于接收从外部视听信息产生装置 发送的视听信息的接收装置，以及用于显示并且输出接收装置所接收的视 听信息的显示装置。根据本发明的另一实施例，提供了一种视听信息产生装置，包括用于 接收从外部成像图像数据处理装置发送的用以识别所收看收听节目的识别 数据的接收装置，用于执行根据接收装置所接收的识别数据来确定所收看 收听节目的处理的节目确定处理装置，以及用于执行基于节目确定处理装 置的处理结果来产生视听信息的处理的信息产生装置。视听信息产生装置还可以包括用于将信息产生装置所产生的视听信息 发送到外部机器的发送装置。根据本发明的另一实施例，提供了一种视听信息产生系统，包括所述成像图像数据处理装置和所述视听信息产生装置。根据本发明的另一实施例，提供了一种成像图像数据处理方法，包括 以下步骤获得由对使用者视野景象进行成像的成像部件进行成像所得的 成像图像数据，从所获得的成像图像数据中提取用于识别所收看收听节目 的识别数据，并且将提取的识别数据发送到外部视听信息产生装置。根据本发明的另一实施例，提供了一种视听信息产生方法，包括以下 步骤接收从外部成像图像数据处理装置发送的用于识别所收看收听节目 的识别数据，执行根据所接收的识别数据来确定所收看收听节目的处理， 并且执行基于对所收看收听节目进行确定的处理的处理结果来产生视听信 息的处理。根据本发明的另一实施例，提供了一种视听信息产生装置，包括用于 接收从外部成像图像数据处理装置发送的成像图像数据的接收装置，用于 从接收装置所接收的成像图像数据中提取用以识别所收看收听节目的识别 数据的提取装置，用于执行根据提取装置所提取的识别数据来确定所收看 收听节目的处理的节目确定处理装置，以及用于执行基于节目确定处理装 置的处理结果来产生视听信息的处理的信息产生装置。根据本发明的另一实施例，提供了一种视听信息产生系统，包括所述 成像图像数据处理装置和所述视听信息产生装置。在这种情况下，所述成 像图像数据处理装置具有用于将由对使用者视野景象进行成像的成像部件 进行成像所得的成像图像数据发送到所述视听信息产生装置的发送装置。根据本发明的另一实施例，提供了一种视听信息产生方法，包括以下 步骤接收从外部成像图像数据处理装置发送的成像图像数据，从所接收 的成像图像数据中提取用于识别所收看收听节目的识别数据，执行根据所 提取的识别数据来确定所收看收听节目的处理，并且执行基于对所收看收 听节目进行确定的处理的处理结果来产生视听信息的处理。换言之，根据本发明的实施例，成像图像数据处理装置一侧获得例如 由使用者佩带的成像部件所成像的使用者视野的成像图像数据。然后，成像图像数据处理装置检测成像图像数据是否包含可能是广播 图像或者可能不是广播图像的显示图像。换言之，即判断例如在电视接收机的图像显示器上显示的广播节目的图像是否被包含在其中。因为成像图 像数据是使用者视野的成像图像，所以如果显示图像被包含在成像图像数 据中那么可以确定使用者实际上正在收看收听由诸如电视接收机之类的机 器所显示的显示图像。例如，如果显示图像是广播图像，那么可以确定使 用者实际上正在收看收听广播。如果使用者例如因看向别处或者做其他的 事情而并没有收看收听电视接收机，那么广播节目的图像将不再被包含在 成像图像数据中。因此，如果成像图像数据包含例如在电视接收机上显示的例如诸如广 播节目之类的显示图像，那么用于识别广播节目的识别数据被提取。例如，显示图像的全部或者一部分，或者文本、标记(mark)或编码可以被提取。然后，识别数据被发送到视听信息产生装置。视听信息产生装置一侧通过基于所接收的识别数据的图像比较或者标 记或编码分析来识别广播节目，并且基于识别结果产生视听信息。换言 之，收看收听者(使用者)实际上"在收看收听"电视广播节目的状态被 检测到并且被用于产生视听信息。视听信息可以是关于针对广播的收看收听状态的信息，例如视听率 (即针对节目、时间段或者广告的视听率，平均视听率和/或即时视听 率)、关于收看收听者数目的信息、节目的收看收听者的构成比(涉及年 龄或者性别)、所收看收听节目的分类以及电视接收机处于工作状态与节 目实际被收看收听的比率。成像图像数据处理装置一侧可以将例如由使用者佩带的成像部件所成 像的成像图像数据直接发送到视听信息产生装置，并且视听信息产生装置 一侧可以提取识别数据。本发明的实施例具有如下的效果因为收看收听者实际上在收看收听电视广播节目的状态被检测到并且被用于产生视听信息，所以可以掌握与 实际相联系的视听者数目和/或视听率。


图1A和图1B是根据本发明的实施例的成像装置的外观示例的说明性示图；图2是根据本发明的实施例的系统配置示例的说明性示图；图3是根据本发明的实施例的成像装置的框图；图4是根据本发明的实施例的服务器装置的框图；图5是根据本发明的实施例的系统操作示例I的流程图；图6A到图6C是根据本发明的实施例的对识别数据的提取的说明性示图；图7A到7D是根据本发明的实施例的对识别数据的提取的说明性示图；图8是根据本发明的实施例的系统操作示例II的流程图； 图9是与根据本发明的实施例的系统操作示例III相对应的成像装置 的框图；图IO是与根据本发明的实施例的系统操作示例III相对应的服务器装 置的框图；图11是根据本发明的实施例的系统操作示例III的流程图；以及 图12是根据本发明的实施例的成像图像数据处理装置的另一配置示 例的说明性示图。
具体实施方式
在下文中，将描述根据本发明的实施例的成像图像数据处理装置、视 听信息产生装置、视听信息产生系统、成像图像数据处理方法和视听信息 产生方法的实施例。在此将成像装置作为成像图像数据处理装置的示例进 行描述。可以用不包括成像装置的机器来实现根据本发明的实施例的成像 图像数据处理装置，这将作为变更示例随后描述。将服务器装置作为视听信息产生装置的示例进行描述。将产生关于视听率和收看收听者数目的信息作为视听信息的系统作为 示例进行描述。将按如下的顺序描述
具体实施例方式
[l.成像装置的外观示例];[2.系统配置，成像装置和服务器装置];[3.系统操作示例I];[4.系统操作示例II];[5.系统操作示例III];和[6.实施例的效果，变更和扩展示例][l.成像装置的外观示例]图1A和图1B示出根据本发明的实施例的成像装置1的外观示例。图1A示出用作眼镜型显示相机的成像装置1。如图1A和图1B所示，成像装置1具有例如覆盖从两侧到后方的半个头部圆周的框架结构的 附接单元，并且使用者在双耳上佩带该成像装置l。成像装置1包括成像透镜3a，当使用者佩带成像装置1时该透镜3a 朝向前方从而通过将使用者的视野方向用作目标方向进行成像。成像装置1还包括用于右眼和左眼的一对显示面板2a和2a，这一对 显示面板被直接地放置在使用者双眼的前方，也就是正常眼镜的镜片位 置。显示面板部件2a例如可以是液晶显示面板，并且通过控制透射率， 如图1A和图1B所示可以获得透明或者半透明的状态。显示面板部件2a 的透明或者半透明状态使得一直佩带它的使用者能够拥有正常的日常生活 而不会有任何困扰。可以为两只眼睛相应地设置一对显示面板部件2a，或者为一只眼睛 设置一个显示面板部件2a。图1B示出也附着于使用者头部然而不具有如图1A所示的显示面板 部件2a的成像装置l。例如，可以通过将被挂在耳朵上的附接单元来将成 像装置1附着于使用者头部。在这种情况下，成像透镜3a被朝向前方地 放置从而通过将使用者的视野方向用作目标方向进行成像。虽然示出了将通过图1A和图1B中的眼镜型或者头部附着型的附接 单元而附着于使用者头部的成像装置1，但是使用者可以考虑用于佩带成 像装置1的多种结构。例如，使用者可以通过诸如头戴式耳机型、颈带型 和耳挂型的附接单元之类的任何类型的附接单元来佩带成像装置1。此外，使用者可以通过将成像装置1 (例如通过诸如夹子之类的附接单元) 附接于正常眼镜、遮阳帽(visor)或者头戴式耳机来佩带它。可替代地， 并不一定要将成像装置1附着于使用者的头部。根据本发明的实施例的成像装置1例如可以是将被附着于使用者的对 使用者视场方向上的景象进行全时成像的装置。全时成像(full-time-imaging)指代在使用者佩带成像装置时一直对运 动图像进行成像，并且根据该实施例的全时成像还可以包括每隔一秒、数 秒或者数十秒对静止图像进行成像的操作。换言之，全时成像指代即使使 用者没有执行特定的成像操作也进行连续的或者断续的成像。应注意，对静止图像和/或运动图像进行成像的成像装置1可以具有 除在图1A和图1B中示出的那些形式之外的形式。例如，成像装置1可 以具有收集外部音频以获得除成像操作中的图像数据外的音频数据的麦克 风。可替代地，成像装置1可以具有用于音频输出的扬声器或者耳机部 件。可以在成像透镜3a附近设置诸如LED (发光二极管)之类的照亮目 标方向的发光部件或者用于对静止图像进行成像的闪光发光部件。[2.系统配置，成像装置和服务器装置]图2示出根据本发明的实施例的系统配置示例。如图2所示，根据本 发明的实施例的系统包括经由诸如因特网之类的网络60 (用于使得能够 进行数据通信)连接的多个成像装置1和服务器装置70。服务器装置70可以是视听率公司的服务器装置70或者广播电台的服 务器装置70。例如，视听率公司的服务器装置70可以针对每个电视广播 电台产生视听信息。广播电台的服务器装置70可以产生该广播电台的视 听信息。应注意，可以将一个广播电台的服务器装置70配置用于针对多 个广播电台来产生视听信息。网络60可以是因特网、蜂窝电话通信网络、PHS (个人手持电话系 统)通信网络、自组织(ad-hoc)网络、LAN等。如随后将描述的系统操作示例，每个成像装置l从使用者的视野的成像图像数据中提取用来识别所收看收听节目的识别数据。成像装置l将所 提取的识别数据经由网络60发送到服务器装置70。服务器装置70接收从成像装置1发送的识别数据。然后，服务器装置70执行根据所接收的识别数据来确定所收看收听节目的处理，并且执行基于处理结果来产生视听信息的处理。可以将终端装置(类似于个人计算机的机器)连接到网络60。例 如，被置于提供节目的广告商的办公室中的终端(广告商终端80)和/或 被置于广播电台中的终端(广播电台终端81)可以被允许经由网络60与 服务器装置70进行通信。服务器装置70可以将所产生的视听信息发送到 广告商终端80或者广播电台终端81从而通知节目的视听率和/或收看收 听者数目。服务器装置70还可以将所产生的视听信息发送到成像装置 1。现将参考图3来描述成像装置1的配置示例。系统控制器IO可以是包括CPU (中央处理单元)、ROM (只读存储 器)、RAM (随机存取存储器)、非易失性存储部件和接口部件的微型 计算机，并且用作控制整个的成像装置1的控制部件。系统控制器10基 于在内部ROM中保存的程序执行操作处理并且通过总线13与组件交换 控制信号以使组件执行操作。成像部件3具有成像光学系统、成像器件部件和成像信号处理部件。成像部件3中的成像光学系统包括透镜系统和驱动系统，该透镜系统 具有如图1A和图1B所示的成像透镜3a、孔径、变焦透镜和聚焦透镜， 该驱动系统用于使透镜系统执行聚焦操作或者变焦操作。成像部件3中的成像器件部件包括固态成像器件阵列，该固态成像器 件阵列检测由成像光学系统所获得的成像光并且通过执行光电转换来生成 成像信号。固态成像器件阵列可以是CCD (电荷耦合器件)传感器阵列 或者CMOS (互补型金属氧化物半导体)传感器阵列。成像部件3中的成像信号处理部件可以包括对由固态成像器件所获得 的信号执行增益调整或者波形调整的采样保持/AGC (自动增益控制)电 路和/或视频A/D转换器，并且成像信号处理部件获得作为数字数据的成像图像数据。成像信号处理部件还可以对成像图像数据执行白平衡处理、亮度(intensity)处理、彩色信号处理和震动修正处理。包括成像光学系统、成像器件部件和成像信号处理部件的成像部件3 执行成像，成像图像数据由此被得到。由成像控制部件6来处理通过成像部件3中的成像操作而获得的图像 数据。成像控制部件6在系统控制器10的控制之下，根据操作情况执行 将成像图像数据转换为预定图像数据格式的数据的处理，以及将经转换的 成像图像数据供应到数据提取部件12、存储部件14、通信部件15和/或 显示控制部件7的处理。基于系统控制器10的指令，成像控制部件6可以控制成像部件3中 的成像操作的开/关，控制对成像光学系统的变焦透镜和/或聚焦透镜的驱 动，控制成像器件部件的灵敏度和/或帧速率，控制成像信号处理部件中 的处理参数和/或定义将被执行的处理。数据提取部件12可以对由成像部件3或者成像控制部件6所获得的 成像图像数据执行图像分析处理并且产生识别数据。在这种情况下的图像分析处理指代检测在诸如电视接收机之类的显示 装置上显示的图像以提取识别数据的处理。识别数据指代将由服务器装置70用于识别所收看收听节目的信息， 并且识别数据是在成像图像数据中检测到的广播图像部分的图像数据的全 部或者一部分。可替代地，识别数据可以是在成像图像数据中检测到的显 示图像中的文本、标记或者编码形式的信息。如随后将描述的数据提取部 件12的操作，识别数据具体地可以是在图6B和图6C以及图7B和图7D 中示出的那些数据。图6A示出用作成像图像数据的包含电视接收机的图像，并且所述电 视接收机显示广播节目。图6B和图6C是广播节目的图像的全部或者一 部分。这种类型的图像数据可以被用作识别数据。图7A示出其中诸如广播电台的图形标志(logo)或者广播电台的名 称文本之类的标记100被显示在广播节目的屏幕上的情况。图7B示出在 该情况下将标记100的图像用作识别数据的示例。图7C示出其中包含诸如广播电台的名称之类的识别信息的编码101(类似于诸如QR码之类的二维条码)被显示在广播节目的屏幕上的情 况。图7D示出将编码101的图像用作识别数据的示例。 随后将描述识别数据的提取。应注意，很难判断在成像图像数据中所包含的显示装置是否正在显示 电视广播。虽然出于该原因，在成像图像数据中所包含的显示装置上显示 的图像可能并不是电视广播图像，但是对于识别数据的提取而言该判断并 不重要。这是因为可以由服务器装置70—侧来对其进行确定。数据提取部件12可以是微型计算机或者DSP (数字信号处理器)。 虽然在图3中在与系统控制器10 (其是微处理器)分离的框中示出数据 提取部件12，但是可以通过将在系统控制器10中建立与运行的软件来实 现数据提取部件12的操作。在成像装置1中向使用者提供显示的配置包括显示部件2和显示控制 部件7。显示部件2包括显示面板部件2a (其可以是液晶面板)，以及驱动 显示面板部件2a的显示的显示驱动部件。显示驱动部件包括像素驱动电路，该像素驱动电路在显示面板部件 2a (其可以是液晶显示装置)上显示从成像控制部件6供应的图像数据。 像素驱动电路在预定的水平/垂直驱动时间基于视频信号将驱动信号应用 于显示面板部件2a上的以矩阵形式布置的每个像素，以实现显示。在系统控制器10的控制之下，显示控制部件7驱动显示部件2中的 像素驱动电路以使显示面板部件2a实现预定的显示。换言之，使显示面板部件2a实现如下显示，这些显示包括由成像 部件3中的成像监视器进行的显示、存储部件14中的所捕获的成像图像 数据的回放、通信部件15所接收的数据的显示、字符的显示，等等。对于显示，显示控制部件7可以执行亮度级调整、色彩修正、对比度 调整、锐度(轮廓增强)调整等。显示控制部件7可以产生放大图像(其 中图像数据的一部分被放突出显示、诸如改变整个色彩氛围之类的图像效果处理，可以分离或者合 成图像以将成像图像分开显示，可以执行产生字符图像或者概念图像并且 将所产生的图像合成到成像图像中的处理。显示控制部件7可以基于系统控制器10的指令控制显示驱动部件， 从而控制显示面板部件2a的像素的透射率以获得透明或者半透明的状 态。存储部件14用于数据存储。存储部件14例如可以用于存储成像图像 数据。存储部件14可以是诸如RAM和闪存之类的固态存储器或者可以是 HDD (硬盘驱动器)。存储部件14可以是代替内部记录介质的便携式记录介质，所述便携 式记录介质例如是内含固态存储器的存储卡，存储部件14或者是支持诸 如光盘、磁盘和全息存储器之类的记录介质的读写驱动器。显然，存储部件14可以包括诸如固态存储器和HDD之类的内置存储 器和用于便携式记录介质的读写驱动器二者。存储部件14在系统控制器10的控制之下记录并存储成像图像数据。 存储部件14在系统控制器IO的控制之下读出记录的数据并将其供应到系 统控制器10和/或显示控制部件7。通信部件15执行与诸如服务器装置70之类的外部机器进行的数据交 换。通信部件15经由无线LAN或者蓝牙，例如通过对网络接入点的近距 离无线通信来执行网络通信。接下来，图4示出服务器装置70的配置示例。如上所述，服务器装置70是通过经由网络60的通信从成像装置1接收识别数据并且利用识别数据来产生视听信息的装置。服务器装置70包括服务器控制部件72、网络存储部件71、通信部件 73、节目确定处理部件74、广播图像获得部件75、视听率计算部件76和 广播图像数据库77。例如可以用HDD来实现网络存储部件71，并且例如可以将网络存储 部件71用于存储诸如经由网络60从成像装置1发送的识别数据之类的数据，或者用于临时地存储将被发送到成像装置1、广告商终端80和/或广 播电台终端81的数据。通信部件73经由网络60与成像装置1的通信部件15和/或广告商终 端80和广播电台终端81的通信部件进行数据通信。服务器控制部件72执行作为服务器装置70的重要的操作控制。具体 地，服务器控制部件72执行用于产生和/或发送诸如视听率之类的视听信 息的控制操作。节目确定处理部件74执行基于识别数据来确定广播节目的处理。广播图像获得部件75获得例如每个广播电台正在广播的电视广播图 像(实时的广播图像)。在广播图像获得部件75位于视听率公司的服务 器装置70中的情况下，例如，广播图像获得部件75可以被配置为电视广 播的调谐装置，用于一直接收多个广播电台的广播图像。如果在广播电台 的服务器装置70中，那么广播图像获得部件75可以是能够将广播电台所 广播的广播图像输入其中的设备。在从成像装置l发送的识别数据是广播图像的图像数据的情况下，由 广播图像获得部件75获得正在广播的电视广播图像使得节目确定处理部 件74能够将识别数据的图像与广播图像进行比较并且确定广播了图像数 据(即识别数据)的广播电台。换言之，只有将广播图像获得部件75配置为获得将与识别数据的图 像进行比较的广播图像是重要的，更具体地，只有将其配置为获得需要通 过服务器装置70检査视听率的广播电台的实时广播图像是重要的。在视听率公司的服务器装置70需要调查地面广播电台和卫星广播电 台的视听率的情况下，例如，广播图像获得部件75可以被配置为一直将 地面广播电台和卫星广播电台的所有广播图像供应到节目确定处理部件 74。在这种情况下，节目确定处理部件74可以通过将识别数据的图像与 每个广播图像进行比较来确定广播了用作识别数据的图像数据的广播电 台。可替代地，如果作为识别数据的图像与任何广播电台的广播图像都不 一致，那么可以推定由成像装置l一侧所提取的作为识别数据的图像可能不是广播图像(也就是说，至少不是视听率测量的目标广播电台所正在广 播的广播图像)。在广播电台的服务器装置70需要检查电台的视听率的情况下，例 如，广播图像获得部件75被配置为一直将电台的当前广播图像供应到节目确定处理部件74。在这种情况下，节目确定处理部件74可以通过将作为识别数据的图 像与广播图像进行比较来识别作为识别数据的图像数据是否是电台的广播 图像。如果作为识别数据的图像与电台的广播图像不一致，那么可以推定 由成像装置1一侧所提取的作为识别数据的图像不是电台的广播图像(也 就是说，至少不是当前的广播图像)。考虑到在将作为识别数据的图像与实时广播图像进行比较的操作中的 通信和/或处理的时间滞后，节目确定处理部件74可以以预定的时间段临 时地适当存储实时广播图像，并且然后将在某种程度上从现在到过去的时 间段内的实时广播图像与作为识别数据的图像进行比较。广播图像数据库77累积并存储将作为诸如视听率之类的视听信息的 调查对象的一个或多个广播电台的过去的广播图像。例如，广播图像数据 库77可以存储诸如过去三天、过去一周、过去一个月之类的特定时间段 内的过去的广播图像。这对于将成像装置1的使用者观看记录的广播图像的事实反映到视听 信息中而言很重要。换言之，如果作为识别数据的图像与来自广播图像获 得部件75的实时广播图像不一致，那么作为识别数据的图像可能是使用 者所正在观看的经记录的节目之一。为了将收看经记录的节目也反映到视听信息中，节目确定处理部件 74在作为识别数据的图像与实时广播图像不一致之后，将作为识别数据 的图像与在广播图像数据库77中存储的过去的广播图像进行比较。如果 作为识别数据的数据与一个图像一致，那么可以确定成像装置1的使用者 正在收看一个广播电台的过去的广播。以这种方式，节目确定处理部件74可以通过将作为识别数据的图像 与实时广播图像和/或过去的广播图像进行比较来识别使用者正在收看收听的广播电台。然而，除图像比较外的其他确定方法也可用。在如上所述的例如将图 形标志、标记、编码或者文本作为识别数据发送的情况下，例如，可以通 过将标记的图像例如与广播电台的标记进行比较，通过识别广播电台的名 称的文字，或者通过对诸如QR码之类的编码进行解码来确定使用者正在 观看的广播电台。如果确定了与识别数据相关的广播电台，那么节目确定处理部件74将广播电台识别信息通知服务器装置70。可替代地，可以通知类似于实时广播图像或者过去的广播图像的其他信息。视听率计算部件76基于服务器控制部件72的指令为作为调查对象的 每个广播电台进行收看者的数目的计数和/或视听率的计算。可以基于节目确定处理部件74的确定，通过使用每个广播电台的收 看者数目来计算视听率，其中可以与服务器装置70进行通信的成像装置 1的总数或者在通信期间的成像装置1的总数是总体。将被计算的视听率可以是即时视听率、每个节目的视听率、每个广告 的视听率、每个时间段的平均视听率、实时/记录的节目的视听率、考虑 到经记录的节目的收看收听者数目的节目视听率和/或类似视听率。在服务器控制部件72的控制之下，由视听率计算部件76计算的视听 信息(也就是每个广播电台的收看收听者数目或者如上所述的视听率)可 以被存储在网络存储部件71中和/或可以通过通信部件73被发送。换言 之，视听信息可以被提供给成像装置1、广告商终端80和/或广播电台终 端81。仅出于说明性目的，已经描述了系统配置示例以及成像装置l和服务 器装置70的配置。显然，根据将被实际实现的操作示例或者功能可以添 加或者删除一个或多个组件。[3.系统操作示例I]现描述将在如上所述的成像装置1和服务器装置70之间实现的系统 操作示例。图5示出成像装置1的处理操作和服务器装置70的处理操作。由在系统控制器10的控制之下的可适用的一个或多个组件来执行在成像装置1中的步骤F101到F106的处理。图5仅示出与将被用于产生视听信息的识别数据相关的处理。由在服务器控制部件72的控制之下的可适用的一个或多个组件来执 行在服务器装置70中的步骤F201到F205的处理。图5仅示出与视听信 息的产生相关的处理。在成像装置1中，步骤F102到F105的处理响应于成像的开始而被重 复地执行。换言之，步骤F102到F105的处理被重复直到在步骤F106中 成像结束。成像装置1如上所述地执行全时成像(使运动图像连续成像或者在预 定的时间间隔使静止图像成像)。使用者例如可以如图1A或者图1B所 示地佩带成像装置1，并且系统控制器10在电源导通时使处理从步骤 F101前进到F102。在步骤F102，系统控制器10控制数据提取部件12对成像图像数据 执行分析处理。数据提取部件12对从成像控制部件6供应的成像图像数据执行用于 检测诸如电视接收机之类的显示装置的分析处理。由成像部件3或者成像控制部件6获得的成像图像数据是使用者视野 的图像。当使用者正在观看某些显示装置(例如电视接收机、个人计算机 的监视器、蜂窝电话的屏幕等)时，显示装置被包含在成像图像数据中。图6A示出在使用者正在室内观看电视接收机(也就是说，电视广播 节目)的情况下的成像图像，并且电视接收机被成像为室内景象的一部 分。为了检测在成像图像数据内的诸如电视接收机之类的显示装置的屏幕 区域，首先检测具有方形轮廓的区域。具体地，可以检测纵横比为4: 3 或者16: 9的方形区域。然而，在这种情况下方形不仅包括矩形而且包括诸如梯形和平行四边 形之类的形状。这是因为通常在某些位置、仰角和使用者朝向电视接收机 的角度处，经成像的电视接收机的屏幕可能不是矩形区域。因此关于成像图像数据，在成像图像内的具有方形(矩形、梯形或者平行四边形)轮廓 的部分被提取。应注意，根据成像的方向、仰角和/或成像位置和/或透视规律，矩形 形状的屏幕通常被示出为图像上的梯形或者平行四边形形状。因此，如下 的分析处理也是有效的基于图像内全部的轮廓(例如电视接收机的机壳 和周围家具的轮廓)的状态来推定成像方向、仰角等，并且提取可以被推 定最初(或者实际上)为矩形的梯形或者平行四边形。在检测到方形区域之后，确定在所检测到的方形区域中的亮度是否较 高或者在框架之间亮度是否明显改变。如果方形区域的内部具有较高亮度或者明显的亮度改变，那么可以推 定该部分可能是显示某些图像的一些显示装置。换言之，可以推定使用者可能正在观看电视广播节目。应注意，虽然在此阶段难于确定使用者实际上正在观看的节目是否是 广播节目，但是这并不是个问题。例如，显示装置可以显示各种图像，例如电视广播节目的回放图像或 者经记录的电视广播节目、在诸如DVD之类的介质上的回放图像、家庭 录像的回放图像、个人计算机的监视器上的图像以及由数字照相机成像的 照片图像。虽然从视听信息的产生来看，正在广播的电视广播节目的图像或者经 记录的电视广播节目的回放图像被计算视听率，但是数据提取部件12通 常并不一定要将上述的广播图像与其他图像区分开来。这是因为服务器装 置70 —侧也可以判断目标图像是否是广播节目的图像。在检测到成像图像数据内的正在显示的显示装置的图像之后，数据提取部件12从步骤F103移动到F104，从而从在显示装置上显示的图像的 数据中提取识别数据。例如，关于图6A中的成像图像，因为正在显示的显示装置的图像被 检测为方形区域，所以识别数据被从成像图像中提取。例如，如图6B所 示，可以提取方形区域内的图像自身的图像数据作为识别数据。换言之， 识别数据可以是在显示装置上的使用者正在观看的图像。可替代地，如图6C所示，识别数据可以是方形区域内的图像的一部分。可替代地，在检测到具有方形轮廓的区域之后，可以判断在该方形内 是否包含文本。例如，可以对文本执行模式识别。应注意，可以通过预先 存储图像标志和/或标记并且与之执行图像模式匹配来检测可被推测为图 形标志或者标记的图像是否被包含在其中。然后，例如如果诸如图形标志标记和文本之类的标记100如图7A所 示被显示在方形区域内，那么如图7B所示，诸如图形标志标记和文本之 类的标记100的图像可以被提取，然后被作为识别数据处理。如果标记 100是文本，那么可以对其执行字符识别，并且作为结果得到的文本数据 可以被作为识别数据处理。如果诸如QR码之类的编码101如图7C所示被显示在方形区域内， 那么如图7D所示，编码101的图像可以被提取并且被作为识别数据处 理。数据提取部件12中的针对编码101的解码处理功能(若有的话)可 以对其执行解码处理，并且作为结果得到的解码数据可以被作为识别数据 处理。在数据提取部件12提取识别数据之后，系统控制器IO使处理前进到 步骤F105，从而将识别数据通过通信部件15发送到服务器装置70。如果成像正在继续，也就是说，如果尚未关断电源，那么处理从步骤 F106返回F102。应注意，如果作为在步骤F102中对成像图像数据进行分析的结果， 在成像图像数据中未检测到正在显示的显示装置的图像，那么处理从步骤 F103前进到步骤F106，并且如果成像正在继续则返回步骤F102。例如， 数据提取部件12可以将在成像图像数据内不存在显示装置的事实通知系 统控制器10。系统控制器10响应于此，在步骤F102之后控制下一成像 图像数据被从成像控制部件6传输到数据提取部件12，并且控制数据提 取部件12对成像图像数据执行分析处理。每次识别数据从成像装置1被发送时，服务器装置70在步骤F202并 且在这之后执行处理。换言之，服务器控制部件72经由通信部件73从一个成像装置1接收识别数据，然后使处理从步骤F201前进到F202，从而控制节目确定处理 部件74利用所接收的识别数据来执行节目确定处理。如果识别数据是广播图像数据，那么节目确定处理部件74通过将识 别数据与实时的广播图像或者过去的广播图像进行比较来确定广播电台。 如果不是，那么处理可能导致没有可适用的广播电台。如果识别数据是文本、标记或者编码，那么通过在标记之间进行比 较、确定文字或者对编码进行解码来确定广播电台。如果不是，那么处理 可能导致没有可适用的广播电台。如果未确定广播电台，那么节目确定处理部件74将未确定广播电台 的事实通知服务器控制部件72。在这种情况下，服务器控制部件72将处 理从步骤F203返回F201，并且等侯接收下一识别数据。尽管可能存在如上所述的在成像装置1一侧的使用者正在观看显示装 置上的非电视广播图像的图像的情况，但是在这种情况下作为比较的结 果，作为识别数据提取的图像数据与广播图像不一致，并且处理导致没有 可适用的广播电台。如果广播电台被确定，那么节目确定处理部件74将关于所确定的广 播电台的信息通知服务器控制部件72。应注意，还可以通知关于在实时 的广播图像和过去的广播图像之间的图像类型的信息。在这种情况下，服务器控制部件72使处理从步骤F203前进到 F204，并且控制视听率计算部件76执行视听信息的处理。视听率计算部件76可以执行如下的处理将当前确定的广播电台的 收看收听者的数目加起来，计算视听率和/或基于计算结果更新它们。视 听率可以是即时视听率、每个时间段的视听率、每个节目的视听率、每个广告的视听率、实时/记录的节目的视听率或者考虑了经记录的节目的收 看收听者数目的节目视听率和/或类似视听率。然后，在步骤F205，服务器控制部件72执行通知由视听率计算部件 76计算的(更新的)视听信息的处理。也就是说，服务器控制部件72通 过通信部件73将视听信息发送到广告商终端80和/或广播电台终端81，并且提供视听率调查结果。可以每隔预定的时间间隔或者可以整个每天一次地执行步骤F205的处理，而非每次在步骤F204之后执行该处理。在如上所述的系统操作示例中，基于来自多个成像装置1的识别数据的处理被在服务器装置70中执行，并且视听信息被产生。然后，视听信 息被通知给广告商和/或广播电台。[4.系统操作示例II]图8示出系统操作示例II。图8中的由成像装置1执行的步骤F101 到F105与图5中的步骤F101到F105相同，并且由服务器装置70执行的 步骤F201到F204中的处理也与图5的步骤F201到F204的处理相同。在此示例中，在步骤F205的视听率通知处理中，服务器装置70把在 预定时间计算的视听信息发送到成像装置1。在成像装置1 一侧，在步骤F102到F105中的处理之后，在步骤 F120中系统控制器10判断是否已经从服务器装置70收到视听信息。如 果已经通过通信部件15从服务器装置70收到视听信息，那么系统控制器 10使处理前进到步骤F121从而控制显示部件2基于所接收的视听信息实 现显示。例如，关于使用者正在观看的节目的视听信息或者广播电台的视听率 可以，皮显示。例如通过由服务器装置70通知广播电台的当前视听率，成像装置1 可以显示广播电台的视听率的列表。通过由服务器装置70将根据识别数据确定的广播电台的视听率通知 给作为识别数据的发送者的成像装置1，成像装置1 一侧可以显示使用者 正在收看收听的节目的视听率。可替代地，通过由服务器装置70将广播电台的视听率和关于基于识 别数据确定的广播电台的名称的信息通知给成像装置1，成像装置1 一侧 可以不仅显示使用者正在观看的节目的视听率，而且显示其他电台的视听 率。换言之，根据图8的系统操作示例II，使用者可以在观看电视广播的 同时了解当前的视听率。[5.系统操作示例III]接下来，将描述系统操作示例III。图9和图10示出实现系统操作示例III的成像装置1和服务器装置70的配置。图9中的成像装置1不包括图3所示配置中的数据提取部件12。图10中的服务器装置70除包括图4中的配置外还包括数据提取部件78。数据提取部件78的处理操作与如上所述的在成像装置1 一侧的数据提取部件12的处理操作相同。图11示出成像装置1和服务器装置70的处理。在这种情况下，成像装置1在步骤F301中开始成像之后，在步骤 F302中执行发送成像图像数据的处理直到在步骤F303中成像结束。换言之，在用于运动图像成像的操作中，系统控制器IO进行控制从 而连续地执行如下的处理将由成像部件3和成像控制部件6获得的成像 图像数据通过通信部件15发送到服务器装置70。在使静止图像间歇地成像的操作中，系统控制器IO进行控制从而在 每次成像被执行时将成像图像数据通过通信部件15发送到服务器装置 70。每次成像图像数据从成像装置1被发送时，服务器装置70在步骤 F401并且在这之后执行处理。换言之，服务器控制部件72在通过通信部件73从一个成像装置1接 收到成像图像数据之后，使处理从步骤F401前进到F402从而控制数据提 取部件78对所接收的成像图像数据执行分析处理。换言之，数据提取部件78对成像图像数据执行用于检测诸如电视接 收机之类的显示装置的分析处理。该处理与图5所示的步骤F102中的由 数据提取部件12执行的处理相同，并且通过判断成像图像数据是否内含 在其内部具有高亮度或者许多亮度变化的方形轮廓区域，来判断在成像图像数据中是否包含由显示装置显示的图像。如果作为在步骤F402中对成像图像数据进行分析的结果，在成像图 像数据中没有检测到正在显示的显示装置的任何图像，那么服务器控制部件72将处理从步骤F403返回到F401并且等侯接收下一成像图像数据。另一方面，如果数据提取部件78判断在成像图像数据内存在显示装 置的图像，那么处理从步骤F403移动到步骤F404，在步骤F404中识别 数据被提取。换言之，类似于在图5所示的步骤F104中的由数据提取部件12执行 的处理，方形区域内的广播图像数据的全部或者一部分被作为识别数据提 取。可替代地，方形区域内的例如文本、标记或者编码可以被作为识别数 据提取。然后，在步骤F405，服务器控制部件72控制节目确定处理部件74 以利用识别数据执行节目确定处理。如果识别数据是广播图像数据，那么节目确定处理部件74通过将其 与实时的广播图像或者过去的广播图像进行比较来确定广播电台。如果不 是，那么处理可能导致没有可适用的广播电台。如果识别数据是文本、标 记或者编码，那么通过在标记之间进行比较、确定文字或者对编码进行解 码来确定广播电台。如果不是，那么处理可能导致没有可适用的广播电 台°如果广播电台未被确定，那么节目确定处理部件74将未确定广播电 台的事实通知服务器控制部件72。在这种情况下，服务器控制部件72将 处理从步骤F406返回F401，并且等侯接收下一识别数据。如果广播电台被确定，那么节目确定处理部件74将关于所确定的广 播电台的信息通知服务器控制部件72。应注意，还可以通知关于在实时 的广播图像和过去的广播图像之间的图像类型的信息。在这种情况下，服务器控制部件72使处理从步骤F406前进到 F407，并且控制视听率计算部件76执行视听信息的处理。视听率计算部件76可以执行如下的处理将当前确定的广播电台的 收看收听者的数目加起来，计算视听率(即时视听率、每个时间段的视听率、每个节目的视听率、每个广告的视听率、实时/记录的节目的视听率 或者考虑了经记录的节目的收看收听者数目的节目视听率和/或类似的视 听率)和/或基于计算结果更新它们。然后，在步骤F408，服务器控制部件72执行通知由视听率计算部件76计算的(更新的)视听信息的处理。也就是说，服务器控制部件72通 过通信部件73将视听信息发送到广告商终端80和/或广播电台终端81， 并且提供视听率调查结果。可以每隔预定的时间间隔或者可以整个每天一次地执行步骤F408的 处理，而非每次在步骤F407之后执行该处理。在步骤F408，视听信息可 以被发送到成像装置1，并且响应于对视听信息的接收，成像装置1可以 显示并且输出视听信息。在如上所述的系统操作示例中，基于来自多个成像装置1的成像图像 数据的产生视听信息的处理被在服务器装置70中执行，并且视听信息被 产生。然后，视听信息被通知给广告商和/或广播电台。[6.实施例的效果，变更和扩展示例]因为收看收听者实际正在观看电视广播的状态被检测到并且被用于产 生视听信息，所以上述的实施例使得能够掌握与实际相联系的收看收听者 数目和/或视听率。如果由成像装置1所成像的成像图像数据包含由诸如电视接收机之类 的显示装置所显示的图像，那么可以确定所显示的图像正在被使用者观 看。因此，如果通过所显示的图像自身或者在所显示图像中包含的例如文 字、标记或者编码而确定了广播节目(广播电台)，那么可以确定使用者 实际上正在收看收听广播。这可以将电视接收机被示出然而没有人观看它 的情况从对视听率的测量中排除。因此，可以获得与实际相联系的视听信 息。此外，随着使用成像装置1的使用者数目的增多，将获得的视听信息 的有效程度增大。将所显示的图像用作识别数据使得能够在考虑使用者实际收看收听的 内容的情况下针对每个节目或者广告来计算视听率。例如，可以通过减小 广告时间的视听率，将例如其中在广告被显示时使用者去了另一房间的情 况反映在视听信息上。例如，诸如多少广告因此正被收看收听之类的十分 有效的信息可以被提供给广告商。还可以获得包括实时收看收听和记录收看收听的与实际相联系的信 息。因此，还可以基于实际情况找到具有较高和较低实时特性的节目作为 收看收听情况。如在系统操作示例II中，通过在成像装置1 一侧上显示视听信息，可 以产生如下的乐趣使用者可以在知道视听率的同时收看收听节目。在系统操作示例m的情况下，因为只有在成像装置1 一侧将成像图 像数据发送到服务器装置70的功能是重要的(也就是说，不需要产生识 别数据)，所以简单配置的成像装置l可适用于本系统。本发明并不局限于上述的实施例，而是各种变更示例和扩展示例可被 视为成像装置1的配置示例和/或处理示例。己经将成像装置1作为根据本发明的成像图像数据处理装置的示例进 行了说明，作为替代成像装置的成像图像数据处理装置，各种装置是可适 用的。例如，可以将如图12所示的其中成像部件被分离地设置的成像图像 数据处理装置20视为根据本发明的实施例的成像图像数据处理装置的示 例。图像获得部件21可经由有线或者无线通信与如图1A和图1B所示的可佩带成像装置进行通信。图像获得部件21从成像装置接收成像图像数据，并且在数据提取部 件22中对成像图像数据执行图像分析和对识别数据的提取。然后，识别 数据发送部件23将识别数据发送到服务器装置70。以这种方式，不具有任何成像功能的成像图像数据处理装置20可以 被与如图1A和图1B所示的可佩带成像装置分离地设置，并被允许与成 像装置通信，并且可以被允许将识别数据发送到服务器装置70。虽然根据上述的实施例，例如可以将图像数据作为识别数据提取，但 是也可以将音频数据用作识别数据。例如，可以在成像装置1中设置麦克风，并且可以将由麦克风获得的 音频数据(即可以被推定为广播节目的音频的音频数据)与图像(例如标 记、编码或者文字) 一起加入识别数据。在这种情况下，服务器装置70 —侧可以将音频数据用于与在广播的音调、主题音乐(title-calling)、表演者的声音和/或背景音乐的音频进行 匹配从而确定广播节目。成像装置l可以发送成像图像数据(从中提取了识别数据)的识别数 据和成像时间信息，从而使得服务器装置70 —侧可以通过指定时间来执 行有效的图像比较。可以将成像装置1的使用者的生物信息与识别数据一起发送。例如，成像装置1可以包括用作生物传感器的配置并且检测使用者的 生物信息。生物信息可以是脉搏率、心跳、心电图信息、肌电图、呼吸信 息(例如呼吸的速度、深度和通气量)、出汗、GSR (皮肤电反映)、血 压、动脉氧饱和度、皮肤表面温度、脑电波(例如关于a、 p、 e和s波的 信息)、血流变化、眼睛状态等。可以将生物传感器放置在眼镜型成像装置1的附接框架内，从而与使 用者头部的后方一侧接触以检测如上所述的信息。可替代地，可以将生物 传感器与成像装置1的附接框架分离地设置，并且可以将其附着到人体的 预定部位。提供这样的生物传感器使得能够在使用者收看收听电视广播的同时对 使用者的情绪进行估计。例如，可以估计使用者"愉快"、"兴奋"或者 "悲伤"，或者例如"几乎没有情绪变化"。可以产生所估计的情绪信息，并且当识别数据被发送到服务器装置 70时所估计的情绪信息可以被发送。然后服务器装置70可以获得关于正 在收看收听所确定的节目的使用者的情绪的信息。这意味着，因收看收听愉快的节目而实际上很愉快的人数或者因收看 收听节目中的悲伤场景而感到悲伤的人数可以被计数。换言之，可以确定收看收听者对节目内容的情绪，该情绪可能是除视听率外的有用信息。根据上述的实施例，服务器装置70获得由视听率计算部件76计算的 收看收听者数目(经估计的收看收听次数或者经估计的收看收听者数目) 或者视听率(例如即时视听率、每个时间段的视听率、每个节目的视听 率、每个广告的视听率、实时/记录的节目的视听率和考虑了经记录的节 目的收看收听者数目的节目视听率)，作为视听信息。根据本发明，不仅可以获得如上所述的视听率和收看收听者数目，而 且可以获得各种类型的视听信息。例如，可以获得关于收看收听者的构成比的信息。构成比例如可以是 男性与女性的比率，或者是关于正在收看收听节目的收看收听者的年龄的 比率。例如，使用成像装置1的使用者可以将他或她的性别和/或年龄预先登记作为个人信息，并且服务器装置70可以将所登记的信息与成像装 置1的机器ID—起保存在使用者数据库中。成像装置1可以将机器ID与 图5或者图8的步骤F105中的识别数据(或者图11的步骤F302中的成 像图像信号) 一起发送到服务器装置70。因此，服务器装置一侧可以基 于机器ID确定使用者的属性(性别和/或年龄)，这使得能够针对每个性 别或者年龄对收看收听者数目进行计数，并且使得能够产生关于收看收听 者的构成比(涉及性别/年龄)的信息。作为预先对使用者属性进行服务器登记的替代，成像装置1可以存储 使用者的属性并且当识别数据和/或成像图像数据被发送时发送该使用者 的属性信息，这也使得能够产生相同的信息。还可以将已收看收听节目的排名(ranking)信息作为视听信息产生。 例如，可以对在某一时间段内的每个广播的收看收听者数目进行计数，以 产生描述在该时间段内其节目被使用者收看收听的广播电台的排名信息， 而不计算视听率。显然，可以产生针对广告的排名信息、针对节目的排名 信息等来替代针对时间段的排名信息。此外，可以产生如下的信息作为视听信息即当电视接收机打开时广 播是否被实际地收看收听的比率。在如图11所示的服务器装置70对成像 装置1的成像图像数据执行图像分析的情况下，例如，即使在成像图像内分辨出了电视接收机的广播图像，如果在某种程度上连续地未分辨出广播 图像，那么也可以确定使用者并没有在收看收听广播。换言之，可以确定 如下的情况，其中使用者在电视接收机工作的同时因在做别的事情而没有 在收看收听广播。基于分析结果，可以计算出描述目标广播节目或者广告 实际上是否被收看收听的比率。根据本发明，例如以这种方式可以产生关于收看收听情况的各种类型 的信息作为视听信息，并且有利的信息可以被提供给广播电台和/或广告 商。本领域中的技术人员应理解，根据设计需求和其他因素可以想到各种 修改、组合、子组合和变更，只要它们落入所附权利要求书或者其等价物 的范围之内。相关申请的交叉引用本发明包含与2007年4月2日递交到日本专利局的日本专利申请JP 2007-096353相关的主题，该日本专利申请的全部内容通过引用被结合于 此。
权利要求
1. 一种成像图像数据处理装置，包括获得装置，用于获得由成像部件进行成像所得的成像图像数据，所述成像部件对使用者的视野景象进行成像；提取装置，用于从由所述获得装置获得的所述成像图像数据中提取用以识别所收看收听节目的识别数据；以及发送装置，用于将由所述提取装置提取的所述识别数据发送到外部的视听信息产生装置。
2. 如权利要求1所述的成像图像数据处理装置，其中所述获得装置 一体地具有所述成像部件并且获得在所述成像部件中进行成像所得的所述 成像图像数<据。
3. 如权利要求2所述的成像图像数据处理装置，其中所述成像部件 具有作为成像器件的CCD传感器或者CMOS传感器。
4. 如权利要求1所述的成像图像数据处理装置，其中所述获得装置 通过与被分离地设置的所述成像部件进行通信来获得在所述成像部件中进 行成像所得的所述成像图像数据。
5. 如权利要求1所述的成像图像数据处理装置，其中所述提取装置 通过图像分析处理在所述成像图像数据内识别图像显示装置的显示图像， 并且如果在所述成像图像数据内存在所述图像显示装置的显示图像，那么 从所述图像显示装置的显示图像中提取所述识别数据。
6. 如权利要求1所述的成像图像数据处理装置，其中所述提取装置 提取在所述成像图像数据内检测到的显示图像部分的全部或者一部分图像 数据作为所述识别数据。
7. 如权利要求1所述的成像图像数据处理装置，其中所述提取装置 提取在所述成像图像数据内检测到的显示图像中的文本、标记或者编码作 为所述识别数据。
8. 如权利要求1所述的成像图像数据处理装置，其中所述发送装置 经由网络通信将由所述提取装置提取的所述识别数据发送到外部的视听信息产生装置。
9. 如权利要求l所述的成像图像数据处理装置，还包括 接收装置，用于接收从外部的视听信息产生装置发送的视听信息；以及显示装置，用于显示并且输出由所述接收装置接收的所述视听信息。
10. —种视听信息产生装置，包括接收装置，用于接收从外部的成像图像数据处理装置发送的用以识别 所收看收听节目的识别数据；节目确定处理装置，用于执行根据由所述接收装置接收的所述识别数 据来确定所收看收听节目的处理；以及信息产生装置，用于执行基于所述节目确定处理装置的处理结果来产 生视听信息的处理。
11. 如权利要求10所述的视听信息产生装置，还包括发送装置，用于将由所述信息产生装置产生的视听信息发送到外部的 机器。
12. —种视听信息产生系统，包括成像图像数据处理装置；以及视听信息产生装置， 其中所述成像图像数据处理装置具有获得装置，用于获得由成像部件进行成像所得的成像图像数据， 所述成像部件对使用者的视野景象进行成像，提取装置，用于从由所述获得装置获得的所述成像图像数据中提 取用以识别所收看收听节目的识别数据，以及发送装置，用于将由所述提取装置提取的所述识别数据发送到所 述视听信息产生装置，并且 所述视听信息产生装置具有接收装置，用于接收从所述成像图像数据处理装置发送的用以识 别所收看收听节目的识别数据，节目确定处理装置，用于执行根据由所述接收装置接收的所述识 别数据来确定所收看收听节目的处理，以及信息产生装置，用于执行基于所述节目确定处理装置的处理结果 来产生视听信息的处理。
13. —种成像图像数据处理方法，包括以下步骤获得由成像部件进行所得的成像图像数据，所述成像器件对使用者的 视野景象进行成像；从所获得的成像图像数据中提取用来识别所收看收听节目的识别数据；并且将所提取的识别数据发送到外部的视听信息产生装置。
14. 一种视听信息产生方法，包括以下步骤接收从外部的成像图像数据处理装置发送的用于识别所收看收听节目的识别数据；执行根据所接收的识别数据来确定所收看收听节目的处理；并且 执行基于对所收看收听节目进行确定的所述处理的处理结果来产生视 听信息的处理。
15. —种视听信息产生装置包括接收装置，用于接收从外部的成像图像数据处理装置发送的成像图像数据；提取装置，用于从由所述接收装置接收的所述成像图像数据中提取用 以识别所收看收听节目的识别数据；节目确定处理装置，用于执行根据由所述提取装置提取的所述识别数 据来确定所收看收听节目的处理；以及信息产生装置，用于执行基于所述节目确定处理装置的处理结果来产 生视听信息的处理。
16. —种视听信息产生系统，包括 成像图像数据处理装置；以及 视听信息产生装置，其中所述成像图像数据处理装置具有发送装置，用于将由成像部件进行成像所得的成像图像数据发送 到所述视听信息产生装置，所述成像部件对使用者的视野景象进行成像， 并且所述视听信息产生装置具有接收装置，用于接收从所述成像图像数据处理装置发送的所述成 像图像数据，提取装置，用于从由所述接收装置接收的所述成像图像数据中提 取用以识别所收看收听节目的识别数据，节目确定处理装置，用于执行根据由所述提取装置提取的所述识 别数据来确定所收看收听节目的处理，以及信息产生装置，用于执行基于所述节目确定处理装置的处理结果 来产生视听信息的处理。
17. —种视听信息产生方法，包括以下步骤 接收从外部的成像图像数据处理装置发送的成像图像数据；从所接收的成像图像数据中提取用来识别所收看收听节目的识别数据；执行根据所提取的识别数据来确定所收看收听节目的处理，并且 执行基于对所收看收听节目进行确定的所述处理的处理结果来产生视 听信息的处理。
18. —种成像图像数据处理装置，包括获得部件，该获得部件获得由成像部件进行成像所得的成像图像数据，所述成像部件对使用者的视野景象进行成像；提取部件，该提取部件从由所述获得部件获得的所述成像图像数据中 提取用来识别所收看收听节目的识别数据；以及发送部件，该发送部件将由所述提取部件提取的所述识别数据发送到 外部的视听信息产生装置。
19. 一种视听信息产生装置，包括接收部件，该接收部件接收从外部的成像图像数据处理装置发送的用于识别所收看收听节目的识别数据；节目确定处理部件，该节目确定处理部件执行根据由所述接收部件接收的所述识别数据来确定所收看收听节目的处理；以及信息产生部件，该信息产生部件执行基于所述节目确定处理部件的处 理结果来产生视听信息的处理。
20. —种视听信息产生系统，包括 成像图像数据处理装置；以及 视听信息产生装置，其中所述成像图像数据处理装置具有获得部件，该获得部件获得由成像部件进行成像所得的成像图像 数据，所述成像部件对使用者的视野景象进行成像，提取部件，该提取部件从由所述获得部件获得的所述成像图像数 据中提取用来识别所收看收听节目的识别数据，以及发送部件，该发送部件将由所述提取部件提取的所述识别数据发 送到所述视听信息产生装置，并且 所述视听信息产生装置具有接收部件，该接收部件接收从所述成像图像数据处理装置发送的 用于识别所收看收听节目的识别数据，节目确定处理部件，该节目确定处理部件执行根据由所述接收部 件接收的所述识别数据来确定所收看收听节目的处理，以及信息产生部件，该信息产生部件执行基于所述节目确定处理部件 的处理结果来产生视听信息的处理。
21. —种视听信息产生装置，包括接收部件，该接收部件接收从外部的成像图像数据处理装置发送的成 像图像数据；提取部件，该提取部件从由所述接收部件接收的所述成像图像数据中 提取用来识别所收看收听节目的识别数据；节目确定处理部件，该节目确定处理部件执行根据由所述提取部件提取的所述识别数据来确定所收看收听节目的处理；以及信息产生部件，该信息产生部件用于执行基于所述节目确定处理部件 的处理结果来产生视听信息的处理。
22. —种视听信息产生系统，包括成像图像数据处理装置；以及视听信息产生装置，射所述成像图像数据处理装置具有发送部件，将由成像部件进行成像所得的成像图像数据发送到所 述视听信息产生装置，所述成像部件对使用者的视野景象进行成像，并且 所述视听信息产生装置具有接收部件，该接收部件接收从所述成像图像数据处理装置发送的 所述成像图像数据，提取部件，该提取部件从由所述接收部件接收的所述成像图像数 据中提取用来识别所收看收听节目的识别数据，节目确定处理部件，该节目确定处理部件执行根据由所述提取部 件提取的所述识别数据来确定所收看收听节目的处理，以及信息产生部件，该信息产生部件执行基于所述节目确定处理部件 的处理结果来产生视听信息的处理。
全文摘要
本发明提供一种成像图像数据处理装置，其包括用于获得由对使用者的视野景象进行成像的成像部件进行成像所得的成像图像数据的获得装置，用于提取用以根据获得装置所获得的成像图像数据来识别所收看收听节目的识别数据的提取装置，以及用于将提取装置所提取的识别数据发送到外部视听信息产生装置的发送装置。
文档编号H04N5/225GK101282447SQ20081008755
公开日2008年10月8日 申请日期2008年4月2日 优先权日2007年4月2日
发明者伊藤大二, 佐古曜一郎, 佐野茜, 关泽英彦, 尾崎望, 杉野彰信, 飞鸟井正道, 鹤田雅明 申请人:索尼株式会社