广告信息处理系统、广告显示区域评价方法以及广告信息处理用程序与流程

本发明涉及广告信息处理系统、广告显示区域评价方法以及广告信息处理用程序，尤其适合用于进行有关被显示于三维空间图像内的广告的处理的系统。

背景技术：

近年来，让人如同现实般地体验计算机中创造的虚拟世界的虚拟现实(vr：virtualreality)技术越来越广泛地得到应用。vr的应用例多种多样，存在有通过在用户佩戴的hmd(头戴式显示器)中显示三维空间图像，从而用户能够在针对hmd描绘出的三维空间图像中虚拟地进行各种体验这一应用例。在这种vr技术中，提供有多种配合用户的视线或头部运动而能够看到全天空图像(whole-skyimage)的技术。

以往，提出了有效地利用了虚拟现实的特性的广告展示方法(例如，参照专利文献1、2)。在专利文献1所记载的系统中，服务提供者终端将虚拟现实空间中的一部分空间分配为用于载置广告塔，并在此设置广告塔。而且，在用户终端中，如果使用光标指定虚拟现实空间内的广告塔，则该广告塔中所显示的广告的更详细的信息会被提供至用户终端。

在专利文献2所记载的广告显示装置中，服务代理(serviceagent)位于虚拟空间内，并向用户展示虚拟服务店的广告数据。另一方面，用户代理(useragent)在虚拟空间内移动。而且，当用户代理位于服务代理的附近时，使服务代理开始与用户进行交互，当用户响应了该交互时，使服务代理所包含的广告数据进行显示。

专利文献1：日本公报、特开平8-87489号

专利文献2：日本公报、特开2002-109361号

根据上述专利文献1、2所记载的技术，能够有效地利用虚拟现实的特性而展示广告。然而，当在三维空间图像内所设定的广告显示区域(专利文献1的情况下相当于广告塔，专利文献2的情况下相当于服务代理的附近)展示了广告时，关于可预计产生何种程度的广告效果则是未知的。因此，存在不一定能够进行如广告提供商或联属营销人(affiliater)所期望的最合适的广告的展示这一问题。

技术实现要素：

本发明是为了解决上述问题而完成的，其目的在于，实现能够掌握在三维空间图像内所设定的广告显示区域展示了广告时的效果程度，能够进行如广告提供商或联属营销人等所期望的最合适的广告的展示。

为了解决上述问题，在本发明中，在包含有多个对象的三维空间图像的再生期间，对视听者正关注的对象进行检测，并且，根据其检测结果计算视听者对于对象的关注度。然后，根据该计算出的关注度，对配置于多个对象中的至少一个对象附近的广告显示区域的效果程度进行评价。

根据如上构成的本发明，三维空间图像内所包含的多个对象中、来自视听者的关注度高的对象的附近所配置的广告显示区域，被视听者看到的可能性变高，因此能够较高地评价广告的效果程度。由此，根据本发明，能够将在三维空间图像内所设定的广告显示区域展示了广告时的效果的程度作为效果程度进行掌握。其结果是，能够以评价的效果程度为基础，进行如广告提供商或联属营销人等所期望的最合适的广告的展示。

附图说明

图1是第一实施方式涉及的广告信息处理系统的整体构成例的示意图。

图2是表示第一实施方式涉及的广告信息处理系统的功能结构例的框图。

图3是模式地示出三维空间图像的图。

图4是将设定于再生范围的中央部的规定区域中所描绘的对象作为关注对象进行检测的例子的示意图。

图5是表示第二实施方式涉及的广告信息处理系统的功能结构例的框图。

(符号说明)

11、11’…图像再生部

12…关注对象检测部

13…关注度计算部

14…区域评价部

15…等级设定部

16…广告分配部

17…广告信息提供部

21…图像显示部

22…运动检测部

100、100’…信息处理装置

200…hmd

具体实施方式

(第一实施方式)

以下，根据附图对本发明的第一实施方式进行说明。图1是第一实施方式涉及的广告信息处理系统的整体构成例的示意图。如图1所示，第一实施方式的广告信息处理系统构成为具备信息处理装置100以及hmd(头戴式显示器)200。

信息处理装置100对利用虚拟现实形成的三维空间图像进行再生处理，同时对三维空间图像内所包含的广告显示区域进行评价处理。信息处理装置100例如由个人计算机或服务器计算机构成。hmd200中配备有陀螺仪传感器或加速度传感器等运动传感器201，从而能够检测视听者的头部运动。信息处理装置100与hmd200之间通过有线或无线的通信网络进行连接。

图2是表示第一实施方式涉及的广告信息处理系统的功能结构例的框图。如图2所示，信息处理装置100的功能结构包括图像再生部11、关注对象检测部12、关注度计算部13、以及区域评价部14。此外，信息处理装置100具备三维空间图像存储部101以及关注对象存储部102，作为存储介质。另一方面，hmd200的功能结构包括图像显示部21以及运动检测部22。

信息处理装置100所具备的各功能块11～14可以由硬件、dsp(digitalsignalprocessor、数字信号处理器)、软件中的任意一种构成。例如，在由软件构成的情况下，上述各功能块11～14构成为实际上包括计算机的cpu、ram(随机存取存储器)、rom(只读存储器)等，并通过运行ram或rom、硬盘或者半导体存储器等记录介质中存储的程序而实现。

另外，在此对信息处理装置100和hmd200构成为独立部分的情况进行了图示，但是，也可以使hmd200具备信息处理装置100的功能。此外，还可以构成为使hmd200具备图像再生部11、关注对象检测部12、三维空间图像存储部101以及关注对象存储部102，并使信息处理装置100具备关注度计算部13以及区域评价部14。进而，也可以构成为另外设置与信息处理装置100不同的分析装置(未图示)，并使该分析装置具有关注度计算部13以及区域评价部14的功能。

三维空间图像存储部101存储利用虚拟现实形成的三维空间图像的图像数据。该三维空间图像是包含多个对象和配置于该多个对象中的至少一个对象附近的广告显示区域的动态图像。多个对象是构成三维空间图像的一部分的物体，而不论其内容为何。广告显示区域是用于显示广告信息的区域，能够设定成任意形状以及任意大小。

图3是模式地示出三维空间图像的图。在此，为了便于说明，示出了配合视听者的相对于水平方向的头部运动能够360度全方位观看的三维空间图像的一帧，但不限于此。即，三维空间图像也可以是配合视听者的相对于水平方向和垂直方向的头部运动能够全天空方位观看的图像。

在图3中，以佩戴有hmd200的视听者面朝正面方向的状态的角度(设为0度)为中心，示出了向右方向0～180度以及向左方向0～180度的三维空间图像。右方向的180度与左方向的180度相连。这样的360度全方位的三维空间图像中的、与视听者正朝向的方向对应的一部分区域的三维空间图像，被显示于hmd200上。例如，若视听者朝向正面方向，则斜线所示的区域301的三维空间图像被显示于hmd200上。

在图3的例子中，360度全方位的三维空间图像的一帧中包含有四个对象obt1～obt4、以及四个广告显示区域ad1～ad4。四个广告显示区域ad1～ad4分别配置于四个对象obt1～obt4的附近。所谓的附近，是指处于视听者即使不移动视线也会自然映入眼帘的范围(例如，中心视野的范围)。

此外，在图3所示的三维空间图像的一帧中，除了四个对象obt1～obt4之外也包含其他对象，但是这些对象的附近未设定有广告显示区域。即，图3仅图示了三维空间图像的一帧中所包含的多个对象中的、附近配置有广告显示区域ad1～ad4的四个对象obt1～obt4。

图像再生部11通过再生被存储于三维空间图像存储部101中的三维空间图像，并将进行了再生的三维空间图像的图像数据发送至hmd200，由此将三维空间图像显示于hmd200。hmd200的图像显示部21接收从图像再生部11发送的三维空间图像的图像数据，并将三维空间图像显示于hmd200。

hmd200的运动检测部22根据来自运动传感器201的信号，检测视听者的头部运动。然后，将表示视听者的头部正在朝向的方向的方向信息发送至信息处理装置100。信息处理装置100的图像再生部11根据运动检测部22发送来的方向信息所表示的视听者的头部运动，以描绘视听者正在朝向的方向的三维空间的方式，对来自三维空间图像存储部101的三维空间图像的再生进行控制。

也就是说，如图3的斜线区域301所示，当视听者朝向正面时，图像再生部11再生正面的三维空间扩大那样的三维空间图像。另外，当视听者朝向右侧时，图像再生部11再生下述三维空间图像，即与朝向右侧的角度对应的三维空间扩大那样的三维空间图像，当视听者朝向左侧时，图像再生部11再生下述三维空间图像，即与朝向左侧的角度对应的三维空间扩大那样的三维空间图像。如此，图像再生部11以通过显示于hmd200上而实现的三维空间根据视听者的头部运动呈动态地变化这一方式，对三维空间图像的再生进行控制。

关注对象检测部12在通过图像再生部11而被再生并显示于hmd200上的三维空间图像内，对视听者正关注的对象进行检测。具体而言，关注对象检测部12将通过图像再生部11而被再生的三维空间图像内所描绘的对象作为视听者正关注的对象(以下称为“关注对象”)进行检测。

例如，当图3所示的斜线区域301的三维空间图像被图像再生部11进行了再生的情况下，关注对象检测部12将斜线区域301的三维空间图像内所描绘的两个对象obt2、obt3作为关注对象进行检测。这是因为：由图像再生部11再生的三维空间图像是与视听者根据自身意志将头部朝向的方向对应的区域的图像，因此能够推定其中所包含的对象有可能正被视听者所关注。

此外，虽然也可以将被图像再生部11进行了再生的三维空间图像内所描绘的对象全部作为关注对象进行检测，但是也可以将被图像再生部11进行了再生的三维空间图像内所描绘的对象之中、设定于再生范围的中央部的规定区域中所描绘的对象作为关注对象进行检测。这是因为：视听者存在对于被图像再生部11进行了再生的三维空间图像中尤其会观看中央附近这一倾向，并且有可能不太注意观看三维空间图像内的周边部。

图4是将设定于再生范围的中央部的规定区域中所描绘的对象作为关注对象进行检测的例子的示意图。图4的(a)示出了图3所示的斜线区域301的三维空间图像被图像再生部11进行再生并被显示于hmd200的显示屏幕上的状态。在该再生范围的中央部(即，被进行了再生的三维空间图像的中央部)，设定有用于检测关注对象的检测区域401。该检测区域401能够设定成任意形状以及任意大小。

在图4的(a)的例子中，被图像再生部11进行了再生的三维空间图像中包含有两个对象obt2、obt3。该两个对象obt2、obt3均包含在中央部的检测区域401中。因此，关注对象检测部12将该两个对象obt2、obt3作为关注对象进行检测。此外，作为关注对象进行检测的对象也可以仅为整体被包含在检测区域401中的对象，还可以是至少一部分被包含在检测区域401中的对象。

图4的(b)示出了下述状态：即，当视听者稍微朝向右方向时，配合其朝向的右方向的角度，将三维空间图像通过图像再生部11进行再生并显示于hmd200的显示屏幕上这一状态。该三维空间图像中包含有三个对象obt2～obt4。但是，对象obt2～obt4中任一者均未被包含在检测区域401中。因此，关注对象检测部12不将该三个对象obt2～obt4作为关注对象进行检测。

图4的(c)示出了下述状态：即，当视听者更大幅度地朝向右方向时，配合其朝向的右方向的角度，将三维空间图像通过图像再生部11进行再生并显示于hmd200的显示屏幕上这一状态。该三维空间图像中包含有一个对象obt4。该对象obt4的一部分包含在中央部的检测区域401中。因此，关注对象检测部12将该对象obt4作为关注对象进行检测。

此外，关注对象检测部12也可以设定为：仅限于在对象持续规定时间以上(或规定帧数以上)包含于检测区域401内的情况下，将该对象作为关注对象进行检测。

关注对象存储部102存储由关注对象检测部12进行了检测的关注对象的信息。上述图4示出了动态图像的一帧，但是关注对象检测部12对动态图像的每一帧检测关注对象。关注对象检测部12将用于识别进行了检测的关注对象的信息(对象id等)、关注在该对象上的时间、关注了该对象的次数等信息存储于关注对象存储部102。

在此，关注在对象上的时间是：根据以该对象包含在检测区域401内这样的状态而被再生的三维空间图像的帧数决定的值。此外，关注了对象的次数是：以该对象包含在检测区域401内这样的状态而三维空间图像被进行了再生的次数，在该对象连续显示于检测区域401内的期间，将关注次数计数为一次。

关注对象存储部102针对多位视听者存储由关注对象检测部12进行了检测的关注对象的信息。即，每当多位视听者进行三维空间图像的视听时，关注对象检测部12便进行关注对象的检测，并且，将进行了检测的关注对象的识别信息、关注时间以及关注次数的信息存储于关注对象存储部102。此外，也可以构成为能够设定检测模式，且仅在设定了检测模式的情况下进行关注对象的检测。

关注度计算部13根据关注对象检测部12的检测结果(被存储于关注对象存储部102中的关注对象的信息)，计算视听者对于对象的关注度。例如，对于在多位视听者视听了三维空间图像时分别被关注对象检测部12进行了检测的对象，关注度计算部13根据关注的总次数和总时间中的至少一者，计算视听者对于对象的关注度。计算的关注度既可以是评分值(scorevalue)，也可以是被分为多个阶段的等级。

例如，关注度计算部13具有被设定为关注的总次数越多则关注度越高的表信息或函数，并且，根据该表信息或函数，计算视听者对于三维空间图像内所包含的各对象的关注度。或者，关注度计算部13具有被设定为关注的总时间越长则关注度越高的表信息或函数，并且，根据该表信息或函数，计算视听者对于三维空间图像内所包含的各对象的关注度。或者，关注度计算部13具有被设定为关注的总次数越多且关注的总时间越长则关注度越高的表信息或函数，并且，根据该表信息或函数，计算视听者对于三维空间图像内所包含的各对象的关注度。

区域评价部14根据由关注度计算部13计算出的关注度，对配置于对象的附近的广告显示区域的效果程度进行评价。广告显示区域的效果程度，是表示在被设定于三维空间图像内的广告显示区域中展示了广告信息时的效果的程度的指标。此处评价的效果程度既可以是评分值，也可以是被分为多个阶段的等级。例如，区域评价部14具有被设定为对象的关注度越高则配置在其附近的广告显示区域的效果程度越高的表信息或函数，并且，根据该表信息或函数，对三维空间图像内所包含的各广告显示区域的效果程度进行评价。

配置于三维空间图像内所包含的多个对象之中的、来自视听者的关注度高的对象附近的广告显示区域，被视听者看到的可能性变高。因此，本实施方式中，以对象的关注度越高则配置在其附近的广告显示区域的效果程度越高这一方式，对三维空间图像内所设定的广告显示区域的效果程度进行评价。评价的结果例如作为报告被输出。

利用区域评价部14进行的效果程度的评价结果，能够有效地利用于各种目的。例如，在将三维空间图像内所包含的广告显示区域出售给广告提供商或联属营销人等的情况下，能够根据效果程度进行价格设定。或者，能够将广告提供商或联属营销人等所提供的多个广告信息分配至与效果程度相对应的广告显示区域并进行显示。或者，能够根据效果程度编辑广告显示区域的设定位置，例如将效果程度在一定标准以下的广告显示区域作废等。

如以上所详细说明，在第一实施方式中，在包含多个对象和配置于多个对象中的至少一个对象附近的广告显示区域的三维空间图像的再生期间，对视听者正关注的对象进行检测，并且，根据该检测结果计算视听者对于对象的关注度。然后，根据该计算出的关注度，对配置于对象附近的广告显示区域的效果程度进行评价。

根据如上构成的第一实施方式，对于正被配置于三维空间图像内所包含的多个对象之中的、来自视听者的关注度高的对象附近的广告显示区域，能够评价为广告的效果程度高，对于正被配置于关注度低的对象附近的广告显示区域，能够评价为广告的效果程度低。由此，根据第一实施方式，能够掌握在被设定于三维空间图像内的广告显示区域中展示了广告信息时的效果的程度。

(第二实施方式)

接下来，根据附图对本发明的第二实施方式进行说明。第二实施方式涉及的广告信息处理系统的整体构成例如与图1相同。图5是表示第二实施方式涉及的广告信息处理系统的功能结构例的框图。此外，在该图5中，标记有与图2所示符号相同的符号的单元是具有相同功能的单元，故在此省略重复的说明。

如图5所示，第二实施方式涉及的信息处理装置100’进一步具备等级设定部15、广告分配部16以及广告信息提供部17，作为其功能结构。另外，信息处理装置100’具备图像再生部11’来代替图像再生部11。此外，第二实施方式涉及的信息处理装置100’进一步具备广告信息存储部103，作为存储介质。

广告信息存储部103存储由广告提供商或联属营销人等提供的各种广告信息。广告信息可以是静态图像信息，也可以是动态图像信息。广告信息存储部103中所存储的广告信息是应该在被设定于三维空间图像内的多个广告显示区域中显示的广告信息。

等级设定部15对广告信息存储部103中所存储的多个广告信息、也就是应该在三维空间图像内的广告显示区域中显示的多个广告信息设定等级。在此，等级的设定方法为任意方法。例如，在出售三维空间图像内所包含的广告显示区域的情况下，越是由购买了高价的广告显示区域的购买者提供的广告信息，越设定为高的等级。此外，还可以设定越是重要度高的广告信息，越设定为高的等级。通过等级设定部15设定的等级与广告信息建立关联而被存储于广告信息存储部103中。

广告分配部16对于越是被区域评价部14评价为效果程度高的广告显示区域，越是分配由等级设定部15设定的等级高的广告信息。与该分配相关的信息也与广告信息建立关联而被存储于广告信息存储部103中。

广告信息提供部17按照广告分配部16所进行的分配，将存储于广告信息存储部103的广告信息提供至被图像再生部11’进行再生的三维空间图像内的广告显示区域。

图像再生部11’将按照广告分配部16所进行的分配而由广告信息提供部17提供的广告信息编入再生后的三维空间图像内的广告显示区域中。然后，将广告显示区域中编入有广告信息的状态的三维空间图像的图像数据发送至hmd200。由此，在hmd200的显示屏幕中，显示广告显示区域中编入有广告信息的状态的三维空间图像。此外，也可以于广告显示区域中显示广告显示按键，在由视听者操作了广告显示按键时，进行广告信息的显示。

此外，还可以构成为能够对图像再生部11’选择性地设定区域评价模式或普通再生模式中的任一者，在设定了区域评价模式的情况下，图像再生部11’不将广告信息编入广告显示区域而再生三维空间图像，另一方面，在设定了普通再生模式的情况下，图像再生部11’以广告显示区域中编入有广告信息的状态再生三维空间图像。如此进行的话，在设定区域评价模式时，由于广告信息未被显示，因此，能够纯粹地根据对于对象的关注度来评价广告显示区域的效果程度。而且，在设定普通再生模式时，能够将根据效果程度分配的广告信息适当地提供至三维空间图像内的广告显示区域中。

如以上所详细说明，根据第二实施方式，能够将在三维空间图像内所设定的广告显示区域展示了广告信息时的效果的程度作为效果程度进行评价，并将根据该效果程度分配的广告信息适当地提供至三维空间图像内的广告显示区域中。由此，例如能够以对被评价为效果程度高的广告显示区域展示被设定的等级高的广告信息这样的方式，进行如广告提供商或联属营销人等所期望的最合适的广告的展示。

另外，上述第一以及第二实施方式中，说明了将根据由hmd200的运动传感器201检测的视听者的头部运动而被再生的三维空间图像内所描绘的对象作为关注对象进行检测的例子，但是本发明不限于此。例如，除了检测视听者的头部运动的运动传感器201之外，还于hmd200上配备有检测视听者的视线的视线传感器。而且，关注对象检测部12也可以将通过图像再生部11(11’)进行了再生的三维空间图像内所描绘的对象中的、处于视线传感器所检测到的视听者的视线方向上的对象作为关注对象进行检测。

此外，在上述实施方式中，说明了将在对象的附近预先设定有广告显示区域的三维空间图像进行再生，并根据对象的关注度来评价广告显示区域的效果程度的例子，但是本发明不限于此。例如，也可以将还未对对象设定广告显示区域的三维空间图像进行再生并计算对象的关注度，评价假设为在对象附近的位置设定广告显示区域时的该广告显示区域的效果程度。该情况下，能够进行在被评价为效果程度高的位置实际地设定广告显示区域这样的应对。

另外，上述第一以及第二实施方式中，说明了将利用虚拟现实形成的三维空间图像进行再生并在该三维空间图像内设定广告显示区域的例子，但本发明不限于此。例如，也可以将利用增强现实形成的三维空间图像进行再生并在该三维空间图像内设定广告显示区域。

此外，上述第一以及第二实施方式均只不过是示出了实施本发明时的具体化的一例，并不能据此限定性地解释本发明的技术范围。即，本发明能够在不脱离其主旨或其主要特征的情况下以各种形式实施。