信息处理设备和信息处理方法
【技术领域】
[0001 ]本公开涉及一种信息处理设备、信息处理方法和程序。
【背景技术】
[0002]近年来，出现了允许用户通过使用视线检测技术，诸如，眼球追踪技术通过视线进行操作的用户界面。例如，下面在PTL I中描述的技术可以作为关于允许用户通过视线进行操作的用户界面的技术而被引用。
[0003]引用列表
[0004]专利文件
[0005]专利文件1:JP2009-64395A
【发明内容】
[0006]技术问题
[0007]例如，当通过用户视线执行操作时，基于用户视线进行处理的设备需要在确定使用哪条用户视线作为进行该处理的基础，或者，换言之，在确定通过视线执行操作的操作者(在下文中，在一些情况下简称为“操作者”)之后进行该处理。然而，尚未建立一种在与上述设备类似的设备中确定操作者的方法。
[0008]本公开提出了一种新的改进型信息处理方法，这种方法能够确定通过视线执行操作的操作者，并且基于确定的操作者的视线进行处理。
[0009]问题的解决方案
[0010]根据本公开，提供了一种信息处理设备，其包括:图像获取单元，该图像获取单元配置为获取用户的捕捉图像;确定单元，该确定单元配置为从获取的捕捉图像中包括的用户中确定操作者；以及处理单元，该处理单元配置为基于有关对应于确定的操作者的用户视线的信息进行处理。
[0011]根据本公开，提供了一种由信息处理设备执行的信息处理方法，该信息处理方法包括:获取用户的捕捉图像的步骤;从在获取的捕捉图像中包括的用户中确定操作者的步骤;以及基于有关对应于确定的操作者的用户视线的信息进行处理的步骤。
[0012]本发明的有益效果如下:
[0013]根据本公开，可以确定通过视线执行操作的操作者，并且基于确定的操作者的视线进行处理。
[0014]上述效果并不一定是限制性的，并且，连同上述效果或者替代上述效果，可以实现在本说明书中所示的效果中的一种效果或者从本说明书中掌握到的另一种效果。
【附图说明】
[0015]图1是用于描述按照根据本实施例的信息处理方法的处理的示例的阐释图。
[0016]图2是用于描述按照根据本实施例的信息处理方法的处理的示例的阐释图。
[0017]图3是用于描述按照根据本实施例的信息处理方法的处理的示例的阐释图。
[0018]图4是用于描述按照根据本实施例的信息处理方法的处理的第二应用示例的阐释图。
[0019]图5是用于描述按照根据本实施例的信息处理方法的处理的第三应用示例的阐释图。
[0020]图6是图示了根据本实施例的信息处理设备的配置的示例的框图。
[0021]图7是图示了根据本实施例的信息处理设备的硬件配置的示例的阐释图。
【具体实施方式】
[0022]下面将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有大体上相同的功能和配置的元件附有相同的附图标记，从而省略重复说明。
[0023]将按照在下面所示的顺序进行说明:
[0024]1、根据本实施例的信息处理方法
[0025]2、根据本实施例的信息处理设备
[0026]3、根据本实施例的程序
[0027](根据本实施例的信息处理方法)
[0028]在描述根据本实施例的信息处理设备的配置之前，将首先描述根据本实施例的信息处理方法。将以按照根据本实施例的信息处理方法的处理由根据本实施例的信息处理设备执行的情况为例，来描述根据本实施例的信息处理方法。
[0029][I]按照根据本实施例的信息处理方法的处理的概述
[0030]如上所论述的，尚未建立一种在基于用户视线进行处理的设备中决定通过视线执行操作的操作者的方法。在本文中，根据本实施例的操作者指的是执行了影响设备行为(或者正在执行的应用程序)的运动的用户，例如。注意，如稍后所论述的，作为按照根据本实施例的信息处理方法的处理的示例，根据本实施例的信息处理设备也能够基于未被确定为操作者的用户视线进行不会影响到设备行为(或者正在执行的应用程序)的处理。
[0031]因此，根据本实施例的信息处理设备获取用户的捕捉图像(图像获取过程)，并且从在获取的捕捉图像中包括的用户中确定操作者(确定过程)。随后，根据本实施例的信息处理设备进行基于有关对应于确定的操作者的用户视线的信息的处理(执行过程)。
[0032]在本文中，根据本实施例的用户的捕捉图像指的是可能包括用户的捕捉图像，例如。在本文中，根据本实施例的用户的捕捉图像被简称为“捕捉图像”。例如，根据本实施例的捕捉图像可以是在显示屏上可见的用户捕捉图像。另外，根据本实施例的捕捉图像可以通过设置在根据本实施例的信息处理设备中的成像单元(稍后论述)或者外部成像装置中的图像捕捉来生成。根据本实施例的捕捉图像可以是移动图像或者静态图像，例如。
[0033]根据本实施例的显示屏是，例如，显示有各种图像并且用户的视线所指向的显示屏。作为根据本实施例的显示屏，例如，可以引用在根据本实施例的信息处理设备中包括的显示单元(稍后描述)的显示屏以及无线地或者经由电缆连接至根据本实施例的信息处理设备的外部显示设备(或者外部显示装置)的显示屏。
[0034]另外，根据本实施例的有关用户视线的信息指的是有关用户眼睛的信息(数据)，诸如，在显示屏上的用户视线位置和用户眼睛运动，例如。根据本实施例的有关用户视线的信息可以是有关用户视线位置的信息和有关用户眼睛运动的信息，例如。
[0035]此处，根据本实施例的有关用户视线位置的信息是，例如，示出了用户视线位置的数据或者是可以用于识别用户视线位置的数据(或者是可以用于估计用户视线位置的数据。这也适用于下文)。
[0036]作为示出了根据本实施例的用户视线位置的数据，例如，可以引用示出了在显示屏上的用户视线位置的坐标数据。在显示屏上的用户视线位置可以由，例如，在坐标系中的坐标表示，在该坐标系中，将显示屏的参考位置设置为其原点。示出了根据本实施例的用户视线位置的数据可以包括表示视线方向的数据(例如，示出了与显示屏所成角度的数据)。
[0037]当将表示在显示屏上的用户视线位置的坐标数据用作根据本实施例的有关用户视线位置的信息时，根据本实施例的信息处理设备通过使用，例如，坐标数据，来识别在显示屏上的用户视线位置，该坐标数据是通过使用视线检测技术从具有识别到的(所估计的)用户的视线位置的外部设备获取的并且表示在显示屏上的用户视线位置。当将表示视线方向的数据用作根据本实施例的有关用户视线位置的信息时，根据本实施例的信息处理设备通过使用，例如，从外部设备获取的表示视线方向的数据，来识别视线方向。
[0038]可以通过使用，通过使用视线检测技术检测到的视线以及从捕捉图像检测到的相对于显示屏的用户位置和脸部定向，来识别在显示屏上的用户视线位置和用户视线方向，在该捕捉图像中，捕捉到在显示屏上显示图像的方向。然而，根据本实施例的识别在显示屏上的用户视线位置和用户视线方向的方法并不限于上述方法。例如，根据本实施例的信息处理设备和外部设备可以使用能够识别在显示屏上的用户视线位置和用户视线方向的任何技术。
[0039]作为根据本实施例的视线检测技术，例如，可以引用如下方法:基于眼睛的移动点(例如，与眼睛中的移动部分(诸如，虹膜和瞳孔)对应的点)相对于该眼睛的参考点(例如，与眼睛中不会移动的部分(诸如，眼睛的内角或者角膜反射)对应的点)的位置，来检测视线。然而，根据本实施例的视线检测技术并不限于上述技术，并且可以是，例如，能够检测视线的任何视线检测技术。
[0040]作为根据本实施例的可以用于识别用户视线位置的数据，例如，可以引用捕捉图像数据，在该捕捉图像数据中，成像了在显示屏上显示图像(移动图像或者静态图像)的方向。根据本实施例的可以用于识别用户视线位置的数据可以进一步包括获得可以用于提高用户视线位置的估计精度的检测值的任何传感器的检测数据，诸如，检测在显示屏上显示图像的方向上的红外辐射的红外传感器的检测数据。
[0041]当将可以用于识别用户视线位置的数据用作根据本实施例的有关用户视线位置的信息时，根据本实施例的信息处理设备使用，例如，由在本地设备(在下文中，称为根据本实施例的信息处理设备)中包括的成像单元(稍后描述)或者外部成像装置获取的捕捉图像数据。在上述情况下，根据本实施例的信息处理设备可以使用，例如，从在本地设备中包括的可以用于提高用户视线位置的估计精度的传感器或者外部传感器获取到的检测数据(是可以用于识别用户视线位置的数据的示例)。根据本实施例的信息处理设备通过使用，例如，如上所述获取的可以用于识别用户视线位置以识别在显示屏上的用户视线位置和用户视线方向的数据，按照根据本实施例的识别在显示屏上的用户视线位置和用户视线方向的方法来执行处理。
[0042]根据本实施例的与用户眼睛运动有关的信息可以是，例如，表示用户眼睛运动的数据，或者是可以用于指定用户眼睛运动的数据(或者可以用于估计用户眼睛运动的数据。这也适用于下文)。
[0043]根据本实施例的表示用户眼睛运动的数据可以是，例如，表示预定眼睛运动，诸如，单次眨眼运动、多次连续眨眼运动、或者眨一只眼运动的数据(例如，表示与预定运动对应的数字等的数据)。另外，根据本实施例的可以用于指定用户眼睛运动的数据可以是，例如，描绘了在显示屏上显示图像(移动图像或者静态图像)的方向的捕捉图像数据。
[0044]当将表示用户眼睛运动的数据用作根据本实施例的与用户眼睛运动有关的信息时，根据本实施例的信息处理设备确定已经通过使用从基于捕捉图像指定(或者估计)用户眼睛运动的外部设备获取到的表示用户眼睛运动的数据执行了预定眼睛运动，例如。
[0045]在本文中，例如，当将从描绘了在显示屏上显示图像的方向的移动图像(或者多个静态图像)检测到的眼睛形状的变化视为与预定眼睛运动对应的眼睛形状的变化时，可以确定已经执行了预定眼睛运动。注意，根据本实施例的确定预定眼睛运动的方法并不限于以上所述。例如，根据本实施例的信息处理设备或者外部设备能够使用能够确定执行了预定眼睛运动的任意技术。
[0046]当将可以用于指定用户眼睛运动的数据用作根据本实施例的有关用户眼睛运动的信息时，根据本实施例的信息处理设备使用从设置在本地设备中的成像单元(稍后论述)或者外部成像装置获取到的捕捉图像数据(是可以用于指定用户眼睛运动的数据的示例)，例如。根据本实施例的信息处理设备使用如上获取的可以用于指定用户眼睛运动的数据，来进行与根据本实施例的确定预定眼睛运动的方法有关的处理，并且确定执行了预定眼睛运动，例如。
[0047]在下文中，将更具体地描述按照根据本实施例的信息处理方法的处理。
[0048][2]按照根据本实施例的信息处理方法的处理
[0049](I)图像获取过程
[0050]根据本实施例的信息处理设备获取根据本实施例的捕捉图像。
[0051]根据本实施例的信息处理设备通过控制在设置在根据本实施例的信息处理设备中的成像单元(稍后论述)或者外部成像装置中的图像捕捉，来获取根据本实施例的捕捉图像，例如。根据本实施例的信息处理设备通过将有关图像捕捉的控制命令经由通信单元(稍后论述)或者连接的外部通信装置发送到成像单元(稍后论述)、外部成像装置等，来控制在成像单元(稍后论述)等中的图像捕捉。
[0052]注意，根据本实施例的图像获取过程并不限于以上所述。例如，根据本实施例的信息处理设备也可以被动地获取从成像单元(稍后论述)或者外部成像装置发来的根据本实施例的捕捉图像。
[0053](2)确定过程
[0054]根据本实施例的信息处理设备从在通过上述(I)的过程(图像获取过程)而获取到的捕捉图像中包括的用户中确定操作者。根据本实施例的信息处理设备从捕捉图像中包括的用户中将单个用户或者多个用户确定为操作者。
[0055](2-1)确定过程的第一示例
[0056]根据本实施例的信息处理设备基于从捕捉图像检测到的脸部区域的大小来确定操作者，例如。
[0057]在本文中，根据本实施例的脸部区域指的是捕捉图像中包括用户的脸部部分的区域。例如，根据本实施例的信息处理设备通过从捕捉图像检测特征，诸如，用户的眼睛、鼻子、嘴和骨架，或者通过从捕捉图像检测类似脸部的亮度分布和结构形式的区域，来检测脸部区域。注意，根据本实施例的检测脸部区域的方法并不限于以上所述，并且根据本实施例的信息处理设备也可以使用能够从捕捉图像检测脸部的任意技术。
[0058](2-1-1)在从捕捉图像中包括的用户中将单个用户确定为操作者的情况下的处理
[0059]根据本实施例的信息处理设备从由捕捉图像检测到的脸部区域中将操作者确定为对应于具有最大脸部区域大小的脸部区域的单个用户。
[0060]此时，具有相同(或者近似相同)脸部区域大小的区域可以包括在从捕捉图像检测到的脸部区域中。
[0061]因此，当在从捕捉图像检测到的脸部区域中存在多个具有最大脸部区域大小的脸部区域时，根据本实施例的信息处理设备将操作者确定为对应于较早检测到的脸部区域的用户，例如。
[0062]通过如上所述的将操作者确定为对应于较早检测到的脸部区域的用户，例如，SP使当脸部区域为相同(或者近似相同)大小时，根据本实施例的信息处理设备也能够将单个用户确定为操作者。
[0063]注意，当在从捕捉图像检测到的脸部区域中存在多个具有最大脸部区域大小的脸部区域时确定操作者的方法并不限于以上所述。
[0064]例如，根据本实施例的信息处理设备也可以将操作者确定为对应于较晚检测到的脸部区域的用户，或者通过遵循配置的规则(例如，诸如随机配置的)，