信息处理装置、信息处理方法和记录介质与流程

文档序号:19160736发布日期:2019-11-16 01:19阅读:163来源:国知局
信息处理装置、信息处理方法和记录介质与流程

本公开涉及一种信息处理装置、一种信息处理方法和一种记录介质。



背景技术:

近年来,存在应用照相机、麦克风、全球定位系统(gps)和各种传感器例如惯性传感器的各种使用技术。例如,已经针对具有较小的功率限制的设备(例如飞机和车辆)开发了具有传感器融合的自我位置估计和方位估计。然而,近年来,此种自我位置尊重和方位估计开始用于可穿戴终端例如头戴式显示器(hmd)和腕套型终端。对于这种可穿戴终端,由于可安装电池的尺寸限制,已经期待开发一种用于抑制功耗同时有效利用多种安装的传感器的技术。

举例来说,以下专利文献1公开了一种技术,其中在使用多个照相机的自我位置估计中,按照拍摄图像的特征量和gps信号的接收结果来待使用的照相机进行限制,从而使得自我位置估计具有较少功耗。

指引目录

专利文献

专利文献1:日本专利申请特许公开号2016-197083



技术实现要素:

本发明要解决的问题

然而,对于上述专利文献1中描述的用于自我职位估计、方位估计等等的测定技术,没有考虑使用测量结果的应用所需的测量结果的精度。所以,存在将具有过高精度的测量结果提供给一些应用的情况,并且在这种情况下,可以说可以对功耗进一步进行抑制。另一方面,还存在将具有过低精度的测量结果提供给一些应用的情况,并且在这种情况下可能发生性能下降以换取功耗的抑制。

所以,希望提供一种能够实现应用所需的测量精度的满足和功耗的抑制之间的平衡的装置。

问题的解决方案

根据本公开,提供一种信息处理装置,其包括控制单元,其根据传感器的检测结果从使用测定信息的应用程序获取表示所述测定信息的所需精度的信息,和根据表示所述所需精度的信息控制所述传感器。

此外,根据本公开,提供一种信息处理装置,其包括控制单元,其配置为根据传感器的检测结果执行使用测定信息的处理,并且按照所述处理的细节生成表示所述测定信息的所需精度的信息。

此外,根据本公开,提供一种由处理器执行的信息处理方法,其包括:根据传感器的检测结果从使用测定信息的应用程序获取表示所述测定信息的所需精度的信息;和根据表示所述所需精度的信息控制所述传感器。

此外,根据本公开,提供一种由处理器执行的信息处理方法,其包括:根据传感器的检测结果执行使用测定信息的处理;和按照所述处理的细节生成表示所述测定信息的所需精度的信息。

此外,根据本公开,提供一种记录介质,其包括所记录的程序,所述程序使计算机起到以下单元的作用:控制单元,其根据传感器的检测结果从使用测定信息的应用程序获取表示所述测定信息的所需精度的信息,和根据表示所述所需精度的信息控制所述传感器。

此外,根据本公开,提供一种记录介质,其包括所记录的程序,所述程序使计算机起到以下单元的作用:控制单元,其配置为根据传感器的检测结果执行使用测定信息的处理,并且按照所述处理的细节生成表示所述测定信息的所需精度的信息。

根据本公开,信息处理装置根据应用所需的精度控制传感器。这种布置使得可以抑制功耗,而满足应用所需的测定精度。

本发明的效果

如上所述,根据本公开,提供一种能够实现应用所需的测定精度的满足和功耗的抑制之间的平衡的装置。请注意,上述效果不必是限制性的;除上述效果之外或代替上述效果,还可以显示本说明书中指出的任何效果或者从本说明书可以理解其它效果。

附图说明

图1是按照本公开的实施方式的信息处理装置的示例性外部外观配置的示图。

图2是根据该实施方式的hmd的示例性内部配置的方框图。

图3是根据该实施方式的hmd显示的示例性画面的示图。

图4是根据该实施方式的hmd显示的示例性画面的示图。

图5是根据该实施方式的hmd显示的示例性画面的示图。

图6是根据该实施方式的hmd显示的示例性画面的示图。

图7是描述第一实施方式的概观的示图。

图8是根据该实施方式的hmd的示例性内部配置的方框图。

图9是根据该实施方式的由hmd执行的传感器控制处理的示例性流程的流程图。

图10是描述第二实施方式的概观的示图。

图11是根据该实施方式的hmd的示例性内部配置的方框图。

图12是根据该实施方式的由hmd执行的传感器控制处理的示例性流程的流程图。

图13是描述第三实施方式的概观的示图。

图14是根据该实施方式的hmd的示例性内部配置的方框图。

图15是根据该实施方式的由hmd执行的传感器控制处理的示例性流程的流程图。

图16是根据本实施方式的信息处理装置的示例性硬件配置的方框图。

具体实施方式

以下将参考附图描述本公开的最优实施方式。请注意,在本说明书和附图中,具有实质上相同功能配置的组成元件具有相同的参考符号,并且将省略多余的描述。

请注意,将按以下顺序进行描述。

1.基本配置

2.第一实施方式

2.1.综述

2.2.技术特征

3.第二实施方式

3.1.综述

3.2.技术特征

4.第三实施方式

4.1.综述

4.2.技术特征

5.补充

6.示例性硬件配置

7.结论

<<1.基本配置>>

首先,参考图1至5,将描述根据本公开的实施方式的信息处理装置的基本配置。

(1)示例性外部外观配置

图1是按照本公开的实施方式的信息处理装置的示例性外部外观配置的示图。图1中示出的信息处理装置100也被称为hmd。

信息处理装置100具有例如框架结构的穿戴单元,其经过太阳穴区域和头后部围绕半圈,并且如图1所示,信息处理装置100被待穿戴的用户挂在耳被囊上。然后,信息处理装置100具有显示单元121,该显示单元121布置在紧靠用户眼睛的前面,信息处理装置100如图1中所示进行佩戴。显示单元121包括例如液晶面板,信息处理装置100控制液晶面板的透光度以允许液晶面板为穿透状态,即,透明或半透明状态或非透射状态。

此外,显示单元121(仍是穿透状态下)显示图像例如文字或图画,从而允许将增强现实(ar)信息(即,注解)叠加并显示在实空间的风景上。此外,显示单元121(在非透射状态下)能够显示由外置照相机112拍摄的实空间的拍摄图像,并且将注解添加和显示在实空间的拍摄图像上。

另一方面,显示单元121(在非透射状态下)能够显示虚拟现实(vr)信息。例如,在非透射状态下,显示单元121也能够再现和显示信息处理装置100从外部装置接收的内容或者保存在信息处理装置100的存储介质中的内容,并且也能够将注解叠加和显示在再现和显示的内容上。请注意,外部装置是例如服务器、数字照相机、数字摄像机或信息处理装置例如移动式电话终端、智能手机或个人电脑(pc)。

请注意,在以下,将显示在显示单元121上的图像的全体也被称为画面。这里,该画面被定义为一种概念,其包括以非透射状态显示的图像以及透明地显示的场面和以穿透状态在其上叠加和显示的注解。此外,包括在画面中的元素中的每一个也称为虚拟对象,该虚拟对象被定义为包括例如注解的概念。

此外,信息处理装置100具有一对内置照相机111,其面对用户布置为使得在用户穿戴信息处理装置100的状态下在短距离处拍摄用户。内置照相机111的每一个作为拍摄用户的眼睛的第一图像传感器。内置照相机111可以是也能够获得深度信息的立体照相机,或者可以装备有深度传感器。

此外,信息处理装置100具有向前布置的外置照相机112,以在用户穿戴信息处理装置100的状态下拍摄(作为拍摄方向)用户面对的方向(例如,在显示单元121处于穿透状态的情况下用户在视觉上识别的方向)。外置照相机112作为第二图像传感器,其拍摄待识别的对象例如用户的手。外置照相机112可以是能够获得深度信息的立体照相机,或者可以装备有深度传感器。

此外,虽然在图1中未示出,但是可以布置在用户穿戴信息处理装置100的状态下插入用户的耳被囊的每个中的耳机扬声器。此外,虽然图1中未示出,但是可以布置吸收外部声音的麦克风。

请注意,根据本实施方式的信息处理装置100可以是如图1中示出的hmd,或者可以是例如包括固定在用户眼睛前面的智能手机的简易hmd。在这种情况下,显示器、设置在显示器侧的内部照相机和设置在智能手机的背面侧的外部照相机分别用作显示单元121、内置照相机111和外置照相机112。

此外,除了hmd之外,信息处理装置100可以作为例如智能手机、平板终端、pc或数字标牌来实现

以上已经描述了信息处理装置100的外部外观配置。接着,将描述信息处理装置100的内部配置。以下,信息处理装置100将描述为hmd。

(2)内部配置

图2是根据本实施方式的hmd100的示例性内部配置的方框图。如图2中所示,根据本实施方式的信息处理装置100包括多个组成元件,其被分类为传感器、操作系统(os)或应用程序。分类为传感器的组成元件是物理组成元件,分类为os或应用程序的组成元件是逻辑组成元件。例如,分类为os或应用程序的组成元件可以作为将由运算装置例如中央处理器(cpu)根据存储设备(例如存储器)中存储的程序来操作的软件来包括在内。

·传感器

hmd100包括传感器组10作为传感器,该传感器组10包括各种传感器。传感器组10包括惯性传感器11、地磁传感器12、全球导航卫星系统(gnss)接收器13和照相机14。

惯性传感器11检测例如三个轴上的角速度和加速度。地磁传感器12检测磁场的大小和方向。gnss接收器13从gnss卫星接收gnss信号(单频或双频)。照相机14包括透镜系统、驱动该透镜系统的驱动系统以及从由透镜系统获取的拍摄光生成图像拍摄信号的图像拍摄元件,并且输出已转换为数字信号的拍摄图像的数据。照相机14包括图1中所示的内置照相机111和外置照相机112。

传感器可以包括在例如独立于hmd100的可穿戴设备中。即,hmd100可以用不同设备的传感器作为控制对象。

传感器组10将表示多种传感器的检测结果的信息(以下也称为传感器信息)输出至测定单元20。传感器信息用于通过测定单元20进行位置或方位的测定(或估计)。传感器组10可以进一步地包括检测可用于位置或方位估计的传感器信息的任何传感器。例如,传感器组10可以具有能够执行符合任何无线通信标准例如wi-fi(注册商标)的无线通信设备,并且例如可以基于与接入点(或基站)的通信相关的无线电波强度来测定位置。

传感器组10可以包括各种其他传感器。例如,传感器组10可以具有能够执行符合任何无线通信标准(例如bluetooth低功耗(ble(注册商标))、wi-fi或可见光通信)的通信的无线通信设备。此外,传感器组10可以具有例如红外照相机、集成电路(ic)门、毫米波雷达,光探测及测距(lidar)、范围传感器、激光多普勒传感器、车辆速度脉冲传感器、计量生物学信息传感器或温度传感器。

·os

hmd100包括测定单元20和传感器控制单元30作为os的一个功能。

-测定单元

测定单元20基于传感器信息测量测定信息。测定信息包括位置信息或者方位信息的至少任一个。以下,位置信息和方位信息可以统称为测定信息。

如图2中所示,测定单元20包括位置单元21和方位测定单元22。位置单元21基于从传感器组10输出的传感器信息测定位置信息(即,执行定位)。位置信息可以是表示包括经纬度的绝对位置的信息,或表示相对于基准目标的相对位置的信息。此外,位置信息可以包括高度信息。方位测定单元22基于从传感器组10输出的传感器信息测定方位信息。方位信息可以是表示相对于地面的绝对方位的信息,或表示相对于基准目标的相对方位的信息。

例如,测定单元20可以基于gnss信号的接收结果测定位置信息。此外,测定单元20可以例如在使用诸如同步定位与建图(slam)的技术的情况下,基于拍摄图像来测定位置信息和方位信息。此外,测定单元20可以基于地磁的方向测定位置信息和方位信息。此外,测定单元20可以使用诸如行人航位推算(pdr)或惯性导航的技术来测定位置信息和方位信息。此外,测定单元20可以结合多个传感器信息和多种测定方法来测定位置信息或方位信息。

-传感器控制单元

传感器控制单元30控制包括在传感器组10内的多种传感器。具体地,传感器控制单元30基于表示测定信息的所需精度的信息来控制传感器组10,更具体地说,控制传感器组10内包括的各种传感器。

传感器控制单元30可以执行各种传感器控制。例如,传感器控制单元30可以控制各传感器的on/off(即,起动/停止)。传感器控制单元30停止不必要的传感器,从而能够抑制该传感器的功耗。此外,传感器控制单元30可以控制传感器的工作频率。传感器控制单元30提高和降低工作频率,从而能够精密调整测定精度和功耗。此外,传感器控制单元30可以控制传感器的精度。传感器控制单元30提高和降低传感器的精度,从而能够精密调整测定精度和功耗。传感器的精度控制可以例如通过控制提供给传感器的电力的量来执行。这么控制的细节诸如以什么频率和在什么精度下操作哪个传感器在以下也称为控制模式。

传感器控制单元30进一步地基于各传感器的特征来控制传感器组10使得在满足测定信息的所需精度的情况下抑制功耗。传感器控制单元30控制传感器组10使得在满足所需精度的情况下最小化功耗的总和。即,传感器控制单元30确定具有满足所需精度的最低功耗的控制模式。传感器的特征的示例包括功耗、方位测定精度的贡献、位置测定精度的贡献和可利用性。表1示出了传感器的特征的示例。

[表1]

表1.传感器的特征

此外,在上述表1中示出的示例中,传感器的特征可以包括传感器的精度。典型情况下,传感器的精度越高,测定单元20的测定精度就越高。传感器的特征可以预存,或根据情况更新。例如,各传感器的功耗可以实际上用电流传感器来测量。此外,对传感器的精度的估计可以根据外部因素诸如hmd100的移动的强度、无线电波接收状态、环境光的强度或拍摄图像中包括的特征点的数量而进行改变。此外,各传感器的精度可以通过与不同的传感器比较来进行测量。

这里,表示所需精度的信息可以包括绝对位置精度、绝对方位精度、相对位置精度或相对方位精度中的至少任一个。绝对位置精度表示绝对位置信息的所需精度。绝对方位精度表示绝对方位信息的所需精度。相对位置精度表示相对位置信息的所需精度。相对方位精度表示相对方位信息的所需精度。在表示所需精度的信息包括这些信息的情况下,传感器控制单元30基于这些信息控制传感器组10。

例如,在绝对位置精度是5m并且绝对方位精度是1°的情况下,传感器控制单元30起动惯性传感器11和gnss接收器13(双频),并且停止照相机。如上所述,传感器控制单元30根据所需精度确定控制模式,例如以多少频率在什么精度下操作哪个传感器。此外,传感器控制单元30可以根据实际上测定的测定结果是否满足所需精度来调整控制模式。这种控制能够使hmd100在满足所需精度的状态下抑制功耗。

此外,表示所需精度的信息可以包括各种信息。

例如,表示所需精度的信息可以包括对应于所需精度的索引。具体地,表示所需精度的信息可以包括例如高精度测定模式的索引或低精度测定模式的索引。在这种情况下,传感器控制单元30基于对应于该索引的绝对位置精度、绝对方位精度、相对位置精度和相对方位精度来控制传感器组10。

例如,表示所需精度的信息可以包括表示传感器的可利用性的信息。在这种情况下,传感器控制单元30控制传感器组10使得仅可利用的传感器工作。关于传感器的可利用性,例如认为照相机由于很难在晚上拍摄清晰的图像而不可利用。

例如,表示所需精度的信息可以包括表示设想动作的强度的信息。传感器控制单元30控制传感器组以便在假定主动移动(activemotion)的情况下停止具有错误较大的倾向的传感器(例如惯性传感器11)并且运行能够执行稳定的检测的传感器(例如gnss接收器13)。假定主动移动的应用的示例包括参考图5描述的网球的应用。

例如,表示所需精度的信息可以包括表示在相对测定信息(例如相对位置或相对方位)的测定中作为基准的对象的信息。例如,传感器控制单元针对作为基准对象的静止对象降低照相机的拍摄频率,而针对作为基准对象的可移动对象提高照相机的拍摄频率。

例如,表示所需精度的信息可以是表示控制模式的信息,例如在多少频率下以何种精度操作哪个传感器。在该情况下,传感器控制单元30根据表示控制模式的信息控制传感器组10。

例如,表示所需精度的信息可以与位置信息(例如,稍后在第二实施方式中描述的地理范围)相关联。在这种情况下,传感器控制单元30基于表示对应于传感器组10的位置的所需精度的信息来控制传感器组10。

.应用程序

hmd100能够运行各种应用程序40。应用程序40各自用传感器信息执行处理。更具体地说,应用程序40使用基于传感器信息生成的位置信息和方位信息。例如,应用程序40可以是使用位置信息和方位信息的情况下在显示单元121上显示的实空间中叠加和显示虚拟对象(即注解)的ar应用程序。

这里,所需精度可以针对各应用程序而不同。以下,参考图3至5,将描述针对各应用程序不同的所需精度的示例。

图3是根据本实施方式的hmd100显示的示例性画面的示图。如图3中所示,在画面200上,在实空间中的排队201上的头部以上叠加表示等待时间的注解202和表示有关商店的信息的注解203。对于该应用程序,虽然在接近hmd100的位置处叠加注解,但是可以在大致的位置处叠加注解。所以,例如,该应用程序所需要的精度为2m的绝对位置精度和20°的绝对方位精度。

图4是根据本实施方式的hmd100显示的示例性画面的示图。如图4中所示,在画面210上,远距离地叠加巨大怪物的注解211。对于该应用程序,可以在远离hmd100的位置处以及大致的位置处叠加注解,而希望该怪物的方位为了真实而准确地叠加。所以,对于该应用程序,例如,绝对位置精度为5m,绝对方位精度为1°。

图5是根据本实施方式的hmd100显示的示例性画面的示图。如图5中所示,在画面220上,网球运动员221和222在叠加了虚拟网球场的注解223的空间中打网球。对于该应用程序,希望虚拟网球场准确地叠加。所以,对于该应用程序,例如,相对位置精度为10cm,相对方位精度为1°。

此外,即使对于同一个应用程序,所需精度也可以根据情况而不同。以下,参考图6,针对用于支援用户生活的生活支援应用程序,将描述根据情况不同的示例性所需精度。

图6是根据本实施方式的hmd100显示的示例性画面的示图。如图6中所示,在画面230上,在位于远处的商店231上方叠加表示销售正在进行的注解232。在这样的情况下,可以在远离hmd100的位置和大致的位置处叠加注解。这样,所要求的绝对位置精度和绝对方位精度是低的。

在用户接近商店231的情况下显示画面240。在这样的情况下,靠近hmd100叠加注解。这样,与画面230的情况相比,要求较高的绝对位置精度和绝对方位精度。

在用户进入商店231的情况下显示画面250。在商店231内有商店工作人员233和货架234。然后,与商店工作人员233相关联地叠加表示来自商店工作人员233的信息注解235,并且与相应的产品相关联地叠加各自表示有关货架234上展示的产品的销售信息的注解236和237。在这样的情况下,希望注解的叠加位置和方位与相关联的实物的位置和方位之间的偏差尽可能地小。这样,要求高的相对位置精度和相对方位精度。

除此情况外,所需精度可以根据各种因素诸如遮蔽(occlusion)处理的必要性而变化。

以下,以例如所需精度根据情况而变化的生活支援应用程序为例,来描述本公开的实施方式。请注意,以下将省略与如上所述的基本配置类似的部分的描述。

<<2.第一实施方式>>

本实施方式是其中基于表示来自所要求的精度的信息而执行传感器控制的实施方式。以下,将参考图7至9描述本实施方式。

<2.1.概述>

图7是描述本实施方式的概观的示图。如图7中所示,在场景300中,穿戴hmd100的用户正在户外散步。然后,应用程序向用户提供路线引导。应用程序只须知道用户的大概的位置,以便错误容许范围301较宽且所需精度较低。其时,在场景310中,穿戴hmd100的用户正在室内购物。然后,应用程序通过例如叠加销售信息而支援购物的用户。应用程序要求精确的产品位置和精确的商店工作人员位置,以便错误容许范围311较窄并且所需精度较高。

这样,根据本实施方式的hmd100根据这种应用程序所需的精度来执行传感器控制。例如,hmd100在场景300中停止照相机并且在场景310中运行照相机。

<2.2.技术特征>

(1)示例性配置

图8是根据本实施方式的hmd100的示例性内部配置的方框图。如图8中所示,根据本实施方式的hmd100具有与图2中示出的基本配置的组成元件类似的组成元件,并且进一步具有针对从40到传感器控制单元30的信息的通知路径。

应用程序40根据处理的细节生成表示测定信息的所需精度的信息。例如,应用程序40可以是执行在实空间中叠加和显示虚拟对象(即,注解)的处理的ar应用程序。在这种情况下,应用程序40根据注解大小、叠加距离、叠加精度和遮蔽处理的必要性来生成表示所需精度的信息。例如,在注解较大、叠加距离较长、叠加精度较低、或遮蔽处理不需要的情况下,应用程序40生成表示较低所需精度的信息。此外,在注解较较小、叠加距离较短、叠加精度较高、或要执行遮蔽处理的情况下,应用程序40生成表示较高的所需精度的信息。

应用程序40向传感器控制单元30通知表示所需精度的信息。例如,应用程序40在各种时刻诸如起动、睡眠取消(例如,从不同的应用程序切换)、场景的切换或内容的切换时,发出关于表示所需精度的信息的通知。此外,应用程序40可以周期性地向传感器控制单元30通知表示所需精度的信息。请注意,应用程序40可以根据内容而改变所需精度。

传感器控制单元30获取从应用程序40通知的表示所需精度的信息。传感器控制单元30可以向应用程序40通知要求通知表示所需精度的信息,以使应用程序40发出关于表示所需精度的信息的通知。

然后,传感器控制单元30基于从应用程序40获取的表示所需精度的信息来控制传感器组10。例如,在所需精度较高的情况下,传感器控制单元30额外地起动高度精确的传感器或高功耗的传感器,或以高频率运行传感器。另一方面,在所需精度较低的情况下,传感器控制单元30额外地停止高度精确的传感器或高功耗的传感器,或以低频率运行传感器。

(2)处理流程

图9是根据该实施方式的由hmd执行的传感器控制处理的示例性流程的流程图。如图9中所示,hmd100起动要求位置信息和方位信息的应用程序(步骤s102)。接下来,起动的应用程序生成表示所需精度的信息(步骤s104)。接下来,hmd100基于表示所需精度的信息起动传感器(步骤s106)。接下来,hmd100获取由传感器检测的传感器信息(步骤s108)。接下来,hmd100根据传感器信息执行包括位置测定和方位测定的测定处理(步骤s110)。接下来,应用程序根据测定的结果执行处理(步骤s112)。接下来,hmd100确定测定结果是否满足所需精度(步骤s114)。在确定满足所需精度的情况下(步骤s114/是),hmd100停止或间歇地运行多余的传感器(步骤s116)。另一方面,在确定未满足所需精度的情况下(步骤s114/否),hmd100额外地起动传感器,或以高频率运行传感器(步骤s118)。其后,处理再次返回步骤s108。

<<3.第二实施方式>>

本实施方式是使用对应于位置信息的所需精度的实施方式。以下,将参考图10至12描述本实施方式。

<3.1.概述>

图10是描述本实施方式的概述的示图。如图10中所示,在场景320中,穿戴hmd100的用户正在开放公园中散步。然后,应用程序向用户提供路线引导。应用程序只须知道用户的大概位置,以便错误容许范围321较宽且所需精度较低。另一方面,在场景330中,穿戴hmd100的用户正在密集建筑区行走。然后,应用程序向用户提供路线引导。应用程序要求精确的用户位置用于建筑环境的路径引导,以便错误容许范围322较窄并且所需精度较高。

这里,在当前实施方式中,位置信息与表示所需精度的信息相关联。例如,设定低精度测定区域323作为与表示低的所需精度的信息相关联的地理范围,以及高精度测定区324作为与表示高的所需精度的信息相关联的地理范围。例如,在所需精度变得较低(如在场景320中)的区域被设定为低精度测定平地323,所需精度变得较高(如在场景330中)的区域被设定为高精度测定区域324。

hmd100用例如gnss信号或无线通信诸如ble或wi-fi测定位置信息,并且确定hmd100位于哪个区域。然后,在hmd100确定hmd100位于低精度测定区域323中的情况下,hmd100根据低的所需精度执行传感器控制。另一方面,在hmd100确定hmd100位于高精度测定区域324中的情况下,hmd100根据高的所需精度执行传感器控制。例如,在hmd100确定hmd100位于低精度测定区域323的情况下,hmd100停止照相机,并且在hmd100确定hmd100位于高精度测定区域324中的情况下运行照相机。在这种情况下,高精度测定区域324可以被认为是用于在on和off状态之间切换照相机的地理栅栏。

<3.2..技术特征>

(1)示例性配置

图11是根据本实施方式的hmd100的示例性内部配置的方框图。如图11中所示,根据本实施方式的hmd100具有与图2中示出的基本配置的组成元件类似的组成元件,并且进一步具有针对从测定单元20到传感器控制单元30的信息的通知路径。

测定单元20向传感器控制单元30通知位置信息。例如,测定单元20周期性地或非周期性地向传感器控制单元30通知位置信息。

传感器控制单元30获取从测定单元20通知的位置信息。传感器控制单元30可以向测定单元20通知要求通知位置信息以使测定单元20发出关于位置信息的通知。然后,传感器控制单元30基于从测定单元20获取的位置信息控制传感器组10。

关于其中地理范围与表示所需精度的信息相关联的信息,传感器控制单元30基于与从测定单元20获取的位置信息对应的表示所需精度的信息来控制传感器组10。精确地,在测定的位置信息包括在预设的地理范围中的情况下,传感器控制单元30基于表示对应于该地理范围的所需精度的信息来控制传感器。例如,在位置信息包括在低精度测定区域中的情况下,传感器控制单元30根据低的所需精度执行传感器控制。另一方面,在位置信息包括在高精度测定区域中的情况下,传感器控制单元30根据高的所需精度执行传感器控制。

其中地理范围与表示所需精度的信息相关联的信息可以由未示出的存储单元进行存储。做为选择,其中地理范围与表示所需精度的信息相关联的信息可以存储在外部装置例如服务器中,并且可以适当地传送到hmd100。

地理范围和表示所需精度的信息之间的关联性可以选择性地由应用程序的设计人来做出。此外,地理范围与表示所需精度的信息之间的关联性可以基于周围建筑物的密度来做出。

(2)处理流程

图12是根据本实施方式的hmd100执行的传感器控制处理的示例性流程的流程图。如图12中所示,首先,hmd100起动要求位置信息和方位信息的应用程序(步骤s202)。接下来,hmd100起动传感器(步骤s204)。接下来,hmd100获取由传感器检测的传感器信息(步骤s206)。接下来,hmd100根据传感器信息执行包括位置测定和方位测定的测定处理(步骤s208)。接下来,应用程序根据测定的结果执行处理(步骤s210)。接下来,hmd100确定当前位置是否在高精度测定区域内(步骤s212)。在hmd100确定了当前位置在高精度测定区域内的情况下(步骤s212/是),hmd100额外地起动传感器,或以高频率运行传感器(步骤s214)。另一方面,在hmd100确定了当前位置在高精度测定区域以外的情况下(步骤s212/否),hmd100停止或间歇地运行多余的传感器(步骤s216)。其后,处理再次返回至步骤s206。

<<4.第三实施方式>>

本实施方式是其中基于表示从应用程序要求的精度的信息和测定精度来执行传感器控制的实施方式。以下,将参考图13至15描述本实施方式。

<4.1.概述>

图13是描述本实施方式的概述的示图。如图13所示,穿戴hmd100的用户正在散步。然后,应用程序向用户提供路线引导。如第一实施方式所述,hmd100根据应用程序所需的精度执行传感器控制。此外,在本实施方式中,hmd100根据测定精度执行传感器控制。

hmd100能够从gnss卫星340接收gnss信号以测定位置信息。在gnss信号的接收强度较高的情况下,位置信息的测定精度较高,而在接收强度较低的情况下,位置信息的测定精度较低。例如,在gnss信号的接收强度较高的情况下,如图13所示,基于gns信号指定的位置信息的范围341比应用程序所要求的错误容许范围342要窄(范围越窄,测定精度越高,而范围越宽,测定精度越低)。结果,可以说尚有降低功耗的余地。

因而,在基于gnss信号的位置信息的测定精度高于应用程序所要求的精度的情况下,hmd100停止多余的传感器例如照相机或间歇地运行传感器。另一方面,在基于gnss信号的位置信息的测定精度低于应用程序所要求的精度的情况下,hmd100额外地起动传感器例如照相机或以高频率运行传感器。如上所述,hmd100可以通过除了应用程序所要求的精度以外也把测定精度考虑在内而执行更精细的传感器控制。

<4.2.技术特征>

(1)示例性配置

图14是根据本实施方式的hmd100的示例性内部配置的方框图。如图14所示,根据本实施方式的hmd100具有与图2所示的基本配置的组成元件相类似的组成元件,并且进一步地具有用于从应用程序40到传感器控制单元30的信息的通知路径,以及用于从测定单元20到传感器控制单元30的信息的通知路径。

如第一实施方式中所述,应用程序40生成表示所需精度的信息并且向传感器控制单元30通知该信息。

测定单元20向传感器控制单元30通知测定信息。例如,测定单元20周期地或非周期地向传感器控制单元30通知测定信息。此外,测定单元20可以向传感器控制单元30通知表示测定信息的精度的信息。表示测定信息的精度信息信息的示例可以认为包括表示gnss信号的接收强度的信息和表示移动强度的信息。

传感器控制单元30从应用程序40获取表示所需精度的信息。传感器控制单元30可以向应用程序40通知要求通知表示所需精度的信息,以使应用程序40发出关于表示所需精度的信息的通知。

传感器控制单元30获取从测定单元20通知的测定信息和表示精度的信息。传感器控制单元30可以向测定单元20通知要求通知这些信息,以使测定单元20发出关于这些信息的通知。

然后,传感器控制单元30基于从测定单元20获取的测定信息的精度以及从应用程序40获取的表示所需精度的信息来控制传感器组10。逐一地,在测定信息的测定精度超过(例如,远高于)应用程序需要的精度的情况下,传感器控制单元30可以停止多余的传感器或间歇地运行传感器。另一方面,在位置信息或方位信息的测定精度低于应用程序需要的精度的情况下,传感器控制单元30额外地起动传感器,或以高频率运行传感器。与仅使用表示应用程序所要求的精度的信息的情况相比,这种布置使得hmd100能够执行更精细的传感器控制并且可以进一步地抑制功耗。

请注意,可以使用阈值来确定测定精度是否过度。此外,传感器控制单元30可以在切换传感器的控制模式的同时执行反馈控制以便满足所需精度。

(2)处理流程

图15是根据本实施方式的hmd100执行的传感器控制处理的示例性流程的流程图。如图15中所示,首先,hmd100起动要求位置信息和方位信息的应用程序(步骤s302)。接下来,起动的应用程序生成表示所需精度的信息(步骤s304)。接下来,hmd100基于表示所需精度的信息起动传感器(步骤s306)。接下来,hmd100获取由传感器检测的传感器信息(步骤s308)。接下来,hmd100基于传感器信息执行包括位置测定于是方位测定的测定处理(步骤s310)。接下来,应用程序根据测定的结果执行处理(步骤s312)。接下来,hmd100确定测定的结果是否满足所需精度(步骤s314)。在确定满足所需精度的情况下(步骤s314/是),hmd100确定测定精度是否远高于所需精度(步骤s316)。在确定测定精度过高的情况下(步骤s316/是),hmd100停止或间歇地运行多余的传感器(步骤s318)。其后,处理再次返回至步骤s308。另一方面,在确定测定精度没有过高的情况下,处理再次返回至步骤s308。此外,在步骤s314中确定未满足所需精度的情况下(步骤s314/否),hmd100额外地起动传感器,或以高频率运行传感器(步骤s320)。其后,处理再次返回至步骤s308。

<<5.补充>>

除如上所述的方法之外,可以考虑不同的传感器控制方法。

hmd100可以基于方位信息区分gnss次序和照相机优先级,以切换要运行的传感器。例如,在拍摄天空的图像的情况下hmd100运行gnss接收器13,因为用户正在看向天空,而在拍摄具有特征点的图像的情况下,运行照相机14,因为用户正在看向地面。

hmd100可以基于位置信息区分gnss次序和照相机优先级,以切换要运行的传感器。例如,hmd100在市中心区运行照相机14,而在公园运行gnss接收器13。

hmd100可以基于定位测定精度切换要运行的传感器。例如,hmd100在定位测定精度高的情况下运行对定位测定贡献大的传感器。此种传感器的示例包括接收用于获得gnss信号间的时间差分的双频gnss信号的gnss接收器、用于视觉测距的立体摄像机和地磁传感器。

hmd100可以基于位置测定精度切换要运行的传感器。例如,hmd100在位置测定精度高的情况下运行对位置精度贡献大的传感器。此种传感器的示例包括用于地图匹配的gnss接收器。

hmd100在充电容易的地方(例如用户家中)可以运行所有的传感器,而在充电困难的地方(例如户外)可以停止高功耗的传感器。

hmd100可以基于与传感器相关联的剩余电池容量来控制传感器。例如,在传感器分别包括在多个设备中的情况下,hmd100优先运行剩余电池容量大的设备的传感器,而停止剩余电池容量小的设备的传感器。此外,例如,在hmd100具有其自身的剩余容量小的电池的情况下,hmd100停止hmd100自身的传感器并且优先地运行不同设备的传感器。用这种方式,hmd100能够实现相关联的设备组之间功耗的最优化。

hmd100可以在黑暗或非常明亮的周围环境下停止照相机。

hmd100可以在hmd100其自身或应用程序处于节能模式的情况下降低要运行的传感器的数量。

除传感器的on/off之外,hmd100可以通过例如用近似算法对算术运算处理进行量化而抑制功耗。

除传感器的on/off之外,hmd100可以通过例如通过网络通信停止测定结果的校正而抑制功耗。

hmd100可以将传感器的功耗列表呈现给用户,并且可以基于用户输入执行传感器控制。用户可以指定例如传感器的on/off,或可以设置与场所相关的传感器的on/off。

对于低温,hmd100可以以大的功耗运行传感器以发热。

<<6.示例性硬件配置>>

最后,将参考图16描述根据本实施方式的信息处理装置的硬件配置。图16是根据本实施方式的信息处理装置的示例性硬件配置的方框图。请注意,图16中示出的信息处理装置可以实现例如图1和2中示出的信息处理装置100。根据本实施方式的信息处理装置100的信息处理通过如下所述的软件和硬件的协作而实现。

如图16中所示,信息处理装置900包括中央处理器(cpu)901、只读存储器(rom)902、随机存取存储器(ram)903和主机总线904a。此外,信息处理装置900包括桥接器904、外部总线904b、接口905、、输入设备906、输出装置907、存储设备908、驱动器909、连接端口911和通信设备913。代替cpu901或除cpu901之外,信息处理装置900可以具有处理电路例如电路、数字信号处理器(dsp)或专用集成电路(asic)。

cpu901起到算术运算处理设备和控制设备的作用,并且根据各种程序控制信息处理装置900中的整体操作。此外,cpu901可以是微处理器。rom902存储例如cpu901所使用的程序和运算参数。ram903临时地存储例如将用于cpu901执行的程序,以及在执行中适当地变化的参数。cpu901可以作为例如图2中示出的测定单元20、传感器控制单元30和应用程序40来运行。

cpu901、rom902和ram903通过包括cpu总线等的主机总线904a而相互连接。主机总线904a通过桥接器904连接至外部总线904b,例如外设部件互连/接口(pci)总线。请注意,主机总线904a、桥接器904和外部总线904b不一定分离,这些功能可以在一个总线上实施。

例如,输入设备906通过设备例如鼠标器、键盘、触板、按钮、麦克风、开关和手柄来实现,用户通过该设备输入信息。此外,输入设备906可以是例如利用红外线或其他无线电波的遥控设备,或可以是响应于信息处理装置900的操作的外接设备例如移动式电话或个人数字助理(pda)。此外,例如,输入设备906可以基于用户用上述输入设备进行的输入生成输入信号,并且可以包括将输入信号输出至cpu901的输入控制电路等。信息处理装置900的用户运行输入设备906,由此用户可以将各种类型的数据输入至信息处理装置900并且指示信息处理装置900进行处理操作。

此外,输入设备906可以包括感测与用户有关的信息的设备。例如,输入设备906可以包括各种传感器例如图像传感器(例如照相机)、深度传感器(例如立体摄像机)、加速度计、陀螺传感器、地磁传感器、光传感器、声音传感器、距离传感器和力传感器。此外,输入设备906可以获取有关信息处理装置900本身的状态的信息(例如信息处理装置900的方位和移动速度)以及有关信息处理装置900的周围环境的信息(例如信息处理装置900的周围的亮度和噪音)。此外,例如,输入设备906包括从全球导航卫星系统(gnss)卫星接收gnss信号(例如来自全球定位系统(gps)卫星的gps信号)的gnss模块,以测定包括设备的纬度、经度和高度的定位信息。此外,关于位置信息,输入设备906可以是通过用例如wi-fi(注册商标)、移动式电话、个人手持机系统(phs)或智能手机或短距离通信等等进行传输和接收来感测位置的设备。输入设备906可以包括例如图1中示出的内置照相机111外置照相机112以及图2中示出的传感器组10。

输出装置907可以包括在视觉上或听觉上通知用户所获得的信息的设备。此种设备的示例包括显示设备例如阴极射线管(crt)显示设备、液晶显示器、等离子体显示设备、电致发光(el)显示设备、激光投影器、发光二极管(led)投影器和灯;声输出设备例如扬声器于是头戴耳机;以及打印机设备。输出装置907输出例如通过由信息处理装置900执行的各种处理所获得的结果。具体地、显示设备以各种格式例如文字、图像、表格和图表在视觉上显示通过由信息处理装置900执行的各种处理而获得的结果。同时,声音输出设备将包括例如再现的声音数据和再现的声学数据的声频信号转换为模拟信号,并且在听觉上输出合成信号。输出设备907可以包括例如图1中示出的显示单元121。

存储设备908充当储存数据的设备,存储设备908作为示例性存储单元包括在信息处理装置900中。存储设备908通过例如磁存储单元设备例如硬盘驱动器(hdd)、半导体存储设备、光存储设备或磁光存储设备来实现。存储设备908可以包括存储介质、在存储介质中记录数据的记录设备、从存储介质读出数据的读出设备和将存储介质中记录的数据删除的删除设备。存储设备908存储例如由cpu901执行的程序、各种数据和各种外部获取的数据。

驱动器909充当存储介质的读出器/写入器,并且嵌入信息处理装置900或外部附接至信息处理装置900。驱动器909读取可移动存储介质例如附装的磁盘、光盘、磁光盘或半导体存储器中记录的信息,并且将信息输出至ram903。此外,驱动器909还可以将信息写入可移动存储介质。

连接端口911充当连接到外部装置的接口,并且充当能够用例如通用串行总线(usb)传输数据的与外部装置的连接端口。

耦合设备913充当例如包括例如用于连接至网络920的通信设备的通信接口。通信设备913的示例包括用于有线或无线局域网(lan)、长期演进(lte)、bluetooth(注册商标)或无线usb(wusb)的通信卡。此外,通信设备913可以是例如光通信的路由器、异步数字用户线(adsl)的路由器或各种通信的调制解调器。例如,通信设备913能够按照预定协议例如tcp/ip与网际或不同的通信设备进行信号传输和接收等等。通信设备913可以包括图2中示出的传感器组10中包括的传感器之一。

请注意,网络920充当用于从连接到网络920的设备传输的信息的有线或无线传输通道。例如,网络920可以包括公共网络例如网间、电话网或卫星通信网;包括以太网(注册商标)的各种局域网;或各种广域网(wan)。此外,网络920可以包括专用线网络例如网际协议虚拟专用网络(ip-vpn)。

在上文,已经指出了可以完成根据本实施方式的信息处理装置900的功能的示例性硬件配置。如上所述的组成元件的每一个可以通过包括通用构件来实现,或通过专用于组成元件的各自功能的硬件来实现。因而,要使用的硬件配置适当地根据执行本实施方式时的技术水平而可变。

请注意,用于实现如上所述根据本实施方式的信息处理装置900各功能的计算机程序可以在pc等上进行创建和实施。此外,可以设置其内存储有此类计算机程序的电脑可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪速存储器。此外,上述计算机程序可以通过例如网络来散播,而不使用记录介质。

<<7.结论>>

在上文,已经参考图1至16具体描述了本公开的每个实施方式。如上所述,根据实施方式的信息处理装置100基于传感器的检测结果从使用测定信息的应用程序获取表示测定信息的所需精度的信息,并且基于表示所需精度的信息控制传感器。信息处理装置100能够根据所需精度进行传感器控制。因而,信息处理装置100控制传感器以降低用于过度的测定精度的功耗,并且信息处理装置100控制传感器用于不足的测定精度,从而使得可以满足所需精度。结果,例如,关于在hmd中运行的ar应用程序,关掉具有大功耗的传感器用于可容许的所需精度,从而使得可以延长连续可用时间。

已经参考附图具体描述了本公开的优先实施方式;然而本技术的技术范围不限于这些示例。显而易见,本公开的本领域技术人员可以在权利要求书描述的技术概念的范围内想出各种变换示例,并且自然地应该理解,这种变换示例或变型示例属于本公开的技术范围。

例如,虽然在上述实施方式中描述了测定位置信息和方位信息的情况的示例;然而本技术不限于这些示例。例如,本技术可以应用于基于传感器信息的各种测定处理中,例如图像识别处理、声音识别处理、速度测定处理和环境信息测定处理。信息处理装置100能够针对任何测定处理而根据测定信息的精度进行传感器控制。

此外,可以适当地结合上述实施方式。例如,可以结合第一实施方式和第二实施方式。在该情况下,信息处理装置100基于表示对应于预定地理范围中的地理范围的所需精度的信息来控制传感器,并且基于从应用程序获取的表示所需精度的信息来控制地理范围外部的传感器。此外,可以结合第二实施方式和第三实施方式。在这种情况下,信息处理装置100基于表示对应于预定地理范围中的地理范围的所需精度的信息来控制传感器,并且基于从应用程序获取的表示所需精度的信息和测定信息的精度来控制地理范围外部的传感器。

此外,在本说明书中参考流程图描述的处理不一定按照所示的顺序来执行。一些处理步骤可以并列执行。此外,可以使用额外的处理步骤,并且可以省略一些处理步骤。

此外,本说明书中描述的效果仅仅是说明性的或示例性的,而不是限制性的。也就是说,与上述效果一起或代替上述效果,根据本公开的技术可以展示对于本领域技术人员根据本说明书的描述显而易见的效果。

请注意,下列配置也属于本公开的技术范围。

(1)一种信息处理装置,其包含:

控制单元,其配置为基于传感器的检测结果从使用测定信息的应用获取表示所述测定信息的所需精度的信息,并且基于表示所述所需精度的信息控制所述传感器。

(2)根据(1)所述的信息处理装置,其中所述控制单元进一步地基于所述传感器的功耗控制所述传感器。

(3)根据(2)所述的信息处理装置,其中所述控制单元控制所述传感器,使得所述功耗的总和在满足所述所需精度的情况下最小化。

(4)根据(2)或(3)所述的信息处理装置,其中所述控制单元基于与所述传感器相关的剩余电池容量控制所述传感器。

(5)根据(1)至(4)中任一项所述的信息处理装置,其中所述控制单元控制所述传感器的起动/停止、所述传感器的操作频率或所述传感器的精度中的至少任一个。

(6)根据(1)至(5)中任一项所述的信息处理装置,其中所述测定信息包括位置信息或方位信息中的至少任一个。

(7)根据(6)所述的信息处理装置,其中表示所述所需精度的信息包括绝对位置信息的所需精度、绝对方位信息的所需精度、相对位置信息的所需精度或相对方位信息的所需精度中的至少任一个。

(8)根据(1)至(7)中任一项所述的信息处理装置,其中表示所述所需精度的信息包括对应于所述所需精度的索引。

(9)根据(1)至(8)中任一项所述的信息处理装置,其中表示所述所需精度的信息包括表示所述传感器的可利用性的信息。

(10)根据(1)至(9)中任一项所述的信息处理装置,其中表示所述所需精度的信息包括表示设想动作的强度的信息。

(11)根据(1)至(10)中任一项所述的信息处理装置,其中表示所述所需精度的信息包括表示在所述测定信息的测定中作为相对的基准的物体的信息。

(12)根据(1)至(11)中任一项所述的信息处理装置,其中在所测定的位置信息包括在预设地理范围内的情况下,所述控制单元基于表示对应于所述地理范围的所述所需精度的信息控制所述传感器。

(13)根据(1)至(12)中任一项所述的信息处理装置,其中所述控制单元基于所述测定信息的精度和表示所述所需精度的信息控制所述传感器。

(14)一种信息处理装置,其包含:

控制单元,其配置为根据传感器的检测结果执行使用测定信息的处理,并且按照所述处理的细节生成表示所述测定信息的所需精度的信息。

(15)根据(14)所述的信息处理装置,其中所述控制单执行在实空间中叠加和显示虚拟对象的处理,并且按照所述虚拟对象的尺寸、叠加距离、叠加精度和遮蔽处理的必要性来生成表示所述所需精度的信息。

(16)一种信息处理方法,其由处理器执行,所述方法包括以下步骤:

基于传感器的检测结果从使用测定信息的应用获取表示所述测定信息的所需精度的信息;和基于表示所述所需精度的信息控制所述传感器。

(17)一种信息处理方法,其由处理器执行,所述方法包括以下步骤:

根据传感器的检测结果执行使用测定信息的处理;和按照所述处理的细节生成表示所述测定信息的所需精度的信息。

(18)一种记录介质,其包括所记录的程序,所述程序使计算机起到以下单元的作用:

控制单元,其基于传感器的检测结果从使用测定信息的应用获取表示所述测定信息的所需精度的信息,和基于表示所述所需精度的信息控制所述传感器。

(19)一种记录介质,其包括所记录的程序,所述程序使计算机起到以下单元的作用:

控制单元,其配置为根据传感器的检测结果执行使用测定信息的处理,并且按照所述处理的细节生成表示所述测定信息的所需精度的信息。

参考符号列表

10传感器组

11惯性传感器

12地磁传感器

13gnss接收器

14照相机

20测定单元

21定位单元

22方位测定单元

30传感器控制基因

40应用程序

100信息处理装置,hmd

111内置照相机

112外置照相机

121显示单元。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1