对物联网装置的增强现实控制的制作方法
本公开大致涉及使用远程装置来控制装置。更具体地，本公开涉及用于在远程装置上呈现增强现实显示以控制装置的方法和设备。
背景技术：
作为人类在其中生成和消费信息的以人类为中心的连接性网络的互联网现在正演变成物联网(iot)，其中诸如事物等分布式实体在没有人类干预的情况下交换和处理信息。已经出现作为通过与云服务器连接的iot技术与大数据处理技术的组合的万物联网(ioe)。由于iot实施需要诸如“感测技术”、“有线/无线通信和网络基础设施”、“服务接口技术”和“安全技术”等技术元素，因此，最近研究了传感器网络、机对机(m2m)通信、机器类型通信(mtc)等。
此类iot环境可以提供智能互联网技术服务，所述服务通过收集和分析在连接的事物之中生成的数据来创造新价值。iot可以通过现有信息技术(it)与各种工业应用之间的衔接和组合来应用于多个领域，包括智能家居、智能楼宇、智能城市、智能汽车或联网汽车、智能电网、健康护理、智能家电和高级医疗服务。在iot环境中控制iot装置可能不是用户友好的。例如，用户可能难以在iot环境中辨识iot装置，难以连接到iot装置，以及难以控制iot装置。
技术实现要素：
技术问题
本公开涉及传感器网络、机器类型通信(mtc)、机对机(m2m)通信以及用于物联网(iot)的技术。本公开可以应用于基于以上技术的智能服务，诸如智能家居、智能建筑、智能城市、智能汽车、联网汽车、医疗保健、数字教育、智能零售、安全和安全服务。
问题的解决方案
在第一实施例中，显示器、收发器和处理器。处理器被配置成经由收发器检测可由电子装置控制的装置。处理器还被配置成基于接收到的关于装置的信息生成与装置相关联的用户接口(ui)以供在显示器上显示。处理器检测ui上的输入，并且基于检测到的输入经由收发器将信号发射到装置以控制装置。
在第二实施例中，一种装置包括存储器，该存储器被配置成存储用于控制装置的应用程序。装置还包括收发器，该收发器被配置成：在装置的信标被检测到之后从电子装置接收第一信号；响应于第一信号的接收将关于应用程序的信息发射到电子装置；以及从电子装置接收第二信号。装置还包括处理器，该处理器被配置成基于第二信号来控制装置的至少一个功能。
在第三实施例中，一种用于操作电子装置以控制装置的方法包括检测可由电子装置控制的装置。该方法还包括：基于接收到的关于装置的信息生成与装置相关联的用户接口(ui)以供在电子装置上显示；检测ui上的输入；以及基于检测到的输入将信号发射到装置以控制装置。
本领域技术人员可以从随附的附图、描述和权利要求书容易明白其他技术特征。
在做出以下具体实施方式之前，陈述贯穿本专利文献使用的某些词语和短语的定义可是有利的。术语“联接”及其派生词是指两个或更多个元件之间的任何直接或间接的通信，不管这些元件是否彼此物理接触。术语“发射”、“接收”和“传达”以及其派生词涵盖直接和间接通信两者。术语“包括”和“包含”以及其派生词意指包括但不限于。术语“或”为包括性的，意指和/或。短语“与......相关联”以及其派生词意指包括、包括在......内、与......互连、含有、被含在......内、连接到或与......连接、联接到或与......联接、可与......通信、与......协作、交错、并置、接近于、绑定到或与......绑定、具有、具有......的性质、与......具有关系或具有与......的关系等等。术语“控制器”意指控制至少一个操作的任何装置、系统或其部分。此类控制器可以用硬件或硬件与软件的组合和/或固件来实施。与任何具体控制器相关联的功能性可以为集中式或分布式的，无论本地还是远程。短语“......中的至少一者”在与项目列表一起使用时意指可以使用所列举的项目中的一者或多者的不同组合，并且可能需要所述列表中的仅一个项目。例如，“a、b和c中的至少一者”包括以下组合中的任一者：a、b、c、a和b、a和c、b和c、以及a、b和c。
此外，下文所描述的各种功能可以由一个或多个计算机程序实施或支持，所述计算机程序中的每一者从计算机可读程序代码形成并且在计算机可读介质中体现。术语“应用程序”和“程序”是指适于以合适的计算机可读程序代码实施的一个或多个计算机程序、软件部件、指令集、程序、函数、对象、类、实例、相关数据或其一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机存取的任何类型的介质，诸如只读存储器(rom)、随机存取存储器(ram)、硬盘驱动器、压缩光盘(cd)、数字视频光盘(dvd)或任何其他类型的存储器。“非暂态”计算机可读介质排除传输暂时电信号或其他信号的有线、无线、光学或其他通信链路。非暂态计算机可读介质包括可以永久地存储数据的介质以及可以存储并且稍后重写数据的介质，诸如可再写光盘或可擦除存储器装置。
在本专利文献中通篇提供对其他某些词语和短语的定义。本领域普通技术人员应理解，在许多(如果不是最多)实例中，此类定义适用于此类所定义的词语和短语的先前以及未来使用。
附图说明
为了更完整地理解本公开及其优点，现在参考结合附图的以下描述，在附图中：
图1说明了根据本公开的示例计算系统；
图2说明了根据本公开的计算系统中的示例装置；
图3说明了根据本公开的示例电子装置；
图4a说明了根据本发明的头戴式显示器(hmd)的立体图；
图4b说明了根据本公开的hmd中所示的示例视图；
图4c说明了根据本公开的示例系统图；以及
图5说明了根据本公开的用于使用hmd来控制iot装置的方法的流程图。
具体实施方式
下文讨论的图1至图5以及用于在本专利文献中描述本公开的原理的各种实施例仅仅是说明性的，而不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的装置或系统中实施。
图1说明了根据本公开的示例计算系统100。图1中所示的计算系统100的实施例仅用于说明。在不脱离本公开的范围的情况下，可以使用计算系统100的其他实施例。
如图1中所示，系统100包括网络102，该网络促进系统100中的各种部件之间的通信。例如，网络102可以在网络地址之间传达互联网协议(ip)分组、帧中继帧、异步传输模式(atm)信元或其他信息。网络102可以包括一个或多个局域网(lan)、城域网(man)、广域网(wan)、全球网络(诸如，互联网)的全部或一部分、或者一个或多个位置处的(一个或多个)任何其他通信系统。
网络102促进电子装置104与各种物联网(iot)装置106至114之间的通信。电子装置104可以是例如智能电话、可穿戴装置、头戴式显示器(hmd)或电视。每个电子装置104包括可以为一个或多个客户端装置提供计算服务的任何合适的计算或处理装置。每个电子装置104可以例如包括一个或多个处理装置、存储指令和数据的一个或多个存储器、以及促进通过网络102进行通信的一个或多个网络接口。
每个iot装置106至114表示通过网络102与至少一个电子装置或(一个或多个)其他计算装置交互的任何合适的计算或处理装置。在该示例中，iot装置106至114可以包括电子装置，根据本公开的各种实施例，该电子装置可以包括以下各项中的至少一者：例如，智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器(电子书(e-book)阅读器)、台式pc、膝上型pc、上网本电脑、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、mpeg-1音频第3层(mp3)播放器、移动医疗装置、相机或可穿戴装置。根据各种实施例，可穿戴装置可包括以下各项中的至少一者：配饰类型(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜或头戴式装置(hmd))、织物或衣服集成类型(例如，电子服装)、装在身上类型(例如，皮肤垫或纹身)和生物可植入类型(例如，可植入电路)。
根据一些实施例，iot装置106至114可以是家用电器。家用电器可以包括以下各项中的至少一者：例如，电视、数字视频光盘(dvd)播放器、音频、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、干衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，samsunghomesynctm、apple
根据另一个实施例，iot装置106至114可以包括以下各项中的至少一者：各种医疗装置(例如，各种便携式医疗测量装置(血糖监测装置、心率监测装置、血压测量装置、体温测量装置等)、磁共振血管造影(mra)、磁共振成像(mri)、计算机断层扫描(ct)机和超声机)、导航装置、全球定位系统(gps)接收器、事件数据记录器(edr)、飞行数据记录器(fdr)、车载信息娱乐装置、船舶电子装置(例如，船舶导航装置和陀螺罗盘)、航空电子设备、安全装置、汽车头部单元(automotiveheadunit)、家庭或工业机器人、银行里的自动柜员机(atm)、商店里的销售点(pos)、或者物联网装置(例如，灯泡、电表或煤气表、喷水器装置、火警警报器、恒温器、路灯、面包机、健身器材、热水水箱、加热器、锅炉等)。
根据一些实施例，iot装置106至114可以包括以下各项中的至少一者：家具或建筑/结构的一部分、电子板、电子签名接收装置、投影仪以及各种类型的测量仪器(例如，水表、电表、煤气表、以及无线电波表)。在各种实施例中，电子装置可以是前述各种装置中的一者或多者的组合。根据一些实施例，电子装置还可以是柔性装置。此外，根据本公开的实施例的电子装置并不限于前述装置，并且可以包括根据技术的发展的新电子装置。
在该示例中，一些iot装置108至114与网络102间接地通信。例如，iot装置108至110经由一个或多个基站116进行通信，诸如蜂窝基站或enodeb。而且，iot装置112至114经由一个或多个无线接入点118(诸如，ieee802.11无线接入点)进行通信。另外，iot装置108至114可以使用
如下文更详细描述的，电子装置104向用户呈现增强的显示以便控制iot装置106至114中的一者或多者。
虽然图1说明了计算系统100的一个示例，但可以对图1做出各种改变。例如，系统100可以包括呈任何合适布置的任何数量的每个部件。一般来说，计算和通信系统呈广泛多种配置，并且图1不将本公开的范围限于任何特定配置。尽管图1说明了可以使用本专利文献中公开的各种特征的一个操作环境，但是这些特征可以用于任何其他合适的系统中。
图2和图3说明了根据本公开的计算系统中的示例装置。特别地，
图2说明了示例iot装置200，并且图3说明了示例电子装置300。iot装置200可以表示图1中的iot装置104至114，并且电子装置300可以表示图1中的电子装置104。
如图2中所示，iot装置200包括总线系统205，该总线系统支持至少一个处理器210、至少一个存储装置215和至少一个通信单元220之间的通信。
处理器210执行可以加载到存储器230中的指令。处理器210可以包括呈任何合适布置的任何合适数量和类型的处理器或其他装置。处理器210的示例类型包括微处理器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和分立电路。
存储器230和永久性存储装置235是表示能够存储信息和促进信息检索(诸如，在暂时或永久的基础上的数据、程序代码和/或其他合适的信息)的任何结构的存储装置215的示例。存储器230可以表示随机存取存储器或(一个或多个)任何其他合适的易失性或非易失性存储装置。永久性存储装置235可以含有支持长期存储数据的一个或多个部件或装置，诸如只读存储器、硬盘驱动器、快闪存储器或光盘。存储器230在其上存储用于控制iot装置200的一个或多个功能的应用程序。
通信单元220支持与其他系统或装置的通信。例如，通信单元220可以包括促进通过网络102的通信的网络接口卡或无线收发器。通信单元220可以支持通过(一个或多个)任何合适的物理或无线通信链路的通信。
在一些实施例中，iot装置200可以包括i/o单元225，该i/o单元允许输入和输出数据。例如，i/o单元225可以通过键盘、鼠标、小键盘、触摸屏或其他合适的输入装置提供用于用户输入的连接。i/o单元225还可以将输出发送到显示器、打印机或其他合适的输出装置。
信标240向另一个装置(诸如，ue300)提供iot装置200存在的指示。信标可以包括射频识别(rfid)装置、红外信标发射装置、
如下文更详细描述的，iot装置200可以由电子装置300控制以执行一个或多个功能。iot装置200可以在第一通信会话期间将与iot装置200相关联的应用程序或其他数据发射到电子装置300。此后，在检测到iot装置200时，当用户期望控制iot装置200时，电子装置300可以执行先前发射的应用程序。
iot装置200可以是可由电子装置300在三维(3d)空间中跟踪的。iot装置200可以使用信标240来通告其存在。当被电子装置300发现时，iot装置200还提供与iot装置200相关联的软件，并且可以将iot装置200的虚拟控制面板和/或相关联的数据格式发射到电子装置300。数据可以经由
在iot装置200附近内的任何用户都可以配置iot装置200。在一些实施例中，将仅允许已注册的电子装置300访问iot装置200的控制功能。可以对iot装置200和电子装置300之间的通信进行加密。iot装置200的固件可以由电子装置300来更新。
虽然图2说明了iot装置200的一个示例，但可以对图2做出各种改变。例如，iot装置200可以包括图2中所示的任何数量的每个部件。
图3说明了根据本公开的示例电子装置300。图3中所说明的电子装置300的实施例仅用于说明目的，并且图1的电子装置104可以具有相同或类似的配置。然而，电子装置呈广泛多种配置，并且图3不将本公开的范围限于电子装置的任何特定实施方式。在本公开的一个或多个实施例中，电子装置300可以由电视或hmd代替。
如图3中所示，电子装置300包括通信单元310。通信单元310可以包括例如rf收发器、蓝牙收发器或wifi收发器。移动装置300还可以包括发射(tx)处理电路315、麦克风320和接收(rx)处理电路325。ue300还包括扬声器330、处理器340、输入/输出(i/o)接口(if)345、输入端350、显示器355和存储器360。存储器360包括操作系统(os)程序361以及一个或多个应用程序362。
“通信单元310”可以接收传入的rf信号，诸如例如蓝牙信号或wifi信号。“通信单元310”可以对传入的rf信号进行下变频转换，以生成中频(if)或基带信号。if或基带信号被发送到rx处理电路325，该rx处理电路通过对基带或if信号进行滤波、解码和/或数字化来生成经处理的基带信号。rx处理电路325将经处理的基带信号发射到扬声器330(诸如，针对语音数据)或发射到处理器340以进行进一步处理(诸如，针对网络浏览数据)。
tx处理电路315接收来自麦克风320的模拟或数字语音数据或者来自处理器340的其他传出的基带数据(诸如，网络数据、电子邮件或交互式视频游戏数据)。tx处理电路315对传出的基带数据进行编码、多路复用和/或数字化，以生成经处理的基带或if信号。通信单元310接收来自tx处理电路315的传出的经处理的基带或if信号，并将所述基带或if信号上变频转换为经由天线305发射的rf信号。
处理器340可以包括一个或多个处理器或其他处理装置，并且执行存储在存储器360中的基本os程序361以便控制电子装置300的总体操作。例如，处理器340可以根据众所周知的原理控制通信单元310、rx处理电路325和tx处理电路315的前向信道信号接收和反向信道信号发射。在一些实施例中，处理器340包括至少一个微处理器或微控制器。
处理器340还能够执行驻留在存储器360中的其他进程和程序。处理器340可以根据执行进程的需要而将数据移进或移出存储器360。在一些实施例中，处理器340被配置成基于os程序361或响应于从enb或操作者接收到的信号来执行应用程序362。处理器340还联接到i/o接口345，该i/o接口向ue300提供连接到其他装置(诸如，膝上型计算机和手持式计算机)的能力。i/o接口345是这些附件与处理器340之间的通信路径。
处理器340还联接到输入端350和显示器355。电子装置300的操作者可以使用输入端350(例如，小键盘、触摸屏、按钮等)将数据输入到电子装置300中。显示器355可以是液晶显示器、发光二极管(led)显示器、光学led(oled)、有源矩阵oled(amoled)、透明或不透明显示器(诸如，一对增强现实眼镜上的一个或多个镜片，其中一个或多个图像可以投射到所述镜片上或者使用所述镜片显示)、或者能够渲染文本和/或至少有限图形(诸如，来自网站)的其他显示器。在一个实施例中，输入端350是触摸屏。触摸屏可以包括触摸面板、(数字)笔传感器、键或超声输入装置。触摸屏可以辨识例如电容方案、压敏方案、红外方案或超声方案之中的至少一种方案中的触摸输入。触摸屏还可以包括控制电路。在电容方案中，触摸屏可以辨识触摸或接近度。
存储器360联接到处理器340。存储器360的一部分可以包括随机存取存储器(ram)，并且存储器360的另一个部分可以包括快闪存储器或其他只读存储器(rom)。
电子装置300还可以包括一个或多个传感器370，所述传感器可以计量物理量或检测电子装置300的激活状态，并且将经计量或检测到的信息转换为电信号。例如，传感器370可以包括用于触摸输入的一个或多个按钮(例如，在耳机或电子装置300上)、一个或多个相机380、姿势传感器、眼睛跟踪传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、握持传感器、接近传感器、颜色传感器(例如，红绿蓝(rgb)传感器)、生物物理传感器、温度/湿度传感器、照明传感器、紫外(uv)传感器、肌电图(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器、ir传感器、超声波传感器、虹膜传感器、指纹传感器等。(一个或多个)传感器370还可以包括用于控制其中所包括的传感器中的至少一者的控制电路。如下文将更详细讨论的，这些传感器370中的一者或多者可以用于控制ui、检测ui输入、确定用户的定向和面向方向以进行3d内容显示识别等。这些传感器370中的任何一个可以位于电子装置300内，位于被配置成保持电子装置300的耳机内，或者位于耳机和电子装置300两者内(例如，在电子装置300包括耳机的实施例中)。
电子装置300还可以包括一个或多个相机380。相机380可以是红绿蓝(rgb)相机或红外相机。如下文将讨论的，相机380可以用于跟踪一个或多个iot装置、跟踪用户的眼睛以执行功能、或者跟踪手部和/或手指姿势。为了跟踪用户的眼睛，相机380可以相对于电子装置300面向内部以捕获用户头部的一部分。为了跟踪一个或多个iot装置或手部和/或手指姿势，相机380可以相对于电子装置300面向外部。
电子装置300使用计算机视觉(cv)和/或信标240和相机380在3d物理空间中定位和跟踪iot装置200。电子装置300在表示iot装置200的增强现实(ar)空间中创建3d模型，因此如果需要，该3d模型可以附接到附加的虚拟内容。电子装置300还跟踪与iot装置虚拟控制面板(图4b)相关联的所有用户输入，处理这些输入，并且实时更新电子装置300的视图。
虽然图3说明了电子装置300的一个示例，但可以对图3做出各种改变。例如，图3中的各种部件可以被组合、进一步细分或者省略，并且可以根据特定需要添加附加的部件。作为特定示例，处理器340可以被划分成多个处理器，诸如一个或多个中央处理单元(cpu)以及一个或多个图形处理单元(gpu)。
图4a说明了说明根据本公开的实施例的hmd400的立体图，该hmd可以包括电子装置401和电子装置402。hmd400说明了可以与本公开的实施例一起使用的电子装置300的一个示例。在其他实施例中，电子装置300可以是一对增强现实眼镜或具有集成的显示器和部件的hmd。
电子装置401可以包括显示器。电子装置401可以存储虚拟现实应用程序。例如，电子装置401可以是电子装置300，并且包括电子装置300的所有特征，诸如传感器370以及面向内部和外部的相机380。虚拟现实应用程序可以是可以向用户提供类似于实际现实的显示的应用程序。根据实施例，虚拟现实应用程序可以基于立体方案来显示与用户的每个眼睛对应的左眼图像和右眼图像。
电子装置402可以是头戴式影院(hmt)装置。即使用户移动，hmt装置也可以安装在用户头部上并固定到用户头部。此外，hmt装置还可以固定电子装置401，以及因此用户可以观看在电子装置401上显示的图像。
根据实施例的电子装置402可以包括：壳体450，其被提供为佩戴在用户头部上；遮光部分430，其固定到壳体并提供在与用户眼睛的位置对应的区域处；以及至少一个输入按钮421，其提供在壳体450的一个区域处。电子装置402可以包括输入板425，该输入板可以接收来自用户的输入，诸如挥击、轻击或由用户执行的其他输入。
遮光部分430提供密封以抵抗外部光进入用户眼睛与电子装置410之间的空间。因此，用户可以将用户的眼睛定位成与遮光部分430紧密贴合，以及因此，用户可以通过从电子装置401提供的虚拟现实应用程序观看图像而不受来自外部光的任何干扰。
电子装置401可以联接到电子装置402。电子装置401可以通过有线或无线地连接到电子装置402。例如，尽管电子装置401可以基于usb连接而连接到电子装置402。前述仅仅是示例，并且本领域技术人员可以容易地理解，如果通过连接可以在两个装置401和402之间进行数据发射/接收，则对该连接没有限制。根据另一个实施例，电子装置401可以直接地联接到电子装置402而不使用有线或无线连接。
图4b说明了根据本公开的hmd中所示的示例视图。如图4b中所示，ar视图460包括iot装置200的3d模型462和虚拟控制面板464。虚拟控制面板464包括用于控制iot装置200的至少一个功能的至少一个控制按钮。用户可以经由手部和/或手指姿势、眼睛跟踪或使用输入板425输入命令来控制虚拟控制面板464。作为示例，用户可以用他们的手指轻击虚拟控制面板464的某个部分或iot装置200自身的虚拟表示。在一些实施例中，用户可以做出将致使一组指令被发射到iot装置200的手部姿势。
iot装置的虚拟控制面板464可以是呈3d的，并且不必是静态的。换句话说，可以将内容滚动/制成动画到虚拟控制面板464或iot装置200自身的可见表面上。用户可以伸出手(reachout)并与虚拟控制面板464交互。虚拟控制面板464可以是可定制的或可重新配置的，这取决于相应的iot装置200。虚拟控制面板464可以一次管理多个iot装置。例如，同时或按特定顺序打开或关闭给定房间中的所有窗户。
电子装置300可以具有允许将iot装置用于不同目的的应用程序。例如，一个应用程序可以通过从每个遮阳窗帘iot装置接收温度数据来创建房间温度的3d可视化。用户可以设定偏好，并且应用程序将驱动遮阳窗帘iot装置来实施它们。另一个应用程序可以基于来自遮阳窗帘iot装置的数据显示房间的亮度，并且允许用户设定偏好以及然后使用遮阳窗帘iot装置来调节房间的亮度。
在一些实施例中，电子装置300用户将不总是具有在其视野(fov)中的iot装置200。当iot装置200自身不可见时，用户可能仍希望与虚拟控制面板464交互，这可包括接收来自iot装置200的通知。
在一些实施例中，iot装置200不必是虚拟控制面板464的物理锚点。例如，用户可以选择任何物理或虚拟对象来充当iot装置200的物理标记。例如，使用iot遮阳控制装置作为示例，iot遮阳控制ui可以绑定到在电子装置300上存储和执行的虚拟现实3d天气微件。当用户选择vr3d天气图标时(例如，使用眼睛跟踪)，用户获得与iot遮阳控制ui交互的选项。在其他实施例中，当用户注视特定的物理壁灯开关时，用户获得与iot遮阳控制ui交互的选项。
图4c说明了根据本公开的示例系统图。如图4c中所示，电子装置401上的iot控制器应用程序472与iot装置200通信。iot控制器应用程序472还可以与互联网上的iot控制器源476通信，以接收虚拟控制面板464以及与iot装置200相关联的其他信息。向iot控制器应用程序472提供输入474以控制iot装置200。输入472可以是用户输入或者来自电子装置401上的另一个应用程序的输入。
图5说明了根据本公开的用于使用hmd来控制iot装置的示例性方法500的流程图。将参考图2的iot装置200和图3的电子装置300来讨论方法500。
如图5中所示，方法500开始于操作502中，在该操作中电子装置300使用信标240检测iot装置200。如上文所讨论的，信标可以是rfid或其他短程通信，其发射可以由电子装置检测到的信号。在检测到信号时，可以建立安全的信道。每个iot装置200可以具有唯一标识符，该唯一标识符将被发射到iot控制器应用程序472以区分iot装置200。唯一标识符可以是物理标记，诸如qr码或基于iot装置200的唯一标识符的特定的红外信标发射脉冲模式。
在其他实施例中，信标可以是可以由相机380检测到的红外信标。一旦检测到iot装置200，电子装置300就在操作504中发射发现信号。
在从电子装置300接收到发现信号之后，在操作506中，iot装置200将包括数据的信号发射到电子装置300。数据可以包括虚拟控制面板464、电子装置300可以能够下载虚拟控制面板464的统一资源标识符(uri)的链接、iot装置200的配置数据、关于可以由虚拟控制面板464控制的附加iot装置的信息、以及与iot装置200相关联的其他信息。
在操作508中，电子装置300使用至少一个相机380来检测3d空间中的iot装置200。可以使用计算机视觉方法、信标240、在电子装置300与iot装置200之间发射的信号的定时、距离传感器(诸如，超声换能器)等中的一者或多者来执行对3d空间中的iot装置200的检测。例如，一种在3d空间中进行跟踪的方法可以包括与iot装置200通信以控制iot装置200上的一个或多个发射器(emitter)(例如，led)。电子装置300可以包括用于所述发射器的接收器(例如，相机380)，并且通过改变来自iot装置200(该iot装置可以由电子装置300控制)上的发射器的信号来消除误报。电子装置300经由其接收器来检测发射器，以及因此定位iot装置200。
在操作510中，如果iot装置200在视野内，则电子装置300借助于iot装置200的3d模型462来显示虚拟控制面板464或将虚拟控制面板464显示在iot装置200的附近。电子装置300可以将虚拟控制面板464显示为与iot装置200的3d模型462或iot装置200自身相邻，使得用户可以直观地将虚拟控制面板464与iot装置200相关联，如图4b中所示。在一些实施例中，例如，当iot装置200不在电子装置300的视野内时，电子装置300可以显示虚拟控制面板464而不显示iot装置200的3d模型462。
在操作512中，电子装置300检测用户是否移动电子装置300。如果电子装置300检测到移动，则电子装置300在操作514中基于用户的移动来显示虚拟控制面板464。例如，如果电子装置300是hmd400的一部分，则用户可以转动或倾斜用户的头部，从而导致iot装置200移动到视野内。电子装置300可以使用传感器370中的一者(诸如，加速度计)来检测该移动，以确定移动的程度。然后，处理器340将移动的程度与3d模型462和/或虚拟控制面板464的新显示位置相关联。在一些实施例中，虚拟控制面板不绑定到视野内的特定iot装置200或装置的3d模型462。因此，当电子装置300检测到移动时，虚拟控制面板464停留在电子装置300的显示器上的同一位置中。
如果未检测到移动，则方法500进行到操作516，在该操作中检测到用户输入。该输入可以基于可以由相机380捕获的手部姿势、手指姿势或眼睛移动来执行。在一些实施例中，该输入可以使用输入板425来输入。基于该输入，电子装置300在操作518中将控制信号发射到iot装置200以控制iot装置200的至少一个功能。
本文中所描述的实施例可以简化用户对iot装置的体验。例如，在登记入住酒店后，用户可以穿戴电子装置300走到他们的酒店房间。房间门可以基于先前存储在电子装置300中的虚拟钥匙来解锁或打开。酒店房间可以包括房间中的许多智能iot装置(例如，遮阳窗帘、ac、灯控制器)。电子装置300广播一段虚拟门秘钥以期在房间中找到iot装置。房间中的智能iot装置向电子装置300通知它们的存在。智能iot装置可以被配置成是仅基于经由bt或rfid/nfc向他们广播的特定秘钥才可发现的。当用户安顿下来时，当在电子装置300视野内(经由cv)找到智能iot装置时，叠加突出显示找到的智能iot装置。如果用户选择该装置，则相关联的虚拟控制面板将显示在电子装置300的显示器上。然后，用户可以设定他们的偏好，例如他们想要什么样的a/c温度以及在哪些时间段期间。在一些实施例中，当用户设定唤醒警报时，电子装置300可以触发窗帘应用程序以逐渐打开物理遮阳窗帘。这些设定可以在其他兼容的智能iot装置上重复使用。
在另一个示例中，iot装置200可以是冰箱。当用户注视冰箱时，电子装置300在冰箱门外侧上叠加ui。ui可以显示冰箱的内容并提供关于缺乏或过期的项目的指示。此类信息可以与其他应用程序(如亚马逊生鲜)一起存储和使用，以帮助用户了解要订购的东西。ui自身本质上可以是3d的，并且模仿实际冰箱的内容。当用户移动时，看起来他们正在从不同角度注视半透明的ui内容。这将准许用户不打开冰箱就看到里面的东西，并且用户还可以从房间的另一侧或不同的房间检查冰箱。
根据本公开，一种可穿戴装置可以包含：显示器；以及联接到显示器和收发器的处理器，该处理器被配置成：检测可由可穿戴装置控制的装置；基于检测到的装置生成与装置相关联的用户接口(ui)以供在显示器上显示；基于ui来检测输入；以及基于检测到的输入将信号发射到装置以控制装置。
另外，可穿戴装置可以是头戴式显示器的至少一部分。
另外，处理器被配置成生成增强现实视图，该增强现实视图包含装置的真实世界视图和与装置相关联的ui。
另外，收发器被配置成当可穿戴装置检测到装置时将发现信号发射到装置。
另外，收发器可以从装置接收信息以生成ui，该信息包括以下中的至少一者：具有用于装置的至少一个控制按钮的虚拟控制面板、统一资源指示符或与装置相关联的配置数据。
另外，可穿戴装置可以包含被配置成检测输入的传感器，并且传感器可以包含被配置成检测用户的姿势作为输入的面向外部的相机。传感器可以包含被配置成检测用户眼睛的移动作为输入的面向内部的相机。
另外，可穿戴装置是头戴式显示器(hmd)的至少一部分，并且传感器被配置成在用户穿戴hmd时检测hmd的物理移动。
另外，处理器被配置成利用装置的三维模型或利用装置来显示ui。
另外，处理器被配置成响应于检测到的hmd的物理移动来修改ui的显示。
根据本公开的方面，一种装置可以包含：存储器，其被配置成存储用于控制装置的应用程序；收发器；以及操作地联接到存储器和收发器的处理器，该处理器被配置成：在电子装置检测到装置之后，经由收发器从电子装置接收第一信号；响应于第一信号的接收，经由收发器将关于应用程序的信息发射到电子装置；经由收发器从电子装置接收第二信号；以及基于第二信号来控制装置的至少一个功能。
另外，装置还可以包含信标，该信标被配置成准许检测装置。
另外，信标可以是红外信标或射频识别(rfid)装置。
另外，收发器可以被配置成从电子装置接收更新。
根据本公开的另一个方面，一种用于操作可穿戴装置以控制装置的方法可以包含：检测可由可穿戴装置控制的装置；基于检测到的装置生成与装置相关联的用户接口(ui)以供在可穿戴装置上显示；基于ui来检测输入；以及基于检测到的输入将信号发射到装置以控制装置。
另外，输入是手部姿势、手指移动或眼睛移动。
另外，该方法还可以包含检测装置的信标。
另外，该方法还可以包含：当检测到装置时，将发现信号发射到装置。
另外，该方法还可以包含：检测可穿戴装置的移动；以及基于可穿戴装置的移动来显示ui。
本申请中的描述均不应被理解为暗示任何特定元件、步骤或函数是必须包括在权利要求书范围中的必要元素。专利主题的范围仅由权利要求书界定。此外，权利要求均不意在援引与功能性权利要求有关的代码，除非分词跟随确切词语“用于......的器件”。任何其他术语(包括但不限于，“机构”、“模块”、“装置”、“单元”、“部件”、“元件”、“构件”、“设备”、“机器”、“系统”、“处理器”、或“控制器”)在权利要求内的使用由申请人理解为是指相关技术领域的技术人员所理解的结构，并且不意在援引与功能性权利要求有关的代码。
虽然已经利用示例性实施例描述了本公开，但可以向本领域技术人员建议各种改变和修改。本公开意图涵盖落入所附权利要求书范围内的此类改变和修改。
- 还没有人留言评论。精彩留言会获得点赞！