电子设备及其操作方法与流程

本公开涉及一种电子设备及其操作方法，并且更具体地涉及一种能够设置用于在交互系统中检测事件的交互区的电子设备及其操作方法。

背景技术：

交互系统可以包括能够监视交互区的监视设备。监视设备可以通过使用深度传感器来监视交互区。深度传感器可以生成指示对应的区域的深度的深度图像。可以通过立体三角测量、光学三角测量片、结构光、干涉测量、编码孔径，等等来生成深度图像。

交互系统可以在实际空间中设置交互区并且监视事件是否已经出现在所设置的交互区中。

技术实现要素：

技术方案

提供了一种用于提供能够基于通过拍摄实际空间所获取的图像来设置交互区的用户接口的电子设备以及其操作方法。

有利效果

根据实施例的电子设备可以通过提供用户可以通过其容易地设置交互区的用户接口来改善用户的使用便利性。

根据实施例的电子设备可以通过提供用户可以通过其容易地设置或改变与交互区相对应的内容的用户接口来改善用户的使用便利性。

附图说明

根据结合附图所采取的以下描述，本公开的某些实施例的上述及其他方面、特征和优点将变得更明显，在附图中：

图1图示出根据实施例的交互系统；

图2是根据实施例的电子设备的框图；

图3是根据另一个实施例的电子设备的框图；

图4是根据实施例的显示设备的框图；

图5是根据实施例的交互系统的操作方法的信令图；

图6是根据实施例的电子设备的操作方法的流程图；

图7图示出根据实施例的由电子设备执行的设置交互区的方法；

图8a图示出根据实施例的由电子设备执行的设置交互区的方法；

图8b图示出根据实施例的由电子设备执行的设置交互区的方法；

图9a图示出根据实施例的由电子设备执行的设置交互区的方法；

图9b图示出根据实施例的由电子设备执行的设置交互区的方法；

图10图示出根据实施例的由电子设备执行的设置与交互区相对应的内容的方法；

图11图示出根据实施例的由电子设备执行的设置与交互区相对应的内容的方法；

图12图示出根据实施例的包括电子设备和显示设备的交互系统的操作；

图13图示出根据实施例的在交互区中设置标签(tag)信息的方法；

图14a图示出根据实施例的由电子设备执行的存储设置的交互区的方法；

图14b图示出根据实施例的由电子设备执行的存储设置的交互区的方法；

图15图示出根据实施例的交互系统的操作方法；

图16图示出根据实施例的交互系统的操作方法；

图17是根据实施例的交互系统的操作方法的信令图；

图18图示出根据实施例的交互系统的操作方法；

图19图示出根据实施例的交互系统的操作方法；

图20图示出根据实施例的由显示设备执行的设置交互区的方法；

图21图示出根据实施例的显示设备的操作；以及

图22是根据实施例的显示设备的框图。

具体实施方式

最佳方式

提供了一种用于提供能够基于通过拍摄实际空间所获取的图像来设置交互区的用户接口的电子设备以及其操作方法。

附加的方面将在随后的描述中被部分地阐述，并且根据描述其将是部分明显的，或者可以通过所呈现的实施例的实践而习得其。

根据本公开的实施例，一种电子设备包括：显示器；用户输入接口；存储器，其被配置为存储一个或多个指令；以及至少一个处理器，其被配置为执行存储在存储器中的一个或多个指令以：进行控制以在显示器上显示所捕捉的将被监视的实际空间的图像、基于所捕捉的图像中所包括的至少一个点来确定三维(3d)框(box)、基于通过用户输入接口接收的用户输入来调整3d框的尺寸和位置中的至少一个，以及在实际空间中设置与3d框相对应的交互区。

根据本公开的另一个实施例，一种电子设备的操作方法包括：进行控制以在显示器上显示将被监视的实际空间的所捕捉的图像；基于所捕捉的图像中所包括的至少一个点来确定三维(3d)框；基于用户输入来调整3d框的尺寸和位置中的至少一个；以及在实际空间中设置与3d框相对应的交互区。

根据本公开的另一个实施例，一种非暂时性计算机可读记录媒介包括记录在其上的用于在计算机中执行电子设备的操作方法的程序。

根据本公开的另一个实施例，一种电子设备包括：存储器，其被配置为存储一个或多个指令；以及至少一个处理器，其被配置为执行存储在存储器中的一个或多个指令以：控制对于显示器输出所捕捉的将被监视的实际空间的的图像、基于所捕捉的图像中所包括的至少一个点来确定三维(3d)框、基于相对于显示的图像的用户输入来调整3d框的尺寸和位置中的至少一个，以及在实际空间中确定与3d框相对应的交互区。

根据本公开的另一个实施例，一种显示设备的操作方法包括：向电子设备传送所捕捉的将被监视的实际空间的图像；从电子设备接收关于实际空间中的三维交互区的信息，以及基于在交互区中检测到事件将被执行或输出的内容；监视交互区；以及基于在监视的交互区中检测到的事件来进行控制以执行或输出内容。

根据本公开的另一个实施例，一种非暂时性计算机可读记录媒介包括记录在其上的用于在计算机中执行显示设备的操作方法的程序。

实施方式

仅仅使用在本公开中所使用的术语来描述特定实施例并且其不具有限制本公开的任何意图。在本文使用的术语是现有技术中当前理解的那些一般用语，但是可以根据本领域技术人员的意图、惯例，或现有技术中的新技术来改变一些术语。而且，可以由申请人选择指定术语，并且在该情况下，将在具体实施方式中描述其详细的意义。因而，在说明书中所使用的术语应当不被理解为简单的名称，而是基于术语的意义和整个说明书。

贯穿说明书，当组件“包括”要素时，除非另外指定，否则应当理解，组件不排除另一个要素而是可以另外包括另一个要素。此外，诸如“…单元”、“…模块”等等的术语指的是执行至少一个功能或操作的单元，并且单元可以被实施为硬件或软件或被实施为硬件和软件的组合。

现在将详细地参考实施例，在附图中图示出了其示例，其中，可以省略通常理解的部分以清楚地描述实施例。此外，贯穿说明书，相同附图标记表示相同的要素。在这方面，实施例可以具有不同的形式，并且不应当被理解为限于在本文阐述的描述。因此，通过参考附图在下面具体描述某些实施例以解释方面。

如在本文所使用的，术语“和/或”包括一个或多个相关联的所列项的任何一个或所有组合。当诸如“至少一个的，”之类的表达在一系列要素之前时，修改整个系列的要素并且不修改该系列的单个要素。例如，表达“a、b或c中的至少一个”指示仅仅a、仅仅b、仅仅c、a和b两者、a和c两者、b和c两者、a、b，和c全部，或其变体。

图1图示出根据实施例的交互系统。根据实施例的交互系统可以包括电子设备100和显示设备200。

可以以各种形式实施根据实施例的电子设备100。例如，可以通过诸如蜂窝电话、智能电话、膝上型计算机、台式个人计算机(pc)、平板机pc、电子书终端、数字广播终端、个人数字助理(pda)、便携式多媒体播放机(pmp)、导航机器、mp3播放器、录像摄像机、网际协议电视(iptv)、数字电视(dtv)、可穿戴设备等等的各种电子设备来实施电子设备100。然而，应当理解，电子设备100不限于此。

另外，根据实施例的显示设备200可以是标牌或者tv，但是这仅仅是说明性的，并且可以通过包括显示器的任何电子设备来实施显示设备200。例如，可以通过诸如蜂窝电话、平板机pc、数字照相机、录像摄像机、膝上型计算机、台式机pc、电子书终端、数字广播终端、pda、pmp、导航机器、mp3播放机、可穿戴设备等等的各种电子设备来实施显示设备200。作为示例，可以在具有诸如标牌或者tv等等的大显示器的显示设备中实施实施例，但实施例不限于此。另外，显示设备200可以是固定类型或者移动类型并且可以是能够接收数字广播信号的数字广播接收器。

在本说明书中的术语“用户”指示控制电子设备、显示设备、物联网(iot)设备等等的功能或操作的人，并且可以包括管理员或安装工程师、或消费者或一般用户。

根据实施例的电子设备100和显示设备200可以彼此进行通信。例如，电子设备100可以通过使用短程通信向显示设备200传送或从显示设备200接收数据、信号等等。短程通信可以包括wi-fi方案、近场通信(nfc)方案、蓝牙方案、红外数据协会(irda)方案、紫蜂方案等等，但是不限于此。

根据实施例，电子设备100可以通过拍摄(或捕捉)将被监视的实际空间10(的图像)来获得图像。电子设备100可以使用电子设备100中所包括的照相机以通过拍摄将被监视的空间来获得图像。替换地，电子设备100可以通过与外部设备进行通信来接收由外部设备捕捉的图像。例如，根据实施例，显示设备200可以通过使用嵌入在显示设备200中的照相机、单独地设于显示设备200上的照相机、连接到显示设备200的照相机等等来拍摄可以位于显示设备200前方的将被监视的实际空间10。显示设备200可以通过与电子设备100进行通信来向电子设备100传送所捕捉的图像。

根据实施例，电子设备100可以基于通过拍摄实际空间10所获取的图像来在实际空间10中设置至少一个交互区50。例如，电子设备100可以在显示器上显示通过拍摄实际空间10所获取的图像并且基于图像中所包括的至少一个点来生成(或确定)三维(3d)框(例如，虚拟3d框或空间)。电子设备100可以基于用户输入来调整3d框的尺寸和/或位置，并且在实际空间10中设置与3d框相对应的交互区50。

此外，电子设备100可以设置或确定与所生成的3d框相对应的至少一则内容，并且控制显示设备200使得当检测到交互区50中出现事件时显示设备200显示所设置的内容。在这种情况下，事件可以包括在交互区50中检测到对象的事件、在交互区50中未检测到对象的事件、检测到交互区50中的对象的运动的事件、检测到交互区50中的特定运动的事件，等等，但是不限于此。也就是说，在各个实施例中，可以使用或考虑各种事件。

根据实施例，电子设备100可以向显示设备200传送关于所设置的3d框的信息(关于交互区50的信息)、关于事件的信息以及与3d框(交互区50)相对应的内容信息中的至少一个。

根据实施例，显示设备200可以基于关于3d框的信息(例如，3d框的坐标值信息等等)在实际空间10中确定交互区50。另外，显示设备200可以基于事件信息来监视事件是否出现在交互区50中。例如，显示设备200可以基于关于“检测到对象的事件”的信息来监视在交互区50中是否检测到对象。另外，显示设备200可以基于内容信息来显示在交互区50中事件何时出现(例如，检测到对象)。

图2是根据实施例的电子设备100的框图。

参考图2，根据实施例的电子设备100可以包括通信接口110、处理器120、存储器130、显示器140以及用户输入接口150。

根据实施例，通信接口110可以包括用于电子设备100和外部设备(例如，显示设备、服务器等等)之间的通信的至少一个组件。

通信接口110可以包括单独地或组合地采用的用于通过局域网(lan)、广域网(wan)、增值网络(van)、移动无线电通信网络、卫星通信网络、射频传输等等进行通信的一个或多个组件(例如，电路、硬件、收发器等等)。另外，通信接口110可以通过使用无线lan(wlan)(例如，wi-fi)等等以无线方式直接地向外部设备或外部服务器发送和从外部设备或外部服务器接收数据或信号。

例如，通信接口110可以从外部设备接收通过拍摄将被监视的实际空间所获取的图像。另外，通信接口110可以向显示设备200传送关于交互区的信息、事件信息、内容信息等等。

根据实施例，处理器120可以执行存储在存储器130中的一个或多个程序(或指令)。处理器120可以包括单核、双核、三核、四核或多种数量的核。此外，处理器120可以包括多个处理器。例如，可以通过在睡眠模式中操作的主处理器和子处理器来实施处理器120。

根据实施例，存储器130可以存储用于操作和控制电子设备100的各种数据、程序或应用。

另外，存储在存储器130中的程序可以包括一个或多个指令。可以由处理器120来执行存储在存储器130中的程序(一个或多个指令)或应用。

根据实施例，处理器120可以在显示器140上显示通过拍摄将被监视的实际空间所获取的图像。在这种情况下，在显示器140上显示的图像可以是基于实际空间中所包括的对象的深度值信息来三维地表示该实际空间的图像。此外，处理器120可以基于图像中所包括的至少一个点来生成3d框。处理器120可以基于通过用户输入接口150接收的用户输入来调整所生成的3d框的尺寸和/或位置。可以控制处理器120，使得在拍摄的实际空间中设置与3d框相对应的交互区。此外，处理器120可以设置与3d框相对应的事件和内容，并且进行控制使得当在交互区中出现事件(或检测到事件)时，执行或提供对应的内容。

根据实施例，显示器140通过转换由处理器120处理的图像信号、数据信号、屏上显示(osd)信号、控制信号等等中的至少一个来生成驱动信号。可以通过等离子体显示板(pdp)、液晶显示器(lcd)、有机发光二极管(oled)、柔性显示器等等来实施显示器140，并且也可以通过3d显示器来实施显示器140。此外，通过利用触摸屏来配置显示器140，除用作输出设备之外，显示器140可以用作输入设备。

根据实施例，显示器140可以在处理器120的控制下显示用于设置交互区的用户接口屏幕图像。例如，显示器140可以显示通过拍摄将被监视的空间所获取的图像、生成的3d框、用于调整3d框的位置和尺寸的接口屏幕图像、用于设置与3d框相对应的内容的接口屏幕图像等等中的至少一个。

用户输入接口150是用户通过其输入用于控制电子设备100的数据的接口。例如，用户输入接口150可以包括小键盘、圆顶开关、触摸板(电容覆盖触摸板、电阻覆盖触摸板、红外(ir)波束触摸板、表面声波触摸板、集成应变仪触摸板、压电触摸板等等)、滚轮、轻摇开关、按钮、多个按钮、可旋转拨盘、语音输入和辨识设备等等中的至少一个，但是不限于此。

根据实施例，用户输入接口150可以接收用于调整所显示的图像的视角的用户输入、用于选择图像中所包括的至少一个点或对象以生成3d框的用户输入、用于调整3d框的尺寸和位置的用户输入等等中的至少一个，但是不限于此。

图3是根据另一个实施例的电子设备300的框图。图3中的电子设备300可以是图1中的电子设备100的实施例。

参考图3，根据实施例的电子设备300可以包括处理器330、传感器320、通信接口340、输出接口350、用户输入接口360、音频/视频(a/v)输入接口370以及存贮器380。

图3中的通信接口340、处理器330、显示器351、存贮器380和用户输入接口360可以分别对应于图2中的通信接口110、处理器120、显示器130、存储器140和用户输入接口150。以下可以省略参考图2所作出的相同或相似的描述。

通信接口340可以包括用于外部设备(例如服务器等等)之间的通信的至少一个组件。例如，通信接口340可以包括短程无线通信接口341、移动通信接口342、广播接收接口343等等中的至少一个。

短程无线通信接口341可以包括蓝牙通信接口、nfc接口、wlan(wi-fi)通信接口、紫蜂通信接口、irda通信接口、wi-fi直连(wfd)通信接口、超宽频带(uwb)通信接口、ant+通信接口等等中的至少一个，但是不限于此。

移动通信接口342在移动通信网络中向基站、外部终端、服务器等等中的至少一个发送无线信号和从基站、外部终端、服务器等等中的至少一个接收无线信号。在本文，无线信号可以包括语音呼叫信号、视频呼叫信号或根据文本/多媒体消息发送和接收的各种类型的数据。

广播接收接口343通过广播信道从外部接收广播信号和/或广播相关的信息。在这里，广播信道可以包括卫星信道和陆地信道。根据实施方式示例，电子设备300可以不包括广播接收接口343。

通信接口340可以从外部设备接收至少一个用户图像。

输出接口350可以输出音频信号、视频信号以及振动信号中的至少一个并且可以包括显示器351、声学输出接口352、振动马达353等等。

声学输出接口352可以输出通过通信接口340接收的或存储在存贮器380中的音频数据。另外，声学输出接口352可以输出与由电子设备300执行的功能(例如，呼叫信号接收声音、消息接收声音或警报声音)有关的声学信号。声学输出接口352可以包括扬声器、蜂鸣器等等。例如，当辨识的用户不是授权用户时，声学输出接口352可以输出警报。

振动马达353可以输出振动信号。例如，振动马达353可以输出与音频数据和/或视频数据的输出(例如，呼叫信号接收声音、消息接收声音等等)相对应的振动信号。另外，当通过触摸屏上输入触摸时，振动马达353可以输出振动信号。

处理器330(其可以包括多个处理器)控制电子设备300的总体操作。例如，处理器330可通过执行存储在存贮器380中的程序来控制通信接口340、输出接口350、用户输入接口360、传感器320、a/v输入接口370等等。

传感器320可以检测用户的生物信息、电子设备300的状态或电子设备300的环境状态中的至少一个，并且向处理器330传送所检测的信息。

传感器320可以包括磁性传感器321、加速度传感器322、温度/湿度传感器323、ir传感器324、陀螺仪传感器325、位置传感器(例如，全球定位系统(gps))326、大气压力传感器327、接近传感器328、rgb(照度)传感器329等等中的至少一个，但是不限于此。可以由本领域技术人员从每个传感器的名称直觉地推断出其功能，并且因此在本文省略其详细的描述。

a/v输入接口370接收音频信号和/或视频信号的输入并且可以包括照相机371、麦克风372等等。照相机371可以在视频呼叫模式或捕捉模式中通过图像传感器获取静止图像、活动画面等等的图像帧。可以由处理器330或单独的图像处理器来处理通过图像传感器所捕捉的图像。

由照相机371处理的图像帧可以存储在存贮器380中和/或通过通信接口340向外部传送。可以根据电子设备300的配置方面包括两个或更多照相机371。

麦克风372可以接收外部声学信号并且将外部声学信号处理为电子语音数据。例如，麦克风372可以从外部设备或用户接收声学信号。麦克风372可以使用各种噪声消除算法来消除在接收外部声学信号的过程期间生成的噪声。

存贮器380可以存储用于处理器330的处理和控制的程序和/或指令并且存储输入/输出数据(例如，应用、内容、外部设备的时间带信息、地址簿等等)。

存贮器380可以包括闪速存储器类型存储器、硬盘类型存储器、多媒体卡微型存储器、卡型存储器(例如，安全数字(sd)或极速卡(xd)存储器)、随机存取存储器(ram)、静态ram(sram)、只读存储器(rom)、电可擦除可编程rom(eeprom)、可编程rom(prom)、磁存储器、磁盘和光盘等等当中的至少一个类型的存储介质。此外，电子设备300可以通过因特网操作具有存贮器380的存储功能的web存贮器或云服务器，与它互操作，或连接到她。

可以根据其功能将存储在存贮器380中的程序分类为多个模块，例如用户接口(ui)模块381、触摸屏模块382、警报模块383，等等。

ui模块381可以为每个应用提供与电子设备300互操作的指定的ui、指定的图形ui(gui)等等。触摸屏模块382可以感测触摸屏上的用户的触摸手势并且向处理器330传送关于触摸手势的信息。

触摸屏模块382可以辨识和分析触摸码。可以通过包括控制器的单独的硬件来配置触摸屏模块382。

警报模块383可以生成用于通知电子设备300的事件的出现的信号。出现在电子设备300中的事件的示例可以包括呼叫信号接收、消息接收、键信号输入和日程警报。警报模块383可以通过显示器351以视频信号形式、通过声学输出接口352以音频信号形式、和/或通过振动马达353以振动信号形式输出警报信号。

在图2和图3中示出的电子设备100和300的框图仅仅是说明性的。可以根据实际上实施的电子设备100和300的规范来集成、添加或省略框图中的每个组件。也就是，根据情况，两个或更多组件可以被集成到一个组件中，一个组件可以被分离为两个或更多组件，和/或可以省略一个或多个组件。另外，在每个框中执行的功能将描述实施例，并且其详细的操作或设备不受限。

图4是根据实施例的显示设备200的框图。

参考图4，根据实施例的显示设备200可以包括传感器210、通信接口220、处理器230、存储器240以及显示器250。

根据实施例，传感器210可以感测显示设备200的状态或环境状态并且向处理器230传送所感测的信息(或感测的状态)。

传感器210可以包括图像传感器和/或深度传感器。显示设备200可以通过图像传感器来获取静止图像、视频等等的图像帧。在这种情况下，可以通过处理器230或单独的图像处理器来处理由图像传感器所捕捉的图像。

例如，图像传感器可以拍摄(或捕捉)将被监视的实际空间(的图像)、辨识交互区中的对象、感测对象的运动等等。在本文，对象可以包括人类、人类的手、人类的手指等等，但是不限于此。

另外，深度传感器可以测量在将被监视的实际空间中存在的实际对象的深度值等等。深度值可以对应于从深度传感器到特定对象的距离。在该情况下，随着从深度传感器到特定对象的距离变得更远，深度值可以增大(尽管应当理解的是，一个或多个其他实施例不限于此)。

根据实施例，深度传感器可以以各种方法获得对象的深度值。例如，深度传感器可以通过使用飞行时间(timeofflight，tof)方案、立体视觉方案或结构化光图案方案中的至少一个来测量深度值。

图像传感器和深度传感器可以通过单独的传感器来配置或配置为一个传感器。此外，可以根据显示设备200的配置方面包括两个或更多图像传感器和/或深度传感器。

根据实施例，除图像传感器和深度传感器之外，传感器210还可以包括麦克风、人体检测传感器(例如，ir传感器、超声传感器等等)、照度传感器或温度/湿度传感器中的至少一个，但是不限于此。

麦克风可以接收外部声学信号并且将外部声学信号处理为电子语音数据。例如，麦克风可以从外部设备或用户接收声学信号。麦克风可以使用各种噪声消除算法来消除在接收外部声学信号的过程期间生成的噪声。

可以由本领域技术人员从其名称直觉地推断出人体检测传感器(例如，ir传感器、超声波传感器等等)、照度传感器和温度/湿度传感器的功能，并且因此在本文省略其详细描述。

根据实施例，通信接口220可以包括用于显示设备200和外部设备(例如，电子设备、服务器等等)之间的通信的至少一个组件。

通信接口220可以包括通过单独地或组合地采用的用于通过lan、wan、van、移动无线电通信网络、卫星通信网络、射频传输等等进行通信的一个或多个组件。另外，通信接口220可以通过使用wlan(例如，wi-fi)、蓝牙、nfc等等以无线方式直接地向外部设备或外部服务器发送和从外部设备或外部服务器接收数据或信号。

例如，通信接口220可以从电子设备100接收关于交互区的信息、事件信息，以及内容信息。替换地，通信接口220可以从电子设备100或外部服务器接收将由显示设备200执行的内容。

根据实施例，处理器230可以执行存储在存储器240中的一个或多个程序。处理器230可以包括单核、双核、三核、四核或多种数量的核。另外，处理器230可以包括多个处理器。例如，可以由在睡眠模式中操作的主处理器和子处理器来实施处理器230。

根据实施例，存储器240可以存储用于操作和控制显示设备200的各种数据、程序或应用。

另外，存储在存储器240中的程序可以包括一个或多个指令。可以由处理器230来执行存储在存储器240中的程序(一个或多个指令)或应用。

根据实施例，处理器230可以基于关于交互区的信息(例如，3d框的坐标值信息等等)确定交互区并且进行控制以便监视交互区。例如，处理器230可以监视预设事件是否出现在交互区中，并且当检测到事件的出现时，执行与事件的出现相对应的内容。

根据实施例，显示器250通过转换由处理器230处理的图像信号、数据信号、osd信号、控制信号等等中的至少一个来生成驱动信号。可以通过pdp、lcd、oled、柔性显示器等等来实施显示器250，并且也可以通过3d显示器来实施显示器250。此外，通过配置有触摸屏，显示器250除用作输出设备之外还可以用作输入设备。根据实施例，显示器250可以显示与事件的出现相对应的内容的执行屏幕图像。

图5是根据实施例的、交互系统的操作方法的信令图。

根据实施例的交互系统可以包括电子设备100(或电子设备300)和显示设备200。

参考图5，在操作s410中，显示设备200可以拍摄将被监视的实际空间。例如，显示设备200可以通过使用图像传感器和/或深度传感器来拍摄将被监视的实际空间并且获得将被监视的空间中所包括的一个或多个对象的深度值信息。

在操作s420中，显示设备200可以向电子设备100传送所捕捉的图像和/或该图像中所包括的一个或多个对象的深度值信息。根据另一个实施例，可以由电子设备100经由例如对所捕捉的图像的分析来确定深度值信息。

电子设备100可以在显示器上显示所捕捉的实际空间的图像。例如，电子设备100可以基于实际空间中所包括的对象的深度值信息来显示三维地指示实际空间的图像。

在操作s430中，电子设备100可以基于所显示的图像来设置交互区并且设置与交互区相对应的内容。

例如，电子设备100可以基于图像中所包括的至少一个点来生成3d框。此外，电子设备100可以基于用户输入来调整所生成的3d框的尺寸和/或位置。此外，电子设备100可以在所拍摄的实际空间中设置与3d框相对应的交互区。此外，电子设备100可以设置与3d框相对应的事件和内容，并且当事件出现在与3d框相对应的交互区中时，进行控制以便执行或输出对应内容。

在下面参考图6、图7、图8a、图8b、图9a图9b、图10和图11来更详细地描述图5的操作430。

在操作s440中，电子设备100可以向显示设备200传送关于交互区的信息(例如，3d框的坐标值信息)、关于事件的信息和关于内容的信息中的至少一个。

在操作s450中，显示设备200可以基于已经从电子设备100接收的关于交互区的信息来监视交互区。例如，显示设备200可以在由显示设备200拍摄的实际空间中确定与3d框相对应的交互区并且监视预设事件是否出现在交互区中。

当在操作s460中检测到事件的出现时，在操作s470中，显示设备200可以执行或输出与事件的出现相对应的内容。所述内容可以包括图像内容、文本内容、音频内容、视频内容、游戏内容等等中的至少一个，但是不限于此。在这种情况下，所述内容可以从根据实施例的电子设备100或外部服务器接收，或者可以预先存储在显示设备200中。

图6是根据实施例的电子设备100的操作方法的流程图。

图6是用于电子设备100设置交互区的操作的详细流程图，例如，与图5的操作s430相对应的详细流程图。

参考图6，在操作s510中，根据实施例的电子设备100可以显示通过拍摄实际空间所获取的图像。

例如，电子设备100可以从根据实施例的显示设备200或另一个外部设备接收通过拍摄实际空间所获取的图像。在该情况下，通过拍摄实际空间所获取的图像可以包括实际空间中所包括的对象的深度值信息，但是不限于此。根据另一个实施例，电子设备100可以捕捉图像和/或确定深度值信息。

在操作s520中，电子设备100可以基于图像中所包括的至少一个点来生成3d框。例如，当接收到用于选择图像的任何一个点的用户输入时，电子设备100可以确定所选择的点是否被包括在对象中。当所选择的点没有被包括在对象中时，电子设备100可以生成具有预设尺寸的3d框。否则，当所选择的点被包括在对象中时，电子设备100可以根据对应的对象的形状和尺寸来生成3d框。替换地，电子设备100可以检测图像中所包括的对象并且通过以3d形式重新配置检测到的对象来生成3d框。电子设备100可以在图像上显示所生成的3d框。

此外，电子设备100可以基于用户输入(例如，图像的拖动输入)来调整所显示的图像的视角。当改变所显示的图像的视角时，可以改变图像中的对象的位置、尺寸、方向等等。电子设备100可以存储具有不同的视角的图像并且将所存储的图像提供为快捷方式。

在操作s530中，电子设备100可以调整所生成的3d框的尺寸和/或位置。

例如，电子设备100可以在基于图像的视角从前方看到的所生成的3d框的表面上显示水平/垂直尺寸调整对象。水平/垂直尺寸调整对象可以相对于从前方看到的表面调整在水平方向和/或垂直方向上的尺寸。此外，电子设备100可以显示旋转调整对象，通过其3d框可旋转。

电子设备100可以基于水平/垂直尺寸调整对象和/或旋转调整对象上的用户输入来调整3d框的尺寸和/或位置。

在操作s540中，电子设备100可以进行控制以便在实际空间中设置与3d框相对应的交互区。

例如，电子设备100可以向显示设备200传送3d框的坐标值信息。显示设备200可以基于所接收的3d框的坐标值信息来确定实际空间中的交互区并且监视事件是否出现在所确定的交互区中。

图7、图8a、图8b、图9a和图9b图示出根据一个或多个实施例由电子设备100执行的设置交互区的方法。

参考图7，电子设备100可以在显示器上显示通过拍摄将被监视的实际空间所获取的图像601。可以从外部设备(例如，显示设备200)接收或由电子设备100捕捉通过拍摄将被监视的实际空间所获取的图像601。此外，通过拍摄将被监视的实际空间所获取的图像601可以包括至少一个对象，并且电子设备100可以基于对象的深度值信息将所捕捉的图像601作为3d图像来显示。

电子设备100可以基于图像601中所包括的至少一个点来生成3d框610。例如，当接收到用于选择图像上的任何一个点的用户输入时，电子设备100可以生成具有预设尺寸的3d框。替换地，当所选择的点被包括在对象中时，电子设备100可以根据对应的对象的形状和/或尺寸(例如，与对应的对象的形状和/或尺寸具有预先确定的关系或对应性的长度、宽度以及深度尺寸)生成3d框。

替换地，如图8a中所示，电子设备100可以检测图像710中所包括的对象并且通过以3d形式重新配置检测到的对象来生成3d框701、702、703、704、705、706和707。在这种情况下，电子设备100可以通过使用对象的深度值信息来生成3d框701、702、703、704、705、706和707。

电子设备100可以基于用户输入来调整图像710的视角。例如，如图8a中所示，当接收到触摸具有第一视角的图像710的一个点并且在某方向上移动的拖动输入720时，电子设备100可以显示图像730，使得图像730具有如图8b中所示的第二视角。

电子设备100可以存储具有不同的视角的图像并且将所存储的图像作为快捷方式来提供。例如，电子设备100可以存储具有第一视角的图像710(图7a中示出的)和具有第二视角的图像730(图7b中示出的)并且将图像710和730作为快捷方式来提供。替换地，电子设备100可以存储由照相机捕捉的具有视角的图像并且将所存储的图像作为快捷方式来提供。

电子设备100可以调整所生成的3d框的尺寸和/或位置。例如，如图9a中所示，电子设备100可以在所生成的3d框中在基于图像的视角从前方看到的表面810(在下文，被称为第一表面810)上显示水平/垂直尺寸调整对象820。例如，当显示水平/垂直尺寸调整对象820并且然后接收到在水平方向上的拖动输入时，电子设备100可以增大或减小第一表面810的水平方向尺寸。在这种情况下，与第一表面810的尺寸的调整一起，可以调整包括第一表面810的3d框的尺寸(例如，3d框的水平或垂直长度)。然而，实施例不限于此。

此外，电子设备100可以显示旋转调整对象830。当显示旋转调整对象830并且然后接收到顺时针方向或逆时针方向上的拖动输入时，电子设备100可以基于与第一表面810垂直同时穿过第一表面810的中心的直线在顺时针方向或逆时针方向上旋转3d框。

此外，如图9b中所示，当改变图像的视角时，电子设备100可以基于改变的视角在图像中在前方看到的表面840(在下文，被称为第二表面840)上显示水平/垂直尺寸调整对象850和旋转调整对象860。因此，电子设备100可以在接收到垂直方向上的拖动输入时调整3d框的高度或在接收到水平方向上的拖动输入时调整3d框的水平长度。替换地，电子设备100可以在接收到顺时针方向或逆时针方向上的拖动输入时基于与第二表面840垂直的直线在顺时针方向或逆时针方向上旋转3d框。

此外，电子设备100可以提供背景图像锁定功能(或视角锁定功能)以便在调整3d框的尺寸和位置的同时不改变所显示的图像的视角。例如，电子设备100可以显示背景图像锁定图标870。在这种情况下，当接收到用于选择背景图像锁定图标870的输入时，即使当接收到在图像上的拖动输入时，电子设备100也可以维持图像的视角而不改变。

电子设备100可以基于在图像上显示的3d框的坐标值信息来在实际空间中设置与3d框相对应的交互区。因此，根据实施例，显示设备200可以监视预设事件是否出现在所设置的交互区中。

图10和图11图示出根据一个或多个实施例、由电子设备100执行的设置与交互区相对应的内容的方法。

参考图10，当设置3d框时，电子设备100可以设置与3d框相对应的内容。例如，如图10中所示，电子设备100可以显示包括多则内容的内容列表910。内容可以包括图像内容、文本内容、音频内容、视频内容、游戏内容等等中的至少一个，但是不限于此。

当接收到用于选择显示在显示器上的多个3d框中的任何一个的输入920时，电子设备100可以显示与第一事件相对应的第一区域930和与第二事件相对应的第二区域940。在这种情况下，第一事件可以是在与3d框相对应的交互区中检测到某对象的事件。另外，第二事件可以是在与3d框相对应的交互区中未检测到某对象的事件。然而，应当理解，一个或多个其他实施例不局限于如上所述的第一和第二事件。

电子设备100可以接收内容列表910中所包括的一则或多则内容到第一区域930或第二区域940的选择(例如，将内容列表910中所包括的一则或多则内容拖放到第一区域930或第二区域940的输入)。例如，电子设备100可以在接收到将第一内容和第二内容拖放到第一区域930的输入时在第一区域930中显示分别是第一内容和第二内容的缩略图图像931和932(或其他标识符)。另外，电子设备100可以在接收将第三内容拖放到第二区域940的输入时在第二区域940中显示第三内容的缩略图图像933(或其他标识符)。

因此，电子设备100可以控制或提供设置，使得当检测到第一事件出现在与3d框相对应的交互区中时(或基于检测到第一事件出现在与3d框相对应的交互区中)，显示设备200执行或输出第一内容和第二内容。另外，电子设备100可以控制或提供设置，使得当检测到第二事件出现在3d框相对应的交互区中时(或基于检测到第二事件出现在与3d框相对应的交互区中)，显示设备200执行或输出第三内容。

参考图11，当将多则内容设置为一个事件时，电子设备100可以设置子交互区。

例如，当(或基于)在与所选择的3d框1010相对应的交互区中检测到第一事件的出现时，可以将显示设备200设置为执行或输出多则(第一至第四)则内容a、b、c，以及d。在这种情况下，如图11中所示，电子设备100可以生成和显示与子交互区1030相对应的子框1020。可以将子交互区1030设置为在显示设备200前面(例如，直接地在显示设备200前面)的区域，但是不限于此。

也可以通过使用水平/垂直尺寸调整对象1040和/或旋转调整对象1050来调整与子交互区1030相对应的子框1020的尺寸和/或位置。子交互区1030可以包括分别与多则内容a、b、c，以及d相对应的多个(第一至第四)指示区域。此外，电子设备100可以调整每一个指示器区域的尺寸和/或位置。

例如，子框1020可以包括分别与多则内容a、b、c，以及d相对应的多个指示器框，并且分别与多个指示器框相对应的多个指示器区域可以被包括在子交互区1030中。可以设置电子设备100和/或显示设备200，以便当在第一指示器区域中事件(例如，检测到某对象)出现时(或基于事件出现)，执行或输出第一内容a，当事件出现在第二指示器区域中时，执行或输出第二内容b，当事件出现在第三指示器区域中时，执行或输出第三内容c，以及当事件出现在第四指示器区域中时，执行或输出第四内容d。

此外，根据实施例，显示设备200可以显示指示第一至第四指示器区域的位置的指示器1060。另外，显示设备200可以高亮并显示与当前在其上显示的内容相对应的指示器。

图12图示出根据实施例的、包括电子设备100和显示设备200的交互系统的操作。

电子设备100可以向显示设备200传送所生成的3d框的坐标值信息、关于与3d框相对应的事件的信息以及关于与该事件相对应的内容的信息。

因此，显示设备200可以基于3d框的坐标值信息来在实际空间中确定与3d框相对应的交互区1150并且监视事件(例如，检测到某对象)是否出现在交互区1150中。当在交互区1150中检测到某对象时，显示设备200可以执行预设内容。

另外，显示设备200可以向电子设备100传送关于检测到对象的位置的信息(例如，坐标值信息)。在这种情况下，如图12中所示，电子设备100可以利用点、表面、框等等来显示关于检测到对象的位置的信息。

图13图示出根据实施例的、在交互区中设置标签信息的方法。

参考图13，电子设备100可以对3d框设置或确定标签信息。例如，位于或将位于与3d框相对应的交互区中的产品的产品名称(例如，型号名称和/或编号)、制造商、制造年份、发布年份、颜色、价格等等中的至少一个被设置为标签信息，但是不限于此。

当检测到事件出现在交互区中时(或基于检测到事件出现在交互区中)，电子设备100或另一个设备(例如，外部服务器)可以收集与交互区相对应的多则标签信息。例如，可以对于第一交互区设置或确定第一标签信息(例如，galaxys9、黑色、800美元)，可以对于第二交互区设置或确定第二标签信息(例如，galaxynote、蓝色、700美元)，并且可以对于第三交互区设置或确定第三标签信息(例如，galaxynote8、黑色、700美元)。当(或基于)其中在第一交互区中检测到对象(例如，某对象)的事件出现五次、其中在第二交互区中检测到对象(例如，某对象)的事件出现两次，并且其中在第三交互区中检测到对象(例如，某对象)的事件出现一次，可以按照型号名称对于galaxys9收集五次数据并且对于galaxynote8收集三次数据、可以按照颜色对于黑色收集六次数据并且对于蓝色收集两次数据，并且可以按照价格对于800美元收集五次数据并且对于700美元收集三次数据。

因此，电子设备100或其他设备(例如，外部服务器)可以通过使用收集标签信息的次数来分析事件的出现和销售之间的交互的数据。

图14a和图14b图示出根据实施例的、由电子设备100执行的存储设置的交互区的方法。

电子设备100可以生成多个3d框并且设置分别与多个3d框相对应的多个交互区。

例如，如图14a中所示，电子设备100可以生成三个3d框1310、1320，和1330，并且在实际空间中设置或进行控制以设置分别与三个3d框1310、1320和1330相对应的第一至第三交互区。在这种情况下，电子设备100可以存储包括三个3d框1310、1320和1330的布局作为第一文件。例如，可以存储三个3d框1310、1320和1330的坐标值信息和标签信息。

此外，如图14b中所示，电子设备100可以生成四个3d框1340、1350、1360和1370并且在实际空间中设置或进行控制以设置分别与四个3d框1340、1350、1360和1370相对应的第四至第七交互区。在这种情况下，电子设备100可以存储包括四个3d框1340、1350、1360和1370的布局作为第二文件。例如，可以存储四个3d框1340、1350、1360和1370的坐标值信息和标签信息。

因此，电子设备100可以通过使用存储的第一或第二文件来改变和设置与3d框(或交互区)相对应的内容，因此容易地构成交互系统。

图15图示出根据实施例的交互系统的操作方法。

参考图15，电子设备100可以被设置和/或控制，以便当多个事件同时出现时同时地执行分别与多个事件相对应的多则内容。例如，当事件同时地出现在由根据实施例的电子设备100在实际空间中设置的(或对于实际空间确定的)第一交互区1410和第二交互区1420中时，可以(例如，根据用户输入或默认地)设置，使得执行或输出与第一交互区1410相对应的第一内容和与第二交互区1420相对应的第二内容两者。因此，当事件同时地出现在第一交互区1410和第二交互区1420中(或同时被检测到)时，显示设备200可以将屏幕划分为两个区域(第一区域1430和第二区域1440)(或显示划分的屏幕)，并且在第一区域1430上显示第一内容并且在第二区域1440上显示第二内容。

此外，当在响应于第一事件出现在第一交互区1410中显示设备200在全屏幕上显示第一内容的同时，事件在预设时间内出现在第二交互区1420中时，显示设备200可以将屏幕划分为两个区域(第一区域1430和第二区域1440)。在该情况下，可以基于用户输入或第一内容的执行时间来确定预设时间。另外，显示设备200可以在第一区域1430上显示第一内容并且在第二区域1440上显示第二内容，但是在一个或多个其他实施例中不限于此。

图16图示出根据实施例的交互系统的操作方法。

参考图16，根据实施例的交互系统可以包括电子设备100、显示设备200，和物联网(iot)设备1400。根据实施例，电子设备100可以被设置或控制以允许iot设备1400在检测到事件出现在设置的交互区中时进行操作。iot设备1400例如可以是照明设备，但是不限于此。

例如，如图16中所示的，电子设备100可以被设置或控制以当(或基于)其)检测到第一事件(例如，检测到某对象的事件)出现在与3d框1460相对应的交互区1450中，开启照明设备1400。另外，电子设备100可以被设置或控制以当(或基于)检测到第二事件(例如，没有检测到被检测的某对象的事件)出现在与3d框1460相对应的交互区1450中，关闭照明设备1400。

在该情况下，显示设备200可以监视交互区1450，并且当检测到第一事件出现在交互区1450中时向照明设备1400传送指示第一事件的出现的信息或开启命令。另外，当检测到第二事件出现在交互区1450中时，显示设备200可以向照明设备1400传送指示第二事件的出现的信息或关闭命令。

照明设备1400可以从显示设备200接收指示事件的出现、开启命令、关闭命令等等中的至少一个的信息并且根据所接收的信息(例如，事件的出现)来开启或关闭照明设备1400。

图17是根据实施例的、交互系统的操作方法的信令图。

参考图17，根据实施例的交互系统可以包括电子设备100或300、监视设备400和iot设备500。

在操作s1510中，根据实施例的电子设备100可以通过拍摄将被监视的实际空间来获得(例如，捕捉)图像。可以通过电子设备100、监视设备400、外部设备、附件设备等等来捕捉通过拍摄将被监视的实际空间所获取的图像。

电子设备100可以在显示器(例如，内部显示器或外部显示器)上显示所捕捉的实际空间的图像。例如，电子设备100可以基于实际空间中所包括的对象的深度值信息来显示三维地指示实际空间的图像。

在操作s1520中，电子设备100可以基于所显示的图像来设置交互区并且设置对应于交互区的iot设备500的操作。已经参考图5的操作s430和图6、图7、图8a、图8b、图9a和图9b详细描述了由电子设备100设置交互区的方法，并且因此在以下省略其详细描述。

此外，电子设备100可以被设置或控制以当(或基于)事件出现在交互区中允许iot设备500执行预设操作。

电子设备100可以在操作s1530中向监视设备400传送关于交互区的信息(例如，3d框的坐标值信息等等)和关于事件的信息并且在操作s1540中向iot设备500传送关于设置的iot设备500的操作的信息。替换地或另外地，电子设备100可以向监视设备400传送关于设置的iot设备500的操作的信息。

在操作s1550中，监视设备400可以基于已经从电子设备100接收的关于交互区的信息来监视交互区。例如，监视设备400可以在由监视设备400(或另一个设备)拍摄或捕捉的实际空间中确定与3d框相对应的交互区并且监视预设事件是否出现在交互区中。

当(或基于)在操作s1560中检测到事件的出现，监视设备400可以在操作s1570中向iot设备500传送指示事件的出现的信息。

在操作s1580中，iot设备500可以执行与所出现的(例如，检测到的)事件相对应的操作。

图18图示出根据实施例的交互系统的操作方法。

参考图18，根据实施例的交互系统可以包括电子设备100、监视设备400和iot设备500。

根据实施例，电子设备100可以进行控制，以便在实际空间中设置第一交互区1610、第二交互区1620以及第三交互区1630。电子设备100可以通过拍摄将被监视的实际空间(或从另一个设备或附件)获得图像并且基于获得的图像来设置交互区。已经参考图6、图7、图8a、图8b、图9a和9b详细描述了由电子设备100设置交互区的方法，并且因此在以下省略其详细描述。

监视设备400可以监视预设事件是否出现在第一至第三交互区1610、1620和1630中的每一个中。

例如，电子设备100可以将与第一至第三交互区1610、1620和1630中的每一个相对应的事件设置为其中检测到某对象的事件。此外，电子设备100可以设置洗衣机511的开/关操作作为与第一交互区1610相对应的操作、设置微波炉512的开/关操作作为与第二交互区1620相对应的操作，并且设置扬声器513的开/关操作或音量调整操作作为与第三交互区1630相对应的操作，但是应当理解，与第一至第三交互区1610、1620和1630相对应的操作不限于此。

监视设备400可以基于在第一交互区1610中检测到事件(例如，第一事件)来向洗衣机511、基于在第二交互区1620中检测到事件(例如，第一事件或第二事件)来向微波炉512并且基于在第三交互区1630中检测到事件(例如，第一事件、第二事件或第三事件)来向扬声器513传送指示事件的出现的信息。替换地，监视设备400可以向洗衣机511、微波炉512和扬声器513传送控制命令，使得洗衣机511、微波炉512和扬声器513中的每一个执行与事件的出现相对应的预设操作。洗衣机511、微波炉512和扬声器513中的每一个可以响应于出现的事件来执行开/关操作或音量调整操作。

因此，第一至第三交互区1610、1620和1630可以分别操作为用于iot设备(洗衣机511、微波炉512和扬声器513)的虚拟开关。

图19图示出根据实施例的交互系统的操作方法。

参考图19，交互系统可以包括监视设备400以及iot设备520、530、540、550或560中的至少一个。

根据实施例，监视设备400可以是显示设备，但是不限于此。监视设备400可以包括照相机410、麦克风420、人体检测传感器430、照度传感器440、温度传感器450等等。照相机410、麦克风420、人体检测传感器430、照度传感器440、温度传感器450等等可以是嵌入在监视设备400中的模块或可以被配置为单独的模块并且提供给监视设备400。

监视设备400可以监视预设事件是否出现，并且当事件出现时(例如基于检测到事件)，向与出现的(例如，检测到的)事件相对应的iot设备传送指示事件的出现的信息。

例如，监视设备400可以通过使用照相机410来检测设置的交互区中的人类以辨识检测到的人或监视人数。监视设备400可以向tv传送关于辨识的人的信息或关于检测到的人的数量的信息。基于所接收的信息，tv可以被开启、从当前频道改变到与辨识的人相对应的频道，或从当前频道改变到与检测到的人的数量相对应的频道。

监视设备400可以通过使用麦克风420来检测婴儿哭声。监视设备400可以向音频设备520或蜂窝电话530传送指示事件的出现(检测到婴儿哭声)的信息。基于所接收的信息，音频设备520可以播放催眠曲，和/或蜂窝电话530可以对预设外部设备发送文本消息或进行呼叫。

监视设备400可以通过分析经由麦克风420输入的语音来辨识用户。当辨识出特定用户时，监视设备400可以向对应的iot设备传送指示事件的出现(特定用户辨识)的信息，使得对应的iot设备分别执行与辨识的特定用户相对应的操作。对应的iot设备可以分别基于所接收的信息来执行预设操作。例如，音频设备520可以播放与辨识的特定用户相对应的音乐、可以以与辨识的特定用户相对应的亮度开启照明设备550和/或空调560可以将期望的温度设置为与辨识的特定用户相对应的温度。

可以通过使用人体检测传感器430来检测监视设备400。当(或基于)检测到人体，监视设备400可以向照明设备550、tv和/或音频设备520传送指示事件的出现的信息。基于所接收的信息，照明设备550、tv和/或音频设备520可以执行开启操作。

替换地，当检测到人体时，监视设备400可以向照相机410和蜂窝电话530传送指示事件的出现的信息，并且蜂窝电话530可以向预设外部设备传送文本消息或由照相机410捕捉的图像。

当在预设时间或更久没有检测到人体时，监视设备400可以向照明设备550和tv传送指示事件的出现的信息，并且照明设备550和tv可以执行关闭操作。

根据实施例，监视设备400可以通过使用照度传感器440来检测照度。当检测到照度比预设照度亮时，监视设备400可以向照明设备550和/或电动窗帘传送指示事件的出现的信息。基于所接收的信息，照明设备550可以被关闭或将照度调整得更暗，和/或电动窗帘可以执行窗帘闭合操作。

此外，当检测到照度比预设照度(或不同的预设照度值0)暗时，监视设备400可以向照明设备550和/或电动窗帘传送指示事件的出现的信息。基于所接收的信息，照明设备550可以被开启或将照度调整得更亮，和/或电动窗帘可以执行窗帘打开操作。

根据实施例，监视设备400可以通过使用温度传感器450来检测温度。当检测到温度与预设温度相比更高或更低(或高于第一预设温度并且低于第二预设温度)时，监视设备400可以向空调560、电扇、炉子、加热器，等等中的至少一个传送指示事件的出现的信息。基于所接收的信息，调节器560、电扇、火炉、加热器等等可以被开启/关闭和/或设置适当的温度。

根据实施例，监视设备400可以收集当前时间信息。当其变为预设时间时，监视设备400可以向对应的iot设备传送指示事件(例如，达到预设时间)的出现的信息，使得对应的iot设备分别执行与预设时间相对应的操作。对应的iot设备可以分别基于所接收的信息来执行预设操作。例如，电动窗帘可以执行窗帘打开操作、tv可以被开启、机器人清洁器540可以执行清洁工作，并且音频设备520可以执行播放音乐的操作。

根据实施例，监视设备400可以检测微波炉的操作。当微波炉操作时，监视设备400可以向通风机传送指示事件的出现的信息。通风机可以基于所接收的信息进行操作。此外，当微波炉的操作因为烹饪完成而结束时，通风机可以停止操作。

根据实施例，交互系统不局限于参考图19所描述的示例。参考图19所描述的示例仅仅是说明性的，并且根据各个实施例，可以以各种修改的或应用的形式来实施交互系统。此外，尽管在以上描述的实施例中，监视设备400向iot设备(多个)传送指示事件的出现的信息(或控制信号)，但应当理解，一个或多个其他实施例不限于此。例如，在一个或多个其他实施例中，监视设备400可以向诸如控制器(例如，智能家庭控制器、紫蜂控制器、z-波控制器、iot设备控制器、第三方控制器)、桥、网关、服务器等等的中间设备传送信息或控制信息或信号。

图20图示出根据实施例的、由显示设备2000执行的设置交互区的方法。

根据实施例，可以通过显示设备2000来执行在图6、图7、图8a、图8b、图9a、图9b、图10至图13、图14a和图14b中示出的并且已经参考其描述了的设置交互区的操作、设置与交互区相对应的内容的操作、对交互区设置标签信息的操作和/或存储交互区的操作。

参考图20，显示设备2000可以通过拍摄(例如，捕捉)将被监视的实际空间(的图像)来在显示器上显示图像2110。可以从外部设备接收或由显示设备2000来捕捉通过拍摄将被监视的实际空间所获取的图像2110。此外，通过拍摄实际空间所获取的图像2110可以包括至少一个对象并且可以包括对象的深度值信息。

显示设备2000可以基于图像中所包括的至少一个点或对象来生成3d框。在该情况下，显示设备2000可以从控制设备2200接收用于选择图像中所包括的任何一个点的输入、在图像上从任何一个点到另一个点的拖动输入、用于选择图像中所包括的对象的输入等等中的至少一个。

根据实施例，可以通过用于控制显示设备2000的各种类型的设备(诸如远程控制或蜂窝电话)来实施控制设备2200。另外，控制设备2200可以通过使用包括红外通信方案、蓝牙通信方案、有限位置(或距离)通信方案等等的短程通信方案来控制显示设备2000。控制设备2200可以通过使用键(包括硬按钮、软键、滚轮、可旋转拨盘，等等)、触摸板、能够接收用户的语音的麦克风、能够辨识控制设备2200的运动的传感器等等中的至少一个来控制显示设备2000的功能。

另外，显示设备2000可以显示所生成的3d框2130。显示设备2000可以基于从控制设备2200接收的用户输入来调整所显示的图像2110的视角和3d框2130的尺寸和位置中的至少一个(例如，类似于参考图7、图8a、图8b、图9a以及图9b的以上描述)。

显示设备2000可以进行控制以便在实际空间中设置与3d框2130相对应的交互区。例如，如在图21中所示的，可以在实际空间中设置与3d框2130相对应的交互区2140。

另外，当设置3d框2130时，显示设备2000可以设置与3d框2130相对应的事件、以及当(或基于)检测到事件，将被执行的操作。显示设备2000可以将其中检测到特定运动(手势)的事件、其中检测到某对象的事件、其中未检测到某对象的事件等等设置为与3d框2130相对应的事件，尽管应当理解的是，与3d框2130相对应的事件不限于此。

例如，如图20中所示，显示设备2000可以将其中检测到特定运动的事件设置为与3d框2130相对应的事件。例如，特定运动可以包括张开并且然后握紧手以捏成拳头的第一运动、张开并且然后向下和向上移动手的第二运动，以及张开并且然后向左和向右摇动手的第三运动。

另外，显示设备2000可以将电源接通/断开操作、信道开关操作、音量调整操作、屏幕亮度调整操作等等设置为当在与3d框2130相对应的交互区中检测到事件(例如，用于每一个操作或用于操作的任何组合的对应的事件)时将执行的操作，尽管应当理解的是，当(或基于)在与3d框2130相对应的交互区中检测到事件，将执行的操作不限于此。作为示例，显示设备2000可以显示列表2150，并且用户可以通过对项目执行到分别与多个事件相对应的区域2161、2162和2163的拖放输入来设置分别与多个事件相对应的执行操作。应当理解，一个或多个其他实施例不限于此，并且可以实施允许用户选择或设置分别与多个事件相对应的执行操作(例如，下拉式菜单、手动输入区，等等)的任何方式。

如图20中所示，显示设备2000可以将电源开/关操作设置为第一运动、将频道切换操作设置为第二运动，并且将音量调整操作设置为第三运动。

图21图示出根据实施例的显示设备2000的操作。

显示设备2000可以基于3d框的坐标值信息在实际空间中确定与所生成的3d框相对应的交互区2140，并且基于对3d框设置的事件信息来监视事件是否出现在交互区2140中。根据实施例，显示设备2000可以包括运动传感器2170并且通过使用运动传感器2170来在交互区2140中检测特定运动。当在交互区2140中检测到事件(例如，特定运动)时，显示设备2000可以基于对3d框设置的执行操作信息来执行对应的操作。

例如，当在交互区2140中检测到第一运动(例如，张开并且然后握紧手以捏成拳头的运动)时，显示设备2000可以执行第一操作(例如，被开启或关闭或改变电源状态)。另外，当在交互区2140中检测到第二运动(例如，张开并且然后向上和向下移动手的运动)时，显示设备2000可以执行第二操作(例如，将当前频道切换到另一个频道、执行频道切换操作、先前的频道操作、源输入改变操作，等等)。

图22是根据实施例的显示设备2000的框图。

参考图22，根据实施例的显示设备2000可以包括调谐器2040、控制器2010、显示器2020、通信接口2050、传感器2030、视频处理器2080、音频处理器2015、音频输出接口2025、电源2060、输入/输出(i/o)接口2070，以及存贮器2090。

调谐器2040可以通过以有线或无线方式接收的广播信号的放大、混合、共振等等来仅仅调谐和选择显示设备2000(或显示设备2000的用户)期望从许多频率分量当中接收的信道的频率。广播信号包括音频、视频和附加信息(例如，电子节目指南(epg))中的至少一个。

调谐器2040可以根据用户输入(例如，从控制设备2200接收的控制信号，诸如频道号输入、频道向上/向下输入、epg屏幕图像上的频道输入，等等)在与频道号相对应的频带中接收广播信号。

调谐器2040可以从诸如陆地广播电台、有线广播电台、卫星广播电台，和因特网广播电台之类的各种源接收广播信号。调谐器2040可以从诸如模拟广播电台和/或数字广播电台之类的源接收广播信号。

通信接口2050可以在控制器2010的控制下向外部设备或服务器传送数据或信号和从外部设备或服务器接收数据或信号。控制器2010可以向通过通信接口2050连接的外部设备传送内容/从其接收内容、从外部设备下载应用，和/或通过通信接口2050执行web浏览。通信接口2050可以通过与显示设备2000的性能和结构一致的wlan(例如，wi-fi)、蓝牙，和有线以太网中的至少一个方案来传送和接收数据或信号。

视频处理器2080对由显示设备2000接收的视频数据进行处理。视频处理器2080可以对视频数据执行各种类型的图像处理，诸如解码、缩放、噪声过滤、帧速率转换和分辨率转换。

音频处理器2015对音频数据执行处理。音频处理器2015可以对音频数据执行各种处理，诸如解码、放大和/或噪声过滤。同时，音频处理器2015可以包括多个音频处理模块来处理与多则内容相对应的音频。

音频输出接口2025根据控制器2010的控制来输出通过调谐器2040接收的广播信号中所包括的音频。音频输出接口2025可以通过通信接口2050或输入/输出接口2070来输出音频(例如语音或声音)输入。而且，音频输出接口2025可以根据控制器2010的控制来输出存储在存贮器2090中的音频。音频输出接口2025可以包括扬声器2026、耳机输出端2027以及索尼/飞利浦数字接口(s/pdif)2028中的至少一个。音频输出接口2025可以包括扬声器2026、耳机输出端2027和s/pdif输出端2028的组合。

电源2060根据控制器2010的控制向显示设备2000中的组件供应从外部电源接收的电力。而且，电源2060可以根据控制器2010的控制向组件供应从在显示设备2000内部提供的一个或多个内部电源(例如，电池)输出的电力。

传感器2030可以通过显示器2020中的边框的光窗口，等等来接收从外部控制设备接收的光信号(例如，控制信号)。传感器2030可以从控制设备2200接收与用户输入(例如，触摸、推动、触摸手势、语音或运动)相对应的光学信号。控制器2010可以从所接收的光学信号中提取控制信号。此外，传感器2030可以检测用户的语音、用户的图像和/或用户的交互。根据实施例，传感器2030可以包括被配置为接收由用户发出的语音的麦克风。麦克风可以将所接收的语音转换为电信号并且向控制器2010输出电信号。

此外，根据实施例，传感器2030可以检测用户输入并且向控制器2010传送所检测的信号。例如，传感器2030可以从控制设备2200检测诸如频道向上/向下、电源接通/断开、频道选择，和/或屏幕图像配置之类的用户输入。此外，根据实施例，传感器2030可以检测按压控制设备2200中所包括的频道向上键或频道向下键的输入、长按频道向上键或频道向下键的输入、释放频道向上键或频道向下键的输入，等等。

传感器2030检测用户的语音、用户的图像，和/或用户的交互(例如，预先确定的或特定运动或者运动的模式)。

麦克风2031接收由用户发出的语音。麦克风2031可以将所接收的语音转换为电信号并且向控制器2010输出电信号。语音例如可以包括与显示设备2000的菜单或功能相对应的语音输入。麦克风2031可以与显示设备200集成或与其分开。当麦克风2031与显示设备2000分开时，麦克风2031可以通过通信接口2050或输入/输出接口2070电学地或无线地连接到显示设备2000。

应当理解，基于显示设备2000的性能和结构，可以省略麦克风2031。

照相机2032接收与照相机辨识范围内的姿态的用户的运动相对应的图像(例如，连续的帧)。运动的示例包括诸如面部、形成表情的面部、手、捏成拳头的手、用手指指、手指等等的用户的身体的部位的运动。照相机2032可以将所接收的图像转换为电信号并且根据控制器2010的控制向控制器2010输出电信号。

控制器2010可以选择在显示设备2000中显示的菜单或执行辨识运动的结果，通过使用辨识运动的结果，例如调整频道、调整音量、移动指示符，和/或移动光标。

照相机2032可以包括透镜和图像传感器。照相机2032可以通过使用多个透镜和图像处理来支持光学变焦或数字变焦。可以基于照相机的角度和周围条件来不同地设置照相机2032的辨识范围。当照相机2032包括多个照相机时，可以通过使用多个照相机来接收三维(3d)静止图像或3d运动。

照相机2032可以与显示设备2000集成或与其分开。包括与显示设备2000分开的照相机2032的单独设备可以通过通信接口2050或i/o接口2070被电学地或无线地连接到显示设备2000。

应当理解，基于显示设备2000的性能和结构，可以省略照相机2032。

光接收器2033通过显示器2020的边框的光学窗口从外部控制设备接收光学信号(例如，控制信号)。光接收器2033可以从外部控制设备接收与用户输入(例如；触摸、按压、触摸手势、语音或运动)相对应的光学信号。可以根据控制器2010的控制从光学信号中提取控制信号。

i/o接口2070根据控制器2010的控制从显示设备2000的外部源接收视频(例如活动图像)、音频(例如，语音或音乐)，和/或附加信息(例如，epg)。i/o接口2070可以包括hdmi端口2071、组件插孔2072、个人计算机(pc)端口2073以及通用串行总线(usb)端口2074之一。i/o接口2070可以包括hdmi端口2071、组件插孔2072、pc端口2073和usb端口2074的组合。

应当理解，基于显示设备2000的性能和结构，可以省略i/o接口2070。

控制器2010控制显示设备2000的总体操作以及显示设备2000的内部组件2010至2090之间的信号流并且对数据进行处理。当用户的输入存在，或满足先前设置和存储的条件时，控制器2010可以执行存储在存贮器2090中的操作系统(os)和各种应用。

控制器2010可以包括用于存储从显示设备2000的外部源接收的信号或数据或用作由显示设备2000执行的各种操作的存储区域的随机存取存储器2081、其中存储用于控制显示设备2000的控制程序的只读存储器(rom)2072以及处理器2083。

处理器2083可以包括用于对视频执行图形处理的图形处理单元(gpu)2084。处理器2083可以被实现为其中集成了核和gpu2084的片上系统(soc)。

gpu2084通过使用运算器和渲染器来生成包括诸如图标、图像，和文本之类的各种对象的屏幕。运算器通过使用通过传感器2030所检测的用户输入、根据屏幕的布局来计算诸如每个对象的坐标值、形状、尺寸和/或颜色等的属性值。渲染器基于通过运算器计算的属性值来生成具有包括对象的各种布局中的任何一个的屏幕。在显示器2020的显示区域中显示由渲染器生成的屏幕。

第一至第n接口2085-1至2085-n连接到如上所述的各个组件。第一至第n接口2085-1至2085-n之一可以是通过网络连接到外部设备的网络接口。

ram2081、rom2082、处理器2083、gpu2084和第一至第n接口2085-1至2085-n可以通过内部总线2086连接到彼此。

当前实施例中的术语“显示设备的控制器”包括处理器2083、rom2082，和ram2081。

显示器2020通过对由控制器2010处理的图像信号、数据信号、osd信号、控制信号等等进行转换来生成驱动信号。可以通过pdp、lcd、oled、柔性显示器等等来实施显示器2020，并且也可以通过3d显示器来实施显示器2020。此外，通过利用触摸屏来配置显示器2020，除用作输出设备之外，显示器2020可以用作输入设备。

在控制器2010的控制下，存贮器2090可以存储用于操作和控制显示设备2000的各种数据、程序和/或应用。存贮器2090可以包括广播接收模块、频道控制模块、音量控制模块、通信控制模块、语音辨识模块、运动辨识模块、光学接收模块、显示控制模块、音频控制模块、外部输入控制模块、电力控制模块、用于控制以无线方式(例如，蓝牙)连接的外部设备的电力的模块、语音数据库(db)和/或运动db。可以以软件格式来实施存贮器2090的模块和db以执行广播接收控制功能、频道控制功能、音量控制功能、通信控制功能、语音辨识功能、运动辨识功能、光学接收控制功能、显示控制功能、音频控制功能、外部输入控制功能、电力控制功能和/或控制以无线方式(例如，蓝牙)连接的外部设备的功能。控制器2010可以通过使用存储在存贮器2090中的软件来执行每个功能。

图22中示出的显示设备2000的框图仅仅是说明性的。可以根据实际上实施的显示设备2000的规范或设计来集成、添加或省略框图中的每个组件。也就是说，根据情况，两个或更多组件可以被集成到一个组件中，一个组件可以被分离为两个或更多组件和/或可以省略一个或多个组件。另外，在每个框中执行的功能将描述实施例，并且其详细的操作或设备不受限。

根据实施例的电子设备的操作方法可以被实施为可以通过各种计算机装置执行的并且被记录在非暂时性计算机可读记录媒介上的计算机命令。非暂时性计算机可读记录媒介可以包括单独地或组合地采用的程序命令、数据文件、和数据结构。记录在非暂时性计算机可读记录媒介上的程序命令可以对于本公开被特别地设计和构造或者可以为计算机软件领域针对那些本领域普通技术人员所了解和使用。非暂时性计算机可读媒介的示例包括诸如硬盘、软磁盘，或磁带之类的磁性介质，诸如光盘只读存储器(cd-rom)，或数字化通用磁盘(dvd)之类的光介质，诸如可光读盘之类的磁光介质，以及诸如rom、ram，或闪速存储器之类的特别被配置为存储和执行程序命令的硬件设备。程序命令的示例包括可以由计算机使用解释器执行的高级别编程语言码以及由编译器作出的机器语言代码。

此外，可以通过将根据实施例的电子设备和/或电子设备的操作方法包括在计算机程序产品中来提供其。可以在卖主和买方之间交易计算机程序产品。

计算机程序产品可以包括软件(s/w)程序、其中存储s/w程序的非暂时性计算机可读存储媒介。例如，计算机程序产品可以包括通过电子设备的制造商或电子市场(例如，googleplaystore或app商店)电子地分发的产品的s/w程序形式(例如，可下载的应用)。为了电子分发，可以将s/w程序的至少一部分存储在中存储媒介上或可以暂时地生成s/w程序的至少一部分。在该情况下，存储媒介可以被包括在制造商的服务器、电子市场的服务器，或被配置为暂时地存储s/w程序的中继站服务器中。

在包括服务器和客户端设备的系统中，计算机程序产品可以包括服务器的存储媒介或客户端设备的存储媒介。替换地，当通过通信连接到服务器或客户端设备的第三设备(例如，智能电话)存在时，计算机程序产品可以包括第三设备的存储媒介。替换地，计算机程序产品可以包括将从服务器向客户端设备或第三设备传送的或从第三设备向客户端设备传送的s/w程序。

在这种情况下，服务器、客户端设备，和第三设备之一可以执行计算机程序产品并且执行根据实施例的方法。替换地，服务器、客户端设备和第三设备中的两个或更多可以执行计算机程序产品并且以分布式方式来执行根据实施例的方法。

例如，服务器(例如，云服务器、人工智能服务器等等)可以执行存储于其中的计算机程序产品，以控制通过通信连接到服务器的客户端设备，使得客户端设备执行根据实施例的方法。

根据实施例的电子设备可以通过提供用户可以通过其容易地设置交互区的用户接口来改善用户的使用便利性。

根据实施例的电子设备可以通过提供用户可以通过其容易地设置或改变与交互区相对应的内容的用户接口来改善用户的使用便利性。

应当理解，应当仅仅以描述性的意义而非为了限制来考虑在本文描述的实施例。每个实施例内的特征或者方面的描述应当典型地被认为可用于在其他的实施例中的其它类似的特征或者方面。

尽管已经参考图描述了实施例，但本领域技术人员将理解的是，在不背离如所附权利要求(至少部分地)所限定的精神和范围的情况下，可以在其中作出形式和细节方面的各种改变。