用于控制无人机的方法和用于控制无人机的电子设备与流程

本申请要求于2016年12月27日在韩国知识产权局提交的韩国专利申请序列号10-2016-0180262的优先权，其内容以全文引用的方式并入本文中。

本公开涉及一种用于控制无人机(uav)的方法和用于控制uav的电子设备。

背景技术：

无人机(uav)(例如，无人驾驶飞机)可以是在飞机上不需要飞行员的情况下通过无线电波的感应而飞行的设备。uav可以用来传送物品、捕捉照片或图像以及侦察、监视等等。

uav可以响应于由单独的操作设备产生的无线控制信号而飞行。根据操作设备的控制信号，uav可以改变其高度或者可以移动或旋转。如果uav包括相机设备，则它可以捕捉照片或视频。

提出以上信息作为背景信息仅仅是为了辅助理解本公开。并未确定和承认上述任何内容是否可用作本公开的现有技术。

技术实现要素：

为了通过相关技术控制无人机(uav)(或无人驾驶飞机设备)，可以使用操纵杆型操作设备或智能手机的触摸按钮。在这种情况下，用户可以产生操纵杆输入或触摸输入以将uav移动或旋转到期望的位置。

通过相关技术操作uav的方法可以是以复杂的方式操作两个操纵杆，以在三维(3d)空间上改变uav的高度或者移动或旋转uav的方法。由于该操作方法难以使uav的移动方向与用户的位置相匹配，因此用户难以熟练地操作uav。此外，如果使用安装在uav上的相机来捕捉图像或视频，则操作方法应该准确地控制操作设备以捕捉用户想要的合成的图像。

本公开的各个方面是为了至少解决上述问题和/或缺点，并且至少提供以下描述的优点。

根据本公开的一个方面，提供了一种电子设备。该电子设备包括：通信电路，被配置为与无人机(uav)进行无线数据的发送和接收；显示器，被配置为显示用于操作uav的用户界面(ui)；存储器；以及处理器，与通信电路、显示器和存储器电耦接。处理器可以被配置为从uav接收与uav的第一点的方向相关的信息，响应于接收到与uav的移动或旋转相关联的用户输入，在显示器上显示与第一点的方向相对应的方向指示对象，响应于方向指示对象的位置和用户输入，产生用于相对于第一点移动或旋转uav的控制信号，并且使用通信电路向uav发送所产生的控制信号。

根据本公开的各种实施例的用于控制uav的方法和用于控制uav的电子设备可以使用杆式高度调节ui和圆形移动/旋转ul来直观地控制uav。

根据本公开的各种实施例的用于控制uav的方法和用于控制uav的电子设备可以接收uav的头部方向，并且可以在屏幕上显示接收到的头部方向，从而允许用户容易地识别uav面向的方向。

根据本公开的各种实施例的用于控制uav的方法和用于控制uav的电子设备可以允许用户用他或她的一只手简单地操作uav。

根据结合附图公开了本公开各种实施例的以下详细描述，本公开的其他方面、优点和突出特征对于本领域技术人员将变得清楚明白。

附图说明

根据结合附图的以下描述，本公开的某些实施例的上述和其它方面、特征以及优点将更清楚，在附图中：

图1是示出了根据本公开各种实施例的无人机(uav)和电子设备的示图；

图2是示出了根据本公开各种实施例的uav的配置的框图；

图3是示出了根据本公开各种实施例的图像捕捉方法的流程图；

图4是示出了根据本公开各种实施例的用于控制uav的电子设备的显示器的示图；

图5是示出了根据本公开各种实施例的改变uav的高度的操作的示图；

图6、图7和图8是示出了根据本公开各种实施例的在相同高度处移动uav的操作的示图；

图9是示出了根据本公开各种实施例的在相同高度处旋转uav的操作的示图；

图10a是示出了根据本公开各种实施例的基于用户输入发生的位置来产生控制信号的方法的示图；

图10b是示出了根据本公开各种实施例的根据用户输入转换角度的示图；

图11是示出了根据本公开各种实施例的在相同高度处的复合输入的示图；

图12是示出了根据本公开各种实施例的使用双击输入使uav进行方向转换的示图；

图13是示出了根据本公开各种实施例的计算双击输入的角度的示图；

图14是示出了根据本公开各种实施例的显示器在横屏模式下的控制界面的示图；

图15是示出了根据本公开各种实施例的具有圆形显示器的电子设备的示图；以及

图16是示出了根据本公开各种实施例的电子设备的配置的框图。

应注意，在整个附图中，相似的附图标记用于描述相同或相似的元件、特征和结构。

具体实施方式

提供以下参考附图的描述以帮助全面理解由权利要求及其等同物限定的本公开的各实施例。以下描述包括各种具体细节以帮助理解，但这些具体细节应被视为仅仅是示例性的。因此，本领域普通技术人员将认识到：在不脱离本公开的范围和精神的情况下，可以对本文所述的各种实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略对已知功能和结构的描述。

以下描述和权利要求中使用的术语和词语不限于其书面含义，而是仅仅被发明人用来实现对本公开清楚一致的理解。因此，本领域技术人员应清楚，以下对本公开各种示例实施例的描述仅用于说明目的，而不是要限制由所附权利要求及其等同物限定的本公开。

应当理解的是，除非上下文中另有清楚指示，否则单数形式“一”、“一个”和“所述”包括复数指示物。因此，例如，对“一个组件表面”的引用包括对一个或多个这样的表面的引用。

在本文公开的公开中，本文使用的表述“具有”、“可以具有”、“包含”和“包括”或“可以包含”和“可以包括”表示存在相应的特征(例如，诸如数值、功能、操作或组件之类的元素)，但是不排除存在附加的特征。

在本文公开的公开内容中，本文使用的表述“a或b”、“a或/和b中的至少一个”、或者“a或/和b中的一个或多个”等可以包括关联列出项中的一个或多个的任意以及所有组合。例如，术语“a或b”、“a和b中的至少一个”或“a或b中的至少一个”可以指代以下所有情况：(1)包括至少一个a，(2)包括至少一个b，或(3)包括至少一个a和至少一个b这二者。

本文中使用的诸如“第一”、“第二”之类的术语可以指代本公开的各种实施例的各种元件，但不限制元件。例如，这样的术语仅用于将元件与另一元件区分开，并且不限制元件的顺序和/或优先级。例如，第一用户设备和第二用户设备可以表示不同的用户设备(不考虑顺序或重要性)。例如，在不脱离本公开的范围的情况下，可以将第一元件称为第二元件，并且类似地，可以将第二元件称为第一元件。

应当理解的是，当元件(例如，第一元件)被称为“操作地或通信地”与另一元件(例如，第二元件)耦接/耦接到另一元件或“连接到”另一元件时，可以直接与该另一元件耦接/耦接到该另一元件或连接到该另一元件，或可以存在中间元件(例如，第三元件)。相反，当元件(例如，第一元件)被称为“直接与另一元件(例如，第二元件)耦接/直接耦接到另一元件”或“直接连接至另一元件”时，应理解，不存在中间元件(例如，第三元件)。

根据情况，本文中所使用的表述“(被)配置为”可以用作例如表述“适用于”、“具有…的能力”、“(被)设计为”、“适于”、“(被)制造为”或者“能够”。术语“配置为(或设置为)”不必仅意味着在硬件中“专门设计为”。而是，表述“被配置为……的设备”可以意味着该设备“能够”与另一设备或其他组件(例如，中央处理单元(cpu))一起操作，“被配置为(或被设置为)执行a、b和c的处理器”可以意味着用于执行相应操作的专用处理器(例如，嵌入式处理器)、或可以通过执行存储在存储器设备中的一个或多个软件程序来执行相应操作的通用处理器(例如cpu或应用处理器)。

本说明书中所用的术语用于描述本公开的特定实施例，而不旨在限制本公开的范围。除非另有指定，否则单数形式的术语可以包括复数形式。除非本文另有说明，否则本文使用的所有术语(包括技术或科学术语)可以具有与本领域的技术人员通常所理解的含义相同的含义。还应当理解，在字典中定义并且常用的术语还应当被解释为有关相关技术中的惯例，而不是理想化或过度正式的检测，除非在本文在本公开的各种实施例中明确地如此定义。在一些情况下，即使术语是在本说明书中定义的术语，它们可以不被解释为排除本公开的实施例。

根据本公开各种实施例，电子设备可以包括以下至少一个：智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动图像专家组阶段1或阶段2(mpeg-1或mpeg-2)音频层3(mp3)播放器、移动医疗设备、相机以及可穿戴设备。根据本公开的各种实施例，可穿戴设备可以包括配饰(例如，手表、戒指、手链、脚链、眼镜、隐形眼镜或头戴式设备(hmd))、衣服集成类型(例如，电子衣服)、身体附着类型(例如，皮肤垫或纹身)或可植入类型(例如，可植入电路)。

在本公开的一些实施例中，电子设备可以是家用电器之一。家用电器可以包括例如以下项中的至少一项：数字多功能盘(dvd)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动控制面板、安全控制面板、电视(tv)盒(例如，三星homesync^tm、苹果tv^tm或谷歌tv^tm)、游戏控制台(例如，xbox^tm或playstation^tm)、电子词典、电子钥匙、摄录机或电子面板。

在本公开的另一实施例中，电子设备可以包括以下项中的至少一项：各种医疗设备(例如，各种便携式医疗测量设备(血糖仪、心率测量设备、血压测量设备和体温测量设备)、磁共振血管造影(mra)、磁共振成像(mri)设备、计算机断层摄影(ct)设备、拍摄设备和超声设备)、导航系统、全球导航卫星系统(gnss)、事件数据记录器(edr)、飞行数据记录器(fdr)、车辆信息娱乐设备、船用电子设备(例如，船用导航设备和陀螺罗盘)、航空电子设备、安全设备、车辆头端单元、工业或家庭机器人、金融公司的自动柜员机(atm)、商店的销售点(pos)或物联网(例如，灯泡、各种传感器、电表或燃气表、洒水器、火警设备、恒温器、电杆、烤面包机、运动器材、热水箱、加热器和锅炉)。

根据本公开的一些实施例，电子设备可以包括以下项中的至少一项：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或各种测量设备(例如，水服务、电、燃气或电波测量设备)。在本公开的各种实施例中，电子设备可以是前述设备中的一个或组合。根据本公开的一些实施例的电子设备可以是柔性电子设备。此外，根据本公开的实施例的电子设备不限于上述设备，而是可以包括由于技术的发展而生产的新的电子设备。

下文中，将参考附图描述根据本公开的实施例的电子设备。本文使用的术语“用户”可以表示使用电子设备的人，或者可以表示使用电子设备的设备(例如，人造电子设备)。

图1是示出了根据本公开各种实施例的无人机(uav)和电子设备的示图。在下文中，以uav101是是无人驾驶飞机设备为例来描述实施例。然而，实施例不限于此。

参考图1，可以通过电子设备(或者控制设备或者操作设备)102来控制uav101。根据电子设备102产生的控制信号，uav101可以执行改变其高度的“节流”，可以执行在相同高度处移动的“俯仰和滚动”，或者执行在相同高度处旋转的“偏航”。uav101可以根据指定的无线通信模式(例如，蓝牙(bt)、wi-fi、蜂窝通信等)与电子设备102进行信号的发送和接收。

根据各种实施例，uav101可以收集与uav101的第一点110而不是中心相关的位置信息。第一点(以下称为“方向设定点”)110可以是用于确定uav101面向的方向的点。

例如，如果uav101具有头部，则方向设定点110可以是头部或头部附近的点。作为另一示例，如果uav101具有相机设备，则方向设定点110可以是安装相机设备的点或相机设备附近的点。作为另一示例，方向设定点110可以是用户设置的点或制造步骤中预设的点。在另一个示例中，方向设定点110可以是安装诸如地磁传感器或全球定位系统(gps)传感器之类的电路的点。

在下文中，以方向设定点110是uav101的头部位置为例来描述实施例。然而，实施例不限于此。

根据各种实施例，uav101可以向电子设备102发送方向设定点110的位置信息。例如，方向设定点110的位置信息可以包括与uav101的方位角(例如，相对于正北方向的角度)、纬度、经度、倾斜等相关的信息。电子设备102可以在显示器120上输出与方向设定点110相对应的方向指示对象(以下称为“方向指示”)130。

根据各种实施例，相机设备(未示出)可以安装在uav101上。uav101可以向电子设备102或外部设备(例如，服务器)实时地发送由相机设备收集的图像数据。

电子设备102可以产生与用户输入相对应的控制信号，并且可以向uav101发送所产生的控制信号。电子设备102可以使用通信模块(或通信电路)向uav101发送所产生的控制信号。通信模块(或通信电路)可以执行诸如bt、wi-fi或蜂窝通信之类的无线通信。在各种实施例中，电子设备102可以是包括显示器120的电子设备(例如，智能手机、平板个人计算机(pc)、智能手表等)。

根据各种实施例，电子设备102可以在显示器120上输出用于控制uav101的ui。电子设备102可以输出用于进行以下操作的ui：改变uav101的高度的“节流”、在相同的高度处移动uav101的“俯仰和滚动”、或者在相同高度处旋转uav101的“偏航”。在一个实施例中，ui可以包括直杆滑动按钮或圆形触摸按钮。

在图1中，以ui通过触摸按钮来显示为例来描述实施例。然而，实施例不限于此。例如，可以使用物理按钮、识别用户的操作输入的传感器、或者边框或可移动轮(例如操纵杆)来实现ui。

根据各种实施例，电子设备102可以在显示器120的至少一部分上输出与uav101的方向设定点110相对应的方向指示130。电子设备102可以从uav101接收方向设定点的位置信息。例如，方向设定点110的位置信息可以包括与uav101的方位角(例如，相对于正北方向的角度)、纬度、经度、倾斜等相关的信息。

电子设备102可以将电子设备102的参考方向(例如，显示器120的上方向)与方向设定点110的方向进行比较，以确定方向指示130将被输出的位置。显示器120上的方向指示130的位置可以根据uav101面向的方向和用户面向的方向(或者电子设备102的上端面向的方向)而改变。

例如，如果uav101面向正北方向，并且如果用户以竖屏模式握持电子设备102并且面向正北方向，则方向指示130可以被定位为面向电子设备102的上方。如果uav101面向的方向改变为西北，并且如果用户(或电子设备102)面向的方向是固定的，则方向指示130可以沿逆时针方向旋转。另一方面，如果uav101面向的方向是固定的，并且如果用户(或电子设备102)面向的方向改变为东北，则方向指示130也可以沿逆时针方向旋转。

如果方向设定点110根据uav101的移动或旋转而改变方向，则电子设备102可以将方向指示130的位置改变为对应于方向设定点110的方向。

在图1中，以方向指示130被显示为三角形点的形式为例来描述实施例。然而，实施例不限于此。例如，可以在显示器120的一部分上显示用于粗略表示uav101的形式的图标。该图标可以响应于uav101的旋转而旋转。用户可以通过图标的形式识别uav101的头部方向。

可以参考图3至图15提供与方向指示130的输出和用户界面的输出相关的附加信息。

图2是示出了根据本公开各种实施例的uav的配置的框图。

参考图2，uav101可以包括处理器210、存储器220、移动设备230、通信电路240、定位电路250和相机260。在一些实施例中，uav101可以不包括所述元件中的至少一个，或者还可以包括其他元件。

处理器210可以包括cpu、应用处理器(ap)或通信处理器(cp)中的一个或多个。处理器210可以执行例如关于uav101的至少一个其他元件的控制和/或通信的算术运算或数据处理。处理器210可以执行与以下操作相关联的算术运算：使用移动设备230移动uav101、使用相机260捕捉图像、使用通信电路240与电子设备102进行数据的发送和接收、使用定位电路250识别uav101的位置、或者存储捕捉的图像或位置信息。

存储器220可以包括易失性和/或非易失性存储器。存储器220可以存储例如与uav101的至少一个其他元件相关联的指令或数据。

根据各种实施例，存储器220可以存储使用相机260捕捉的图像、与每个图像被捕捉的位置相关的信息以及图像捕捉设置信息。

移动设备230可以包括向外突出的至少一个或多个螺旋桨和用于向螺旋桨供电的电机。移动设备230可根据处理器210的控制信号驱动电机和螺旋桨，以根据控制信号将uav101移动到某个位置。

通信电路240可以在例如图1的uav101和电子设备102之间建立通信。例如，通信电路240可以通过无线通信(例如bt、wi-fi等)向电子设备102发送图1的方向设定点110的位置信息。此外，通信电路240可以从电子设备102接收与高度的改变、移动或旋转相关的控制信号，并且可以将接收到的控制信号提供给处理器210。

无线通信可以包括例如wi-fi、bt、近场通信(nfc)、全球导航卫星系统(gnss)或蜂窝通信中的至少一个。

定位电路250可以检测与方向设定点110的方向(例如，方位角、倾斜等)或位置(例如，纬度、经度等)相关的信息。定位电路250可以包括加速度传感器、陀螺仪传感器、地磁传感器、gps传感器等。定位电路250收集的信息可以经由通信电路240发送给电子设备102。

相机260可以根据处理器210的控制来捕捉图像。所捕捉的图像可以存储在存储器220中或者可以被发送给电子设备102。

图3是示出了根据本公开各种实施例的图像捕捉方法的流程图。

参照图3，在操作310中，电子设备102的处理器可以经由电子设备102的通信电路从uav101接收与图1的uav101的第一点(或方向设定点)110的方向相关的信息。该信息可以包括与方位角、纬度、经度、倾斜等相关的信息。

在操作320中，电子设备102的处理器可以在图1的显示器120上输出与方向设定点110的方向相对应的方向指示130。例如，方向指示130可以被显示为诸如圆形或三角形的图形符号，或者可以被显示为uav101的图标。

在操作330中，电子设备102的处理器可以接收用于移动或旋转uav101的用户输入。电子设备102可以在其显示器上显示如用于执行以下操作的ui(在下文被称为“控制界面”)：改变uav101的高度的“节流”、在相同的高度处移动uav101的“俯仰和滚动”、或者在相同高度处旋转uav101的“偏航”。用户可以通过控制界面产生用于以下各项的控制信号：改变uav101的高度的“节流”、在相同的高度处移动uav101的“俯仰和滚动”、或者在相同高度处旋转uav101的“偏航”。

在操作340中，电子设备102的处理器可以响应于方向指示130的位置和用户输入而产生用于移动或旋转uav101的控制信号。控制信号可以包括关于如下各项的信息：用户输入(例如，扫动输入、滑动输入或双击输入)发生的位置、用户输入的行进方向、用户输入的行进距离、用户输入的行进速度、用户输入的行进时间、用户输入的结束点或者用户输入的结束时间。

在操作350中，电子设备102的处理器可以向uav101发送所产生的控制信号。基于接收到的控制信号，uav101可以改变其高度或者可以在相同高度处移动或旋转。uav101可以基于在接收到的控制信号中包括的信息和方向设定点110的方向来移动或旋转。

根据各种实施例，一种用于控制uav的方法包括：从uav接收与uav的第一点的方向相关的信息，在电子设备的显示器上显示与第一点的方向相对应的方向指示对象，接收与uav的移动或旋转相关联的用户输入，响应于方向指示对象的位置和用户输入，产生用于相对于第一点移动或旋转uav的控制信号，以及向uav发送所产生的控制信号。

根据各种实施例，接收用户输入包括：在显示器上显示用于控制uav在相同高度处的移动或旋转的圆形的第一ui，并且在第一ui上接收用户输入。

根据各种实施例，接收用户输入包括：在显示器上显示用于控制uav在相同高度处的移动或旋转的圆形ui，并且在第一ui上接收用户输入。

根据各种实施例，在显示器上显示第一ui包括：输出用于控制uav在相同高度处的移动的方向ui以及围绕方向ui的环带形式的旋转ui。

图4是示出了根据本公开各种实施例的用于控制uav的电子设备的显示器的示图。图4是一个示例，但不限于此。

参考图4，控制图2的uav101的电子设备102的显示器120可以包括捕捉图像(或实时取景)410和控制界面420。

捕捉图像410可以是使用uav101的相机260收集的图像。用户可以移动或旋转uav101，同时验证使用uav101的相机260捕捉的图像。

控制界面420可以包括与uav101的移动、uav101的旋转或者uav101的高度改变相关联的界面(例如，移动杆或触摸按钮)。

根据各种实施例，控制界面420可以包括高度ui430、方向ui440或旋转ui450。例如，高度ui430可以具有直杆形式。方向ui440和旋转ui450中的每一个可以具有圆形或环带形式。可以参照图5至图13来提供与使用高度ui430、方向ui440和旋转ui450对uav101进行操作相关的附加信息。

根据各种实施例，控制界面420还可以包括与捕捉照片或视频相关联的界面(例如，视频捕捉按钮461a或静止图像捕捉按钮461b)、与开始/结束飞行相关联的界面(例如，着陆按钮421c)等。

根据各种实施例，控制界面420可以包括用于显示与uav101的方向设定点110相对应的位置的方向指示130。在一个实施例中，方向指示130可以位于旋转ui450的内部或者是旋转ui450附近的点。

如图4所示，如果控制界面420以竖屏模式输出，则用户可以使用他或她的一只手来操作uav101。在图4中，以在竖屏模式下输出控制界面420为例来描述一个实施例。然而，实施例不限于此。可以参考图15提供横屏模式下的控制界面。

图5是示出了根据本公开各种实施例的改变uav的高度的操作的示图。图5是一个示例，但不限于此。

参考图5，在屏幕501和屏幕502上，高度ui430可以位于方向ui440和旋转ui450的左侧和右侧。在图5中，以高度ui430位于方向ui440和旋转ui450的左侧为例来描述一个实施例。然而，实施例不限于此。

高度ui430可以具有在上下方向上延伸的直杆形式。高度ui430可以包括移动对象430a(或移动条)。如果移动对象430a通过用户输入510在上下方向上移动，则可以向uav101发送与移动对象430a的移动速度、移动距离等相关的信息。

uav101可以基于与移动对象430a的移动速度、移动距离等相关的信息来改变其高度。例如，如果移动对象430a移动到上侧，则uav101可以控制图2的移动设备230(例如螺旋桨)增加高度。另一方面，如果移动对象430a移动到下侧，则uav101可以控制移动设备230降低高度。

根据各种实施例，如果用户输入510发生在高度ui430上而没有发生在方向ui440和旋转ui450上，则在改变uav101的高度的过程中，方向设定点110面向的方向可以保持恒定。

根据各种实施例，如果用户输入510结束(例如，如果触摸输入结束)，则uav101可以结束高度改变并且可以维持悬停状态。

根据各种实施例，如果uav101根据用户输入510的高度改变完成，则移动对象430a可以返回到高度ui430的中心。

根据各种实施例，当uav101的高度改变时，如果通过多点触摸类型在另一ui(例如，方向ui440或旋转ui450)上发生触摸输入，则uav101可以在改变高度的同时旋转或移动(例如，在高度增加期间进行旋转)。

图6至图8是示出了根据本公开各种实施例的在相同高度处移动uav的操作的示图。

参考图6至图8，方向ui440可以是位于旋转ui450中的圆形触摸按钮。如果通过用户输入610、710和810中的每一个在屏幕上移动方向ui440，则图1的电子设备102的处理器可以产生控制信号，该控制信号包括与方向ui440(相对于方向指示130)的移动方向、移动速度、触摸持续时间等相关的信息。电子设备102的处理器可以经由电子设备102的通信电路向uav101发送所产生的控制信号。

在维持相同高度的同时，uav101可以基于与方向ui440的移动方向、移动速度、触摸持续时间等相关的控制信息在诸如向前移动、向后移动或向侧面移动的各个方向上移动。

例如，在图6的屏幕601和屏幕602上，方向ui440可以通过用户输入610从第一位置640a移动到第二位置640b。用户输入610可以在与方向指示130相同的位置(或与其交叠的位置)上保持连续。

电子设备102的处理器可以向uav101发送控制信号(例如，向前移动信号)，该控制信号指示方向ui440沿与方向指示130相同的方向移动。电子设备102的处理器可以在用户输入610维持的同时继续发送控制信号。

响应于从电子设备102接收到的控制信号，uav101可以在维持相同高度的状态下沿与方向设定点110面向的方向相同的方向移动。在维持用户输入610的触摸状态的状态下，uav101可以继续移动。如果用户输入610结束，则uav101可以维持悬停状态(位置固定状态)。

在图7的屏幕701和屏幕702上，方向ui440可以通过用户输入710从第一位置740a移动到第二位置740b。用户输入610可以沿与方向指示130相反的方向移动并且可以保持连续。

电子设备102的处理器可以向uav101发送控制信号(例如，向后移动信号)，该控制信号指示方向ui440沿与方向指示130相反的方向移动。电子设备102的处理器可以在维持用户输入710的同时继续发送控制信号。

响应于从电子设备102接收到的控制信号，uav101可以在维持相同高度的状态下沿与方向设定点110面向的方向相反的方向移动。在维持用户输入710的触摸状态的状态下，uav101可以继续移动。如果用户输入610结束，则uav101可以维持悬停状态(位置固定状态)。

在图8的屏幕801和屏幕802上，方向ui440可以通过用户输入810从第一位置840a移动到第二位置840b。用户输入810可以在它与方向指示130形成指定角度的状态下保持连续。

电子设备102的处理器可以向uav101发送控制信号(例如，侧向移动信号)，该控制信号指示方向ui440在它与方向指示130形成指定角度(例如，-60度)的状态下移动。电子设备102的处理器可以在用户输入810的同时继续发送控制信号。

响应于从电子设备102接收到的控制信号，uav101可以在保持相同高度的状态下沿与方向设定点110形成指定角度(例如-60度)的方向移动。在维持用户输入810的触摸状态的状态下，uav101可以继续移动。如果用户输入610结束，则uav101可以维持悬停状态(位置固定状态)。

根据各种实施例，如果用户输入610、710和810中的每一个的触摸状态结束，则电子设备102的处理器可以使方向ui440返回到第一位置640a、740a、和840a中的每一个。

根据各种实施例，方向ui440上的用户输入可以与用于高度调整的高度ui430上的用户输入同时发生。

可以参考图10b提供关于计算方向指示和用户输入610、710和810中的每一个的方向(例如滑动输入的方向)之间的角度的附加信息。

图9是示出了根据本公开各种实施例的在相同高度处旋转uav的操作的示图。

参考图9，在屏幕901和屏幕902上，旋转ui450可以是围绕方向ui440的外侧的环带形式的触摸区域。分离区域445可以位于旋转ui450和方向ui440之间。如果用户触摸旋转ui450的一部分并且产生旋转输入910，则可以产生包括旋转输入910(相对于方向指示130)的方向、旋转输入910的行进距离、旋转输入910的触摸持续时间等在内的控制信号。图1的电子设备102的处理器可以向uav101发送所产生的控制信号。

响应于关于旋转输入910的方向、行进距离、触摸持续时间等的信息，uav101可以在维持相同高度的同时旋转。

例如，如果旋转输入910是从方向指示130开始并沿顺时针方向旋转90度的输入，则uav101可以相对于方向设定点110沿顺时针方向旋转90度。

如果uav101旋转，则方向设定点110可以改变位置。uav101可以向电子设备102发送方向设定点110的改变后的位置信息。电子设备102可以响应于方向设定点11()的改变后的位置信息来改变方向指示130的位置。

在图9中，以顺时针方向的旋转输入910为例来描述一个实施例。然而，实施例不限于此。例如，如果旋转输入910沿逆时针方向发生，则uav101可以相对于方向设定点110沿逆时针方向旋转。

根据各种实施例，旋转ui450上的用户输入可以与用于高度调整的高度ui430上的用户输入同时发生。

可以参考图10b提供关于计算旋转输入910的角度的信息。

图10a是示出了根据本公开各种实施例的用于基于用户输入发生的位置来产生控制信号的方法的示图。

参考图10a，图1的电子设备102的处理器可以根据用户的触摸输入发生的位置，产生用于图1的uav101的方向移动或旋转移动的控制信号。

在ui1001中，方向ui440可以形成为围绕点441的指定范围(例如，直径2cm)的圆。如果用户的移动输入1010发生在该范围内并且如果移动输入1010延伸到该范围之外，则电子设备102的处理器可以基于移动输入1010(相对于方向指示130)的方向和移动输入1010的行进距离，来产生控制信号。

在ui1002中，旋转ui450可以具有围绕方向ui440的外部的环带形式。分离区域445可以位于旋转ui450和方向ui440之间。在一个实施例中，如果在分离区域445上发生用户的旋转输入1020，则电子设备102的处理器可能无法产生单独的控制信号。在另一个实施例中，如果在分离区域445上发生用户输入，则电子设备102的处理器可以将用户输入确定为在旋转ui450和方向ui440之间较为相似的ui上的输入。

如果在旋转ui450中发生旋转输入1020，并且如果在方向ui440上没有发生单独的触摸，则电子设备102的处理器可以基于旋转输入1020相对于方向指示130的方向和旋转角度产生控制信号。

根据一个实施例，在用户的旋转输入1020发生的同时，uav101可以继续旋转。如果用户的旋转输入1020结束(如果触摸输入结束)，则uav101可以停止旋转并且可以进入悬停状态。

在另一个实施例中，uav101可以维持悬停状态，直到用户的旋转输入1020被产生并结束(直到触摸输入结束)为止。如果旋转输入1020结束(如果触摸输入结束)，则uav101可以通过反映旋转输入1020的旋转角度而旋转。

根据各种实施例，如果用户触摸并旋转方向指示130，则电子设备102的处理器可以产生用于旋转uav101的控制信号。如果在旋转ui450的另一区域上发生输入，则电子设备102的处理器可能无法产生单独的控制信号。在这种情况下，uav101可以维持悬停状态。

图10b是示出了根据本公开各种实施例的根据用户输入转换角度的示图。在图10b中，以uav101的方向设定点110面向正北方向为例来描述一个实施例。然而，实施例不限于此。

参考图10b，在ui1003中，如果用户输入1030在方向ui440上发生并且沿向外方向行进，则图1的电子设备102的处理器可以计算用户输入1030相对于方向指示130的移动角度a和移动距离l。

在一个实施例中，移动角度a可以具有从-180度到+180度的值。在另一个实施例中，移动角度a可以具有相对于方向指示130的0度至360度的值。

根据各种实施例，移动距离l可具有指定范围(例如，从方向ui440的中心点441到旋转ui450的外部边界的范围)的值。

如果在方向ui440上发生用户输入1030，则电子设备102的处理器可以产生包括关于移动角度a和移动距离l的信息在内的控制信号。电子设备102的处理器可以经由电子设备102的通信电路向uav101发送所产生的控制信号。

uav101可以确定与图1的方向设定点110形成移动角度a的方向。uav101可以沿确定的方向移动与移动距离l相对应的距离。例如，如果移动距离l是1cm，则uav101可以沿着根据移动角度a确定的方向移动1m。

根据各种实施例，如果用户输入1030的移动距离l在其维持最大值的状态下保持连续(例如，如果用户输入1030在旋转ui450附近的点处保持连续)，则uav101可以沿着根据移动角度a确定的方向继续移动。如果接收到指示用户输入1030结束的控制信号，则uav101可以停止移动并且可以进入悬停状态。

在ui1004中，如果在旋转ui450上发生用户的旋转输入1040，则电子设备102的处理器可以计算旋转输入1040发生的点处的移动角度b。例如，如果旋转输入1040沿顺时针方向发生，则移动角度b可以具有正值。如果旋转输入1040沿逆时针方向发生，则移动角度b可以具有负值。

如果在旋转ui450上发生旋转输入1040，则电子设备102的处理器可以产生包括关于移动角度b的信息在内的控制信号。电子设备102的处理器可以经由通信电路向uav101发送所产生的控制信号。

uav101可以基于移动角度b旋转。如果移动角度b具有负值，则uav101可以相对于方向设定点110沿逆时针方向旋转移动角度b。另一方面，如果移动角度b具有正值，则uav101可以相对于方向设定点110沿顺时针方向旋转移动角度b。

图11是示出了根据本公开各种实施例的在相同高度处的复合输入的示图。

参考图11，在屏幕1101上，用户的复合输入1110可以从旋转ui450开始，并且转换其方向以在旋转ui450上继续。

通过用户的复合输入1110，图1的电子设备102的处理器可以产生用于在相同的高度处同时移动和旋转图1的uav101的控制信号。

响应于复合输入1110的第一部分1111，可以确定uav101的移动运动的方向和距离。第一部分1111可以在从方向ui440的中心开始的向外方向(例如，旋转ui450面向的方向)上形成。

响应于复合输入1110的第二部分1112，可以确定uav101的旋转运动的方向和角度。第二部分1112可以是当用户在第一部分1111上维持触摸状态时输入的方向被转换成顺时针或逆时针方向的部分。根据各种实施例，第二部分1112可以具有曲线或直线的形式。

电子设备102的处理器可以产生包括以下全部的控制信号：1)移动运动的方向和距离以及2)旋转运动的方向和角度。电子设备102的处理器可以经由电子设备102的通信电路向uav101发送所产生的控制信号。uav101可以根据要接收的控制信号同时执行移动运动和旋转运动。

图12是示出了根据本公开各种实施例的使用双击输入使uav进行方向转换的示图。

参考图12，如果在屏幕1201上在旋转ui450(或旋转ui450附近的区域(例如，旋转ui450的外部区域或分离区域445))上发生双击输入1210，则图1的电子设备102的处理器可以产生控制信号，该控制信号用于相对于方向指示130和双击输入1210发生的位置来旋转uav101。

例如，如果在屏幕1201上沿方向指示130的相反方向在旋转ui450上发生双击输入1210，则电子设备102的处理器可以产生用于允许uav101以180度旋转的控制信号。电子设备102的处理器可以经由电子设备102的通信电路向uav101发送所产生的控制信号。响应于所接收的控制信号，uav101可以以180度旋转，使得方向设定点面向相反的方向。

在图12中，以180度旋转为例来描述一个实施例。然而，实施例不限于此。电子设备102可以基于方向指示130与双击输入1210发生的点之间的角度来产生用于以各种角度旋转的控制信号(参见图13)。

图13是示出了根据本公开各种实施例的计算双击输入的角度的示图。

参考图13，在ui1301中，如果在旋转ui450上发生双击输入1210，则图1的电子设备102的处理器可以产生用于旋转图1的uav101的控制信号。

电子设备102的处理器可以计算方向指示130和双击输入1210发生的点之间的角度c。在一个实施例中，角度c可以具有-180度和+180度之间的值。例如，如果双击输入1210发生在方向指示130的左侧，则角度c可以具有负值。如果双击输入1210发生在方向指示130的右侧，则角度c可以具有正值。

电子设备102的处理器可以产生包括关于角度c的信息在内的控制信号，并且可以向uav101发送所产生的控制信号。uav101可以响应于接收到的控制信号而旋转图1的方向设定点110。

例如，如果角度c具有负值，则uav101可以沿逆时针方向旋转。另一方面，如果角度c具有正值，则uav101可以沿顺时针方向旋转。

在ui1302中，如果方向设定点面向的方向通过uav101的旋转而改变，则电子设备102的处理器可以响应于改变后的方向而改变方向指示130的位置。例如，方向指示130可以被改变为面向双击输入1210发生的点的状态。

图14是示出了根据本公开各种实施例的显示器在横屏模式下的控制界面的示图。

参考图14，控制界面1401可以包括在整个区域上作为背景图像输出的捕捉图像(或实时取景)1410。控制界面1401可以在捕捉图像1410中包括高度ui1420、方向ui1430和旋转ui1440。控制界面1401可以包括与图1的uav101的方向设定点110相对应的方向指示130。

与竖屏模式(图4)相比，用户可以使用他或她的双手来控制uav101。例如，用户可以使用他或她的右手操作高度ui430，并且可以使用他或她的左手操作方向ui440和旋转ui450。

另外，控制界面1401可以包括与捕捉照片或视频相关联的界面1451(例如，视频捕捉按钮或静止图像捕捉按钮)、与开始/结束飞行相关联的界面(例如，着陆按钮1452)等。

与控制界面1401相比，控制界面1402可以包括位于屏幕左侧的高度ui1420，并且可以包括位于屏幕右侧的方向ui1430和旋转ui1440。高度ui1420、方向ui1430和旋转ui1440可以根据用户设置或自动设置而改变布置位置。用户可以以他或她想要的形式改变高度ui1420、方向ui1430和旋转ui1440中的每一个的位置。

图15是示出了根据本公开各种实施例的具有圆形显示器的电子设备的示图。

参考图15，操作图1的uav101的电子设备可以包括圆形显示器1501。电子设备的处理器可以在圆形显示器1501上显示方向ui1510、旋转ui1520和方向指示130(对应于uav101的方向设定点110)。分离区域1515可以位于方向ui1510和旋转ui1520之间。操作方向ui1510和旋转ui1520的方法可以与图4中操作方向ui440和旋转ui450的方法相同或相似。

根据各种实施例，旋转ui1520可以利用围绕圆形显示器1501的旋转式边框而不是触摸区域来实现。用户可以通过物理地旋转边框而不是触摸输入方式来产生旋转输入。

根据各种实施例，如果在圆形显示器1501上发生多点触摸输入，则处理器可以在圆形显示器1501上显示指示uav101的高度调整的ui。例如，如果在圆形显示器1501上发生缩小输入，则处理器可以在圆形显示器1501上显示杆形式的高度ui(未示出)。响应于缩小输入的行进距离，处理器可以产生用于降低uav101的高度的控制信号。另一方面，如果在圆形显示器1501上发生放大输入，则处理器可以产生用于增加uav101的高度的控制信号。

图16是示出了根据本公开实施例的电子设备的框图。

参考图16，电子设备1601可以包括例如图1所示的电子设备102的一部分或整体。电子设备1601可以包括至少一个处理器(例如，ap)1610、通信模块1620、订户识别模块(sim)1629、存储器1630、传感器模块1640、输入设备1650、显示器1660、接口1670、音频模块1680、相机模块1691、电源管理模块1695、电池1696、指示器1697和电机1698。

处理器1610可以运行操作系统或应用程序，从而控制连接到处理器1610的多个硬件或软件部件，并且可以处理各种数据并执行操作。例如，处理器1610可以用片上系统(soc)来实现。根据本公开实施例，处理器1610还可以包括图形处理单元(gpu)和/或图像信号处理器。处理器1610可以包括图16所示的部件中的至少一部分(例如，蜂窝模块1621)。处理器1610可以将从至少一个其他部件(例如，非易失性存储器)接收到的指令或数据加载到易失性存储器中，并且可以处理加载的指令或数据，而且可以将各种数据存储在非易失性存储器中。

通信模块1620可以包括例如蜂窝模块1621、wi-fi模块1622、蓝牙模块1623、gnss模块1624(例如，gps模块、glonass模块、北斗模块或伽利略模块)、nfc模块1625、mst模块1626和射频(rf)模块1627。

蜂窝模块1621可以通过通信网络提供例如语音呼叫服务、视频呼叫服务、文本消息服务或互联网服务。蜂窝模块1621可以使用订户识别模块(sim)1629(例如sim卡)在通信网络中对电子设备1601执行识别和认证。蜂窝模块1621可以执行能够由处理器1610提供的功能的至少一部分。蜂窝模块1621可以包括cp。

wi-fi模块1622、bt模块1623、gnss模块1624和nfc模块1625中的每一个可以包括例如用于处理通过各模块发送/接收的数据的处理器。根据本公开的各种实施例，蜂窝模块1621、wi-fi模块1622、蓝牙模块1623、gnss模块1624和nfc模块1625中的至少一部分(例如，两个或更多个)可以包含在一个集成芯片(ic)或ic封装中。

rf模块1627可以发送/接收例如通信信号(例如，rf信号)。rf模块1627可以包括例如收发机、功率放大模块(pam)、频率滤波器、低噪放大器(lna)、天线等。根据本公开的另一实施例，蜂窝模块1621、wi-fi模块1622、蓝牙模块1623、gnss模块1624或nfc模块1625中的至少一个可以通过单独的rf模块来发送/接收rf信号。

sim1629可以包括例如嵌入式sim和/或包含订户标识模块的卡，并可以包括唯一标识信息(例如，集成电路卡标识符(iccid))或订户信息(例如，国际移动订户标识(imsi))。

存储器1630可以包括内部存储器1632或外部存储器1634。内部存储器1632可以包括以下至少一项：易失性存储器(例如，动态ram(dram)、静态ram(sram)、同步动态ram(sdram)等)、非易失性存储器(例如，一次性可编程rom(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩模型rom、闪存rom)、闪存(例如，nand闪存或nor闪存等)、硬盘驱动器或固态驱动器(ssd)。

外部存储器1634还可以包括闪存驱动器，例如紧凑型闪存(cf)、安全数字(sd)、微型sd、迷你型sd、极限数字(xd)、多媒体卡(mmc)、存储棒等。外部存储器1634可以通过各种接口与电子设备1601操作地连接和/或物理地连接。

传感器模块1640例如可以测量物理量或检测电子设备1601的操作状态，以便将测量的或检测的信息转换为电信号。传感器模块1640可以包括例如以下至少一项：手势传感器1640a、陀螺仪传感器1640b、气压传感器1640c、磁传感器1640d、加速度传感器1640e、握力传感器1640f、接近传感器1640g、颜色传感器1640h(例如，红/绿/蓝(rgb)传感器)、生物传感器1640i、温度/湿度传感器1640j、照度传感器1640k或紫外线(uv)传感器1640m。附加地或者备选地，传感器模块1640可以包括例如嗅觉传感器(电子鼻传感器)、肌电图(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器、红外(ir)传感器、虹膜识别传感器和/或指纹传感器。传感器模块1640还可以包括用于控制其中包括的至少一个传感器的控制电路。在本公开的一些不同实施例，电子设备1601还可以包括作为处理器1610的一部分或与处理器1610分离的、配置为控制传感器模块1640的处理器，使得当处理器1610处于休眠状态时控制传感器模块1640。

输入设备1650可以包括例如触摸面板1652、(数字)笔传感器1654、按键1656或超声输入设备1658。触摸面板1652可使用电容型、电阻型、红外型和超声感测方法中的至少一种。触摸面板1652还可以包括控制电路。触摸面板1652还可以包括触觉层，以向用户提供触觉反馈。

(数字)笔传感器1654可以包括例如作为触摸面板的一部分的或单独的识别片。按键1656可以包括例如物理按钮、光学按钮或键区。超声输入设备1658可以通过麦克风1688来感测由输入工具产生的超声波，以识别与所感测的超声波相对应的数据。

显示器1660可以包括面板1662、全息设备1664或投影仪1666。面板1662可以是例如柔性的、透明的或可穿戴的。面板1662和触摸面板1652可以集成在单个模块中。全息设备1664可以使用光的干涉现象在空中显示立体图像。投影仪1666可以将光投射到屏幕上以显示图像。该屏幕可以布置在电子设备1601的内部或外部。根据本公开实施例，显示器1660还可以包括用于控制面板1662、全息设备1664、或投影仪1666的控制电路。

接口1670可以包括例如高清晰度多媒体接口(hdmi)1672、usb1674、光学接口1676、d-超小型元件(d-sub)1678。附加地或者备选地，接口1670可以包括例如移动高清链路(mhl)接口、sd卡/mmc接口或者红外数据协会(irda)接口。

例如，音频模块1680可以将声音信号转换为电信号，反之亦然。音频模块1680可以处理通过扬声器1682、听筒1684、耳机1686或麦克风1688输入或输出的声音信息。

相机模块1691例如是用于拍摄静止图像或视频的设备。根据本公开的实施例，相机模块1691可以包括至少一个图像传感器(例如，前置传感器或后置传感器)、镜头、图像信号处理器(isp)或闪光灯(例如，发光二极管(led)或氙灯)。

电源管理模块1695可以管理电子设备1601的电力。根据本公开的实施例，电源管理模块1695可以包括电源管理集成电路(pmic)、充电集成电路(ic)、或电池或表。pmic可以使用有线和/或无线充电方法。无线充电方法可以包括例如磁共振方法、磁感应方法、电磁方法等。还可以提供用于无线充电的附加电路，例如线圈回路、共振电路、整流器等。电池表可以测量例如电池1696的剩余量以及电池充电过程中电池的电压、电流或温度。例如，电池1696可以包括可再充电电池和/或太阳能电池。

指示器1697可以显示电子设备1601或其一部分(例如，处理器1610)的具体状态，例如引导状态、消息状态、充电状态等。电机1698可以将电信号转换为机械振动，并可以产生振动或触觉效果。尽管未示出，但是电子设备1601可以包括用于支持移动tv的处理设备(例如，gpu)。用于支持移动tv的处理设备可以处理符合数字多媒体广播(dmb)、数字视频广播(dvb)、mediaflo^tm等的标准的媒体数据。

在此所述的每个部件可以配置为一个或多个组件，且组件名称可以根据电子设备的类型而改变。在本公开的各种实施例中，电子设备可以包括这里描述的部件中的至少一个，并且可以省略一些部件，或者可以添加其他附加部件。此外，可以将电子设备的某些部件彼此组合，以便形成一个实体，使得仍执行与组合之前这些部件所执行的功能相同的功能。

根据各种实施例，一种用于控制uav的电子设备包括：通信电路，被配置为与uav进行无线数据的发送和接收；显示器，被配置为显示用于操作uav的ui；存储器；以及处理器，与通信电路、显示器和存储器电耦接，其中所述处理器被配置为从uav接收与uav的第一点的方向相关的信息，响应于接收到与uav的移动或旋转相关联的用户输入，在显示器上显示与第一点的方向相对应的方向指示对象，响应于方向指示对象的位置和用户输入，产生用于相对于第一点移动或旋转uav的控制信号，并且使用通信电路向uav发送所产生的控制信号。

根据各种实施例，处理器被配置为在显示器上显示用于控制uav在相同高度处的移动或旋转的圆形的第一ui。

根据各种实施例，第一用户界面包括用于控制uav在相同高度处的移动的方向ui以及围绕方向ui的环带形式的旋转ui。

根据各种实施例，方向指示对象被显示为与旋转ui交叠或者显示在旋转ui的外部。

根据各种实施例，所述处理器被配置为：如果在方向ui上发生用户的触摸输入，则基于触摸输入的移动方向和移动距离，来产生用于调整uav在相同高度处的移动的控制信号。

根据各种实施例，所述处理器被配置为：基于方向指示对象的位置和触摸输入延伸的方向来确定移动方向。

根据各种实施例，所述处理器被配置为：如果在旋转ui上发生用户的触摸输入，则基于触摸输入关于旋转ui的中心的移动角度，来产生用于调整uav在相同高度处的旋转的控制信号。

根据各种实施例，所述处理器被配置为：如果在旋转ui或旋转ui附近的点上发生双击输入，则基于方向指示对象关于旋转ui的中心与双击输入发生的点之间的角度，产生用于调整uav在相同高度处的旋转的控制信号。

根据各种实施例，所述处理器被配置为：如果从方向ui开始的用户输入延伸到旋转ui，并且如果用户输入在旋转ui上改变了行进方向，则产生用于调整uav在相同高度处的移动和旋转的控制信号。

根据各种实施例，所述处理器被配置为：在第一ui周围的区域上显示用于控制uav的高度的第二ui。

根据各种实施例，第二ui具有在第一ui的左侧或右侧沿上下方向延伸的条形，并且包括能够通过用户的触摸输入移动的移动对象。

根据各种实施例，电子设备还包括被配置为围绕显示器的旋转边框，其中所述处理器被配置为在显示器上显示用于控制uav在相同高度处的移动的方向ui。处理器被配置为：基于旋转边框的旋转方向和旋转角度，来产生用于调整uav在相同高度处的旋转的控制信号。处理器被配置为：如果在所述显示器上发生多点触摸输入，则基于多点触摸输入产生用于调整uav的高度的控制信号。处理器被配置为：如果发生缩小输入，则产生用于增加uav的高度的控制信号。处理器被配置为：如果发生放大输入，则产生用于降低uav的高度的控制信号。

本文使用的术语“模块”可以表示例如包括硬件、软件和固件之一或其组合在内的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元或者可以是其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。可以用机械方式或电子方式来实现“模块”。例如，“模块”可以包括用于执行已知的或将来开发的一些操作的专用集成电路(asic)芯片、现场可编程门阵列(fpga)和可编程逻辑器件中的至少一种。

根据本公开多种实施例的设备(例如，其模块或功能)或方法(例如，操作)的至少一部分可以实现为以程序模块形式存储在非暂时性计算机可读存储介质中的指令。在指令被处理器执行的情况下，处理器可以执行与所述指令相对应的功能。非暂时性计算机可读存储介质可以是例如存储器。

非暂时性计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，cd-rom、dvd)、磁光介质(例如，光磁软盘)、或硬件设备(例如，只读存储器(rom)、随机存取存储器(ram)、闪存等)。程序指令可以包括由编译器产生的机器语言代码以及可由计算机使用注释器执行的高级语言代码。上述硬件设备可配置为操作为一个或多个软件模块，以执行本公开各种实施例的操作，反之亦然。

根据本公开各种实施例的模块或程序模块可以包括上述元件中的至少一个元件，并且可以省略一些元件，或可以添加其他额外的元件。由根据本公开各种实施例的模块、程序模块或其他部件执行的操作可以按照顺序、并行、迭代或启发式的方式执行。另外，一些操作可以按不同顺序执行，或者可以被省略，或者可以增加其他操作。

虽然参考本公开各实施例示出并描述了本公开，但是本领域技术人员将理解：在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的前提下，可以进行形式和细节上的各种改变。