本公开涉及一种电子设备及其操作方法。
背景技术：
在虚拟现实应用中，电子设备(例如，计算机)产生模拟的虚拟环境或情形，用来使用户沉浸在特定环境或情形中。这可以使用户能够直接体验这种特定环境或情形。因此，用户可以使用虚拟现实来体验虚构的环境，例如探索行星的卫星表面，或者经历飞行训练，这些都是用户在正常生活中一般难以体验到的。
技术实现要素：
用于再现虚拟现实内容的装置可以包括头戴式显示器(HMD)装置。HMD装置可以安装在用户的头上以(例如，根据用户的眼睛视线)在用户眼睛前方显示大尺寸画面或者输出三维图像。例如，HMD装置可以对体验虚拟现实内容的用户的眼睛视线进行跟踪，可以实时地渲染(render)虚拟现实内容，并且可以在其显示器上显示所渲染的虚拟现实内容。
然而，HMD装置仅通过使用用户在现实世界中能够感觉到的各种感觉(例如，视觉、听觉、触觉等)中的视觉感觉来提供虚拟现实内容，因此可能导致用户可以体验到的现实感受到限制的问题。
本公开的各种实施例提供了一种能够增加使用电子设备中的虚拟现实服务的用户的现实感的装置和方法。
本公开的各种实施例提供了一种能够基于电子设备中的触觉激励器的运动信息来提供与触觉事件的属性相对应的触觉效果的装置和方法。
根据本公开的一方面，公开了一种电子设备，所述电子设备包括：至少一个传感器；至少一个处理器；以及电耦合到所述至少一个处理器的存储器，所述存储器存储有指令，所述指令能够由所述至少一个处理器执行以使所述至少一个处理器执行以下操作：检测与所述电子设备输出的内容相关的至少一个触觉事件；通过所述至少一个传感器检测指示触觉提供模块的运动的运动信息，其中所述触觉提供模块电耦合到所述电子设备并且包括一个或更多个触觉激励器；以及基于所述至少一个触觉事件的至少一个属性以及检测到的运动信息，选择所述一个或更多个触觉激励器中的至少一个触觉激励器。
根据本公开的另一方面，公开了一种电子设备的操作方法，所述方法包括：检测与所述电子设备输出的内容相关的至少一个触觉事件；检测指示触觉提供模块的运动的运动信息，所述触觉提供模块电耦合到所述电子设备并且包括一个或更多个触觉激励器；以及基于检测到的至少一个触觉事件的至少一个属性以及检测到的运动信息，选择一个或更多个触觉激励器中的至少一个触觉激励器。
附图说明
通过以下结合附图的详细描述，本公开的上述和其它方面、特征和优点将更加明了，图中：
图1是根据本公开的各种实施例的可安装在头上的显示装置的透视图；
图2A是示出根据本公开的各种实施例的网络环境内的电子设备的视图；
图2B是示出根据本公开的各种实施例的用于在电子设备中进行触觉渲染的框的框图；
图2C是示出根据本公开的各种实施例的电子设备的触觉渲染模块的配置的框图；
图3是示出根据本公开的各种实施例的电子设备的配置的框图；
图4是示出根据本公开的各种实施例的程序模块的配置的框图；
图5是示出根据本公开的各种实施例的用于对与电子设备中的触觉事件的属性相对应的触觉激励器进行驱动的处理的流程图；
图6是示出根据本公开的各种实施例的用于选择与电子设备中的触觉事件的属性相对应的触觉激励器的处理的流程图；
图7是示出根据本公开的各种实施例的基于电子设备中的运动信息来驱动触觉激励器的处理的流程图；
图8是示出根据本公开的各种实施例的触觉激励器的运动状态的视图；
图9是示出根据本公开的各种实施例的基于电子设备中的运动信息改变与触觉事件的属性相对应的触觉激励器的处理的流程图；以及
图10是示出根据本公开的各种实施例的基于电子设备中的运动信息来控制对触觉激励器的驱动的处理的流程图。
具体实施方式
下文中将参照附图来描述本文件的各种示例性实施例。然而，应当理解，并不旨在将本文件的各种示例性实施例限制为所公开的特定形式，而是相反，旨在覆盖落入本文件的各种示例性实施例的主旨和范围内的所有修改、等同形式和替代形式。贯穿所有附图，相同的附图标记表示相同的部件。单数表达也包括复数概念，除非它们之间存在上下文的独特区别。
在本文件中，“A或B”、“A和/或B”等表达可以包括一起列举的项目的所有可能组合。虽然可以用诸如“第一”、“第二”这样的表达来表达相应的组成元件，但并不是要限制相应的组成元件。当特定(例如，第一)组成元件被描述为“可操作地或可通信地耦接至不同的(例如第二)组成元件/与不同的(例如第二)组成元件耦接”或“连接至”不同的(例如第二)组成元件时，该特定组成元件直接耦接至另一组成元件/与另一组成元件直接耦接，或者可以通过另一个(例如，第三)组成元件耦接至该不同的组成元件/与该不同的组成元件耦接。
根据情况，本文件中使用的表述“配置为”可以与例如“适合于”、“具有……的能力”、“适于”、“用来”、“能够”或“设计为”等以硬件或软件方式互换使用。在特定情况下，表述“配置为……的设备”可能暗示该设备“能够”与其他设备或组件一起。例如，“配置为执行A、B和C的处理器”可以暗指用于执行相应操作的专用处理器(例如，嵌入式处理器)或能够通过执行存储在存储设备中的一个或更多个软件程序来执行相应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
根据本公开的各种实施例的电子设备例如可以包括以下至少一种：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书(E-book)阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗器械、相机和可穿戴设备(例如智能眼镜、头戴式装置(HMD)、电子衣服、电子手链、电子项链、电子应用配件、电子纹身、智能镜或智能手表)。
根据一些实施例，电子设备(例如家用电器)可以包括以下至少一种：例如电视机、数字视频盘(DVD)播放器、音响、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM和PlayStationTM)、电子词典、电子钥匙、摄像机和电子相框。
根据另一实施例，电子设备可以包括以下至少一种：各种医疗设备(例如，各种便携式医疗测量设备(血糖监测设备、心率监测设备、血压测量设备、体温测量设备，等等)、磁共振血管造影术(MRA)、磁共振成像(MRI)、计算机断层摄影(CT)机和超声波机)、导航设备、全球定位系统(GPS)接收器、事件数据记录仪(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船舶用电子设备(例如，船舶用导航设备和陀螺仪罗盘)、航空电子设备、安全设备、汽车机头单元、家用或工业机器人、银行自动柜员机(ATM)、商店中的收银机(POS)或物联网设备(例如灯泡、各种传感器、电表或燃气表、喷水灭火器设备、火灾报警器、恒温器、路灯、烤面包机、体育用品、热水箱、加热器、锅炉等)。
根据一些实施例，电子设备可以包括以下至少一种：家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪和各种测量仪器(例如水表、电表、燃气表和无线电波表)。根据本公开的各种实施例的电子设备可以是上述各种设备中的一个或更多个的组合。根据本公开的一些实施例的电子设备可以是柔性设备。此外，根据本公开的实施例的电子设备不限于上述设备，并且随着技术的发展可以包括新的电子设备。
在下文中，将参照附图描述根据各种实施例的电子设备。本文所使用的术语“用户”可以指使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
在下面的描述中，头戴式装置的例子可以包括安装在用户头上并且随着用户头部的运动而运动的HMD装置、音频输出装置(例如头戴式耳机、耳机等)、智能眼镜等。
图1是根据本公开的各种实施例的HMD装置的透视图。
参照图1，HMD装置100可以包括：主体110；以及带130，其配置为耦接到主体110并被固定到人体的适当部位(例如，头等)。
根据本公开的实施例，主体110的前表面上可以包括显示器114。例如，主体110的显示器114中可以布置有一对光学透镜部112。例如，光学透镜部112可以被布置成使得各种倍率的光学透镜彼此重叠。HMD装置100的用户可以通过光学透镜部112来观看在HMD装置100的显示器114上显示的图像。例如，可以在主体110的上部以突出的方式设置调焦模块115。HMD装置100可以通过调焦模块115来调整显示在显示器114上的图像使之更清晰，并且可以向用户提供更清晰的图像。例如，调焦模块115可以是可旋转的机械环形旋钮。然而，本公开不限于此，因此也可以使用各种已知的调整方案。
根据本公开的实施例，主体110的后表面上可以包括配置为佩戴在包括用户眼睛的用户面部上的人体佩戴部120。例如，人体佩戴部120可以使用柔性材料来自适应地匹配不同的用户面部。例如，人体佩戴部120可以使用对人体无害的弹性材料，包括橡胶、硅树脂、聚氨酯等。
根据本公开的实施例，主体110的侧表面上可以包括输入装置116。例如，在用户将HMD装置100戴在他/她的头上之后，用户可以控制输入装置116，从而可以对显示在HMD装置100的显示器114上的对象执行各种功能，包括位置调整、图像尺寸调整等。例如，输入装置116可以包括触摸面板和物理控制按钮中的至少一种。
根据本公开的实施例，带130可以被配置为具有可调节的长度以匹配用户的头部。例如，带130可以包括通常放置在带130的中央的电池部131。例如，电池部131可以包括多个电池单元，并且当HMD装置100被佩戴在用户头上时，电池部131可以形成为能够适应用户头部的曲线形状。
根据本公开的实施例，在带130和主体110的至少部分区域中可以包括至少一个触觉激励器140。例如，触觉激励器140的运动可以与HMD装置100的运动相对应地发生。例如，触觉激励器140可以设置在主体110和带130的与用户身体接触的一个表面上。例如，触觉激励器140可以包括能够执行包括振动、电刺激等操作并且刺激用户的触觉的元件。
根据本公开的各种实施例，HMD装置100可以包括在主体110的前表面上的设备安装部，该设备安装部被配置为容纳外部设备(例如，包括显示器的电子设备)。例如，HMD装置100可以包括代替显示器114的设备安装部，并且可以使用外部设备作为显示器。
图2A是示出根据本公开各种实施例的网络环境200内的电子设备201的视图。在下面的描述中，电子设备201可以包括如图1所示的包括显示器的HMD装置100。
参照图2A，电子设备201可以包括总线210、处理器220(例如，包括处理电路)、存储器230、输入/输出接口250(例如，输入输出电路)、显示器260(例如，包括显示电路)、通信接口270(例如，包括通信电路)、传感器模块280(例如，包括传感器)和触觉提供模块290(例如，包括触觉提供电路)。在本公开的一些实施例中，可以从电子设备201中省略电子设备201的上述元件中的至少一个，或者电子设备201可以另外包括其他元件。例如，可以从电子设备201中省略触觉提供模块290。
总线210例如可以包括被配置为使元件220至290互连并且在元件220至290之间传递消息(例如，控制消息和/或数据)的电路。
处理器220可以包括中央处理单元(CPU)、应用处理器(AP)、图像信号处理器(ISP)和通信处理器(CP)中的一个或更多个。处理器220例如可执行与电子设备201的其他元件中的至少一个的控制和/或通信有关的计算或数据处理。
根据本公开的实施例，处理器220可渲染(render)内容。例如，处理器220可以参考通过传感器模块280获取的用户的眼睛视线信息来渲染内容的图像，并且可以将渲染的图像显示在显示器260上。另外地或替代地，处理器220可以渲染与内容的图像相对应的声音，并且可以通过电子设备201的扬声器(未示出)将渲染的声音输出到外部。
根据本公开的实施例，处理器220可以基于用户输入信息来控制电子设备201。例如，处理器220可以参考通过传感器模块280获取的用户的眼睛视线信息来控制显示在显示器260上的至少一个对象。
根据本公开的实施例，当处理器220从内容中检测到触觉事件时，处理器220可以控制触觉提供模块290来提供触觉效果。例如，当处理器220从电子设备201正在再现的内容中检测到触觉事件时，处理器220可以识别所检测到的触觉事件的属性和触觉提供模块290的特征。处理器220可以基于包括在触觉提供模块290中的至少一个触觉激励器(例如，图1的触觉激励器140)的运动信息来执行控制操作，以选择和激活与所识别的触觉事件的属性相对应的至少一个触觉激励器。另外或替代地，处理器220可以基于触觉激励器的运动信息来更新触觉激励器的驱动参数。例如，触觉事件的属性可以包括触觉事件的方向、强度和类型中的至少一个。触觉提供模块的特征可以包括触觉提供模块中包括的触觉激励器的位置、触觉激励器是否发生运动、以及触觉提供范围中的至少一个。驱动参数可以包括用于驱动触觉激励器的触觉效果的方向、强度和模式中的至少一个。
存储器230可以包括易失性存储器和/或非易失性存储器。例如，存储器230可以存储与电子设备201的其他元件中的至少一个相关的命令或数据。例如，存储器230可以存储包括在触觉提供模块290中的每个触觉激励器的特征。
根据本公开的实施例，存储器230可以存储软件和/或程序240。例如，程序240可以包括内核241、中间件243、应用编程接口(API)245、应用程序(或应用)247等。内核241、中间件243和API 245中的至少一些可以被称为“操作系统(OS)”。
例如，内核241可以对用于执行由其他程序(例如，中间件243、API 245和应用程序247)实现的操作或功能的系统资源(例如，总线210、处理器220、存储器230等)进行控制或管理。此外，内核241可以提供一种能够通过使用中间件243、API 245或应用程序247访问电子设备201的各个元件来控制或管理系统资源的接口。
例如，中间件243可以充当使API 245或应用程序247能够与内核241通信并与之交换数据的中介。此外，中间件243可以根据优先级来处理从应用程序247接收的一个或更多个任务请求。例如，中间件243可以向至少一个应用程序247分配优先级，并且可以根据所分配的优先级来处理一个或更多个任务请求，所述优先级使得能够使用电子设备201的系统资源(例如，总线210、处理器220、存储器230等)。API 245是应用程序247借以控制由内核241或中间件243提供的功能的接口，例如可以包括用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如，命令)。
例如，输入/输出接口250可以充当能够将从用户或另一台外部设备输入的命令或数据传送到电子设备201中除输入/输出接口250之外的其他元件的接口。
显示器260的例子可以包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、微机电系统(MEMS)显示器和电子纸显示器。例如，显示器260可以向用户显示多种内容(例如，文本、图像、视频、图标、符号和/或诸如此类)。显示器260可以包括触摸屏，并且可以接收例如由电子笔或用户的身体部位提供的触摸输入、手势输入、接近输入或悬停输入。
通信接口270例如可以在电子设备201与外部设备(例如，第一外部电子设备202、第二外部电子设备204或服务器206)之间建立通信。例如，通信接口270可以通过无线或有线通信而连接到网络272，并且可以与外部设备(例如，第二外部电子设备204或服务器206)进行通信。
无线通信的类型例如可以包括使用以下至少一种技术的蜂窝通信：长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、WiBro(无线宽带)和全球移动通信系统(GSM)。根据本公开的实施例，无线通信的类型例如可以包括Wi-Fi、蓝牙、蓝牙低功耗(BLE)、ZigBee、近场通信(NFC)、磁安全传输、射频(RF)和人体局域网(BAN)中的至少一种。根据本公开的实施例，无线通信的类型可以包括GNSS。GNSS例如可以是全球定位系统(GPS)、全球导航卫星系统(GLONASS)、北斗导航卫星系统(北斗)或欧洲全球卫星导航系统(伽利略)。在本公开的以下内容中，术语“GPS”可以与术语“GNSS”互换使用。有线通信的类型例如可以包括通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信(PLC)和普通老式电话服务(POTS)中的至少一种。网络272可以包括诸如计算机网络(例如，局域网(LAN)或广域网(WAN))的电信网络、因特网和电话网络中的至少一种。
第一外部电子设备202和第二外部电子设备204的类型均可以与电子设备201的类型相同或不同。根据本公开的各种实施例，电子设备201执行的全部或一些操作可以由另一个电子设备或多个电子设备(例如，第一外部电子设备202和第二外部电子设备204或服务器206)来执行。根据本公开的实施例，当电子设备201需要自动地或根据请求来执行某些功能或服务时，电子设备201可以向另一台设备(例如，第一外部电子设备202、第二外部电子设备204或服务器206)发送用于执行与所述功能或服务相关的至少一些功能的请求，而不是由其自身或额外地执行所述功能或服务。另一台电子设备(例如，第一外部电子设备202、第二外部电子设备204或服务器206)可以执行所请求的功能或额外功能，并且可以将执行的结果传递给电子设备201。电子设备201可以毫无改变地或额外地处理所接收到的结果，并且可以提供所请求的功能或服务。为此，可以使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
传感器模块280可以包括至少一个传感器，并且可以测量与电子设备201相对应的物理量，或者可以感测电子设备201的运动状态。例如，传感器模块280可以包括陀螺仪传感器、大气压力传感器和加速度传感器中的至少一种。附加地或替代地，传感器模块280还可以包括被配置为控制至少一个传感器的控制电路。
触觉提供模块290可以包括设置在电子设备201的至少部分区域(例如，图1的带130)中的至少一个触觉激励器(例如，图1的触觉激励器140)。例如，包括在触觉提供模块290中的至少一个触觉激励器可以产生与电子设备201的运动相对应的运动。包括在触觉提供模块290中的触觉激励器可以布置在电子设备201的不同区域中，并且包括用于提供触觉效果的独特特征。例如，触觉提供模块290可以通过有线或无线的方式连接到电子设备201的其它元件220至280。包括在触觉提供模块290中的至少一个触觉激励器可以包括能够执行包括振动、电刺激等的操作并且刺激用户的触觉的元件。
根据本公开的各种实施例，当电子设备201作为显示器被安装到HMD装置上时，电子设备201可以通过使用包括在HMD装置(外部设备)中的触觉提供模块来提供触觉效果。例如，当电子设备201被安装到HMD装置上时，处理器220可以获取包括在HMD设备的触觉提供模块中的每个触觉激励器的特征信息。当处理器220从电子设备201正再现的内容中检测到触觉事件时，处理器220可以基于HMD装置的触觉提供模块中所包括的至少一个触觉激励器的运动信息，来选择与检测到的触觉事件的属性相对应的至少一个触觉激励器。处理器220可以控制通信接口270向每个触觉激励器发送用于控制与检测到的触觉事件的属性相对应的至少一个触觉激励器的控制信号(触觉信号)。附加地或替代地，控制信号可以包括基于触觉激励器的运动信息而更新过的触觉激励器的驱动参数。
图2B是示出根据本公开各种实施例的用于在电子设备中进行触觉渲染的框的框图。在下面的描述中，电子设备201可以作为HMD装置202的显示器被安装到HMD装置202上。
参照图2B，电子设备201可以包括运动检测模块222、设备管理模块224、触觉渲染模块226和再现模块228。在本公开的一些实施例中，运动检测模块、设备管理模块224、触觉渲染模块226和再现模块228中的所有或至少一些可以包括在图2A的处理器220中。
根据本公开的实施例，运动检测模块222可以通过使用从电子设备201的传感器(例如，图2A的传感器模块280)接收的感测数据来检测电子设备201的运动。例如，当电子设备201被安装到HMD装置202上时，运动检测模块222可以判定由电子设备201的传感器检测到的电子设备201的运动是HMD装置202的运动。
根据本公开的实施例，设备管理模块224可以收集和管理与电连接到电子设备201的外部设备有关的信息，以便再现内容。例如，设备管理模块224可以收集和管理包括在电子设备201中的触觉提供模块290的特征信息。例如，设备管理模块224可以收集和管理电连接到电子设备201的HMD装置202的触觉提供模块292的特征信息。例如，当电子设备201通过通信而连接到HMD装置202时，设备管理模块224可以从HMD装置202接收并存储触觉提供模块292的特征信息。例如，触觉提供模块的特征信息可以按照下表1所示的形式被包含。
表1
根据本公开的实施例，在表1中，设备1(例如，HMD装置202)基于激励器信息字段可以包括压电激励器，并且基于方向布置字段可以在前后左右每一侧上均包括两个激励器的阵列。基于产生的力的字段，设备1可以表示激励器可以再现的强度的范围(例如，最大值为200g/m2)。
根据本公开的实施例，触觉渲染模块226可以生成用于控制触觉激励器的控制信号。例如，当再现模块228检测到触觉事件信息时，触觉渲染模块226可以基于设备管理模块224的触觉提供模块292的特征信息，来选择与触觉事件的属性相对应的至少一个触觉激励器。触觉渲染模块226可以生成用于驱动与触觉事件的属性相对应的至少一个触觉激励器的触觉信号(控制信号)。具体地，当触觉渲染模块226通过使用表1所示的触觉提供模块292的特征信息来再现在电子设备201的用户的左侧出现强烈碰撞的效果时，触觉渲染模块226可以选择布置在左侧的两个激励器。触觉渲染模块226可以生成用于从布置在左侧的两个激励器中的每一个产生最大幅度的触觉效果(例如，振动)的触觉信号，并且可以将生成的触觉信号发送给每个激励器。附加地或替代地，当触觉提供模块292受到运动的影响时，触觉渲染模块226可以基于触觉提供模块292的特征信息和运动信息来选择与触觉事件的属性相对应的至少一个触觉激励器。触觉渲染模块226可以生成触觉信号，以包括基于所选择的触觉激励器的运动信息而被更新的用于驱动每个触觉激励器的驱动参数。
根据本公开的实施例，再现模块228可以渲染要由电子设备201再现的内容。例如，再现模块228可以参考用户的眼睛视线信息来渲染内容的图像和声音中的至少一个，并且可以通过电子设备201的输出设备(例如，显示器260)将内容的经渲染的图像和声音中的至少一个输出到外部。例如，用户的眼睛视线信息可以基于由电子设备201的传感器模块280检测到的感测数据来获取。
图2C是示出根据本公开的各种实施例的电子设备的触觉渲染模块的配置的框图。在下面的描述中，下述的配置可以包括图2B的触觉渲染模块226的内部配置。
参照图2C，触觉渲染模块226可以包括优先级管理模块231、设备信息管理模块232和触觉信号处理模块234。
根据本公开的实施例，优先级管理模块231可以设置和控制触觉事件的优先级。例如，当图2B的再现模块228从内容中检测到多个触觉事件时，优先级管理模块231可以设置每个触觉事件的优先级。当检测到多个触觉事件时，优先级管理模块231可以设置各个触觉事件的优先级，以使得与这多个触觉事件分别对应的触觉效果依次出现。当检测到多个触觉事件时，优先级管理模块231可以设置各个触觉事件的优先级，以使得与这多个触觉事件分别对应的触觉效果同时出现。例如，优先级管理模块231可以基于触觉事件的类型、其发生的时间点以及其强度中的至少一个来设置触觉事件的优先级。
根据本公开的实施例，设备信息管理模块232可以管理从图2B的设备管理模块224接收的触觉提供模块的特征信息，使得在触觉信号处理模块234生成触觉信号(控制信号)时触觉提供模块的特征信息可以被使用。例如，当电子设备201电连接到多个触觉激励器时，设备信息管理模块232可以管理包括在触觉提供模块中的多个触觉激励器中的每一个的特征信息，使得触觉信号处理模块234可以生成与每个触觉激励器相对应的触觉信号。
根据本公开的实施例，触觉信号处理模块234可以生成用于控制与触觉事件的属性相对应的至少一个触觉激励器的触觉信号(控制信号)。例如，触觉信号处理模块234可以根据来自设备信息管理模块232的多个触觉激励器中的每一个的特征信息生成用于与每个触觉事件的属性相对应的触觉激励器的触觉信号。例如，触觉信号可以包括用于对基于触觉事件的属性和触觉激励器的运动信息而确定的每个触觉激励器进行驱动的驱动参数。
图3是示出根据本公开的各种实施例的电子设备301的配置的框图。电子设备301例如可以包括图2A所示的电子设备201的全部或部分。
参照图3，电子设备301可以包括至少一个处理器(例如，AP)310、通信模块320、用户识别模块324、存储器330、传感器模块340、输入装置350、显示器360、接口370、音频模块380、相机模块391、电源管理模块395、电池396、指示器397和电机398。
处理器310可以对连接到处理器310的多个硬件或软件元件进行控制，并且可以通过运行例如OS或应用程序来对各种数据进行处理和算术运算。处理器310例如可以通过单片系统(SoC)来实现。根据本公开的实施例，处理器310还可以包括图形处理单元(GPU)和/或ISP。处理器310可以包括图3所示的元件中的至少一些(例如，蜂窝模块321)。处理器310可向易失性存储器中加载从其他元件中的至少一个(例如，非易失性存储器)接收的指令或数据，并且可以处理所加载的指令或数据，并且可以将所得到的数据存储在非易失性存储器中。
通信模块320可以具有与图2A的通信接口270相同或类似的配置。通信模块320例如可以包括蜂窝模块321、Wi-Fi模块323、蓝牙(BT)模块325、GNSS模块327、NFC模块328和RF模块329。
例如，蜂窝模块321可以通过通信网络提供语音呼叫、视频呼叫、文本消息服务、因特网服务等。根据本公开的实施例，蜂窝模块321可以使用用户识别模块(例如，“SIM”卡)324来识别或认证通信网络中的电子设备301。根据本公开的实施例，蜂窝模块321可执行处理器310可提供的功能中的至少一些功能。根据本公开的实施例，蜂窝模块321可以包括CP。
根据本公开的一些实施例，蜂窝模块321、Wi-Fi模块323、BT模块325、GNSS模块327和NFC模块328中的至少一些(例如，两个或更多个)可以被包括在一个集成芯片(IC)或IC封装体中。
RF模块329可以发射和接收例如通信信号(例如，RF信号)。RF模块329例如可以包括收发器、功率放大器模块(PAM)、频率滤波器、低噪声放大器(LNA)和天线。根据本公开的另一实施例，蜂窝模块321、Wi-Fi模块323、BT模块325、GNSS模块327和NFC模块328中的至少一个可以通过单独的RF模块来发射和接收RF信号。用户识别模块324可以包括例如包括用户身份模块或嵌入式SIM的卡，并且可以包含唯一的标识信息(例如，集成电路卡标识符(ICCID))或用户信息(例如，国际移动用户身份(IMSI))。
存储器330(例如，图2A的存储器230)可以包括例如内部存储器332或外部存储器334。内部存储器332可以包括例如以下至少一种：易失性存储器(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)、同步DRAM(SDRAM)等)；和非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、掩模ROM、闪存ROM、闪存、硬盘驱动器和固态驱动器(SSD))。外部存储器334可以包括闪存驱动器，例如紧凑型闪存(CF)、安全数字(SD)、微型安全数字(Micro-SD)、迷你安全数字(Mini-SD)、极限数字(xD)、多媒体卡(MMC)、记忆棒或诸如此类。外部存储器334可以通过各种接口在功能上或物理上连接到电子设备301。
例如，传感器模块340(例如，图2A的传感器模块280)可以测量物理量或者可以检测电子设备301的工作状态，并且可以将测得的物理量或检测到的工作状态转换为电信号。传感器模块340可以包括例如手势传感器340A、陀螺仪传感器340B、大气压力传感器340C、磁传感器340D、加速度传感器340E、握持传感器340F、接近传感器340G、颜色传感器340H(例如，红绿蓝(RGB)传感器)、生物识别传感器340I、温度/湿度传感器340J、照度传感器340K和紫外线(UV)传感器340M中的至少一种。另外或替代地，传感器模块340可以包括例如E-nose传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜传感器和/或指纹传感器。传感器模块340还可以包括用于控制其中包括的一个或更多个传感器的控制电路。在本公开的一些实施例中，电子设备301还可以包括作为处理器310的一部分或与处理器310分开的被配置为控制传感器模块340的处理器，所述处理器可以在处理器310处于休眠状态时控制传感器模块340。例如，温度/湿度传感器340J可以包括布置在不同位置的多个温度传感器。
输入设备350可以包括例如触摸面板352、(数字)笔传感器354、键356和超声波输入单元358。触摸面板352可以使用例如电容方案、电阻方案、红外方案和表面声波方案中的至少一种。此外，触摸面板352还可以包括控制电路。触摸面板352还可以包括触觉层，并且可以向用户提供触觉反应。(数字)笔传感器354例如可以包括作为触摸面板的一部分或与触摸面板分离的识别片。键356例如可以是物理按钮、光学键和键区。超声波输入单元358可以通过麦克风(例如，麦克风388)感测由输入装置产生的超声波，并且可以确认与感测到的超声波相对应的数据。
显示器360(例如，图2A的显示器260)可以包括面板362、全息图单元364、投影仪366和/或用于控制它们的控制电路。面板362可以被实现为例如柔性的、透明的或可穿戴的。面板362与触摸面板352一起可以被实现为一个或更多个模块。全息图单元364可以利用光的干涉在空中显示三维图像。投影仪366可以通过将光投射到屏幕上来显示图像。屏幕例如可以位于电子设备301的内部或外部。接口370例如可以包括高清多媒体接口(HDMI)372、通用串行总线(USB)374、光学接口376以及D-超小型(D-sub)378。接口370例如可以被包括在图2所示的通信接口270中。附加地或替代地，接口370例如可以包括移动高清链路(MHL)接口、安全数字(SD)卡/多媒体卡(MMC)接口或红外数据协会(IrDA)标准接口。
例如，音频模块380可以在声音和电信号之间双向转换。音频模块380的至少一些元件可以被包括在例如图2A所示的输入/输出接口250中。音频模块380可以对通过例如扬声器382、接收器384、耳机386、麦克风388等输入或输出的声音信息进行处理。
相机模块391例如是能够捕获静止图像和运动图像的装置。根据本公开的实施例，相机模块391可以包括一个或更多个图像传感器(例如，前置传感器或后置传感器)、透镜、图像信号处理器(ISP)和闪光灯(例如，LED、氙气灯等)。电源管理模块395例如可以管理电子设备301的电源。
电源管理模块395可以包括电源管理集成电路(PMIC)、充电器IC或电池电量表。PMIC可以使用有线和/或无线充电方法。无线充电方法的例子可以包括例如磁共振法、磁感应法、电磁法等。PMIC还可以包括用于无线充电的附加电路(例如，线圈环路、谐振电路、整流器等)。电池电量表可以测量例如电池396的剩余电量，以及充电期间的电压、电流或温度。电池396例如可以包括可充电电池和/或太阳能电池。
指示器397可以显示电子设备301或电子设备301的一部分(例如，处理器310)的特定状态(例如，启动状态、消息状态、充电状态等)。电机398可以将电信号转换为机械振动，并且可以产生振动、触觉效果等。电子设备301例如可以包括移动电视(TV)支持单元(例如，GPU)，其可以根据诸如数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFLOTM之类的标准来处理媒体数据。
根据本公开的上述硬件元件中的每一个都可以包括一个或更多个组件，并且相应元件的名称可以基于电子设备的类型而变化。在本公开的各种实施例中，电子设备(例如，电子设备301)可以省略一些元件或者可以进一步包括另外的元件，或者电子设备的一些元件可以组合成一个实体，其可以执行与相关元件组合之前的相关元件的功能相同的功能。
图4是示出根据本公开的各种实施例的程序模块的配置的框图。根据本公开的实施例，程序模块410(例如，图2A的程序240)可以包括用于控制与电子设备(例如，图2A的电子设备201)相关的资源的OS和/或在OS中执行的各种应用(例如，图2A的应用程序247)。OS例如可以是AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM和BadaTM。
参照图4，程序模块410可以包括内核420(例如，图2A的内核241)、中间件430(例如，图2A的中间件243)、API 460(例如，图2A的API 245)和/或应用470(例如，图2A的应用程序247)。程序模块410中的至少一些可以预先加载到电子设备上，或者可以从外部电子设备(例如，图2A的电子设备202或204，或服务器206)下载。
内核420例如可以包括系统资源管理器421和/或设备驱动程序423。系统资源管理器421可以控制、分配或获取系统资源。根据本公开的实施例，系统资源管理器421可以包括进程管理器、存储器管理器或文件系统管理器。设备驱动程序423例如可以包括显示器驱动程序、相机驱动程序、蓝牙驱动程序、共享存储器驱动程序、USB驱动程序、键区驱动程序、Wi-Fi驱动程序、音频驱动程序或者进程间通信(IPC)驱动程序。例如，中间件430可以提供多个应用470共同需要的功能，或者可以通过API 460向应用470提供各种功能，以使得应用470能够使用电子设备内的有限系统资源。根据本公开的实施例，中间件430可以包括以下至少一个：运行时库435、应用管理器441、窗口管理器442、多媒体管理器443、资源管理器444、电源管理器445、数据库管理器446、包管理器447、连接管理器448、通知管理器449、位置管理器450、图形管理器451和安全管理器452。
运行时库435例如可以包括库模块，编译器使用该库模块在执行应用程序470期间通过使用编程语言来添加新功能。运行时库435可以管理输入/输出，管理存储器或处理算术函数。应用管理器441例如可以管理应用470的生命周期。窗口管理器442可以管理用于屏幕的图形用户界面(GUI)资源。多媒体管理器443可以确定再现媒体文件所需的格式，并且可以使用适合于相关格式的编码器/解码器(编解码器)对媒体文件进行编码或解码。资源管理器444可以管理应用470的源代码或存储器中的空间。例如，电源管理器445可以管理电池的容量或电力，并且可以提供电子设备工作所需的电力信息。根据本公开的实施例，电源管理器445可以与基本输入/输出系统(BIOS)联合工作。数据库管理器446例如可以生成、搜索或更改要由应用470使用的数据库。包管理器447可以管理以包文件的形式分发的应用的安装或更新。
连接管理器448例如可以管理无线连接。通知管理器449可以向用户提供诸如到达的消息、约会、接近通知等的事件。位置管理器450例如可以管理电子设备的位置信息。例如，图形管理器451可以管理要提供给用户的图形效果或与图形效果相关的用户界面。安全管理器452可以提供例如系统安全性或用户认证。根据本公开的实施例，中间件430可以包括被配置为管理电子设备的语音呼叫功能或视频呼叫功能的电话管理器，或者可以包括能够形成上述元件的功能的组合的中间件模块。根据本公开的实施例，中间件430可以提供每种OS专用的模块。中间件430可以动态地删除一些现有的元件，或者可以添加新的元件。API 460例如是对功能进行编程的API的集合，并且可以为每个OS提供不同的配置。例如，在Android或iOS的情况下，可以为每个平台提供一个API集合，而在Tizen的情况下，可以为每个平台提供两个或更多个API集合。
应用470例如可以包括主页471、拨号器472、SMS/MMS 473、即时消息(IM)474、浏览器475、相机476、闹钟477、联系人478、语音拨号器479、电子邮件480、日历481、媒体播放器482、相册483、手表484、医疗保健应用(例如，测量运动量、血糖水平等的应用)，以及提供环境信息(例如关于大气压力、湿度或温度的信息)的应用。根据本公开的实施例，应用470可以包括能够支持在电子设备与外部电子设备之间进行信息交换的信息交换应用。信息交换应用例如可以包括用于将特定信息传送到外部电子设备的通知中继应用或用于管理外部电子设备的设备管理应用。例如，通知中继应用可以向外部电子设备传送由电子设备的其他应用生成的通知信息，或者可以从外部电子设备接收通知信息，并且可以将接收到的通知信息提供给用户。设备管理应用例如可以安装、删除或更新与电子设备通信的外部电子设备的功能(例如，打开/关闭外部电子设备本身(或其某些元件)或者调整显示器的亮度(或分辨率))，或者由外部电子设备执行的应用。根据本公开的实施例，应用470可以包括根据外部电子设备的属性而指定的应用(例如，移动医疗设备的医疗保健应用)。根据本公开的实施例，应用470可以包括从外部电子设备接收的应用。程序模块410的至少一部分可以用软件、固件、硬件(例如，图3的处理器310)或其中至少两个的组合实现(例如，执行)，并且可以包括模块、程序、例程、指令集或用于执行一个或更多个功能的进程。
根据本公开的各种实施例，一种电子设备可以包括：至少一个传感器；至少一个处理器；和存储器，其被配置为电连接到所述至少一个处理器，其中，所述存储器存储有指令，所述指令在由所述至少一个处理器执行时使所述至少一个处理器执行以下操作：从所述电子设备正在播放的内容中检测至少一个触觉事件；通过所述至少一个传感器检测指示电连接到所述电子设备的触觉提供模块的运动的运动信息；以及基于所述至少一个触觉事件的至少一个属性和检测到的所述触觉提供模块的运动信息，在所述触觉提供模块中所包括的一个或更多个触觉激励器当中选择至少一个触觉激励器。
根据本公开的各种实施例，包括所述一个或更多个触觉激励器的所述触觉提供模块设置在可佩戴在用户头部上的装置中。
根据本公开的各种实施例，所述装置包括头戴式显示器(HMD)。
根据本公开的各种实施例，所述操作还包括：基于所述触觉事件的所述属性和关于所述触觉提供模块是否能够运动的判定中的至少一项，检测是否需要检测所述触觉提供模块的运动信息；以及在判定需要所述触觉提供模块的所述运动信息时，检测所述触觉提供模块的所述运动信息。
根据本公开的各种实施例，所述操作还包括：基于通过所述至少一个传感器获取的、可佩戴在用户头部上的装置的运动信息，来检测所述触觉提供模块的所述运动信息。
根据本公开的各种实施例，所述操作还包括：检测与所述触觉事件的所述属性所指示的触觉发生方向对应的位置与所选择的至少一个触觉激励器的位置之间的差异；以及基于所述差异，来控制对所选择的至少一个触觉激励器的驱动。
根据本公开的各种实施例，控制对所选择的至少一个触觉激励器的驱动还包括：基于所述触觉提供模块的所述运动信息，改变所述触觉效果的方向、所述触觉效果的模式、所述触觉效果的强度中的至少一个。
根据本公开的各种实施例，所述操作还包括：检测所述触觉提供模块的另外的运动；以及基于所述至少一个触觉事件的至少一个属性以及指示检测到的所述触觉提供模块的另外的运动的运动信息，从所选择的触觉激励器切换到至少一个另外的触觉激励器。
根据本公开的各种实施例，所述指令还包括：所述操作还包括：当检测到所述触觉提供模块的另外的运动时，基于所述触觉提供模块的所述另外的运动，改变基于所述触觉事件的所述属性所选择的至少一个触觉激励器的参数。
根据本公开的各种实施例，所述电子设备至少部分地设置在可佩戴在用户头部上的装置上。
图5是示出根据本公开的各种实施例的用于驱动与电子设备中的触觉事件的属性相对应的触觉激励器的进程的流程图。在下面的描述中，电子设备可以包括图2A的电子设备201或电子设备201的至少一部分(例如，处理器220)。
参照图5，在操作501中，电子设备可以检测与电子设备中正在播放的内容(例如，虚拟现实内容)相关的触觉事件。例如，处理器220可以渲染内容的图像和声音，供电子设备201输出。处理器220可以检测所渲染的图像或声音是否对应于所述触觉事件。例如，当处理器220渲染要由电子设备201输出的内容时，处理器220可以识别包含在所渲染的内容中的预先配置的触觉事件信息。
在操作503中，电子设备可以判定触觉提供模块是否受到检测到的运动的影响。例如，当处理器220检测到与电子设备201输出的内容相关的触觉事件时，处理器220可以基于所述触觉事件的属性来判定触觉事件是否应当受到用户头部运动的影响或者要不然被用户头部运动改变。当触觉事件受到用户头部运动的影响时，处理器220可以判定触觉事件是否受到电连接到电子设备201的触觉提供模块290(或者触觉提供模块292)的运动的影响。具体来说，处理器220可以基于存储在存储器230中的触觉提供模块290的特征信息，来判定触觉事件是否受到电连接到电子设备201的触觉提供模块290的运动的影响。例如，当包括在触觉提供模块290中的至少一个触觉激励器电连接到电子设备201时，存储器230可以收集和存储所述至少一个触觉激励器的特征信息。当可安装在用户头上的装置包括电连接到电子装置201的触觉提供模块292时，处理器220可以判定触觉提供模块292受到用户头部运动的影响。例如，可安装在用户头部上的装置可以包括电子设备201或安装有电子设备201的HMD装置。
当触觉提供模块受到用户头部运动的影响时，在操作505中，电子设备可以检测触觉提供模块的运动信息。例如，触觉提供模块290可以包括布置在可安装在用户头上的装置的不同区域中的至少一个触觉激励器(例如，图1的触觉激励器140)。
在操作507中，电子设备可以基于触觉提供模块的运动信息在触觉提供模块中选择与触觉事件的属性相对应的至少一个触觉激励器。例如，处理器220可以基于触觉提供模块的运动信息，选择布置在触觉事件的属性中所包含的触觉发生方向上的至少一个触觉激励器。例如，触觉事件的属性可以包括触觉事件的方向、强度和类型中的至少一个。
在操作509中，电子设备可以驱动与触觉事件的属性相对应的至少一个触觉激励器。例如，处理器220可以基于触觉事件的属性，生成用于控制与触觉事件的属性相对应的至少一个触觉激励器的信号。例如，触觉信号可以包括基于触觉事件的属性和触觉激励器的运动信息而配置的触觉激励器的驱动参数。驱动参数可以包括用于驱动触觉激励器的触觉效果的方向、强度和模式中的至少一个。在本公开中，触觉效果的方向是指相对于用户头部的旋转轴的方向。
图6是示出根据本公开的各种实施例的用于选择与电子设备中的触觉事件的属性相对应的触觉激励器的进程的流程图。图8是示出根据本公开的各种实施例的触觉激励器的运动状态的视图。下面将描述在图5的操作503至507中选择与触觉事件的属性相对应的触觉激励器的操作。在下面的描述中，电子设备可以包括图2A的电子设备201或电子设备201的至少一部分(例如，处理器220)。
参照图6，在操作601中，当电子设备检测到与电子设备正在播放的内容相关的触觉事件(例如，图5的操作501)时，电子设备可以识别检测到的触觉事件的属性。例如，触觉事件的属性可以包括要生成的触觉事件的方向、强度和类型中的至少一个。
在操作603中，电子设备可以基于触觉事件的属性来判定触觉事件是否受到触觉提供模块的运动的影响。例如，处理器220可以从虚拟现实内容中检测下表2中所示的表示碰撞发生的触觉事件1。
表2
根据本公开的实施例，处理器220可以从表2识别出表示触觉事件1的事件类型“碰撞”、碰撞发生的方向信息(例如，6S14E)以及碰撞的强度信息(例如，100g/m2)。在这种情况下，触觉事件1的属性具有方向性，因此，处理器220可以判定触觉事件1已经受到了触觉提供模块的运动的影响。
例如，处理器220可以从虚拟现实内容中检测下表3中所示的表示碰撞发生的触觉事件2。
表3
根据本公开的实施例，处理器220可以从表3中识别出表示触觉事件2的事件类型“道路”和不具有方向性的该触觉事件的强度信息(例如，50g/m2)。在这种情况下，触觉事件2的属性不具有方向性，因此，处理器220可以判定触觉事件2没有受到触觉提供模块的运动的影响。
当判定触觉事件没有受到触觉提供模块的运动的影响时，在操作611中，电子设备可以基于触觉事件的属性对电连接到电子设备的触觉提供模块进行驱动。例如，当处理器220检测到表3所示的触觉事件2时，处理器220可以与包括在触觉事件的属性中的触觉强度相对应地同时驱动包括在触觉提供模块290中的至少一个触觉激励器，并且由此再现与触觉事件2相对应的触觉效果(例如，道路上的嘎嘎声)。也就是说，在判定触觉事件没有受到触觉提供模块的运动的影响的情况下，即使在触觉提供模块290能够表示方向性时，处理器220也可以同时驱动包括在触觉提供模块290中的多个触觉激励器，由此可以再现与触觉事件的属性相对应的触觉效果。
当判定触觉事件受到了触觉提供模块的运动的影响时，在操作605中，电子设备可以判定电连接到电子设备的触觉提供模块是否受到运动的影响。例如，处理器220可以基于存储在存储器230中的触觉提供模块的特征信息来识别电连接到电子设备201的触觉提供模块290是否能够运动。例如，触觉提供模块290的运动可以基于其中设置有触觉提供模块290的装置的类型(例如，可安装在头上的装置)来确定。具体地，当触觉提供模块290被包括在如图8的(a)所示的可安装在头上的装置800中时，处理器220可以判定触觉提供模块290受到了用户头部运动的影响。当触觉提供模块290被包括在椅子810中时，处理器220可以判定触觉提供模块290没有受到用户头部运动的影响。
当判定电连接到电子设备的触觉提供模块没有受到运动的影响时，在操作609中，电子设备可以基于触觉事件的属性来选择与触觉事件相对应的触觉激励器。例如，当判定触觉提供模块290没有受到运动的影响时，处理器220可以判定包括在触觉提供模块290中的触觉激励器的位置是固定的。因此，处理器220可以在包括在触觉提供模块290中的至少一个触觉激励器当中选择与触觉事件的发生方向相对应的至少一个触觉激励器。
当判定电连接到电子设备的触觉提供模块受到了运动的影响时，在操作607中，电子设备可以识别触觉提供模块的运动信息。例如，当触觉提供模块290被包括在可安装在头上的装置800中时，处理器220可以通过传感器模块280来检测用户头部的运动。处理器220可以基于用户头部的运动来识别触觉提供模块290的运动信息。例如，触觉提供模块290的运动信息可以包括与用户头部的运动相对应的触觉激励器的位置信息。
在操作609中，电子设备可以基于触觉事件的属性和触觉提供模块的运动信息来选择与触觉事件相对应的触觉激励器。例如，当处理器220在如图8的(b)所示的用户头部面向前方的状态下检测到在用户右侧发生的模拟碰撞事件时，处理器220可以在触觉激励器801、802、803和804中选择设置在用户右侧的触觉激励器804。例如，当处理器220在图8的(c)所示的用户头部向左运动第一角度(例如，30度)的状态下检测到在用户右侧发生的碰撞事件时，处理器220可以在触觉激励器801、802、803和804中选择相邻地设置在用户右侧的触觉激励器803和触觉激励器804。例如，当处理器220在图8的(d)所示的用户头部向左运动第二角度(例如，90度)的状态下检测到在用户右侧发生的碰撞事件时，处理器220可以在触觉激励器801、802、803和804中选择设置在用户右侧的触觉激励器803。
根据本公开的实施例，当电子设备检测到的用户头部的运动范围(例如，角度)超过基准范围(例如，90度)时，电子设备可以判定将电子设备安装在头上的用户已经转身了。例如，如图8的(e)所示，当用户将他/她的头部旋转超过基准范围(例如，90度)的范围(例如，180度)时，处理器220可以判定电子设备201的用户已经转身了。在这种情况下，处理器220可以更新参照用户所配置的触觉事件的方向。
图7是示出根据本公开的各种实施例的基于电子设备中的运动信息来驱动触觉激励器的进程的流程图。下面将描述图5的操作509中驱动与触觉事件相对应的触觉激励器的操作。在下面的描述中，电子设备可以包括图2A的电子设备201或电子设备201的至少一部分(例如，处理器220)。
参照图7，在操作701中，在选择触觉激励器(例如，图5的操作507)时，电子设备可以判定所选择的触觉激励器是否与触觉事件的属性相匹配。例如，处理器220可以判定包括在触觉事件的属性中的触觉发生方向是否与所选择的触觉激励器的位置相匹配。
当所选择的触觉激励器与触觉事件的属性相匹配时，于是在操作703中，电子设备可以根据触觉事件的属性驱动所选择的触觉激励器。例如，处理器220可以选择设置在与触觉事件的发生方向820(例如，右侧)相匹配的位置(例如，右侧)的触觉激励器804，如图8的(b)所示。在这种情况下，处理器220可以配置用于驱动触觉激励器804的驱动参数，使之对应于触觉事件的属性(例如，方向和强度)。处理器220可以向触觉激励器804发送控制信号(例如，触觉信号)，该控制信号包括基于触觉事件的属性而配置的驱动参数。例如，可以基于从电子设备201接收的控制信号来激活触觉激励器804。可以与包括在控制信号中的驱动参数相对应地驱动触觉激励器804，从而可以再现出触觉效果。
当所选择的触觉激励器与触觉事件的属性不匹配时，在操作705中，电子设备可以基于触觉提供模块的运动信息来配置所选择的触觉激励器的驱动参数。例如，处理器220可以选择布置在某个位置处的触觉激励器802和触觉激励器804，尽管事实上触觉激励器802和触觉激励器804并不匹配如图8的(c)所示的触觉事件的属性中所包含的触觉发生方向(例如，右侧)。处理器220可以基于与触觉事件的发生方向(例如，右侧)对应的位置与触觉激励器802的位置(例如，运动信息)之间的差异来配置触觉激励器802的驱动参数(属性)。处理器220可以基于与触觉事件的发生方向(例如，右侧)对应的位置与触觉激励器804的位置之间的差异来配置触觉激励器804的驱动参数。具体地，处理器220可以与触觉激励器802或触觉激励器804的位置相对应地，更新与触觉事件的属性相对应的触觉激励器的驱动参数(例如，驱动方向和强度)。
在操作707中，电子设备可以使用根据触觉提供模块的运动信息而配置的触觉激励器的驱动参数来驱动触觉激励器。例如，处理器220可以向触觉激励器802和触觉激励器804发送控制信号(触觉信号)，该控制信号包括基于触觉事件的属性和触觉提供模块290的运动信息而配置的驱动参数。例如，可以与包括在控制信号中的驱动参数相对应地驱动触觉激励器802和触觉激励器804中的每一个，从而可以再现出触觉效果。
图9是示出根据本公开的各种实施例的基于电子设备中的运动信息来改变与触觉事件的属性相对应的触觉激励器的进程的流程图。下面将描述图5的操作509中驱动与触觉事件相对应的触觉激励器的操作。在下面的描述中，电子设备可以包括图2A的电子设备201或电子设备201的至少一部分(例如，处理器220)。
参照图9，在操作901中，电子设备可以与内容的触觉事件的属性相对应地驱动触觉提供模块。例如，处理器220可以控制与触觉事件相对应的触觉激励器，以基于触觉事件的属性和与触觉事件相对应的触觉激励器的运动信息来提供触觉效果。
在操作903中，电子设备可以判定在驱动触觉提供模块时是否检测到触觉提供模块的运动。例如，通过电子设备201的传感器模块280，处理器220可以判定是否检测到了电子设备201借助于用户头部的运动而进行的运动。
当没有检测到触觉提供模块的运动时，则在操作915中，电子设备可以判定触觉事件的提供是否已经终止。
当检测到触觉提供模块的运动时，在操作905中，电子设备可以与触觉提供模块的运动相对应地，选择与触觉事件相对应的触觉激励器。例如，处理器220可以基于触觉提供模块的运动，将当前正被驱动的第一触觉激励器改变为另一个触觉激励器或者保持正被驱动的触觉激励器不变。
在操作907中，电子设备可以判定是否已经选择了与触觉事件的属性相匹配的触觉激励器。例如，处理器220可以判定在操作905中选择的触觉激励器的位置是否与触觉事件的发生方向相匹配。
当触觉激励器与触觉事件的属性(例如，触觉事件的发生方向)相匹配时，在操作909中，电子设备可以与触觉事件的属性相对应地驱动所选择的与触觉事件相对应的触觉激励器。例如，当如图8的(b)所示，在用户视线向着前方或者直视前方的状态下在用户的右侧发生了碰撞事件时，处理器220可以与碰撞事件的强度相对应地操作设置在用户右侧的触觉激励器804。当用户将他/她的头部向左旋转90度时，如图8的(d)，处理器220可以与碰撞事件的强度相对应地驱动设置在用户右侧的触觉激励器803。也就是说，处理器220可以基于触觉激励器的运动来改变与碰撞事件相对应的触觉激励器。
当选择了与触觉事件的属性不匹配的触觉激励器时，则在操作911中，电子设备可以基于触觉提供模块的运动信息和触觉事件的属性来配置触觉激励器的驱动参数。例如，处理器220可以基于如图8的(b)所示发生在用户右侧的碰撞事件，与该碰撞事件的强度相对应地来驱动设置在用户右侧的触觉激励器804。当用户如图8的(c)所示将他/她的头部向左旋转30度时，处理器220可以选择邻近用户右侧的触觉激励器803和触觉激励器804作为与碰撞事件相对应的触觉激励器。在这种情况下，处理器220可以基于与碰撞事件的发生方向(例如，右侧)对应的位置与触觉激励器803和触觉激励器804的位置之间的差异，根据触觉提供模块的运动来配置触觉激励器803和触觉激励器804中的每一个的驱动参数(属性)。
在操作913中，电子设备可以基于根据触觉提供模块的运动信息而配置的触觉激励器的驱动参数来驱动与触觉事件相对应的至少一个触觉激励器。例如，在图8的(c)的情况下，处理器220可以向触觉激励器803和触觉激励器804发送控制信号(触觉信号)，该控制信号包括基于触觉事件的属性和触觉提供模块290的运动信息而配置的驱动参数。也就是说，处理器220可以基于触觉激励器的运动来改变与触觉事件(例如，碰撞事件)相对应的触觉激励器。
当驱动与触觉事件相对应的至少一个触觉激励器时，在操作915中，电子设备可以判定触觉事件的提供是否已经终止。例如，处理器220可以判定电子设备201对内容的再现是否已经终止。例如，处理器220可以判定从电子设备201正在再现的内容中检测到的触觉事件的再现时间点是否已经终止。
图10是示出根据本公开的各种实施例的基于电子设备中的运动信息来控制对触觉激励器的驱动的进程的流程图。下面将描述图5的操作509中驱动与触觉事件相对应的触觉激励器的操作。在下面的描述中，电子设备可以包括图2A的电子设备201或电子设备201的至少一部分(例如，处理器220)。
参照图10，在操作1001中，电子设备可以与内容的触觉事件的属性相对应地驱动触觉提供模块。例如，当如图8的(b)所示，在用户视线向前或者直视前方的状态下在用户的右侧发生碰撞事件时，处理器220可以选择设置在用户右侧的触觉激励器804作为与碰撞事件相对应的触觉激励器。处理器220可以向触觉激励器804发送触觉信号(控制信号)(该触觉信号包括与碰撞事件的强度和方向相对应的驱动参数)，从而可以控制对触觉激励器804的驱动。
在操作1003中，电子设备可以判定在驱动与触觉事件相对应的触觉提供模块期间是否检测到了触觉提供模块的运动。例如，处理器220可以通过电子设备201的传感器模块280来判定是否检测到电子设备201的用户头部的运动。
当没有检测到触觉提供模块的运动时，在操作1013中，电子设备可以判定触觉事件的提供是否已经终止。
当检测到了触觉提供模块的运动时，在操作1005中，电子设备可以基于的触觉提供模块的运动，来判定与触觉事件相对应的触觉激励器是否与触觉事件的属性(例如，触觉事件的方向)相匹配。例如，处理器220可以通过将在操作1001中被驱动的触觉激励器的改变后的位置与触觉事件的发生方向进行比较，来判定触觉激励器的改变后的位置是否与触觉事件的发生方向一致。
当与触觉事件相对应的触觉激励器与触觉事件的属性相匹配时，在操作1007中，电子设备可以与触觉事件的属性相对应地驱动与触觉事件相对应的至少一个触觉激励器。例如，处理器220可以基于触觉事件的发生方向和强度来生成触觉激励器的驱动参数。处理器220可以向触觉激励器发送包括相关触觉激励器的驱动参数的触觉信号(控制信号)。可以基于包括在触觉信号中的驱动参数来驱动与触觉事件相对应的触觉激励器。
当与触觉事件相对应的触觉激励器与触觉事件的属性不匹配时，在操作1009中，电子设备可以基于触觉提供模块的运动信息和触觉事件的属性来配置与触觉事件相对应的触觉激励器的驱动参数。例如，处理器220可以基于与触觉事件的发生方向对应的位置与触觉激励器的位置之间的差异来配置触觉激励器的驱动方向和强度，以产生触觉效果。也就是说，处理器220可以基于与触觉事件的发生方向对应的位置与触觉激励器的位置之间的差异，来调整要通过触觉激励器再现的触觉效果的方向和强度。
在操作1011中，电子设备可以基于与触觉提供模块的运动信息和触觉事件的属性相对应的、触觉激励器的驱动参数，来驱动与触觉事件相对应的至少一个触觉激励器。例如，处理器220可以向与触觉事件相对应的触觉激励器发送基于与触觉事件的发生方向对应的位置与触觉激励器的位置之间的差异而配置的触觉触发器的驱动参数。触觉激励器可以基于从电子设备接收的驱动参数来再现触觉效果。
在操作1013中，在驱动与触觉事件相对应的至少一个触觉激励器时，电子设备可以判定触觉事件的提供是否已经终止。例如，处理器220可以判定在电子设备201中内容或触觉事件的再现时间点是否已经终止。
根据本公开的各种实施例，一种电子设备的操作方法可以包括：检测与所述电子设备正播放的内容相关的至少一个触觉事件；检测电连接到所述电子设备的触觉提供模块的运动信息；以及基于检测到的所述至少一个触觉事件的属性和检测到的所述触觉提供模块的所述运动信息中的至少一项，从所述触觉提供模块所包含的一个或更多个触觉激励器中选择至少一个触觉激励器。
根据本公开的各种实施例，包括所述一个或更多个触觉激励器的所述触觉提供模块设置在可佩带在用户头部上的装置中。
根据本公开的各种实施例，所述装置包括头戴式显示器(HMD)。
根据本公开的各种实施例，检测所述运动信息包括：基于所述触觉事件的所述属性和关于所述触觉提供模块是否能够运动的判定中的至少一项，检测是否需要检测所述触觉提供模块的所述运动信息；以及当判定需要所述触觉提供模块的所述运动信息时，检测所述运动信息。
根据本公开的各种实施例，检测所述触觉提供模块的所述运动信息可以包括：基于通过所述至少一个传感器检测到的可佩戴在用户头部上的装置的运动信息，来检测所述触觉提供模块的所述运动信息。
根据本公开的各种实施例，该操作方法还可以包括：检测与所述触觉事件的所述属性所指示的触觉发生方向对应的位置与所选择的至少一个触觉激励器的位置的差异；以及基于所述差异，控制对所选择的至少一个触觉激励器的驱动。
根据本公开的各种实施例，控制对所述至少一个触觉激励器的驱动包括：基于所述触觉提供模块的所述运动信息，改变所述触觉效果的方向、所述触觉效果的模式、所述触觉效果的强度中的至少一个。
根据本公开的各种实施例，所述操作方法还可以包括检测所述触觉提供模块的另外的运动；以及基于所述至少一个触觉事件的至少一个属性以及指示检测到的所述触觉提供模块的另外的运动的运动信息，从所选择的触觉激励器切换到至少一个另外的触觉激励器。
根据本公开的各种实施例，该操作方法还可以包括：当检测到所述触觉提供模块的另外的运动时，基于所述触觉提供模块的所述另外的运动，改变基于所述触觉事件的所述属性所选择的至少一个触觉激励器的参数。
根据本公开的各种实施例，所述触觉提供模块设置在可佩带在用户头部上的装置中，并且其中，所述触觉事件的所述至少一个属性包括触觉效果的方向、所述触觉效果的强度和所述触觉效果的类型中的至少一个。
根据本公开的各种实施例的电子设备及其操作方法可以基于包括在可佩带在用户头上的装置的至少一部分中并且受到用户头部运动的影响的至少一个触觉激励器的运动信息，来驱动与从虚拟现实内容获取的触觉事件的属性相对应的至少一个触觉激励器。因此，可以提高电子设备的用户体验到的虚拟现实的现实感。
本文使用的术语“模块”例如可以表示包括硬件、软件和固件之一或者它们中的两个或更多个的组合的单元。“模块”例如可以与术语“单元”、“逻辑”、“逻辑块”、“组件”或“电路”互换使用。“模块”可以是集成组件或其一部分的最小单元。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。“模块”可以机械地或电子地实现。例如，根据本公开的“模块”可以包括专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)和可编程逻辑器件中的至少一种，用于执行已知的或今后开发出的操作。
根据各种实施例，根据本公开的设备(例如，其模块或功能)或方法(例如，操作)中的至少一些可以通过以程序模块的形式存储在计算机可读存储介质中的指令来实现。该指令在由处理器(例如，处理器220)执行时可以使一个或更多个处理器执行与该指令相对应的功能。计算机可读存储介质例如可以是存储器230。
计算机可读记录介质可以包括硬盘、软盘、磁介质(例如磁带)、光介质(例如，致密盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光介质(例如，软光盘)、硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器)等。此外，程序指令可以包括可以使用解释器在计算机中执行的高级语言代码以及由编译器编译的机器代码。如上所述的任何硬件设备都可以被配置为作为一个或更多个软件模块来工作，以执行根据本公开的各种实施例的操作，反之亦然。
根据本公开的各种实施例的任何模块或编程模块都可以包括上述元件中的至少一个，排除所述元件中的一些，或者还包括其他附加元件。由根据本公开的各种实施例的模块、编程模块或其他元件执行的操作可以以顺序、并行、重复或启发方式来执行。此外，一些操作可以根据另一种顺序来执行或者可以被省略，或者可以增加其他操作。
提供本文公开的实施例仅仅是为了容易地描述本公开的技术细节以及帮助理解本公开，而不是要限制本公开的各种实施例的范围。因此，应当理解，基于本公开的各种实施例的技术思想的所有修改和改变或各种其他实施例都落入本公开的各种实施例的范围内。