用于发送和接收用于虚拟现实流传输服务的图像数据的方法和装置与流程

本公开涉及一种用于提高虚拟现实(vr)流传输服务(streamingservice)的质量的方法和装置。

背景技术：

为了满足第四代(4g)通信系统商业化以来对无线数据业务的日益增长的需求，已经努力开发改进的第5代(5g)通信系统或5g前通信系统。为此，5g或5g前通信系统被称为超4g或后期演进(lte)系统。

为了实现高数据速率，正在考虑在毫米波(mmwave)频带(例如，60ghz频带)中部署5g通信系统。对于5g系统，已经讨论了波束成形、大量多输入多输出(mimo)、全尺寸mimo(fd-mimo)、阵列天线、模拟波束形成和大规模天线技术，以便减轻波的路径损耗和传播距离(propagationdistance)。

此外，对于系统中的网络改进，诸如演进小区、高级小区、云无线接入网(ran)、超密集网、设备到设备(d2d)通信、无线回程、移动网络、协作通信、协调多点(comp)和干扰消除的技术已经在5g系统中得到发展。

此外，诸如混合fsk和qam调制(fqam)和滑动窗口叠加编码(swsc)的高级编码调制(acm)技术，以及诸如滤波器组多载波(fbmc)、非正交多址(noma)和稀疏码多路访问(scma)的高级访问技术已经在5g系统中开发出来。

互联网正在从其中人类生成和消费信息的以人为本(human-oriented)的连接网络发展为其中信息在分布式元素(例如事物)之间发送/接收和处理的物联网(internetofthings，iot)。万物网(internetofeverything，ioe)技术可能是一个例子，其中iot通过连接到云服务器等与大数据处理相结合。

对于物联网实现，需要诸如传感、有线/无线通信、网络基础设施、服务接口和安全等技术。最近，已经研究了包括用于事物之间的互连的传感器网络、机器对机器(m2m)通信以及机器类型通信(mtc)的技术。

可以在iot环境中提供通过收集和分析从相互联系的事物生成的数据为人类活动创造新价值的智能互联网技术(it)服务。物联网可以通过现有的it技术和各行业的融合在广泛的领域中得到应用，包括智能家居、智能建筑、智能城市、智能汽车或连接车、智能电网、医疗保健、智能家电和最先进的医疗服务。

在这方面，已经有很多尝试将5g系统应用于iot。例如，诸如传感器网络、iot和mtc的5g技术通过诸如波束成形、多输入多输出(mimo)和阵列天线等技术实现。上述云ran作为大数据处理技术的应用也是5g技术和iot之间的融合的示例。

随着服务运营商对vr业务的大量投入，预计vr业务将作为主要的下一代服务的延伸。一般来说，vr是指由计算机图形创建的几乎真实的环境或情况。vr提供了人类使用他或她的感觉器官感觉到的，并诱使人类感觉到真正互动的接口。用户可以通过操纵设备与vr进行交互并具有几乎真实的感觉体验。

增强现实(ar)是vr的一个领域，是一种将真实环境与虚拟对象或信息相结合，从而虚拟对象或信息可能被视为真正存在的计算机图形技术。现实世界实时地与附加信息和虚拟世界结合并被视为一个图像，从这个意义上说，ar将虚拟对象重叠到用户观看的真实世界，也被称为混合现实(mr)。

此外，由于移动设备(例如，智能电话和平板电脑(pc))的激增，vr在教育、游戏、导航、广告或博客等各种服务中变得更加流行。随着可穿戴设备最近已经实现商业化，vr已经成为更积极的研究领域。

例如，穿戴式装置以可穿戴和可附着在身体和衣服上的各种形式被提供，例如头戴式、眼镜、手表、乐队、隐形眼镜、戒指和衣服。由于电子设备被配置为在用户身体上作为衣服或眼镜佩戴，所以可穿戴设备可以增加便携性和可访问性。

尽管vr在其早期阶段是非流传输式发送服务，其中vr专用内容全部被下载到vr设备然后被再现，但vr已被开发到其中vr内容通过从服务器流传输被实时接收和再现的服务。

技术实现要素：

技术问题

由于vr内容支持360度全景视图，而不是从常规终端消费(consume)内容的视点，因此vr内容需要比一般视频内容大5倍的大容量带宽。结果，vr流传输服务使用大量的缓冲和大带宽，导致vr流传输中的中断。

本公开的一个方面是基于关于用户的头部跟踪信息，提供为每个视角提供不同质量的方法和装置，以便克服由于需要高容量带宽的vr流传输媒体服务中的带宽短缺引起的中断。

本公开的另一方面是提供用于由提供了vr服务的电子设备根据当前带宽状态自适应地提供vr流传输服务的方法和装置。

技术方案

在本公开的一方面中，一种用于在电子设备中接收用于虚拟现实(vr)流传输服务的图像数据的方法包括：基于带宽状态来确定是否执行自适应vr流传输服务，并且如果确定执行自适应vr流传输服务，则基于预先收集的头部跟踪信息和带宽信息，向服务器请求用于自适应vr流传输服务的图像数据，以及从服务器接收图像数据。

在本公开的另一方面中，一种用于接收用于vr流传输服务的图像数据的装置包括：判定器(decider)，用于基于电子设备中的带宽状态来确定是否执行自适应vr流传输服务，以及运行器，如果确定执行自适应vr流传输服务，则基于预先收集的头部跟踪信息和带宽信息来请求用于自适应vr流传输服务的图像数据。

在本公开的另一方面中，一种用于发送用于vr流传输服务的图像数据的方法包括：从电子设备接收用于自适应vr流传输服务的图像数据请求消息，基于图像数据请求消息构建用于自适应vr流传输服务的图像数据，并发送图像数据。用于自适应vr流传输服务的图像数据包括用于作为360度图像的一部分的感兴趣区域的、具有对应于等于或高于预定值的分辨率的高质量的数据，所述感兴趣区域基于电子设备的头部跟踪信息和带宽信息，或图像数据的事件信息被确定。

在本公开的另一方面中，一种用于发送用于vr流传输服务的图像数据的装置包括：收发器，用于从电子设备接收用于自适应vr流传输服务的图像数据请求消息，基于图像数据请求消息构建用于自适应vr流传输服务的图像数据，以及发送图像数据。用于自适应vr流传输服务的图像数据包括用于作为360度图像的一部分的感兴趣区域的具有对应于等于或高于预定值的分辨率的高质量的数据，并且所述感兴趣区域基于电子设备的头部跟踪信息和带宽信息，或图像数据的事件信息被确定。

附图说明

图1是示出根据本公开的实施例的示例性数据分区(datapartitioning)的视图。

图2是示出根据本公开的实施例的用于提供自适应虚拟现实(vr)流传输服务的电子设备的配置的视图。

图3是示出根据本公开的实施例的在提供自适应vr流传输服务的方法中仅考虑位置信息的请求具有不同质量的图像的示例的视图。

图4是示出根据本公开的实施例的在提供自适应vr流传输服务的方法中考虑位置信息和加速度信息两者的请求具有不同质量的图像的示例的视图。

图5是示出根据本公开的实施例的在提供自适应vr流传输服务的方法中仅考虑位置信息的选择性地请求图像的示例的视图。

图6是示出根据本公开的实施例的在提供自适应vr流传输服务的方法中考虑位置信息和加速度信息两者的选择性地请求图像的示例的视图。

图7是示出根据本公开的实施例的用于提供自适应vr流传输服务的过程的流程图。

具体实施方式

参照附图描述本公开的各种实施例。然而，本公开的范围不旨在限于特定实施例，并且应当理解，本公开涵盖各种修改、等同物和/或替代。关于附图的描述，相同的附图标记表示相同的部件。

在本公开中，术语“具有”、“可以具有”、“包括”或“可以包括”表明特定特征的存在(例如，数字、功能、操作或诸如部件的组件(componentsuchaspart))，不排除存在一个或多个其他特征。

在本公开中，术语“a或b”、“a或/和b中的至少一个”或“a或/和b中的一个或多个”中可以涵盖列举项目的所有可能的组合。例如，“a或b”、“a和b的至少一个”或“a或b中的至少一个”可以代表(1)包括至少一个a，(2)包含至少一个b，以及(3)包含至少一个a和至少一个b的所有情况。

本公开中使用的术语“第一”或“第二”可以修饰各种组件的名称，不论序列和/或重要性，而不是限制组件。这些表达用于区分一个组件和另一个组件。例如，第一用户设备(ue)和第二ue可以指示不同的ue，而不论序列或重要性。例如，在不脱离本公开的范围的情况下，第一部件可被称为第二部件，反之亦然。

当组件(例如，第一组件)被称为“可操作地或通信地耦合与/到”或“连接到”另一组件(例如，第二组件)时，应当理解，一个组件直接或通过任何其他组件(例如，第三个组件)连接到另一个组件。另一方面，当组件(例如，第一组件)被“直接连接”或“直接耦合到”另一个组件(例如，第二组件)时，可以理解，组件之间没有其他组件(例如第三个组件)。

本文使用的术语“配置”在情况下可以被替换为例如术语“适于”、“设计为”、“适用于”、“制造”或“能够”。术语“配置为”可能不一定意味着硬件“专门地设计为”。相反，术语“配置为”可能意味着设备可能意味着“能够”随着另一设备或部件(‘capableof’withanotherdeviceorpart)。例如，“配置为运行a、b和c的处理器”可以意味着用于执行相应操作的专用处理器(例如，嵌入式处理器)或用于执行操作的通用处理器(例如，中央处理单元(cpu)或应用处理器(ap))。

提供本公开中使用的术语仅用于描述具体实施例，而不是为了限制其他实施例的范围。应当理解，除非上下文另有明确规定，否则单数形式包括复数指示物。除非另有定义，在以下描述和权利要求中使用的包括技术或科学术语的术语和词语可以具有与本领域技术人员通常理解的相同的含义。字典中通常定义的术语可以解释为具有与相关技术相同或相似的含义或解释为相关技术的语境含义。除非另有定义，否则不应将术语解释为理想或过度正式的含义。当需要时，即使本公开中定义的术语也不能被解释为排除本公开的实施例。

根据本公开的各种实施例，电子设备可以是例如智能电话、平板电脑(pc)、移动电话、视频电话、电子书阅读器、台式pc、笔记本电脑、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、mp3播放器、医疗设备、照相机或可穿戴设备(例如，智能眼镜，头戴装置(hmd)、电子衣服、电子手链、电子项链、电子配件、电子纹身、智能镜或智能手表)中的至少一个。

根据一些实施例，电子设备可以是智能家电。智能家电可以是例如电视(tv)、数字通用盘(dvd)播放器、音频播放器、冰箱、空调、真空吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视盒(例如，samsunghomesynctm、appletvtm或googletvtm)、游戏机(用于例如，xbox^tm或playstation^tm)、电子词典、电子钥匙、摄像机或电子相框中的至少一个。

根据其他实施例，电子设备可以是医疗设备(例如，诸如血糖仪、心率计、血压计或体温计、磁共振血管成像(mra)装置、磁共振成像(mri)装置、计算机断层摄影(ct)装置、成像装置、超声波装置等的便携式医疗仪表)、导航装置、全球定位系统接收机、事件数据记录器(edr)、飞行数据记录器(fdr)、汽车信息娱乐装置、海军电子装置(例如，海军导航装置、陀螺罗经等)、航空电子装置、安全装置、车载头单元、工业或消费者机器人、金融设施中的自动取款机(atm)、商店内的销售点(pos)装置、或物联网(iot)装置(例如，灯泡、各种传感器、电力或燃气表、喷水灭火器、火灾报警器、恒温器、路灯、烤面包机、运动用品、热水箱、加热器或锅炉)中的至少一个。

根据一些实施例，电子设备可以是家具、建筑物/结构或车辆的一部分、电子板、电子签名接收装置、投影仪和各种测量装置(例如，水、电、气或电磁波测量装置)中的至少一个。根据各种实施例，电子设备可以是两个或更多个前述设备的组合。根据一些实施例，电子设备可以是柔性电子设备。根据本公开的实施例，电子设备不限于前述设备，并且可以覆盖将随着技术开发而出现的新的电子设备。

现在，将参考附图给出根据本公开的各种实施例的电子设备的描述。在本公开中，术语“用户”可以指使用电子设备的人或设备(例如，人造智能电子设备)。

本公开的实施例提出了用于基于跟踪信息、加速度信息和包括在图像中的事件信息来估计下一视角信息和基于估计的信息为每个视图提供具有不同质量的图像的方法和装置，所述跟踪信息、加速度信息和包括在图像中的事件信息基于提供vr服务的电子设备的用户的当前视点。

在使用加速度信息的方法中，可以使用当前视角和加速度方向信息来估计用户的视野的后续移动方向和用户的后续视角，并且可以以高质量提供用户视野的方向的图像。此外，在使用包含在图像中的事件信息的方法中，可以使用图像中的特定声音或对象信息。例如，如果从后面听到声音，则用户可能自然地在声音的方向上转动。在这种情况下，可以以高质量提供用户背后的图像。如果在某个时间点在图像中出现新对象，则用户自然会将他或她的眼睛导向新物体出现或移动的方向。然后，可以以高质量提供相应视野的图像。基于事件的估计方法也适用于本地vr内容下载，然后选择性渲染(selectiverendering)以及流传输(streaming)。

根据本公开的实施例，启用vr服务的电子设备可以根据当前带宽状态提供自适应vr流传输服务。自适应vr流传输基于加速度信息、位置信息、带宽信息等提供各种质量的图像。例如，可以以高质量发送包括用户的当前视角的用户高概率地观看的部分，而可以以中等或低质量发送用户低概率观看的部分。可替代地或另外地，可以仅发送从用户的当前视角的可移动范围内的视角的图像，而可能不发送可移动范围外的视角的图像。

根据本公开的实施例，为了确定是否执行自适应vr流传输，可以使用电子设备的缓冲程度，和/或可以使用带宽。这些方法可以单独使用或组合使用。

在使用缓冲程度的方法中，基于电子设备的缓冲程度来估计带宽状态。也就是说，如果缓冲程度为高，则估计带宽较大，因此可以以高质量发送整个图像。另一方面，如果缓冲程度低，则估计带宽较小，因此可以以低质量发送预期使用较少的视角的图像。例如，在定义了三个缓冲程度“高、中、低”的情况下，如果当前缓冲程度为高，则可以以高质量发送整个360度图像。如果当前缓冲程度是中等的，则可以以高质量发送包括当前视角的随后预期视角(以下称为感兴趣区域)的图像，以及可以以中等质量发送除感兴趣区域之外的区域的图像(以下称为不感兴趣区域)。如果当前缓冲程度低，则可以以高质量发送感兴趣区域的图像，并且可以以低质量发送不感兴趣区域的图像。

在带宽测量方法中，可以基于块来测量平均带宽。如果测量值(块大小/块下载时间)小于为每个视角提供高质量图像所需的带宽，则可以以中等或低质量发送不感兴趣区域的图像。

现在，将给出根据本公开的实施例的用于提供自适应vr流传输服务的方法的描述。

根据本公开的实施例的用于提供自适应vr流传输服务的两种方法可用，在很大程度上取决于一个图像是否可以以多个编码率进行编码。

如果不可能在服务器中以多个编码率对一个图像进行编码，则服务器可以通过视图或编码率来管理360度图像，或者基于电子设备的请求构建或发送图像数据。为此，服务器对具有多个质量的通过360度相机拍摄的图像进行编码，主要将经编码的多质量图像分割为块，然后根据各自的角度或视图将每个块分割为角度块，并将角度块存储在存储器中。

图1示出了根据本公开的实施例的示例性数据分区。作为示例，当通过9个摄像机，摄像机1到摄像机9，捕获图像时，图1中的每个块被分割成9个角度块，可以改变摄像机的数量和每个块的角度块的数量。此外，尽管在图1中作为示例，以两个质量水平，即，高和低执行编码，但可以定义三个或更多个图像质量。

块可以以对称或不对称的角度被分割成角度块。

对称角分割是指例如以45度分割360度，从而生成8个角度块，或以30度分割，从而生成12个角度块。在非对称角分割中，例如，用户以低概率观看的部分可以被分割成相对小的角度块，而用户以高概率观看的部分可以被分割成相对较大的角度块，或者具有大的运动的部分可以被分割成相对大的角度块，而具有小的运动的部分可以被分割成相对小的角度块。此外，每个角度块的大小可以不同，以使得角度块的大小可以与观看概率成比例。此外，根据诸如运动图像、电影或自然图像的图像的特征，角度块的尺寸或分辨率水平可以不同。例如，在诸如运动图像的快速运动图像的情况下，屏幕被渲染成无缝的(renderedtobeseamless)。

同时，电子设备可以根据其能力或当前网络状态自适应地向服务器请求vr流传输服务。为此，电子设备向服务器发送针对每个块的块索引和块质量信息，并且服务器发送与发送的信息相对应的块。此外，根据本公开的实施例，为了请求角度块中的块，当向服务器请求图像时，电子设备应当和块索引和块质量信息一起发送关于角度块的信息。

根据本公开的实施例，如果提供了对于各个视图具有不同质量的图像，则电子设备应当从服务器接收基于视图划分的图像数据并且聚合(aggregate)图像数据。或者服务器可以通过聚合基于视图划分的图像来生成360度图像，然后将360度图像发送到电子设备。或者服务器和电子设备可以在服务器和电子设备之间的连接建立期间协商用于图像处理的ue能力，并且可以基于协商的结果来确定图像聚合实体。例如，如果电子设备的图像处理能力低，则可以选择由服务器向电子设备提供聚合图像的方法。

同时，如果感兴趣区域和不感兴趣区域可以像智能编解码方案中那样通过不同的压缩进行编码，则电子设备可以基于缓冲程度和头部跟踪信息向服务器发送关于用户将看到的感兴趣区域的信息，并且服务器可以以低压缩率发送具有高质量的感兴趣区域的图像，并且以高压缩率发送具有低质量的不感兴趣区域的图像，从而减少数据大小。可以根据电子设备的缓冲程度或连接到电子设备的相机中的自动聚焦设置，由用户的直接块配置(blockconfiguration)将特定对象或区域设置为感兴趣区域。

图2示出了根据本公开的实施例的用于提供自适应vr流传输服务的电子设备的配置。

参见图2，根据本公开的实施例的电子设备200可以包括头部跟踪信息提取器210、自适应vr流传输判定器220、自适应vr流传输运行器230和图像请求器240。

头部跟踪信息提取器210基于从电子设备中的诸如陀螺仪传感器或加速度计传感器的感测运动的传感器或相机接收的信息来提取加速度信息和位置信息。

自适应vr流传输判定器220根据带宽状态确定是否执行自适应vr流传输。具体地说，如果由电子设备测量的带宽大于提供高质量的360度全景图像所需的带宽，则可以以高质量接收整个图像，因此自适应vr流传输判定器220确定不执行自适应vr流传输。如果所测量的带宽小于所需带宽，则可以以低质量接收整个图像。因此，自适应vr流传输判定器220确定不执行自适应vr流传输。然后，自适应vr流传输判定器220向vr流传输运行器230和图像请求器240提供确定结果。

自适应vr流传输运行器230从头部跟踪信息提取器210接收所提取的加速度信息和位置信息。如果自适应vr流传输判定器220确定执行自适应vr流传输，则自适应vr流传输运行器230根据加速度信息和位置信息确定将向服务器请求的块信息。

图像请求器240根据自适应vr流传输判定器220和自适应vr流传输运行器230所做的确定，向服务器请求自适应vr流传输。这里，图像请求器240基于从服务器预先接收的清单文件获取所支持的质量信息和角度块索引信息，基于所获取的信息生成请求消息，并将请求消息发送到服务器。如前所述，请求消息可以包括块索引、质量信息和角度块索引。

现在，将给出根据本公开的实施例的用于提供不同质量的方法的描述。

对于相对于当前视点用户将以高概率来观看的相邻部分，可以请求高质量图像，并且对于剩余部分，可以请求低质量图像。根据位置信息和加速度信息的使用情况，可以使用以下两种方法。

如果仅使用位置信息，则可以为用户当前视图的左侧和右侧的视图请求高质量。

如果使用位置信息和加速度信息两者，则确定用户很可能将他或她的眼睛导向加速度方向的视图，并且因此可以为当前视图和加速度方向的区域请求高质量图像。

图3是示出仅考虑位置信息请求具有不同质量的图像的示例的视图，图4是示出考虑位置信息和加速度信息两者来请求具有不同质量的图像的示例的视图。

参考图3，如果用户正在查看⑤，则可以为⑤、⑤附近的④和⑥以及顶部⑨的图像请求高质量，而可以为其他视图①、②、③、⑦和⑧的图像请求低质量。

参见图4，如果用户正在观看⑤并且加速度信息存在于左侧，则可以为⑤、⑤附近的④和⑥、加速度方向⑤附近的③、以及顶部的⑨请求高质量，而可以为其他视图①、②、⑦和⑧的图像请求低质量。

虽然在图3和图4中定义了高和低的两个图像质量水平，但可以定义三个或更多个图像质量水平。在图3，例如，可以为④、⑤、⑥和⑨的图像请求高质量，可以为在其余视图中相对接近当前视图的③和⑦请求中等质量，并且可以为与目前的视图相距甚远的视图①、②和⑧请求低质量。在图4中，可以为③至⑥以及⑨的图像请求高质量，可以为在加速度方向的①和②请求中等质量，以及可以为与加速度方向相反的视图⑦和⑧的图像请求低质量。

如上所述，即使当使用包括在图像中的事件信息来估计关于用户的后续视角信息时，也可以基于所估计的信息来提供用于各个视图的具有两个或更多个不同质量的图像。

然后，可以选择性地仅请求相对于当前视图用户将以高概率观看的部分的图像，而可以不请求剩余部分的图像。结果，可以减少带宽。如上述用于请求具有不同质量的图像的方法一样，可以根据位置信息和加速度信息的使用方式，以下列两种方式选择性地请求图像。

在仅使用位置信息的情况下，可以仅请求用户当前视图的左侧和右侧的视图图像，而可以不请求剩余部分的图像。

在其中使用位置信息和加速度信息两者的情况下，可以仅请求当前视图和加速度方向上的区域的图像，而可以不请求剩余部分的图像，确定用户将眼睛移动到加速度方向的视图。

图5是示出仅考虑位置信息来选择性地请求图像的示例的视图，图6是示出考虑到位置信息和加速度信息两者来选择性地请求图像的示例的视图。

参考图5，如果用户正在查看⑤，可以请求⑤、⑤附近的④和⑥、以及顶部⑨的图像，而可以不请求其他视图①、②、③、⑦和⑧的图像。

参考图6，如果用户正在观看⑤并且加速度信息存在于左侧，则可以请求⑤、⑤附近的④和⑥、在加速度方向上⑤附近的③和顶部⑨的图像，而可以不请求其他视图①、②、⑦和⑧的图像。

此外，如上所述，即使使用包括在图像中的事件信息来估计用户的后续视角信息，也可以基于所估计的信息来选择性地提供每个视图的图像。

图7是示出根据本公开的实施例的用于提供自适应vr流传输服务的过程的流程图。

参考图7，电子设备向服务器请求清单文件(manifestfile)，并在操作701和702中从服务器接收清单文件。在操作703中，电子设备获取编码和块信息。这里，电子设备可以向服务器发送关于其能力、包括解码能力的信息。电子设备测量当前带宽并且在操作704中基于所测量的带宽来确定是否执行自适应vr流传输。也就是说，如果所测量的带宽大于以高质量提供整个360度图像所需的带宽，则电子设备可以以高质量接收整个图像，从而确定不执行自适应vr流传输。如果所测量的带宽小于高质量所需的带宽，则电子设备确定执行自适应vr流传输。如果所测量的带宽小于以低质量提供整个360度图像所需的带宽，则电子设备将以低质量接收整个图像，从而确定不执行自适应vr流传输。如果电子设备确定执行自适应vr流传输，则在操作705中，电子设备基于从电子设备中装备的运动传感器、照相机等预先接收到的作为头部跟踪信息的加速度信息和位置信息来确定将要向服务器请求的块信息。在操作706中，电子设备基于该确定向服务器请求自适应vr流传输。这里，电子设备基于先前从服务器接收的清单文件获取所支持的质量信息和角度块索引信息，基于所获取的信息生成请求消息，并在操作708中将请求消息发送到服务器。请求消息可以包括块索引、质量信息和角度块索引。在操作708中，电子设备根据请求从服务器接收块。这里，服务器可以基于在操作701中接收到的ue的能力信息，在可解码范围内发送图像。

本文所用的术语“模块”可以指包括硬件、软件和固件中的一个或两个或更多个的组合的单元。术语“模块”可以与例如单元、逻辑、逻辑块、组件或电路等术语互换使用。“模块”可以是其集成的部件或部分的最小单元。“模块”可以机械地或电子地实现。例如，“模块”可以包括执行某些操作的已知或未开发的应用专用集成电路(asic)芯片、现场可编程门阵列(fpga)或可编程逻辑器件中的至少一个。

根据本公开的各种实施例的设备(例如，模块或其功能)或方法(例如，操作)的至少一部分可以被实现为以编程模块的形式存储在计算机可读存储介质中的命令。当命令由处理器(例如，处理器120)运行时，一个或多个处理器可以运行与命令相对应的功能。计算机可读介质可以是例如存储器130。

计算机可读介质可以包括硬盘、软盘、磁介质(例如磁带)、光学介质(例如，光盘只读存储器(cd-rom))、数字通用盘(dvd)、磁光介质(例如，光盘)、硬件设备(例如只读存储器(rom)、随机存取存储器(ram)或闪速存储器))等。程序指令可以包括由编译器生成的机器语言代码或可以由使用解释器的计算机运行的高级语言代码。上述硬件设备可以被配置为作为一个或多个软件模块来操作，以根据各种实施例执行操作，反之亦然。

根据各种实施例的模块或编程模块可以包括上述组件中的一个或多个，可以省略其一部分，或者可以包括附加组件。根据本公开的由模块、编程模块或其他组件执行的操作可以以串行、并行、重复或启发式方式处理。此外，一些操作可以以不同的顺序执行或省略，或者可以添加附加的操作。

根据本公开的各种实施例，存储介质可以存储指令，其被配置为当由至少一个处理器运行时，控制至少一个处理器以执行至少一个操作。所述至少一个操作可以包括在电子设备中执行vr模式，根据至少一个事件的生成感测中断，将与所生成的事件相关的事件相关信息改变为与vr模式相对应的形式，并且在与vr模式相对应地运行的屏幕上显示改变后的事件相关信息。

提供本说明书中公开的实施例用于对本公开的描述和理解，而不是限制本公开的范围。因此，本公开的范围应被解释为包括在本公开内容的范围内的所有修改或各种实施例。