信息处理方法及装置与流程

本申请涉及信息处理技术领域，尤其涉及一种信息处理方法与装置。

背景技术：

随着虚拟现实技术的发展，各种新型增强使用者视觉、听觉体验的头戴装置不断出现。用户可以佩戴头戴装置进行游戏或者观看电影等。为了保证使用者能够得到最好的音视频效果，这些头戴装置往往会使用密闭的设计，以隔绝使用者眼睛和耳朵与外界的联系，从而可以带给使用者更加逼真、刺激的使用效果。例如，目前用户在玩游戏或者观看电影时经常使用的沉浸式的头戴设备。然而，使用这种头戴设备的使用者在使用过程中通常不能很好地接收来自外界信息，例如，如果有其他人需要与头戴设备的使用者进行交流，则通常需要依靠物理触碰使用者或者大声呼叫的方式才能引起头戴设备使用者的注意。

技术实现要素：

本申请的实例提供了一种信息处理方法，该方法包括：采集两个以上声音信号；对所述两个以上声音信号进行两两组合，得到N个声音信号组合；分别计算每个声音信号组合内两个声音信号幅值的差值，得到N个声音信号幅值的差值；以及将所述N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，生成通知消息，并播放所述通知消息。

本申请的实例还提供了一种头戴装置，包括：用于显示图像的显示装置；以及用于播放声音的声音播放装置；该头戴装置进一步包括：

n个声音采集装置，用于采集声音信号，其中，n为大于或等于2的自然数；

处理模块，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号；以及

通知模块，用于在收到所述控制信号后生成通知消息，并通过所述显示装置和/或声音播放装置播放所述通知消息。

本申请的实例还提供了信息处理装置，包括：

n个声音采集装置，用于采集声音信号，其中，n为大于或等于2的自然数；

处理模块，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号；以及

连接模块，用于在收到所述控制信号后生成通知消息，并向头戴装置输出生成的通知消息。

本申请的实例还提供了另一种信息处理装置，包括：

n个声音采集装置，用于采集声音信号，其中，n为大于或等于2的自然数；

处理模块，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当至少有一个声音信号幅值的差值大于或等于所述阈值时，输出控制信号；以及

执行模块，用于在收到所述控制信号后生成通知消息，并播放所生成的通知消息。

在本申请的实例中，通过对布置于不同方向的声音采集装置所采集到的声音信号进行处理，并计算不同方向声音信号幅值的差值，当某一方向或某几个方向的声音强度大于其他方向时，则判断为该方向有人在对使用者说话，即为外界有信息输入，并触发特定的通知操作对使用者进行提醒。使用本方法可以在不破坏头戴装置的密闭性，不牺牲使用者使用体验的前提下，实现提醒使用者注意外界有效通知的效果。本申请的信息处理装置可以集成在头戴装置中，也可以设计为使用者单独佩戴的装置。该信息处理装置在使用者佩戴头戴装置的过程中可以采集外界的声音信号，通过对所采集信号的处理判断出外界有信息输入时，触发特定的通知操作对使用者进行提醒，增强了头戴设备的实用性。

附图说明

为了更清楚的说明本申请中的技术方案，下面将对实例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。其中，

图1为本申请实例中的头戴装置实体示意图；

图2为本申请实例中的信息处理方法流程示意图；

图3为本申请实例中的信息处理装置内部结构示意图；

图4为本申请实例中使用DSP作为处理模块的内部结构示意图；

图5为本申请实例中使用门电路作为处理模块的内部结构示意图；

图6为本申请另一实例中的信息处理装置内部示意图；以及

图7为本申请又一实例中的信息处理装置内部示意图；

具体实施方式

下面将结合附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实例是本申请一部分实例，而不是全部的实例。基于本申请中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本申请保护的范围。

如前所述，为了带给头戴设备使用者更加逼真、刺激的使用体验，头戴装置往往会使用密闭的设计，以隔绝使用者眼睛和耳朵与外界的联系。然而，这样的使用方式却导致使用者在佩戴头戴设备的过程中不能很好地接收来自外界的信息。

为了解决上述问题，本申请的实例给出了一种信息处理方法。该方法可以应用于与头戴装置配合使用，在使用者佩戴使用头戴设备的过程中为使用者处理外界的信息，并在检测到有外界信息输入时提醒使用者。

如前所述，本申请实例所指头戴装置可以是沉浸式头戴装置，该头戴装置本身可包括用于显示图像或影像的显示装置，例如，带有图像显示功能的眼罩，以及用于播放声音的声音播放装置，例如耳麦等。

此外，在本申请的实例中，为了实现对来自头戴装置外界信息的处理，还需要配置两个以上的声音采集装置，用于采集头戴装置使用者周围不同方向上的声音信号。上述两个以上的声音采集装置可以设置在上述头戴装置的不同部位，或者也可以先设计一个由头戴装置的使用者佩戴的单独的装置，例如，手环或者腰带等。在这种情况下，上述两个以上的声音采集装置设置在该装置的不同部位上。

更进一步，为了更好的区分来自不同方向的声音，上述声音采集装置可以采用单指向性的麦克风来实现。

图1显示了依据本申请实例的头戴装置的一个示例。如图1所示，在图1所示的头戴装置主体100的左部、左前部、右部和右前部分别设置有一个单指向性的麦克风MIC-A、MIC-B、MIC-C、MIC-D，这4个单指向性的麦克风分别用于捕获来自头戴装置主体的左部、左前部、右部和右前部的声音信号。需要说明的是，在图1中，共显示了4个声音采集装置，而在本申请的实例中，在头戴装置主体上设置的声音采集装置的数量并不限于4个，可以是2个、3个、5个、甚至更多个。

本申请实例所述的信息处理方法主要是对来自声音采集装置的声音信号进行处理，检测外界是否有有用信息输入，且在有信息输入时提醒头戴设备的使用者。

图2为依据本申请实例的信息处理方法流程示意图。如图2所示，该方法包括以下步骤：

步骤201，通过n个声音采集装置分别采集n个声音信号，其中，n为大于或等于2的自然数。

如前所述，为了实现本实施例的方法，可以在头戴装置的不同部位设置两个以上的声音采集装置，或者设计一个由使用者佩戴的单独的装置，在该装置的不同部位设置两个以上的声音采集装置。这样，在本步骤中，通过在头戴装置或者单独的装置上设置的两个以上的声音采集装置采集来自不同方向的两个以上的声音信号。

例如，如图1所示的头戴装置的示例，该头戴装置包含MIC-A、MIC-B、MIC-C、MIC-D 4个单指向性的麦克风。如此，在本步骤中，可以通过这4个单指向性的麦克风采集来自头戴装置前部、左前部、右部和右前部四个方向上的声音信号Sa、Sb、Sc和Sd。

为了避免所采集到的声音信号中过高的频率成分对装置造成的不良影响，在本步骤中，还可以进一步对上述n个声音信号先分别进行低通滤波处理。经过低通滤波处理之后，所接收的n个声音信号中的背景噪声等干扰成分将被除去。

步骤202，对上述n个声音信号进行两两组合，共得到N个组合。

在本申请的实例中，可以对上述n个声音信号进行两两任意组合，在这种情况下，N和n可以具有如下关系：N＝C_n²。例如，通过如图1所示的头戴装置可以采集到Sa、Sb、Sc和Sd四个声音信号。如此，在本步骤中，可以得到如下6个组合：[Sa、Sb]、[Sa、Sc]、[Sa、Sd]、[Sb、Sc]、[Sb、Sd]、以及[Sc、Sd]。

在本申请的另一个实例中，还可以依据声音采集装置的位置，仅将位置相邻的两个声音采集装置所采集的声音信号进行组合，其中，每个组合包括两个声音信号。例如，通过如图1所示的头戴装置可以采集到Sa、Sb、Sc和Sd四个声音信号。从图1可以看出，MIC-A和MIC-B相邻，MIC-B和MIC-C相邻，MIC-CD和MIC-D相邻，则在本步骤中，可以得到如下3个组合：[Sa、Sb]、[Sb、Sc]、以及[Sc、Sd]。

步骤203，分别计算每个组合内两个声音信号幅值的差值，得到N个声音信号幅值的差值。

例如，如果在上述步骤中得到上述6个组合[Sa、Sb]、[Sa、Sc]、[Sa、Sd]、[Sb、Sc]、[Sb、Sd]、以及[Sc、Sd]，则分别计算每个组合所包含两个声音信号幅值的差值：d1＝Sa-Sb、d2＝Sa-Sc、d3＝Sa-Sd、d4＝Sb-Sc、d5＝Sb-Sd、以及d6＝Sc-Sd。而如果在上述步骤中得到上述3个组合[Sa、Sb]、[Sb、Sc]、以及[Sc、Sd]，则分别计算每个组合所包含两个声音信号幅值的差值：d1＝Sa-Sb、d2＝Sb-Sc、以及d3＝Sc-Sd。

通过本步骤的计算可以得出不同方向声音采集装置所接收声音信号强度的差值，也即声音信号幅值的差值，这些差值代表了不同方向声音强弱的差异。

在本申请的一个实例中，上述步骤203和204可以通过例如数字信号处理(DSP)芯片等可编程电路/芯片来实现。除此之外，上述步骤204也可以通过门电路，例如，差分电路来实现。

步骤204，将上述N个声音信号幅值的差值分别与设定的阈值进行比较，如果至少有一个声音信号幅值的差值大于或等于所述阈值，则判断外界有信息输入，可继续执行步骤205；如果所有声音信号幅值的差值均小于所述阈值，则判断没有外界信息输入，返回步骤201，继续监控。

在本步骤中，上述阈值可以是预先根据经验值设置的。这一阈值在上述方法执行中可以保持不变。

此外，上述阈值也可以由用户设置并可以在使用过程中人工进行调整。例如，可以预先设置头戴装置的不同使用环境与各种不同使用环境下阈值的对应关系，例如，包括在家中等比较安静的环境可以对应相对比较低的阈值，而在游戏厅、商场等等比较嘈杂的环境则可以对应相对比较高的阈值。这样，用户在使用前可以设置头戴装置的使用环境，从而可以根据上述不同使用环境与阈值的对应关系，确定与用户所设置使用环境对应的阈值，以实现根据外界环境动态调整阈值的目的。

此外，在本申请的实例中，还可以根据上述两个以上声音采集装置采集的声音信号来动态调整上述阈值。例如，当在本步骤中，监测到所有声音信号幅值的差值均小于所述阈值时，则可以求所采集所有声音信号的平均值，并根据该平均值设定新的阈值。由于头戴装置上设置的多个声音采集装置所采集声音信号的平均值基本反映了当前环境下背景声音的大小，因此，根据该平均值更新阈值可以使头戴装置更好地适应当前的环境。

步骤205，生成通知消息，并播放所生成的通知消息，通知头戴装置的使用者外界有信息输入。

上述通知消息可以是声音消息、图形或文字消息或者是其他类型的消息。例如，如果是声音消息，则可以通过头戴装置的声音播放装置播放该声音消息，例如，特定的提示音或者语音等等，通知头戴装置的使用者外界有信息输入；如果是图形或文字消息，则可以通过头戴装置的显示装置显示该图形或者文字消息，通知头戴装置的使用者。此外，还可以通过振动等方式通知使用者。

除上述通知方式之外，还可以直接将大于或等于阈值的声音信号幅值的差值对应的可能包含信息的声音信号进行合并以及滤波等处理后通过头戴装置的声音播放装置播放给使用者。

这样，使用者在接收到上述任何一种类型的通知消息之后即可获知外界有信息输入，从而可以中断头戴设备的使用回归到真实环境中，与外界恢复沟通。

需要说明的是，执行完上述操作后，如果使用者继续使用该头戴装置，则本流程可以返回到步骤201，继续进行监控。

由此可以看出，在本实例中，通过对布置于不同方向的声音采集装置所采集到的声音信号进行处理，并计算不同方向声音信号幅值的差值，当某一方向或某几个方向的声音强度大于其他方向时，则判断为该方向有人在对使用者说话，即为外界有信息输入，并触发特定的通知操作对使用者进行提醒。使用本方法可以在不破坏头戴装置的密闭性，不牺牲使用者使用体验的前提下，实现提醒使用者注意外界有效通知的效果。

除了上述信息处理方法，本申请还给出了实现上述信息处理方法的装置。

图3为本申请一实例的信息处理装置内部结构示意图。在本实例中，该信息处理装置可以内置于头戴装置，与头戴装置集成在一起。如图3所示，该信息处理装置包括：

n个声音采集装置301，其中，n为大于2的自然数，分别用于采集不同方向上的声音信号。

上述n个声音采集装置301可以安置在头戴装置的不同位置上，以采集来自头戴装置不同方向的声音信号。

具体而言，上述声音采集装置可以是单指向性麦克风。单指向性麦克风的接收音场角度非常小，因此，只对特定方向上的声音信号具有接收能力，而不能接收其他方向的信号。当有人与头戴装置的使用者说话时，麦克风的单指向性会使得位于讲话者方向上的麦克风收到比其它麦克风更强的信号。

处理模块302，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当某一个声音信号幅值的差值或某几个声音信号幅值的差值超过或等于设定的阈值时，表示至少有一路声音信号比其它路信号更强，也即可能存在信息输入。在这种情况下，处理模块303将输出一个控制信号到通知模块304。

在本申请的实例中，上述处理模块303可采用不同的计算处理硬件实现，如DSP芯片、门电路等。

通知模块303用于接收处理模块302输出的控制信号，生成通知消息，并控制头戴装置上的显示装置和/或声音播放装置向头戴装置使用者播放通知消息，提醒使用者注意存在外界信息输入。

在本申请的示例中，通知模块303可以控制头戴装置上的显示装置向使用者显示文字或图形消息，也可以控制头戴装置上的声音播放装置向使用者发出声音提醒。

更进一步，除了上述控制信号之外，处理模块302还将对大于或等于上述阈值的声音信号幅值的差值对应的可能包含信息的声音信号进行合并以及滤波等处理，然后向通知模块303输出，并由通知模块303控制头戴装置的声音播放装置播放来自处理模块302的声音信号，从而将外界信息直接传递给头戴装置的使用者。

在本申请的实例中，上述信息处理装置还将包括：n个低通滤波器304，用于对上述n个声音采集装置301所采集的n路声音信号做低通滤波处理，除去其中的背景噪声等干扰成分，经过低通滤波处理的声音信号将被输入到处理模块302。

在本申请的另一实例中，上述信息处理装置还将包括阈值设置模块305，用于设置上述阈值。

上述阈值设置模块305可以接收用户输入的阈值，并按照用户输入的阈值进行阈值设置，或者可以接收用户设置的应用场景，并根据预先设置的应用场景和阈值的对应关系确定用户设置的应用场景所对应的阈值，从而进行阈值设置。此外，上述阈值设置模块305还可以根据上述n个声音采集装置301采集的声音信号动态调整上述阈值。例如，当所有的声音信号幅值的差值均小于设置的门限时说明外界没有信息输入，这些声音信号基本反映了头戴装置周围的背景声音。在这种情况下，可以将根据n个声音采集装置301采集的声音信号的平均值更新上述阈值。

在本申请的一些实例中，所述处理模块302可以使用DSP来实现。图4显示了使用DSP实现的处理模块302的内部结构。如图4所示，在这种情况下，处理模块302包括：

n个模数转换器401，用于将输入的n路模拟声音信号转换为n路数字信号；

分组单元402，用于对输入的n路数字信号进行两两组合，得到N个组合；如前所述，可以对n路数字信号进行两两任意组合，此时，N＝C_n²；此外，还可以将两个相邻的声音采集装置所采集的声音信号进行组合，得到N个组合。

差值单元403，用于分别将每个组合内的两个信号幅度相减，共得到N个声音信号幅值的差值；

比较单元404，用于将N个声音信号幅值的差值分别与设定的阈值进行比较，若如果有一个或者多个声音信号幅值的差值大于或者等于上述阈值，则判断为存在外界信息输入，则输出控制信号。

在本申请的另一些实例中，上述处理模块302也可以使用门电路来实现。图5显示了使用门电路实现的处理模块302的内部结构。如图5所示，在这种情况下，处理模块302包括：

N个差分放大电路501，分别用以实现将不同声音信号组合内两路声音信号的幅度进行减法运算，其中，幅值接近的噪声信号经过相减后会得到小的输出，而如果两路信号中有一路信号更强经过相减后会得到较大的输出，较大输出表示存在有效的外界反馈输入。

N个比较器502，分别用于将所述N差分电路501的输出与预设幅值Vref做比较。上述预设的幅值对应于上述阈值。

或门电路503，用于对所有N个比较器502的数据进行或运算，也即当所述N个比较器502中有一个比较器502的输出为1时，或门电路503的输出也为1。

该或门电路503的输出将作为控制信号输出到通知模块304。

在上述实例中无论是使用DSP还是门电路，都可以实现对来自各个声音信号采集装置所采集声音信号的处理，并根据处理结果判断是否存在有效的外界信息输入，相应的判断结果也会发送至通知模块以触发相关操作。

本实例中的应用于头戴装置的信息处理装置可以在不破坏头戴装置使用效果的前提下，提醒头戴装置使用者注意外界有信息输入，而且能够在一定程度内排除干扰消息。

在本申请的另一个实例中，所述信息处理装置还可以可以做成独立于头戴装置的单独的信息处理部件，该信息处理部件与头戴装置通过专用或者通用的接口连接。例如，该信息处理部件可以是粘接或者插接在头戴设备上的单独部件或者做成类似于手环或者腰带等形态的产品直接佩戴在使用者的身上。该信息处理装置与头戴装置的连接方式也可以是有线或者是无线的。例如通过USB接口、蓝牙、或WiFi等方式与头戴装置进行连接。图6为本申请一实例的信息处理装置内部结构示意图。如图6所示，该信息处理装置包括：

n个声音采集装置301，其中，n为大于2的自然数，分别用于采集不同方向上的声音信号。

上述n个声音采集装置301可以安置在头戴装置的不同位置上，或者以手环、腰带等其他方式佩戴在头戴装置使用者身体的某些部位上，以采集来自不同方向的声音信号。

如前所述，上述声音采集装置可以是单指向性麦克风。

处理模块302，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当某一个声音信号幅值的差值或某几个声音信号幅值的差值超过或等于设定的阈值时，表示至少有一路声音信号比其它路信号更强，也即可能存在信息输入。在这种情况下，处理模块302将输出一个控制信号到连接模块601。

如前所述，上述处理模块302可采用不同的计算处理硬件实现，例如可以用如图4所示的DSP，或如图5所示的门电路等。

连接模块601，用于接收处理模块302输出的控制信号，生成通知消息，向头戴装置输出通知消息，提醒使用者注意存在外界信息输入。

头戴装置在接收到来自连接模块601的通知消息后可以通过自身的显示装置向使用者显示文字或图形消息，也可以控制头戴装置上的声音播放装置向使用者发出声音提醒。

更进一步，除了上述通知方式之外，处理模块302还可以对大于或等于上述阈值的声音信号幅值的差值对应的可能包含信息的声音信号进行合并以及滤波等处理，然后通过连接模块601向头戴装置输出处理后的声音信号，并由头戴装置控制其自身的声音播放装置播放所述声音信号，从而将外界信息传递给头戴装置的使用者。

在本申请的另一实例中，上述信息处理装置还将包括：用于对上述n个声音采集装置301所采集的n路声音信号做低通滤波处理的n个低通滤波器304；以及用于设置阈值的阈值设置模块305，其功能如前所述，在此不在赘述了。

本实例所述的信息处理装置，可独立于沉浸式头戴装置而存在，自行捕获外界声音信号、判别出有效的外界信息输入后，将通过与头戴装置连接的连接模块通知头戴装置对使用者进行提醒。这种装置的好处在于可以应用于不同的头戴装置上，使用起来更加便捷灵活。

在本申请的又一个实例中，所述信息处理装置还可以做成完全独立于头戴装置的单独的装置，而且无需头戴装置连接。例如，该信息处理装置可以做成类似于手环或者腰带等形态的产品直接佩戴在使用者的身上。图7为本申请一实例的信息处理装置内部结构示意图。如图7所示，该信息处理装置包括：

n个声音采集装置301，其中，n为大于2的自然数，分别用于采集不同方向上的声音信号。

上述n个声音采集装置301可以安置在头戴装置的不同位置上，或者以类似手环、腰带等其他方式佩戴在头戴装置使用者身体的手腕或者其他部位上，以采集来自不同方向的声音信号。

如前所述，上述声音采集装置可以是单指向性麦克风。

处理模块302，用于对经过低通滤波的n路声音信号进行两两组合，得到N组声音信号组合，并分别求每个声音信号组合的两路声音之间的声音信号幅值的差值，并将得到的N个声音信号幅值的差值分别与设定的阈值进行比较，当某一个声音信号幅值的差值或某几个声音信号幅值的差值超过或等于设定的阈值时，表示至少有一路声音信号比其它路信号更强，也即可能存在信息输入。在这种情况下，处理模块302将输出一个控制信号到执行模块701。

如前所述，上述处理模块302可采用不同的计算处理硬件实现，例如可以用如图4所示的DSP，或如图5所示的门电路等。

执行模块701，用于接收处理模块302输出的控制信号，向头戴装置的使用者输出通知消息，提醒使用者注意存在外界信息输入。

例如，执行模块701可以包含振动装置，在接收到处理模块303输出的控制信号后将进行振动，从而通知使用者注意外界有信息输入。

在本申请的另一实例中，上述信息处理装置还将包括：用于对上述n个声音采集装置301所采集的n路声音信号做低通滤波处理的n个低通滤波器304；以及用于设置阈值的阈值设置模块305，其功能如前所述，在此不在赘述了。

本实例所述的信息处理装置，可独立于沉浸式头戴装置而存在，自行捕获外界声音信号，在判别出有效的外界信息输入后，将通过自身的振动装置或其他方式对使用者进行提醒。这种信息处理装置的好处在于可以与不同类型的头戴装置配合使用，甚至可以与本身不支持扩展功能的头戴装置配合使用。甚至于还可以应用到除了头戴装置之外的其他的应用环境下，应用起来更加便捷灵活。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。