多通道信息处理方法及系统与流程

本发明涉及计算机技术领域，具体而言，涉及多通道信息处理方法及系统。

背景技术：

目前市场上的智能机器人功能主要集中在语音交互方面，针对家居玩具场景，以娱乐为主，提供诸如简单会话、讲故事、唱儿歌、跳舞等应用。然后，现有对机器人硬件相关的智能信息采集主要包括智能音频，智能视频，智能传感器技术，每种采集方案都是从物理上和软件逻辑上在单通道做数据信息处理，比如音频为从单一或者多个麦克整列进行物理采集量化，前端处理，再到后端识别或者大数据分析，视频和传感器也一样；对于当前的技术方案存在很强的一致性和封闭性，不能规避硬软件算法或服务器的方案局限或缺陷。

技术实现要素：

本发明正是基于上述问题，提出了多通道信息处理方法及系统，可以对信息处理进行更高逻辑程度的择优。

有鉴于此，本发明的一方面提出了一种多通道信息处理方法，包括：

在通过多个通道分别进行信息采集后，根据每个通道采集到的信息对存储的对象关系进行模拟更新，生成每个通道对应的匹配信息；

对来自各通道的信息进行利益价值判断，并比较各通道对应的匹配信息；

根据判断结果和比较结果更新存储的关系模型。

进一步地，各通道在硬件采集、系统软件、驱动固件和智能业务方面分别采用不同的方案，为独立的信息采集和处理通道；各通道采集到的信息包括：文本信息、图像信息、感知信息。

进一步地，所述“根据每个通道采集到的信息对存储的对象关系进行模拟更新”包括：

通过对象关系提取模型对每个通道采集到的信息进行对象识别；其中，所述对象关系提取模型是基于深度映射DeepMap架构生成的；

提取识别出的对象的属性；

基于各对象的属性更新各对象之间的关系。

进一步地，所述对象为机器对于外界可识别或抽象出的认知单元；所述对象具有可匹配和可划分的边界；所述对象可以基于一特征进行分类；

所述对象包括以下一种或多种的任意组合：有边界的实物设备，设备组件，逻辑对象,聚合对象。

进一步地，所述关系包括以下一种或多种的任意组合：拥有关系，组合关系，间接抽象关系，时间位移关系。

本发明另一方面还提供了一种多通道信息处理系统，包括：

匹配模块，用于在通过多个通道分别进行信息采集后，根据每个通道采集到的信息对存储的对象关系进行模拟更新，生成每个通道对应的匹配信息；

分析模块，用于对来自各通道的信息进行利益价值判断，并比较各通道对应的匹配信息；

更新模块，用于根据判断结果和比较结果更新存储的关系模型。

进一步地，各通道在硬件采集、系统软件、驱动固件和智能业务方面分别采用不同的方案，为独立的信息采集和处理通道；各通道采集到的信息包括：文本信息、图像信息、感知信息。

进一步地，所述匹配模块包括：

识别单元，用于通过对象关系提取模型对每个通道采集到的信息进行对象识别；其中，所述对象关系提取模型是基于深度映射DeepMap架构生成的；

提取单元，用于提取识别出的对象的属性；

更新单元，用于基于各对象的属性更新各对象之间的关系。

进一步地，所述对象为机器对于外界可识别或抽象出的认知单元；所述对象具有可匹配和可划分的边界；所述对象可以基于一特征进行分类；

所述对象包括以下一种或多种的任意组合：有边界的实物设备，设备组件，逻辑对象,聚合对象。

进一步地，所述关系包括以下一种或多种的任意组合：拥有关系，组合关系，间接抽象关系，时间位移关系。

本发明提供的多通道信息处理方法及系统，对信息采集的系统具有两套或者两套以上独立的软硬件方案，排除同一个方案的一致性，从而达到不同方案间的最优选择。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的多通道信息处理方法的第一流程示意图；

图2示出了本发明实施例提供的多通道信息处理方法的第二流程示意图；

图3示出了图1和图2所示的多通道信息处理方法中通道的结构示意图；

图4A示出了图1和图2所示的多通道信息处理方法中双通道麦克风阵列的第一硬件部署示意图；

图4B示出了图1和图2所示的多通道信息处理方法的双通道麦克风阵列的第二硬件部署示意图；

图5示出了本发明实施例提出了一种多通道信息处理系统的结构示意图。

主要元件符号说明：

201-通道一麦克风；202-通道二麦克风；203-混音器；100-多通道信息处理系统；10-匹配模块；20-分析模块；30-更新模块。

具体实施方式

在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。

在下文中，可在本公开的各种实施例中使用的术语“包括”或“可包括”指示所公开的功能、操作或元件的存在，并且不限制一个或更多个功能、操作或元件的增加。此外，如在本公开的各种实施例中所使用，术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

在本公开的各种实施例中，表述“或”或“A或/和B中的至少一个”包括同时列出的文字的任何组合或所有组合。例如，表述“A或B”或“A或/和B中的至少一个”可包括A、可包括B或可包括A和B二者。

在本公开的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件，不过可不限制相应组成元件。例如，以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如，第一用户装置和第二用户装置指示不同用户装置，尽管二者都是用户装置。例如，在不脱离本公开的各种实施例的范围的情况下，第一元件可被称为第二元件，同样地，第二元件也可被称为第一元件。

应注意到：如果描述将一个组成元件“连接”到另一组成元件，则可将第一组成元件直接连接到第二组成元件，并且可在第一组成元件和第二组成元件之间“连接”第三组成元件。相反地，当将一个组成元件“直接连接”到另一组成元件时，可理解为在第一组成元件和第二组成元件之间不存在第三组成元件。

在本公开的各种实施例中使用的术语“用户”可指示使用电子装置的人或使用电子装置的装置(例如，人工智能电子装置)。

在本公开的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本公开的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本公开的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本公开的各种实施例中被清楚地限定。

实施例1

图1示出了本发明实施例提出了一种多通道信息处理方法的流程示意图。

请一并参阅图1和图2所示，本发明实施例提出的多通道信息处理方法，包括：

步骤S1，在通过多个通道分别进行信息采集后，根据每个通道采集到的信息对存储的对象关系进行模拟更新，生成每个通道对应的匹配信息。

步骤S2，对来自各通道的信息进行利益价值判断，并比较各通道对应的匹配信息。

步骤S3，根据判断结果和比较结果更新存储的关系模型。

请一并参阅图3所示，本实施例中，各通道在硬件采集、系统软件、驱动固件和智能业务方面分别采用不同的方案，均具有差异性，为独立的信息采集和处理通道。当然，多通道信息采集需要多通道硬件的支持，如多通道麦克风阵列，多目摄像头阵列等。

具体地，请一并参阅图4A和图4B所示，本实施例提供了两种双通道麦克风阵列的硬件部署方案。在图4A和图4B中，实心方块均代表通道一麦克风201；虚心方块均代表通道二麦克风202。多个通道一麦克风构成通道一麦克风阵列，多个通道二麦克风构成通道二麦克风阵列。可以理解，两个通道上的麦克风具体数量可以根据实际需求自行选择，这里不做限定。通道一麦克风201和通道二麦克风202分别采集空间内特定的语音信号，通过特定的缆线输入混音器203进行信号处理，再通过有线或无线的方式，将混音器203通过有线或无线的方式发送语音信号至扬声器(图中未示)，由扬声器将采集到的语音信号输出。

相应的多目摄像头阵列的硬件部署方案，与此类似，在此不再进行赘叙。

本实施例中，各通道采集到的信息包括文本信息、语音信息、图像信息或感知信息。更具体地，感知信息具体为机器感知得到的信息，例如温度信息，湿度信息，气候数据，亮度数据，灰度数据等各种机器感知可以得到的信息；而文本信息可以有各种格式的文本中的文本信息，例如可以有PDF格式的文本中的文本信息，还可以有TXT格式的文本中的文本信息，还可以为各种电子文档中的文本信息。至于图像信息，也可以是各种格式图像中的图像信息，例如为jpg格式的图像中的图像信息，还可以为BMP格式的图像中的图像信息等等。

进一步地，通过对象关系提取模型对每个通道采集到的信息进行对象识别。所述对象关系提取模型是基于深度映射DeepMap架构生成的。所述对象为机器对于外界可识别或抽象出的认知单元；所述对象具有可匹配和可划分的边界；所述对象可以基于一特征进行分类；所述对象包括以下一种或多种的任意组合：有边界的实物设备，设备组件，逻辑对象,聚合对象。

进一步地，提取识别出的对象的属性。例如，各通道采集到的信息是语音信息，则基于自然语言理解的算法对输入的语音信息进行处理，以提取对象以及对象的属性，例如提取的语音信息中的目标作为对象，或者所涉及到的人，物来作为对象，而目标的属性，例如体积，重量，范围等等，则是属性信息。后续可以提取对象的信息和匹配；以及关系和场景的匹配。

进一步地，根据各对象的属性更新各对象之间的关系。所述关系包括以下一种或多种的任意组合：拥有关系，组合关系，间接抽象关系，时间位移关系。在现实世界中，对象和关系是万物的基本属性，人机界面主要在于单人对应多个设备(对象)的场景，人与设备或者设备与设备之间的关系众多但简单。对象可以包括：有边界的实物设备，设备组件，逻辑对象(人为定义),聚合对象(人为抽象)，我们可以给不同对象用以不同属性(也是对象)和关系进行匹配；而关系可以包括：拥有关系，组合关系，间接抽象关系，时间位移关系等，在DeepMap架构中，本方案基于DeepMap架构为设备或者设备自己动态的建立和维护对象与关系的自适应系统，从而系统化满足用户交付，提供一个简单明了智能的交互架构，也即对象关系提取模型。通过对象和关系层次系统的建立，可以定位出设备的对于外界世界和行为的基础知识，包括尝试和感觉裂解。

实施例2

图5示出了本发明实施例提出了一种多通道信息处理系统的结构示意图。

如图5所示，本发明实施例提出的多通道信息处理系统100，包括：

匹配模块10用于在通过多个通道分别进行信息采集后，根据每个通道采集到的信息对存储的对象关系进行模拟更新，生成每个通道对应的匹配信息；

分析模块20用于对来自各通道的信息进行利益价值判断，并比较各通道对应的匹配信息；

更新模块30用于根据判断结果和比较结果更新存储的关系模型。

需要说明的是，本实施例中，各通道在硬件采集、系统软件、驱动固件和智能业务方面分别采用不同的方案，为独立的信息采集和处理通道；各通道采集到的信息包括：文本信息、图像信息、感知信息。

本实施例中，所述匹配模块10包括：

识别单元，用于通过对象关系提取模型对每个通道采集到的信息进行对象识别；其中，所述对象关系提取模型是基于深度映射DeepMap架构生成的；

提取单元，用于提取识别出的对象的属性；

更新单元，用于基于各对象的属性更新各对象之间的关系。

所述对象为机器对于外界可识别或抽象出的认知单元；所述对象具有可匹配和可划分的边界；所述对象可以基于一特征进行分类；

所述对象包括以下一种或多种的任意组合：有边界的实物设备，设备组件，逻辑对象,聚合对象。

所述关系包括以下一种或多种的任意组合：拥有关系，组合关系，间接抽象关系，时间位移关系。

本发明提供的多通道信息处理方法及系统，对信息采集的系统具有两套或者两套以上独立的软硬件方案，排除同一个方案的一致性，从而达到不同方案间的最优选择。

本发明实施例所提供的系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。

在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是为限制，因此，示例性实施例的其他示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述为分离部件说明的单元可以是或者也可以不是物理上分开的，为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。