面向智能机器人的思维数据处理方法及系统的制作方法
【专利摘要】本发明公开了一种面向智能机器人的思维数据处理方法及系统。其中方法包括：接收多模态交互数据；从接收的多模态交互数据中提取待分析的多模态数据；从待分析的多模态数据中抽取携带思维逻辑信息的思维参量；根据思维参量的指示选取思维输出模式；在思维输出模式下，基于获取的情感输出信息组装并生成输出答案。应用本发明的智能机器人能够同时基于思维和情感两方面的因素来生成输出答案，具有很强的自主思考的能力，从而能够与用户进行更加人性化的对话沟通，大大增强了用户的使用体验。
【专利说明】
面向智能机器人的思维数据处理方法及系统
技术领域
[0001]本发明涉及智能机器人技术领域，尤其涉及一种面向智能机器人的思维数据处理方法，还涉及一种面向智能机器人的思维数据处理系统。
【背景技术】
[0002]随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。人们对于机器人的要求也从简单重复的机械动作提升为具有高度智能型、自主性及与其他智能体交互的智能机器人。对于智能机器人来说，其不仅需要具有完成指定工作的能力，还需要能够在许多场合与人协助完成任务，这就要求智能机器人能够与人进行有效的情感和信息交流。
[0003]然而，现有的智能机器人在与用户进行交流时，仅能够通过从知识库中抽取答案的方式来生成输出答案。可以看出，现有的智能机器人并不具备主动思考的能力，不能将情感因素加以考虑。由于知识库中保存的信息有限，局限性较大，因此现有的智能机器人无法提供最佳的用户体验。
【发明内容】
[0004]本发明所要解决的技术问题是:现有的智能机器人并不具备主动思考的能力，不能将情感因素加以考虑，因此无法提供最佳的用户体验。
[0005]为了解决上述技术问题，本发明提供了一种面向智能机器人的思维数据处理方法及系统。
[0006]根据本发明的一个方面，提供了一种面向智能机器人的思维数据处理方法，其包括:
[0007]接收多模态交互数据；
[0008]从接收的多模态交互数据中提取待分析的多模态数据；
[0009]从所述待分析的多模态数据中抽取携带思维逻辑信息的思维参量；
[0010]根据所述思维参量的指示，选取思维输出模式；
[0011]在所述思维输出模式下，基于获取的情感输出信息，组装并生成输出答案。
[0012]优选的是，上述面向智能机器人的思维数据处理方法还包括:
[0013]对所述输出答案进行基于功能和/或追加回复的优化。
[0014]优选的是，从所述待分析的多模态数据中抽取携带思维逻辑信息的思维参量，包括:
[0015]利用不同的线程进行针对所述思维参量的抽取，所述不同线程对应所述待分析的多模态数据的不同类型。
[0016]优选的是，接收多模态交互数据，包括:接收预设规则封装的多模态交互数据，所述多模态交互数据从智能机器人操作系统的输出端口按照预设协议传来。
[0017]优选的是，上述面向智能机器人的思维数据处理方法，还包括:将所述输出答案传输至决策模块，以使所述决策模块对所述输出答案进行处理并得到针对当前问答过程的结果O
[0018]根据本发明的另一个方面，提供了一种面向智能机器人的思维数据处理系统，其包括:
[0019]接收模块，设置为接收多模态交互数据；
[0020]多模态数据提取模块，设置为从接收的多模态交互数据中提取待分析的多模态数据；
[0021]思维参量抽取模块，设置为从所述待分析的多模态数据中抽取携带思维逻辑信息的思维参量；
[0022]思维输出模式确定模块，设置为根据所述思维参量的指示，选取思维输出模式；
[0023]输出答案生成模块，设置为在所述思维输出模式下，基于获取的情感输出信息，组装并生成输出答案。
[0024]优选的是，上述面向智能机器人的思维数据处理系统还包括优化模块，所述优化模块设置为:对所述输出答案进行基于功能和/或追加回复的优化。
[0025]优选的是，所述思维参量抽取模块具体设置为:利用不同的线程进行针对所述思维参量的抽取，所述不同线程对应所述待分析的多模态数据的不同类型。
[0026]优选的是，所述接收模块具体设置为:接收预设规则封装的多模态交互数据，所述多模态交互数据从智能机器人操作系统的输出端口按照预设协议传来。
[0027]优选的是，所述输出答案生成模块还设置为:将所述输出答案传输至决策模块，以使所述决策模块对所述输出答案进行处理并得到针对当前问答过程的结果。
[0028]与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果:
[0029]本发明首先根据多模态交互数据确定思维输出模式，然后在思维输出模式下，基于获取的情感输出信息组装并生成输出答案。与现有技术的智能机器人相比较，应用本发明的智能机器人能够同时基于思维和情感两方面的因素来生成输出答案，具有很强的自主思考的能力，从而能够与用户进行更加人性化的对话沟通，大大增强了用户的使用体验。
[0030]本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
【附图说明】
[0031]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中:
[0032]图1示出了本发明实施例面向智能机器人的思维数据处理方法的一种流程示意图；
[0033]图2示出了本发明实施例面向智能机器人的思维数据处理方法的另一种流程示意图；
[0034]图3示出了本发明实施例中利用多线程进行针对思维参量的抽取的示意图；
[0035]图4示出了本发明实施例中思维数据处理体系所在的架构的示意图；
[0036]图5示出了本发明实施例面向智能机器人的思维数据处理系统的一种结构示意图；以及
[0037]图6示出了本发明实施例面向智能机器人的思维数据处理系统的另一种结构示意图。
【具体实施方式】
[0038]以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
[0039]本发明要解决的技术问题是:现有的智能机器人并不具备主动思考的能力，不能将情感因素加以考虑，由于知识库中保存的信息有限，局限性较大，因此现有的智能机器人无法提供最佳的用户体验。
[0040]为了解决上述技术问题，本发明实施例提供了一种面向智能机器人的思维数据处理方法。
[0041 ] 实施例一
[0042]图1示出了本发明实施例面向智能机器人的思维数据处理方法的一种流程示意图。如图1所示，本发明实施例面向智能机器人的思维数据处理方法，主要包括步骤101至步骤105 O
[0043]在步骤101中，接收多模态交互数据。
[0044]具体地，系统首先接收前端模块传来的多模态交互数据。在本实施例中，多模态数据主要包括语音信息、视觉信息和触觉信息等，并不局限，还可包括环境信息等。
[0045]其中视觉信息指的是智能机器人通图像采集设备识别的面部表情和动作。
[0046]系统对接收的多模态交互数据进行初始化处理。首先将接收协议组装成为各模块所需的数据格式，并将部分数据进行转化，转为对应模块可理解、可解析的信息。
[0047]对于思维模块(实现下述步骤103和步骤104中涉及的方法的模块)，进入其中进行处理的信息，需要符合其模型所需格式。所需格式是开发过程自定义形成。获取的用户语音经处理后一般形成文本格式的数据。智能机器人视觉中的面部和动作经过预处理后可以是自定义格式。借助于下位机的传感信号可获取触觉信息。
[0048]在具体实施过程中，可采用本领域技术人员惯常采用的技术手段来实现针对这三类多模态交互数据的获取和预处理，故在本文中不再进行展开说明。
[0049]在步骤102中，从接收的多模态交互数据中提取待分析的多模态数据。
[0050]在具体实施过程中，可根据智能机器人所属的类型(产品配置)或前端模块回传的信息完整度来有目的地从多模态交互数据中提取待分析的多模态数据。例如，假如后台管理平台记录某个智能机器人产品无需视觉信息的辅助，此时系统则仅会从接收的多模态交互数据中提取语音信息和触觉信息。或者，当前端模块回传信息中不包含视觉信息时，则在对前后文逻辑处理，以及对协议内容解析后，则可以确定系统在本次交互过程中不需要请求视觉模块(即不需要提取视觉信息)。可以看出，本实施例能够选择性地提取多模态数据进行分析，实现了不同智能机器人产品的兼容性。
[0051]在步骤103中，从待分析的多模态数据中抽取携带思维逻辑信息的思维参量。
[0052]具体地，在本实施例中，与思维逻辑相关的思维参量包括:与智能机器人的当前状态相关的参量(例如，机器人长期未被唤醒)、与用户当前需求相关的参量(例如，用户要求输出天气情况)等。思维参量指的是用于指导智能机器人思考如何回答用户问题的参量，或者是与用户交互需求的多模态输入指示的意图。
[0053]在步骤104中，根据思维参量的指示，选取思维输出模式。
[0054]在具体实施过程中，本领域技术人员可以根据实际的产品需要自定义与思维参量相对应的思维输出模式。选取的思维输出模式为智能机器人提供了一种回答句式的参考，或者是交谈组织语言的思路。也就是说，选取的思维输出模式提供的是一种思维逻辑。举例来讲，智能机器人从语音信息中获取用户欲询问天气情况的思维参量，于是智能机器人根据该思维参量的指示可选取预报天气的思维输出模式。需要注意的是，本步骤仅得到一种思维逻辑/参量的组合，可以不直接输出答案。
[0055]在步骤105中，在思维输出模式下，基于获取的情感输出信息，组装并生成输出答案。
[0056]具体地，根据接收的多模态交互数据或待分析的多模态数据，获取情感输出信息。获取的情感输出信息属于情感部分，例如高兴，悲伤，兴奋等多模态输入指示的意图。情感输出信息可在此步骤之前的任意时刻获得。延续上述询问天气的示例，智能机器人根据视觉信息确定用户表现出非常担心的表情，可确定情感输出信息为“担心”，于是智能机器人可依据思维输出模式“预报天气”和情感输出信息“担心”，组装并生成输出答案“今天天气情况是气温-12度至-6度，风力五六级，不用担心，外出多加衣服即可”。
[0057]此步骤涉及思维部分和情感部分的整合，使两者形成一个统一的反馈数据。在本实施例中，两部分整合的过程包括以下步骤:
[0058]第一，参数整合。即，将情感参数加入至整体输出结果当中，并可能影响当前参数，并充当重要的响应参数；
[0059]第二，内容更新。即，情感会影响表达结果，当情感处于不同的状态和不同强度时，表达也需要随之有所差别；
[0060]第三，最终确定情感模块输出，思维反之也会对情感有所影响，所以在整合过程中，情感的结果也会因思维模块的结果而受到影响。
[0061]应用本发明实施例所述的面向智能机器人的思维数据处理方法，首先根据多模态交互数据确定思维输出模式，然后在思维输出模式下，基于获取的情感输出信息组装并生成输出答案。与现有技术的智能机器人相比较，应用本实施例思维数据处理方法的智能机器人能够同时基于思维和情感两方面的因素来生成输出答案，具有很强的自主思考的能力，从而能够与用户进行更加人性化的对话沟通，大大增强了用户的使用体验。
[0062]实施例二
[0063]本实施例在实施例一的基础上加入了到输出答案进行优化的步骤。如图2所示，本实施例主要包括上述步骤101至步骤105，以及新添加的步骤106。
[0064]在步骤106中，对组装生成的输出答案进行基于功能和/或追加回复的优化。
[0065]具体地，对思维部分和情感部分进行数据整合生成输出答案后，还要对该输出答案进行优化。优化的方式包括基于功能的优化和基于追加回复的优化，两种优化方式的目的都是对组装生成的输出答案进行补充和完善，以实现智能机器人与用户之间更好的交互效果。
[0066]举例来说，系统得到针对用户输入的信息“你吃饭了没有”的输出答案(可能是参量或语句)为“吃过了呀”，经过针对句式及回答的模式的优化后，得到优化的输出答案为“吃过了呀，吃的好饱啊”。可以看出，优化后的输出答案较优化前的输出答案增加了后半句“吃的好饱啊”的补充，从而使交互更加拟人性化，有效提升了用户的使用体验。
[0067]实施例三
[0068]本实施例在上述任意实施例的基础上，对思维参量的抽取做了进一步限定。在本实施例中，从待分析的多模态数据中抽取携带思维逻辑信息的思维参量，包括:利用不同的线程进行针对思维参量的抽取，不同线程对应待分析的多模态数据的不同类型。
[0069]图3示出了本发明实施例中利用多线程进行针对思维参量的抽取的示意图。如图3所示，系统针对三类多模态数据(语音信息、视觉信息和触觉信息)分配了三个线程:第一线程、第二线程和第三线程。第一线程与语音信息相对应，主要负责从语音信息中抽取出与语音相对应的思维参量。类似地，第二线程与视觉信息相对应，主要负责从视觉信息中抽取出与视觉相对应的思维参量。第三线程与触觉信息相对应，主要负责从触觉信息中抽取出与触觉相对应的思维参量。最后，对由此三个线程得到的思维参量进行汇总，得到对应待分析的多模态数据的思维参量。
[0070]实施例采用不同线程完成针对不同思维参量的抽取，属于并行计算的处理方式，大大提升了系统的响应速度，有效提升了服务器利用率并大大缩短了处理时间。
[0071]实施例四
[0072]本实施例在上述任意实施例的基础上对思维体系的构架做了进一步优化。在本实施例中，接收预设规则封装的多模态交互数据，多模态交互数据从智能机器人操作系统的输出端口按照预设协议传来。另外，将输出答案传输至决策模块，以使决策模块对输出答案进行处理并得到针对当前问答过程的结果。
[0073]图4示出了本发明实施例中思维数据处理体系所在的架构的示意图。如图4所示，前端模块主要用于获取多模态交互数据，并将获取的数据传递给思维数据处理系统。思维数据处理系统为实现本实施例思维数据处理方法的系统。思维数据处理系统将组装生成的输出答案(或者经优化的输出答案)发送给决策模块，由决策模块对该输出答案进行处理，以得到针对当前问答过程的结果。
[0074]在本实施例中，决策模块主要对思维数据处理系统反馈的输出答案进行最后的修改和处理(例如整理、转化、过滤、记录等)，形成针对当前问答过程的结果。
[0075]本实施例所述的前端模块-思维数据处理系统-决策模块的架构简单合理，进一步加快了智能机器人的的响应速度，有助于提升用户的使用体验度。
[0076]实施例五
[0077]与上述任意方法实施例相对应地，本发明实施例提供了一种面向智能机器人的思维数据处理系统。
[0078]图5示出了本发明实施例面向智能机器人的思维数据处理系统的一种结构示意图。如图5所示，本实施例面向智能机器人的思维数据处理系统主要包括接收模块401、多模态数据提取模块402、思维参量抽取模块403、思维输出模式确定模块404和输出答案生成模块405。
[0079]具体地，接收模块401，设置为接收多模态交互数据。
[0080]多模态数据提取模块402，设置为从接收的多模态交互数据中提取待分析的多模态数据。
[0081]思维参量抽取模块403，设置为从待分析的多模态数据中抽取携带思维逻辑信息的思维参量。
[0082]思维输出模式确定模块404，设置为根据思维参量的指示，选取思维输出模式。
[0083]输出答案生成模块405，设置为在思维输出模式下，基于获取的情感输出信息，组装并生成输出答案。
[0084]在本发明一优选的实施例中，上述面向智能机器人的思维数据处理系统还包括优化模块406。参照图6，优化模块406与输出答案生成模块405连接。该优化模块406设置为对输出答案进行基于功能和/或追加回复的优化。
[0085]在本发明一优选的实施例中，思维参量抽取模块具体设置为:利用不同的线程进行针对思维参量的抽取，不同线程对应待分析的多模态数据的不同类型。
[0086]在本发明一优选的实施例中，接收模块具体设置为:接收预设规则封装的多模态交互数据，多模态交互数据从智能机器人操作系统的输出端口按照预设协议传来。
[0087]在本发明一优选的实施例中，输出答案生成模块还设置为:将输出答案传输至决策模块，以使决策模块对输出答案进行处理并得到针对当前问答过程的结果。
[0088]值得注意的是，上述各模块中的操作的具体细化，可参见上面结合图1至图4对本发明方法的说明，在此不再详细赘述。
[0089]应用本发明实施例所述的面向智能机器人的思维数据处理系统，首先根据多模态交互数据确定思维输出模式，然后在思维输出模式下，基于获取的情感输出信息组装并生成输出答案。与现有技术的智能机器人相比较，应用本实施例思维数据处理系统的智能机器人能够同时基于思维和情感两方面的因素来生成输出答案，具有很强的自主思考的能力，从而能够与用户进行更加人性化的对话沟通，大大增强了用户的使用体验。
[0090]本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0091]虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。
【主权项】
1.一种面向智能机器人的思维数据处理方法，其特征在于，包括: 接收多模态交互数据； 从接收的多模态交互数据中提取待分析的多模态数据； 从所述待分析的多模态数据中抽取携带思维逻辑信息的思维参量； 根据所述思维参量的指示，选取思维输出模式； 在所述思维输出模式下，基于获取的情感输出信息，组装并生成输出答案。2.根据权利要求1所述的方法，其特征在于，还包括: 对所述输出答案进行基于功能和/或追加回复的优化。3.根据权利要求1或2所述的方法，其特征在于，从所述待分析的多模态数据中抽取携带思维逻辑信息的思维参量，包括: 利用不同的线程进行针对所述思维参量的抽取，所述不同线程对应所述待分析的多模态数据的不同类型。4.根据权利要求1或2所述的方法，其特征在于，接收多模态交互数据，包括: 接收预设规则封装的多模态交互数据，所述多模态交互数据从智能机器人操作系统的输出端口按照预设协议传来。5.根据权利要求1或2所述的方法，其特征在于，还包括:将所述输出答案传输至决策模块，以使所述决策模块对所述输出答案进行处理并得到针对当前问答过程的结果。6.一种面向智能机器人的思维数据处理系统，其特征在于，包括: 接收模块，设置为接收多模态交互数据； 多模态数据提取模块，设置为从接收的多模态交互数据中提取待分析的多模态数据； 思维参量抽取模块，设置为从所述待分析的多模态数据中抽取携带思维逻辑信息的思维参量； 思维输出模式确定模块，设置为根据所述思维参量的指示，选取思维输出模式； 输出答案生成模块，设置为在所述思维输出模式下，基于获取的情感输出信息，组装并生成输出答案。7.根据权利要求6所述的系统，其特征在于，还包括优化模块，所述优化模块设置为:对所述输出答案进行基于功能和/或追加回复的优化。8.根据权利要求6或7所述的系统，其特征在于，所述思维参量抽取模块具体设置为:利用不同的线程进行针对所述思维参量的抽取，所述不同线程对应所述待分析的多模态数据的不同类型。9.根据权利要求6或7所述的系统，其特征在于，所述接收模块具体设置为:接收预设规则封装的多模态交互数据，所述多模态交互数据从智能机器人操作系统的输出端口按照预设协议传来。10.根据权利要求6或7所述的系统，其特征在于，所述输出答案生成模块还设置为:将所述输出答案传输至决策模块，以使所述决策模块对所述输出答案进行处理并得到针对当前问答过程的结果。
【文档编号】G06N3/00GK105844329SQ201610156933
【公开日】2016年8月10日
【申请日】2016年3月18日
【发明人】王辰, 贾梓筠, 韦克礼
【申请人】北京光年无限科技有限公司