一种多模态融合的智能网络平台及其实现方法与流程

本发明实施例涉及机器学习技术领域，具体涉及一种多模态融合的智能网络平台及其实现方法。

背景技术：

上世纪60年代intrnet诞生以来，经过三十多年的孕育孵化和缓慢发展，到上世纪90年代后迎来了快速成长，进入了信息社会的黄金时代。本世纪初到现在近20年间，基于intrnet的应用实现了全面爆发，intrnet从理论到实践均表现出了强劲的发展势头，为智能社会的到来奠定了坚实的基础。然而，人与intrnet的交流从来没有突破过交互模式，即信息流通过人与机器不断交换信息得以实现的方式，目前在商业、社交、经济、金融、云计算、大数据等方方面面，internet的应用均陷入了效率困局。

虽然现在人工智能技术也在不断发展与进步，但是自然人仍然无法从交互模式中解脱。其根源是在既有模式下，人与intrnet不能自然融合造成大量数据孤存和交互延宕，势必使intrnet的巨大潜力难以释放，大量现象级的产品或服务创新被压制。

技术实现要素：

为此，本发明实施例提供一种多模态融合的智能网络平台及其实现方法，用于解决现有技术在既有人-机交互关联模式下，人与网络不能自然融合造成数据孤存和交互延宕现象的问题，能够有效释放人-网的潜力，从全新的维度开发人的自由和意志。

为了实现上述目的，本发明的实施方式提供如下技术方案：提供一种多融合深度融合的智能网络平台，所述智能网络平台包括共同体管理系统cms和若干创建于cms上的节点，节点包括个人节点pn和团队节点tn，所述cms包括端口管理器和数据管理器，端口管理器包括输入管理模块和输出管理模块，输出管理模块包括输出检查模块和端口分配模块，数据管理器包括共益数据模块和自益数据模块，共益数据模块包括联机分析处理模块和联机事务处理模块，自益数据模块包括开放管理模块和数据类型管理模块。

优选地，所述pn包括：思维模拟器，用于转录、辨译、分析、表述模拟用户的思维，适于逻辑关系和相关关系运算；记忆模拟器，用于实现数据稀疏神经网络化的分布式存储，其中，数据的自益或共益管理权在pn。

优选地，所述tn包括：数据存储器，用于实现数据稀疏神经网络化的分布式存储，其中，数据的自益或共益管理权在tn。任务群组器，用于进行团队事务的资源组织、任务规划和业务办理，并将当前业务相关内容进行整合后与网络平台上的其它节点建立关联；其中，所述任务群组器包括组织模块和任务模块，所述组织模块用于定义pn和其它tn在本tn内的关系架构，是社会关系组织形态最基本的单元；所述任务模块包括工具包和模板库，所述工具包包括用于实现目标的工具集合和自定义执行器，所述模版库是社会任务流程的集合。

优选地，所述cms还包括应用于移动终端的校验注册模块、场景融合模块、平面绘示模块、阅读标记模块、双端迭代模块和深网挖掘模块。

提供一种多模态融合的智能网络平台的实现方法，所述方法包括虚拟机器人实现方法，所述虚拟机器人实现方法包括：用户通过移动终端等智能设备将意志和需求等个体信息录入相应的pn节点，并上传至网络；pn将用户赋予的个体信息首先建立概念存储在记忆模拟器中；思维模拟器采用机器学习和深度学习技术识别外部信息场景中的信息概念，再将信息概念组合形成意识的形式扩充进记忆模拟器，进行迭代优化；同时用户管理其意志和需求对网络的开放权限，任意一个pn接收到用户的意志和需求后生成响应，所述响应经用户接管后，网络中的两个pn之间建立关联，进行交互；其中，所有pn的记忆模拟器共益数据部分实现共享；一个pn建立的概念根据重要性确定冗余率，其开发的共益数据所有pn可以使用。

优选地，所述方法还包括虚拟社团实现方法，所述虚拟社团实现方法包括：社团用户将意志和需求通过tn上传至网络，tn生成任务目标；任务群组器的组织模块构建tn内部从属关系组织架构，并将任务与对应的pn或tn建立关系；tn从模板库中调用与任务目标对应的流程模板应用到工具包中并激活；工具包完成对应的任务目标，实现tn或pn之间的交互。

优选地，所述方法采用稀疏网络技术，通过分布式存储和计算，依靠神经网络技术定义网络信息概念，再采用且不限于非监督学习方式和卷积神经网络技术识别场景中的信息概念，将概念组合以后形成意识，利用意识完成概念集合，推进节点之间的交互记忆和思维持续进化。

优选地，所述方法采用分布式计算和存储技术，按照有限去中心化原则，一个节点发出指令，所有节点协同计算，节点间的数据分布式存取。

优选地，所述方法采用可视化编程技术对系统进行开发，同时采用开源方式，使任一节点的所有者能够进行编码操作，并使用迁移学习技术实现全网络的迭代进化。

根据本发明的实施方式，本发明具有如下优点：提供的多模态融合的智能网络平台随着平台上pn或tn节点数量的增多，使用频率的增加，应用领域会不断拓宽，pn或tn的整体智力水平会呈指数级增长，机器会越来越了解人的思维方式和内容，推动实现人与机器的自然融合；利于实现商业、社交、医疗、教育、科研等的深度融合，快速实现人-网感应化、智能化，极大的释放人-网潜力，将使大量工作由机器完成，为人更多的释放感性自由提供技术和实体支持。

附图说明

为了更清楚地说明本发明的实施方式或现有技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

图1为本发明实施例提供的一种多模态融合的智能网络平台的架构图；

图2为本发明实施例提供的一种多模态融合的智能网络平台的个人节点pn的架构图；

图3为本发明实施例提供的一种多模态融合的智能网络平台的团队节点tn的架构图；

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本实施例提供一种多模态融合的智能网络平台，是搭建在internet上的底层智能网络平台，模拟社会组织形态建立共同体管理系统cms，将自然人的思维和记忆映射到网络节点上，一个人拥有一个pn，一个团体拥有一个tn，可以用语言、文字、表情、动作向pn或tn表示其需求和认知。不限于同类型的所有节点可以进行点对点的数据交换、分析、关联，在大数据支持和策略递归等方式下进行社交和交易，人们通过智能网络平台可以实现商业、社交、教育、医疗、科研等的深度融合。

节点通过深度学习和实景操练提高智力水平，挖掘数据信息、分析行情动态、匹配个体需求、智能互动撮合，提供实时策略服务。依靠分布式记账解决人类系统内生性受制于“基于信用模式”的交易模式，以共识算法创建不可篡改、不可伪造、不能人为操控的"机器信任"智能合约，降低全社会的信用成本和交易成本，构造数据分享、存储分散、任务分解、算力分担的“四分”型智能网络系统，达到用户体验感应化、用户信息去中心化、合约兑现刚性化、运行成本分散化的“四化”运行目标。

具体地，参考图1，智能网络平台包括共同体管理系统cms1和若干创建于cms上的节点，所述节点包括个人节点4pn和团队节点5tn，所述cms包括端口管理器2和数据管理器3，所述端口管理器2包括输入管理模块7和输出管理模块6，所述输出管理模块6包括输出检查模块8和端口分配模块9，所述数据管理器3包括共益数据模块10和自益数据模块11，所述共益数据模块10包括联机分析处理模块12和联机事务处理模块13，所述自益数据模块11包括开放管理模块14和数据类型管理模块15。

具体地，cms是将数据和端口统一管理的开源系统，输入管理模块7能够利用自定义算法和读写分离技术控制并管理节点接收数据的权限，对特定节点的特定数据接入网络时进行开放管理。输出管理模块的输出检查模块具有控制节点输出数据、输出数据合法性检查的功能，通过监视全网对节点输出到平台的数据进行合法化检查，并提取优质基因对pn迭代进化。端口分配模块具有分配虚拟端口的功能，为节点分配接入平台的端口，根据当前业务的具体需求管理控制平台上节点接入端口的开放和关闭。

数据管理器3包括共益数据模块10和自益数据模块11，共益数据是个体向全网开放的数据，数据使用遵循对等互益的共享原则，共益数据模块10采用且不限于bi大数据处理技术，按照联机事务处理和联机分析处理分型，将工作任务和数据分析进行分类、挖掘、对比、匹配、递归、共享等自适应和策略计算。联机分析处理模块12能够满足决策支持或者满足在多维环境下特定的操作需求，操作人员能够从多角度对共益数据信息进行快速、一致、交互存取，从而获得对数据的更深入了解。联机事务处理模块13是利用智能网络平台将分布于网络上的共益数据相关业务处理进行连接，以便于在任何一个节点上都可以进行统一、实时的业务处理活动或客户服务。

自益数据是定向开放或不开放的数据，自益数据模11块由开放管理模块14和数据类型管理模块15构成，开放管理模块14负责数据开放权限管理，确定某类型数据是否在平台上开放共享，数据开放遵循对等原则，只有开放某节点的同类型数据后才能共享其他节点的该类型数据。数据类型管理子模块负责业务数据、用户数据、公共数据等数据类型的管理，对数据进行聚类、分类标注，可以对同一个数据进行多维度、多层次标注，具有智能模糊管理属性，可以通过模糊识别和模糊记忆准确、快速提取数据，大幅度提高数据提取效率。

参考图2，进一步地，pn包括思维模拟器16和记忆模拟器17，思维模拟器16通过转录、辨译、分析、表述模拟思维功能，能够进行人-机、机-机对话，具有同步翻译、辨释含义、监督学习、半监督学习、深度学习、分类聚类、策略递归的功能，通过计算机对应的分析、处理、展现给用户结果。思维模拟器16采用双端口迭代法自行扩展升级，即应用可视化编程技术，客户自行扩展和进化本人的节点。上线时cms端口可以监测并提取到思维模拟器16程序的新数据，cms可以对所有pn模拟器的新数据进行辨识并通过自定义分类系统tag标注升级产品，用户pn可以通过cms系统升级自己的模拟器实现互为支撑的梯级迭代效应。

记忆模拟器17，用于实现数据稀疏神经网络化的分布式存储，采用面向对象的数据库类型，使用可视化语言编写，使用改进的低能耗、高响应区块链技术进行分布式存储、加密和提取，其中，稀疏网络技术可以对数据进行概念化标注，数据存储具有分散化、高冗余、低容耗、标记简便、不可篡改的特点，数据提取具有低能耗、大流量、低延时、tag灵活、传输保密、提取快捷的特点，并能智能检索网络平台之外的明网和暗网数据，虚拟映射到网络平台上显示采集。创建谁用像谁的“pn性格”，搭建“机器信任”的网络基础。

参考图3，进一步地，tn包括数据存储器18和任务群组器19：数据存储器18，用于实现数据稀疏神经网络化的分布式存储，其主要功能与pn的记忆模拟器17相似。

任务群组器19，用于进行团队事务的资源组织、任务规划和业务办理，并将当前业务相关内容进行整合后与网络平台上的其它节点建立关联，将网络平台上的相关方整合进一个节点建立内生关系，如：当发生某一种业务时，将当前业务相关内容关连到一起同步或者异步处理。处理完成后释放资源。任务群组器19作为整体再与网络平台上的其它节点，以及平台外明网和暗网建立关联，实现tn生命周期内的目标任务。

其中，任务群组器19包括组织模块20和任务模块21，组织模块20是规定在一个tn组织中的各个节点从属关系的组织架构，用于将各个节点分配到任务模块21以便完成目标，如根据tn节点业务功能设置下属负责任务执行的pn、tn的组织关系，针对用户请求的具体任务目标在工具包的自定义执行器中赋予任务执行者pn、tn或pn、tn的组合。

任务模块21包括工具包22和模板库23，模版库是任务类型模版的集合，根据tn节点业务功能，预设相关业务执行流程，供自定义执行器调用。包括教育、科研、军事、政务、生产、营销等等工作的基础流程和规则，开源设计可以持续扩展升级，被自定义执行器调用激活并且组织模块20赋值后，具有任务执行功能。

工具包22工具包22由实现目标、完成任务的工具集合和自定义执行器组成，工具包从模板库中调用任务流程用修改工具进行修改形成本tn任务流程，同时充实模版库，工具集合包括开发、训练、翻译、快速记录、数据库搜索爬虫、图像编辑、影像剪辑、可视化分析、文字录入、桌面演示等等；自定义执行器根据tn的设立目的和实际任务需要，在模板库23中调用类属任务模版进行编辑调整，形成特定工作程序，实现组织既定目标。例如办公oa系统、产品展示交易、物流抢单查询等等，在此不是通过账号注册方式进入组织管理，而是通过在线组合，办公和日常生活融为一体的方式开展工作。

进一步地，cms还包括应用于移动终端的校验注册模块，本模块基于卷积神经网络的人脸识别算法、图像处理的指纹识别算法和语音识别算法，用户申请pn采取人体特征和密码校验注册方式，采用扫脸、指纹、声音三种体貌特征和密码进行注册，预留身份证录入条件。设置组合方式登陆，可以设置为任意两种特征校验登陆、密码登录、特征加密码登陆等，例如，登录时可以校验脸部和指纹，也可以校验指纹和声音，还可以校验脸部和声音，还可以使用密码登陆或声音加密码登陆等，从而提高pn的安全性和私属性。

场景融合模块，利用虚拟现实技术通过模拟室内、户外实际场景，用户可以融入场景中活动，例如召开会议、虚拟户外旅游、虚拟商场购物等，通过虚拟设备展现实景，pn在虚拟实景中活动。同时，具有丈量空间尺寸等功能，是自然人体验到尺度感。

平面绘示模块，基于卷积神经网络的图像识别技术，在屏幕上交互绘示表达，并可存储草稿。例如，在屏幕上抽出一张纸，用手指可以交互式绘示，帮助用户和pn之间理解意图。

阅读标记模块，利用人机接口技术在浏览或阅读过程中加书签或标注，有一个浮动工具跟进阅读，随时以多维度、多层次进行加注，加注信息存入阅读数据库，与阅读过的文章关联，可以联想或模糊方式提取加注信息。

深网挖掘模块，运用多线程或线程池方式，采用分布式架构、负载均衡算法，驱动网络爬虫在internet上获取信息，网络爬虫遍历万维网抓取系统页面及其信息，按相似度赋阀值，阀值内的信息以高一层统一资源定位符定位，在此定位下的页面及其信息作为一个标题被分布式存储，下一层的所有统一资源定位符标记为上一层同一统一资源定位符，下一次检索时即可跳过相似度赋阀值内的网页及其信息，从而大幅度减少网络爬虫的爬行路径，解决抓取容易陷入“黑洞”的问题，实现深网挖掘的可能性，提高节点的信息获取能力。

本实施例提供一种多模态融合的智能网络平台的实现方法，所述方法包括虚拟机器人实现方法和虚拟社团实现方法，所述虚拟机器人实现方法即pn的实现方法，包括：用户通过且不限于移动终端等智能设备将思维和需求等信息输入相应的pn节点，并上传至网络；pn将用户赋予的信息首先建立概念存储在记忆模拟器17中；思维模拟器16采用机器学习和深度学习技术识别外部信息场景中的信息概念，再将信息概念组合形成机器意识，以意识的形式扩充进记忆模拟器17，进行迭代优化；同时用户的意志和需求对网络开放，任意一个pn接收到用户的意志和需求后生成响应，所述响应经用户接管后，网络中的任意pn之间进行交互；其中，所有pn的记忆模拟器17共益数据部分实现共享，一个pn建立的概念根据重要性确定冗余率，再以稀疏神经网络技术提取并存储后，所有pn可以使用。其中冗余率与占用存储空间的价值有关。

虚拟社团实现方法即tn的实现方法，包括：社团用户将需求通过tn上传至网络，tn生成任务目标；任务群组器19的组织模块20构建tn的从属关系组织架构，并分配对应的tn用于完成任务目标；tn从模板库23中调用与任务目标对应的流程模板应用到工具包22中并激活；工具包22完成对应的任务目标，实现tn或pn之间的交互。

本实施例的多模态融合的智能网络平台的实现方法采用双端迭代技术，基于实例的迁移学习方法为本平台所在的系统研发升级，包括对pn的全面、系统的进化改造，双端包括内端和外端，外端为pn或tn端，具有可视化编辑功能，可以按照自然人意图自由编辑迭代，也可以外挂其它基因实现进化，利用迁移学习技术网络所有用户端实现层级迭代、快速进化；内端为cms共益数据模块，cms按照有限去中心化模式监测pn或tn的进化基因。

本实施例的多模态融合的智能网络平台的实现方法采用稀疏网络技术，通过分布式存储和计算，依靠神经网络技术定义网络信息概念，再采用且不限于非监督学习方式和卷积神经网络技术识别场景中的信息概念，将概念组合以后形成机器意识，利用意识完成概念集合，推进节点之间的交互记忆和思维持续进化。能够降低信息冗余，减少存储占用，提高存取速度。对外部信息首先建立概念存储在记忆模拟器17中，所有pn的记忆模拟器17共益数据部分实现共享，一个pn建立概念所有pn可以使用，仅需要适当冗余，从而实现信息的快速提取、低占用存储。

本实施例的多模态融合的智能网络平台的实现方法采用分布式计算和存储技术，按照有限去中心化原则，一个节点发出指令，所有节点协同计算，节点间的数据分布式存取，pn物理地址和存取地址没有相关性，数据信息只需要适度冗余即可。

本实施例的多模态融合的智能网络平台的实现方法还采用共益感应技术。用户通过平台上开放共益数据权限的节点将意志、需求、理念对网络开放，网络上其它任意不限于同类型的节点均可感知，并根据自已的意图产生反馈响应。节点发布的消息在没有被响应的前提下，按照频段衰减的节奏持续发布寻求响应。pn或tn的响应是面向网络的，而不是面向具体节点的，只有响应被用户接管后，才开始节点与节点之间的应答，从而保证思想公布后仍然具有隐私。

本实施例的多模态融合的智能网络平台的实现方法还采用低能耗证明技术，平台具有自信任机制，其前提是具有共识机制，即在一个互不信任的市场中，要想使各节点达成一致的充分必要条件是每个节点出于对自身利益最大化的考虑，都会自发、诚实地遵守智能合约中预先设定的规则，判断每一笔记录的真实性，最终记入判断为真的记录。平台运用一套基于共识的数学算法，在机器之间建立信任网络，从而实现全新的机器信用。共识机制的证明过程采用优化、改造、组合工作量证明机制、权益证明机制、股份授权证明机制、pool验证池、拜占庭等算法，实现微延宕、低能耗证明。

且本实施例的多模态融合的智能网络平台的实现方法采用可视化编程技术对系统进行开发，同时采用开源方式，使任一节点的所有者能够进行编码操作，并使用迁移学习技术实现全网络的迭代进化。

本实施例的多模态融合的智能网络平台及其实现方法在多个场合的应用实例，如：

社交场合，用户之间使用pn开启聊天，pn之间即可根据用户所处情景、个人习惯、掌握信息，进行自由对话，用户只需要在对话提交前，对pn内容进行审核修改即可。同时，pn通过用户的审核修改、学习培训可以实现迭代进化，使人与pn的水平得到交替提高。与现有的交互式聊天软件相比，pn交流的内容更加广泛有创意，更加流畅，效率高且更加智能。

购物场合，用户使用pn购物软件，只需要描述需求，pn购物软件就可以自动在网络帮其寻找，找到合适的以后即交给用户审核确认，并可以通过用户审核修改情况不断了解用户的习惯，得到操练和迭代。经过一段时间的学习后，pn购物软件能够很大程度上了解用户的爱好和习惯，提高购物效率。

团队协作场合，以部队演练为例，部队指挥系统采用tn系统，每个人拥有一个pn，部队按照每个人的组织关系将其pn列编到系统虚拟部队节点tn之内，tn的组织模块20负责管理pn的隶属关系，任务模块21负责士兵训练、作战等流程管理和信息存储。演练时，指挥官只需对tn下达指令，各级战斗人员的pn即按照任务模块21规划流程，即时感应、立即响应，只需要审核、修改本人pn的战斗动作，确认提交即完成本部任务。同时，pn会记录分析现场状况和个人意志，形成战斗人员和pn的互动提高，系统任务指令和执行情况的结果分布式存储不可篡改、不可伪造、不能人为操控。基本去除指挥员个人感情因素，完全按照理性指挥战斗，没有心理障碍，指挥更冷静、决绝。提高协作效率。

机器信任签约场合，在共用cms前提下，契约在签订之前，双方pn既可以查清对方履约能力；一方履约完成以后，按照双方签订的智能合约，另一方的pn必然刚性兑付，不以个人意志为转移。

无人驾驶场合，先将pn与车辆传感系统关联，人在驾驶车辆时同步训练pn的驾驶能力；然后，再将pn与车辆的程控系统关联，通过触控模式先进行地面自动驾驶训练；最后，逐步形成地面无人驾驶能力，突破目前地面无人驾驶在复杂工况下不能上道的困局。

本实施例提供的一种多模态融合的智能网络平台及其实现方法能够实现人与机器的自然融合，通过智能网络的内生机制实现信息的交换关联，无数个体在智能网络内实现人网融合、需求感应、快速关联、优化决策，真正实现人-网智能化。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。