一种多模态混合智能核保方法、装置与流程

1.本发明属于计算机技术领域，具体涉及一种多模态混合智能核保方法、装置。


背景技术：

2.核保是指保险人(即保险/再保险公司)对投保申请进行审核，决定是否接受承保这一风险，并在接受承保风险的情况下，确定承保条件的过程。如图1所示，为现有的核保系统构架，包括核保服务器1和用户终端2，用户终端2提交交互式问卷由核保服务器1进行线上审核用户信息最终给予核保结论。其存在以下问题：1.因核保问题具有专业性而需要保险/再保险公司分配专业人员辅助填写。2.核保周期长、方式单一、需专职人员审核/复审、人力成本高。3.用户信息使用不充分、敏感信息泄露风险高。另外，用户终端2有时会上传体检报告到核保服务器10供审核使用，比如cn108765177a公开了核保方法，其在获取体检信息时，由核保服务器根据用户上传的体检报告图片生成体检信息，用户上传的体检报告图片可以是扫描件或者照片，在从用户上传的体检报告图片中检测体检信息时，可以通过图像识别的方法从体检报告图片中识别出体检信息，并将识别出的体检信息以字符形式保存在核保服务器中。然而，该专利可供上传的体检报告的模态单一，也没有公开相应的多模态混合智能核保的算法。


技术实现要素：

3.针对上述技术问题，本发明基于人工智能相关技术提供了多模态混合核保处理技术，利用本发明的多模态处理技术不仅可以解决目前核保痛点，而且借助大数据及机器学习模型构建反作弊系统提升了核保的可靠性。
4.本发明一方面提供了多模态混合智能核保方法，包括如下步骤：
5.多模态数据提取步骤获取用户终端上传的多模态数据并进行提取得到图像数据和字符串数组，所述多模态数据包括图像、视频、音频和文本；
6.多模态数据处理步骤将图像数据或字符串数组分别进行命名实体识别、图像分类、文本分类、关键词提取、分词、字典树匹配、标准化和知识关联；
7.获得核保结论步骤根据多模态数据处理结果进行核保逻辑处理即获得核保结论。
8.进一步的多模态混合智能核保方法，其中，多模态提取步骤包括：
9.s11判断多模态数据的类型；
10.s12根据多模态数据的类型进行提取步骤，具体为：
11.s121对于图像，经图像转文本提取得普通文本，并将图像进行多模态数据处理；
12.s122对于视频，分别进行图像采集和音频采集，其中图像采集后经图像转文本提取得普通文本，其中音频采集后经音频转文本提取得普通文本；
13.s123对于音频，经音频转文本提取得普通文本；
14.s124对于文本，先识别出文本类型，所述文本类型包括普通文本、pdf、word、eccel；对于普通文本，提取得到字符串数组后进行多模态数据处理步骤；对于pdf、word、
excel，提取得到的字符串数组后进行数据处理，提取得到的图像后返回s121进行图像处理。
15.进一步的多模态混合智能核保方法，其中，多模态数据处理步骤包括：
16.s21获得核保中间知识步骤使用字典树检索文本信息中关键词进而获得核保中间知识；其中，字典树的值对应不同算法路由或者组合，所述算法路由包括命名实体识别、分类、分词、正则模版中的一种或多种；
17.s22知识标准化步骤对核保中间知识使用近义词转换、否定词处理后结合内部知识库转化成最终使用数据。
18.进一步的多模态混合智能核保方法，其中，多模态数据处理还步骤包括：
19.s23剪枝问卷多叉树节点步骤根据最终使用数据剪枝问卷多叉树节点。
20.进一步的多模态混合智能核保方法，其中，多叉树的每个节点对应一个问题，每一个分支对应一个答案；优选的是，逐个往下跳转节点。
21.进一步的多模态混合智能核保方法，其中，根据最终使用数据剪枝问卷多叉树节点步骤中，最终使用数据包括图片、pdf、文本中提取的已知节点答案的数据；逐个往下跳转节点步骤中，如果发现已知节点答案，则剪掉该已知节点答案的节点；优选的是，剪掉该已知节点答案的节点及其子节点。
22.进一步的多模态混合智能核保方法，其中，字典树的值对应不同算法路由或者组合步骤中，根据不同类型的单据，使用难易度不同的算法组合进行解决；优选的是，对于数量词仅使用正则；对于文本分类，使用分词、ner、标准化组合；对于日期，采用正则模板+ner模型+标准化。
23.进一步的多模态混合智能核保方法，其中，多模态数据提取步骤中，图像转文本的提取方法包括ocr识别(光学字体识别)，pdf的提取方法包括pdf解析。
24.进一步的多模态混合智能核保方法，其中，多模态数据提取步骤中，用户终端上传的多模态数据的来源为体检报告文本和/或病历文本。
25.本发明的第二方面还提供了多模态混合智能核保装置，该装置包括至少一个处理器；以及
26.存储器，其存储有指令，当通过至少一个处理器来执行该指令时，实施按照上述的方法的步骤。
27.本发明的第三方面还提供了计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。
28.本发明的有益效果在于：本发明基于字典树构建的配置化流程路由，以及动态问卷多叉树剪枝的技术创新，使得本发明的多模态混合智能核保方法支持上传体检报告、病历获得图像、视频、音频和文本等多模态数据，还支持普通文本、pdf、word、eccel等多种文本类型，自动解析上传信息中的专业内容并辅助问答，相对于现有流程审核周期短、节省人力成本。
附图说明
29.图1现有技术的核保系统拓扑结构；
30.图2多模态混合智能核保流程示意图；
31.图3动态问卷多叉树剪枝示意图；
32.图4基于字典树构建的配置化流程路由示意图；
33.图5多模态混合智能核保方法；
34.图6多模态混合智能核保装置；
35.图7多模态混合智能核保装置。
具体实施方式
36.以下实施例进一步说明本发明的内容，但不应理解为对本发明的限制。在不背离本发明精神和实质的情况下，对本发明方法、步骤或条件所作的修改或替换，均属于本发明的范围。
37.术语解释：
38.多模态本发明是指包括图像、视频、音频、文本等多种文件形式。
39.字典树又称单词查找树，trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串(但不仅限于字符串)，所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。
40.核保是指在投保时投保人需要向保险公司提交投保申请，然后保险公司会对投保申请进行审核，这个过程叫做核保。
41.智能核保是指在网上投保时，投保人回答保险公司给出的标准化问卷，系统根据回答进行审核，较后得出核保结论的过程。智能核保是对传统核保方式进行简化的产物，极大地方便了用户。
42.命名实体识别(ner)，又称为“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、专有名词、机构名等。命名实体识别自然语言处理中的一项基础关键性任务，是信息提取、问答系统、句法分析、机器翻译、面向semantic web的元数据标注等应用领域的重要基础工具。一般来说，命名实体识别的任务是识别出待处理文本中三大类(实体类、时间类和数字类)、七小类(人名、机构名、地名、时间、日期、货币和百分比)命名实体。
43.本发明多数实施例的多模态混合智能核保装置(系统)的拓扑结构可参考图1所示，但不局限与此。核保服务器1和用户终端2通过网络通信。如图2所示，用户输入图像、视频、音频和文本等多模态数据，对于图像，经图像转文本提取得普通文本，并将图像进行算法处理；对于视频，分别进行图像采集和音频采集，其中图像采集后经图像转文本提取得普通文本，其中音频采集后经音频转文本提取得普通文本；对于音频，经音频转文本提取得普通文本；对于文本，先识别出普通文本、pdf、word、eccel等文本类型，对于普通文本，提取得到字符串数组后进行算法处理；对于pdf、word、excel，提取得到的字符串数组后进行数据处理，提取得到的图像后进行图像处理；算法处理包括图像分类、命名实体识别、文本分类、关键词抽取、分词、字典树匹配、标准化、知识关联；算法处理后进行核保逻辑处理进而得到核保结论。本发明对核保逻辑不进行具体限定，比如，可以是对不同的疾病给予不同的权重，当用户进入核保流程后系统搜集用户患有的所有疾病，计算总权重，超过阈值后拒保。再比如，上层技术如ocr、ner等识别到用户患有某种疾病，或者检测项不在正常范围后结合问卷计算总权重。
44.结合图5所示，本发明的一些多模态混合智能核保方法实施例包括如下步骤：
45.多模态数据提取步骤获取用户终端上传的多模态数据并进行提取得到图像数据和字符串数组，所述多模态数据图像、视频、音频和文本；
46.多模态数据处理步骤将图像数据或字符串数组分别进行命名实体识别、图像分类、文本分类、关键词提取、分词、字典树匹配、标准化和知识关联；
47.获得核保结论步骤根据核保中间知识进行核保逻辑处理即获得核保结论。
48.一些具体实施例中，参考图2所示，多模态提取步骤包括：
49.s11判断多模态数据的类型；
50.s12根据多模态数据的类型进行提取步骤，具体为：
51.s121对于图像，经图像转文本提取得普通文本，并将图像进行多模态数据处理；
52.s122对于视频，分别进行图像采集和音频采集，其中图像采集后经图像转文本提取得普通文本，其中音频采集后经音频转文本提取得普通文本；
53.s123对于音频，经音频转文本提取得普通文本；
54.s124对于文本，先识别出文本类型，所述文本类型包括普通文本、pdf、word、eccel；对于普通文本，提取得到字符串数组后进行多模态数据处理步骤；对于pdf、word、excel，提取得到的字符串数组后进行数据处理，提取得到的图像后返回s121进行图像处理。
55.结合图6所示，一些具体实施例中，多模态数据处理步骤包括：
56.s21获得核保中间知识步骤使用字典树检索文本信息中关键词进而获得核保中间知识；其中，字典树的值对应不同算法路由或者组合，所述算法路由包括命名实体识别、分类、分词、正则模版中的一种或多种；
57.s22知识标准化步骤对核保中间知识使用否定词处理、近义词转换后结合内部知识库转化成最终使用数据。
58.否定词处理：剔除包含否定词的实体。比如：疾病是一种实体，未患有某种疾病，不能认为患者携带这种疾病。
59.近义词转换：基于医学专家整理的医学领域知识，将非标准名称映射成标准名称。
60.一些具体实施例中，多模态数据处理还步骤包括：
61.s23剪枝问卷多叉树节点步骤根据最终使用数据剪枝问卷多叉树节点。
62.一些具体实施例中，其中，多叉树的每个节点对应一个问题，每一个分支对应一个答案；优选的是，逐个往下跳转节点。
63.一些具体实施例中，根据最终使用数据剪枝问卷多叉树节点步骤中，最终使用数据包括图片、pdf、文本中提取的已知节点答案的数据；逐个往下跳转节点步骤中，如果发现已知节点答案，则剪掉该已知节点答案的节点；优选的是，剪掉该已知节点答案的节点及其子节点。
64.一些具体实施例中，字典树的值对应不同算法路由或者组合步骤中，根据不同类型的单据，使用难易度不同的算法组合进行解决；优选的是，对于数量词仅使用正则；对于文本分类，使用分词、ner、标准化组合；对于日期，采用正则模板+ner模型+标准化。
65.如图3所示，原始树19个节点，裁剪后剩余11个节点；其中，裁剪方法包括两种，截断裁剪和剔除式裁剪。多叉树每个节点对应一个问题，每一个分支对应一个答案，正常情况
下是按照一个节点一个节点往下走问答，如果在前面图片、pdf、文本等环节已经知道一些答案的话，就不需要逐个跳转节点了，可以剪掉一些节点。
66.一些具体实施例中，多模态数据提取步骤中图像转文本的提取方法包括ocr识别，pdf的提取方法包括pdf解析。
67.一些具体实施例中，多模态数据提取步骤中用户终端上传的多模态数据的来源为体检报告文本和/或病历文本，结合图4所示，进一步说明多叉树、算法模块、知识的工作原理。
68.如图4所示，获得检测范围、参考区间、ct报告、超声报告、检查建议等，经检索，构建字典树(trie树)。该字典树包括病例和体检报告两个分枝，其中病例进一步包括出院记录、住院病历、入院记录、诊断报告、说明书等子分支，体检报告包括ct诊断报告单、超声诊断报告单、体检项目等子分支。算法模块包括1病例ner、2检测项ner、3模板、4分词、5标准化、6知识关联、7知识消岐、8规则、9用户ner、10正则，包括多种算法组合，比如标准化路径1
→9→
10
→
5、2
→3→7→6→
5，知识关联路径1
→5→
6。构建的知识示例为：疾病，包括+名称、+程度、+近义词；检测项，包括+名称、+范围、+单位、+参考值、+简称；日期，包括+内容；用户，包括+年龄、+性别、+地区。在可选的实施例中，不同类型的单据(体检报告文本和/或病历文本)，使用难易度不同的算法组合进行解决，比如：1.对于数量词仅使用正则，因为其就是一串数值；2.对于文本分类，需要使用分词、ner、标准化组合起来才能提取出关注的知识。比如识别日期：采用正则模板+ner模型+标准化。优势是模型提供泛化能力，正则模板对于常见格式识别准确，标准化可以统一日期格式。
69.具体实例
70.结合图7所示，为多模态混合智能核保装置10(核保服务器)，该装置包括至少一个处理器11、网络接口14、以及存储器12，其存储有指令，当通过至少一个处理器来执行该指令时，实施多模态混合智能核保模块14的步骤。
71.本说明书中描述的主题的实施方式和功能性操作可以在以下中实施：数字电子电路，有形实施的计算机软件或者固件，计算机硬件，包括本说明书中公开的结构及其结构等同体，或者上述中的一者以上的组合。本说明书中描述的主题的实施方式可以被实施为一个或多个计算机程序，即，一个或多个有形非暂时性程序载体上编码的计算机程序指令的一个或多个模块，用以被数据处理设备执行或者控制数据处理设备的操作。
72.术语“数据处理设备”包含所有种类的用于处理数据的设备、装置以及机器，作为实例，包括可编程处理器、计算机或者多重处理器或者多重计算机。设备可以包括专用逻辑电路，例如，fpga(现场可编程门阵列)或者asic(专用集成电路)。设备除了包括硬件之外，还可以包括创建相关计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中的一种或多种的组合代码。
73.本说明书中描述的主题的实施方式可以在计算系统中实施，该计算系统包括例如数据服务器这样的后端组件，或者包括例如应用服务器这样的中间组件，或者包括例如客户端计算机这样的前端组件，该客户端计算机具有图形用户界面或者网络浏览器，用户可以通过图形用户界面或者网络浏览器而与本说明书中描述的主题的实施进行交互，或者该计算机系统包括一个或多个这种后端组件、中间组件或者前端组件的任意组合。系统中的组件可以通过例如通信网络的任意形式或介质的数字数据通信而互相连接。通信网络的实
例包括局域网络(“lan”)和广域网络(“wan”)，例如，因特网。
74.虽然本说明书包含很多具体的实施细节，但是这些不应当被解释为对任何发明的范围或者对可以要求保护的内容的范围的限制，而是作为可以使特定发明的特定实施方式具体化的特征的说明。在独立的实施方式的语境中的本说明书中描述的特定特征还可以与单个实施方式组合地实施。相反地，在单个实施方式的语境中描述的各种特征还可以独立地在多个实施方式中实施，或者在任何合适的子组合中实施。此外，虽然以上可以将特征描述为组合作用并且甚至最初这样要求，但是来自要求的组合的一个或多个特征在一些情况下可以从该组合去掉，并且要求的组合可以转向子组合或者子组合的变形。
75.相似地，虽然以特定顺序在附图中描述了操作，但是不应当理解为：为了实现期望的结果，要求这样的操作以示出的特定顺序或者以顺序次序而执行，或者所有图示的操作都被执行。在特定情况下，多任务处理和并行处理可以是有利的。此外，上述实施方式中的各种系统模块和组件的分离不应当理解为在所有实施方式中要求这样的分离，并且应当理解程序组件和系统可以通常被一体化在单个软件产品中或者打包至多个软件产品中。