本发明涉及电子病历数据质量管理技术领域，更具体的说是涉及一种基于本体和nlp的电子病历数据质量管理方法。
背景技术：
电子病历是健康服务和医学研究等的基础数据源。不及时、不完整、不准确的病历数据将导致不及时、不全面、不正确的医疗决策或管理决策。电子病历质量改进对临床业务与卫生管理均有促进作用。然而，一直以来，电子病历的质量管理缺乏系统化、自动化、智能化的机制，目前病案数据质量问题，主要是通过医院相关部门进行人工检查。而人工检查结果的可靠性、准确性很大程度上依赖于相关工作人员的专业水平、工作态度。从而，不能完全避免个人情感因素的干扰，且效率低下。不能充分利用质量要求相关的领域知识，质量评估的一致性、通用性、重用性等不佳。
随着“大数据+”、“互联网+”、“人工智能+”时代到来，迫切需要智能化电子病历质量管理来对电子病历进行完善。基于此，本发明利用本体和nlp等技术，从电子病历要求中提炼出数据质量概念、属性及其之间的关系，建立电子病历本体和数据质量本体、质量监测规则和自适应权重、质量信息模型，并借助nlp等智能化技术自动探测数据质量问题，分析质量数据，生成可视化图文报告，形成电子病历质量持续改进的自驱动、“智能+”的pdca自循环机制。
技术实现要素：
有鉴于此，本发明提供了一种基于本体和nlp的电子病历数据质量管理方法。
为了实现上述目的，本发明采用如下技术方案：
一种基于nlp的电子病历数据质量管理方法，将电子病历操作与质量管理操作以智能化方式融合，并将电子病历对质量的要求转换成质量管理知识，通过与电子病历本体知识的匹配，采用人工审核和智能审核交互操作的方法，进行质量校验，并具体包括以下步骤；
(1)预备阶段；(2)识别质量问题；(3)评估质量问题；(4)监督质量问题；(5)生成质量报告。
需要说明的是：电子病历本体指电子病历涵盖的各级内容的层级概念、属性要求及其之间的关系，也就是电子病历书写内容的定义和书写内容的要求。
采用上述技术方案的有益效果为：本发明的目的在于引入本体、nlp等技术实现电子病历自动化、智能化质量控制，克服了现有人工质量审核的不足，固化医疗领域的先验知识，同时将电子病历要求转换成质量管理知识，通过与本体知识的匹配，进行质量校验，从而发现电子病历的质量问题，使得电子病历更加准确和专业，同时还有效地提高了工作效率。
优选的，所述步骤(1)中具体包括：确定质量审核属性，所述审核属性包括但不限于审核项目的内容、方式、层级，并建立质量指标信息模型，基于所述质量指标信息模型，依据卫生管理要求及各项电子病历数据质量控制标准计算并制定电子病历各层级质量指标。
需要说明的是：审核项目的层级可以理解为按照某一维度深度定义的“类型”，并具体表现为：一级审核检查电子病历完成的时限性、完整性等要求的符合性；二级审核检查电子病历书写的规范性的符合性；三级质控审核核心制度落实情况的符合性；四级质控审核诊疗合理性与逻辑性的符合性等。
优选的，所述步骤(1)还包括：从多源异构的领域知识信息源中选择、识别、配齐、去冗余、提炼知识源信息；从知识源信息中抽取知识，建立电子病历本体，将领域知识融入本体知识库，作为电子病历质量审核的依据；用相应的知识表示方法表示电子病历、质量管理等知识，然后再进行形式化，并经编码放入所述知识库中。
需要说明的是：形式化是指将电子病历要求、质量管理要求等统一成一种知识形式(如语义网络、框架、规则等)进行编码电子化，并用计算机语言表示，而且表示的内容在使用的过程中不断地学习，不断扩大，可计算的语义嵌入、知识网络嵌入等(例如cbow、transe等)。
知识表示形式包括浅层表示(规则或案例等)、深层表示(本体或语义网络等)和混合表示三种。
优选的，所述步骤(1)还包括：根据审核属性设置审核流程节点，根据质量问题可能会产生的后果的严重程度、发生频率、政策或管理要求等设置预警条件，记录预警信息，对高风险质量风险进行预警。
优选的，步骤(2)还包括：在所设置的每一个审核流程节点，将待测电子病历与所述本体知识库进行比对，识别质量问题，具体还包括将电子病历操作与质量管理操作以智能化方式融合，在电子病历记录产生环节，实时进行质量管理操作。
优选的，步骤(3)包括：质量问题识别出后，对所述质量问题进行评分，向用户发出预警，并通知用户对电子病历做出改进并进一步核查。
优选的，步骤(4)具体包括：对电子病历质量改进情况进行追踪，包括出现质量问题的个案追踪和整体质量改善效果的测算、分析和持续改进。
优选的，步骤(5)具体包括：根据预制的报告文本及预先所建立的报表、统计图的关联，自动抓取对应的内容，生成质量报告。
优选的，当无法智能识别或处理质量问题时，采取交互式处理，所述交互式处理包括但不限于人工审核、人工修正结果，且经过人工修正结果或人工质控结果进行主动学习，训练模型。
所述电子病历数据质量管理方法过程及结果均透明化、可视化，并采取消息机制实现信息的处理，所述信息包括但不限于审核内容、审核结果、质量问题验证、跟进、整改、催办、质询或建议、复审申诉或抗辩的提出和应答，所述处理方式包括但不限于信息的发送、接收、应答、提醒、催办、转办、确认流转；实现质量审核信息或证据及争议信息的采集、展示、保存。
优选的，应用于一种基于nlp的电子病历数据质量管理系统。
需要说明的是：nlp对电子病历文本进行智能的信息抽取，从电子病历文本中对医学实体和实体关系进行抽取，并将实体组成多层次结构和多维度关系。形成语义的层级表示，进行多任务语义计算。实体抽取与关系抽取均为反复迭代的不断优化的过程。
其中实体关系抽取内容具体包括：句子识别、句法/词法分析、组块chunk/名词短语识别、命名实体边界、实体及其关系识别、属性填充等。抽取概念语义后建立概念之间的语义关系。
语义的层级表示可采用语义网络或知识图谱的形式表示电子病历的语义和电子病历质量要求的语义。语义网络可共享和复用。知识图谱本质上是基于语义网络的知识库，是具有有向图结构的一个知识库。
形成语义层级表示后可在表示学习的基础上进行语义计算，把医学概念、术语、句子或段落向量嵌入或转化为连续数值表示，再对数值化特征进行层次表达的堆叠，计算电子病历文本实例与书写要求的符合性或相似性，或与实际诊疗过程的符合性或诊疗指南的符合性。
经由上述的技术方案可知，与现有技术相比，本发明为了解决现有电子病历质量管理方法的问题，提供了一种电子病历质量自驱动、智能化的管理方法，以智能化方式，有效缩短了不断改进质量问题的循环周期时间；提供了全面的质量管理建议，使得质量管理更加可靠；并且对严重威胁可提供快速回复，提高了电子病历质量管理的质量，提高了从大数据到知识、从知识到临床决策、管理决策的效率，并且使内部各种信息资源能够同源共享，提高了电子病历质量评估的一致性、通用性和重要性；另外还强化了部门间和员工间的交流，提高了整体的工作效率，促进诊疗效率和服务满意程度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明一种基于nlp的电子病历数据质量管理方法提供的整体流程图；
图2为本发明一种基于nlp的电子病历数据质量管理方法提供的出院记录本体内容图；
图3为本发明一种基于nlp的电子病历数据质量管理方法提供的nlpir–ictclas临床实体抽取的具体工作流程；
图4为本发明一种基于nlp的电子病历数据质量管理方法提供的质量缺陷权重自适应更新图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明公开了一种基于nlp的电子病历数据质量管理方法，将电子病历操作与质量管理操作以智能化方式融合，并将电子病历对质量的要求转换成质量管理知识，通过与电子病历本体知识的匹配，采用人工审核和智能审核交互操作的方法，进行质量校验，并具体包括以下步骤；
(1)预备阶段；
并具体包括：确定质量审核属性，审核属性包括但不限于审核项目、内容、方式、层级，并建立质量指标信息模型，基于质量指标信息模型，依据卫生管理要求及各项电子病历数据质量控制标准制定电子病历质量指标。
从多源异构的领域知识信息源中选择、识别、配齐、去冗余、提炼知识源信息；从知识源信息中抽取知识，建立电子病历本体，将领域知识融入本体知识库，作为电子病历质量审核的依据；用相应的知识表示方法表示电子病历、质量管理等知识，然后再进行形式化，并经编码放入知识库中。
根据审核属性设置审核流程节点，根据质量问题可能会产生的后果的严重程度、发生频率、政策或管理要求等设置预警条件，记录预警信息，对高风险质量风险进行预警。
需要说明的是：知识的表示形式包括知识表示规则、或案例、本体或语义网络，
(2)识别质量问题；并具体包括：在所设置的每一个审核流程节点，将待测电子病历与本体知识库进行比对，识别质量问题，具体还包括将电子病历操作与质量管理操作以智能化方式融合，在电子病历记录产生环节，实时进行质量管理操作。
(3)评估质量问题；并具体包括：质量问题识别出后，对质量问题进行评分，向用户发出通知或预警，让用户对电子病历做出改进并进一步核查
(4)监督质量问题；并具体包括：对电子病历质量改进情况进行追踪，包括出现质量问题的个案追踪和整体质量改善效果的测算、分析和持续改进。
(5)生成质量报告；并具体包括：根据预制的报告文本及预先所建立的报表、统计图的关联，自动抓取对应的内容，生成质量报告。
当无法智能识别或处理质量问题时，采取交互式处理，交互式处理包括但不限于人工审核、人工修正结果，且通过交互式处理进行主动学习，训练模型。
电子病历数据质量管理方法过程及结果均透明化、可视化，并采取消息机制实现信息的处理，信息包括但不限于审核内容、审核结果、质量问题验证、跟进、整改、催办、质询或建议、复审申诉或抗辩的提出和应答，处理方式包括但不限于信息的发送、接收、应答、提醒、催办、转办、确认流转；实现质量审核信息或证据及争议信息的采集、展示、保存。
实时、预警、智能电子病历质量管理流程：首先，建立电子病历结构，逐层分解病历质量要求，其中包括病历各类、各层病历结构块的文本内容要求和各种医疗报告结构化数据要求，再进一步将质量要求转换为知识表示，是基于概念及其之间关系学习质量知识及其表征所达到的知识表示目的，再建立规则、本体等知识模块，例如规则库、案例库、本体知识库等，从而基于nlp技术进行电子病历抽取，对电子病历、医疗数据进行符合性检查，其中特定的疾病、诊疗对应着特定的医疗记录要求，逐步增加智能化推理的广度和深度，进行质量数据分析，使质量分析结果可视化并自动生成质量报告。
从领域知识源抽取知识，建立电子病历质量管理系统的本体和知识库，包括电子病历本体、质量审核知识和数据质量知识等。知识的表示形式包括规则、或案例、本体或语义网络等。
领域知识源包括：疾病编码、代码、hl7临床文档信息模型、统一医学语言(unifiedmedicallanguagesystem，umls)等医学分类、信息分类等概念类知识；疾病临床表现、诊疗规范等临床医学知识；病历书写规范、医嘱记录规范等电子病历记录要求；疾病报告规范等疾病管理法规等卫生管理知识；质量管理知识等医学领域知识。对领域知识进行抽取形成电子病历本体、质量审核知识库和数据质量本体。
本体与知识库构建与管理工具包括：本体语言(owl2el等)及推理工具、本体应用系统框架(jena等)、本体编辑与管理系统工具(protege等)。本体的映射、集成等使用常用医学本体管理系统gomma(genericontologymatchingandmappingmanagement)等。
电子病历本体具体为：依据电子病历结构、内容、要求等相关领域知识，结合疾病诊疗等医学知识及医学概念分类知识、信息模型知识(例如hl7actclass)等，建立各类知识层级映射，建立电子病历本体，将电子病历的质量要求融入本体(语义网络)的概念及其属性、约束或关系中。以本体为知识载体，表示电子病历内容结构与疾病诊疗信息的统一的语义特征及计算模型。将医学先验知识与深度学习进行特征层或算法层的深度、多模型、动态融合。
以出院记录为实施例：
电子病历本体的结构层次为：
图一表示的是以“出院记录”为实施例的本体结构层次。
a)第一层为临床文档类型(文本)，指代特定医疗服务活动(卫生事件)产生和记录的患者临床诊疗和指导干预信息的数据集合。如：出院记录、入院记录、病程记录等。
b)第三层为临床文档主题块(文本)，作为临床文档基本单元，具有语义完整性和可重用性特点。是对文档段更细的划分，一般来说，文档段对应的数据组基本固定。应用参考信息模型(rim)实现数据组的组成、约束以及实例化管理。
c)第二层为临床文档段(文本)，主要参考hl7rim_act、openher_entry分类，将文档块分类为观察(体格检查、症状、体征等)、评估(预后、死亡、疾病风险、医疗质量评估等)、诊疗(诊断、用药、手术/操作、其他治疗等)、指导(诊疗计划、指示建议等)、医学检验检查、沟通等块。
d)第四层为结构化的临床字段数据元(结构化数据)，一般具有细粒度、数值属性的(可进行特定类型或值域的赋值)数据单元。
建立质量管理规则库的具体实施方法：
从电子病历管理知识中获取质量评估规则。规则表示形式为"条件→行动"或"前提→结论"即表示成"if...then..."。规则存储为变化数据结构，采用“链接表”实现。规则类知识的获取方式包括：
a)将蕴含在领域知识源中的信息转换为质量评估规则，将规则纳入知识库，并将其转换成计算机内部的知识表示形式，并利用知识库管理系统对其进行系统管理，例如规则创建、校验、批量导入等，避免sql注入的隐患。
b)利用知识获取模型，例如大数据机器学习算法获取候选知识，也可以通过大数据语义关联实现同类概念的聚合。再将候选知识进行整合、整理，形成规则知识，例如概念以不同的词汇进行表达、概念准确与精确表达等。
建立电子病历案例知识库。案例内容包括：
a)问题或情景描述：对问题或要理解的情景的描述，包括：推理目标，完成该目标所要涉及的任务，环境与可能解决方案相关的所有特征。
b)解决方案：问题如何在特定情形下得到解决。是对问题的简单解答或得出解答的推导过程。
c)结果：实施解决方案后的结果情况，例如失败或成功。有了结果内容，在给出建议解时给出曾经成功地工作的案例，同时也能利用失败的案例来避免可能会发生的问题。当对问题还缺乏足够的了解时，通过在案例的表示上加上结果部分能取得较好的效果。
深层知识获取的具体作业包括从非结构领域信息中获取知识。深层质量知识的表示形式为语义网络(或知识图谱等)、概念图等形式。获取的具体步骤包括：提取正文→自然语言技术→识别文章中的实体→实体链接(已存在知识库)→命名实体识别(无知识库)→关键词/主题识别(得到不同粒度的知识还可能需要提取文中的关键词，获取文章的潜在主题等)→实体关系识别→定义事件的触发词→获取事件相应描述的句子→实体对应事件的角色识别。
知识获取和质量特征抽取均需要进行实体及关系的抽取。如图2所示，具体步骤包括：
1)预处理：利用预处理框架从不同的电子病历数据源抽取非结构化内容，例如txt、word、csv、html、xml等。处理内容包括：句子切分、句题检测(sentencedetection)、拼写检查、html处理(去掉tag标记等)、禁用词(stopwords)去除、标点符号处理、解析、建立句子的子集、转换数据格式(如xml)等。利用正则表达式处理特殊字符、数字和日期等。部分文档还需要识别文档内容的编码，并进行自动转换。预处理框架使用apachetika，并构建接口包装抽取过程。tika也提供自动检测、搜索、调动、安装处理插件。特殊字符、数字和日期等正则处理工具包括java.util.rege、java.text包等。
2)文档去重：利用复述检测(排除冗余)技术判断文件集合或数据库中是否存在相同或相似内容，找出重复/冗余内容，检测新的信息，提取能够概括当前文档，没有冗余的句子集合。
3)语块识别：解析内容块标记特征，建立块特征和标签集合，训练块分类模型(建立特征与标签的关系→模型调整→分类性能评估→输出单个或多个标签的得分或概率)，识别电子病历各层级的内容块。
4)句法与词法分析：建立临床术语词典，利用分词工具对预处理和文本分段、分块后的语料进行分词和词性标注。挖掘新词列表，进一步编辑标注，提高分词的准确度。确定词的性质，例如名词、动词还是形容词，提高实体识别等后续处理的性能。利用浅层句法分析识别句子的重要片段及结构，例如名词短语或动词短语的句法结构，为后续的语义分析和实体识别提供特征。
5)实体识别：
a)组块解析：基于组块(chunk)解析把实体属性触发词对应的最大名词短语识别出来。
b)单词嵌入：利用词嵌入(wordembedding)训练语料进行词嵌入。利用单词之间的关系将词表征转换为高维向量空间的实数值向量。词嵌入工具采用googleword2vec。word2vec输出的词向量为后续实体抽取等各类nlp任务提供深层特征。采用的模型有cbow(continuousbag-of-words)和skip-gram两种。
c)实体识别：常见的临床命名实体包括疾病(例如icd-10)、症状/体征、检查/治疗/操作、药物等。实体识别在词性、名词短语标记的基础上完成，具体内容包括：实体边界识别→实体上下文解析(否定性、未确定性、条件性)→建立实体候选集(候选实体/概念/术语，短语或词变形分析、缩略语或大写等处理)→实体标记(利用iob(inside/outside/begin)标记或与实体类型结合的iob标记，分割和标注可能组成某种关系的实体，例如chunking、名词短语。词性标记是分块的重要特征)→创建包含递归的多级级联分块器，构建嵌套结构，建立多层结构的分块语法→评估候选集(合并多分类模型结果，根据概率和规则进行过滤)→共指消解，语义消岐。
d)实体标准化：实体标准化的目的是将抽取的实体及其属性与标准化概念及数据模型联系起来，具体内容包括：实体标准化→术语映射→属性信息抽取(例如药物剂量、路径、频率、期间、原因等)→模板填充(实体属性值填充)→数据库存储。
e)实体关系抽取：关系抽取在实体识别的基础上寻找特定类型的命名实体之间的关系。临床常见的实体关系包括概念-时间关系、疾病/症状/体征等问题-治疗关系、症状/体征-疾病关系、疾病-疾病关系、疾病/症状/体征等问题-检查关系、药物-治疗关系和药物-生理效果关系等。
实体识别的方法包括规则方法、机器学习方法以及二者结合的方法。本发明采用规则与机器学习结合的方法。
关系抽取也同样使用二者结合的方法。抽取工具采用nlpir–ictclas工具进行电子病历临床实体及关系抽取。具体配置模块与组件包括：规则模块、临床文档获取与处理模块、句子解析模块、词性标记模块、chunker模块、文档去重组件、训练分类组件、分词组件、实体上下文解析模块、浅层语义分析模块、依存树分析及语义角色标注模块、共指消解/歧义消除模块、字典查找模块、语义相似度解析模块、实体抽取核心模块、关系抽取模块、确定状态识别模块、药物命名实体及药物属性抽取模块、药物副作用抽取模块、一致性解析模块、标记管理与索引模块、cem规范化模块、模板填充模块等。
数据质量的多维性决定了评估方法的多样性。本发明归纳出现质量问题的概念、类型、关系等，建立数据质量本体。以全面评估电子病历是否“符合要求”。数据质量本体将数据质量“不符合”缺陷定义在及时性、有效性、完整性、唯一性、正确性、一致性6个质量维度，并限定各质量内涵不交叉、不重复。质量缺陷的属性包括：权重属性、流程属性、测量属性、结果/过程属性、严重程度(ⅰ级→ⅳ级)、管理等级(一级→四级)、预警等级(蓝色预警→黄色预警→橙色预警→红色预警)、整改等级(不需→立即)等。
对各类质量知识的概念进行标记，例如语义网络的节点及其关系的标记。主要利用umls(unifiedmedicallanguagesystem,一体化医学语言系统)cui对数据元进行标识。在umls不能满足需要时参考其他医学术语体系或概念的上下文关系对cui进行两位数扩展。其他医学术语包括《医学主题词表》(medicalsubjectheadings，mesh)、《国际疾病分类与代码》(internationalclassificationofdiseases，icd-10)、《观测指标标识符逻辑命名与编码系统》(logicalobservationidentifiersnamesandcodes，loinc)、《医学术语系统命名一临床术语》(systemizednomenclatureofmedicine-clinicalterms，snomedct)、药物标准术语集(nationaldrugfilereferenceterminology，ndf-rt)等。
电子病历质量审核的对象可以是全部的病历，也可根据用户自定义的条件进行病例选择或抽样。病例检索的方式包括依据检索条件的模糊检索或语义检索。抽样方法可采用随机抽样或分层随机抽样。
病例语义抽取的工具为基于nlp的high-throughputphenotyping表型抽取工具。抽取的步骤：定义病例选取规则→参考nqfqualitydatamodelphenotypeextensions(qdm扩展模型)建立抽取规则的信息模型→转换为标准化、结构化的规则定义→使用jbossdrools(drls)将标准化、结构化的规则转换为可执行的查询(如采用语义数据库，则使用swrl规则语言与语义查询语言sparql转换可执行查询)。
将电子病历的概念、关系、文本等转换为可计算的连续数值形式的特征表示，再对数值化特征进行分块、分层处理。具体方法包括词、句子或段落向量嵌入算法，例如word2vect的cbow模型、skip-gram模型、语义强化模型、paragraphvector等。
利用简单匹配与比对、产生式规则推理、案例推理、基于语义计算的推理探测不符合要求的具有质量问题的电子病历内容：
a)简单匹配与比对：应用简单的数据范围检查或正则表达式等进行简单规则的比对。
b)产生式规则推理：将规则和数据链接起来，依据知识和现有事实，推论出未被观察到的事实。具体推理过程包括继承引用/和模式匹配。推理方向包括正向推理、逆向推理、混合推理和双向推理。
c)基于案例推理型：主要基于相似关系，用来进行案例检索。案例间的相似度有语义相似、结构相似、目标相似和个体相似。相似度通过距离定义。常用算法有包括“最近邻法(nearest-neighbormethod)、归纳推理法(inductivemethod常用id3算法)等。
d)基于语义计算的推理：基于nlp技术、本体语义网络、深度神经网络，建立电子病历层级语义特征及语义计算多任务模型，比较待审核病例电子病历层级特征与蕴含在本体(或语义网络、知识图谱)中的要求的差异。
多任务监督学习模型：利用lstm、cnn、gan、attention-based模型等建立jmt多任务端-到-端的整体学习框架，利用词法、句法和更大粒度文本(语块、主题、段落、文档)语义的信息，逐级组合语义特征，计算语义关联，实现多任务协同的语义特征比较与质量推理。将电子病历各层级要求的先验知识与深度神经网络进行特征层融合或算法层融合等以提高语义计算性能。在大数据背景下的语义计算可通过大数据关联分析发现海量电子病历中隐藏的质量问题。
非监督学习模型：将电子病历层级特征与本体知识的匹配。将以本体知识特征与电子病历文本特征投影到一个公共的特征空间；采用相似性或距离度量学习距离度量，将相似性度量融合到特征提取，表征公共空间上特征之间的相似性；将相似性的度量分解、表示成若干个与度量模型，整合到深度神经网络，将度量模型与网络特征层(例如卷积网络的特征图)进行联合学习、统一优化。步骤：域独有层(提取域的特征)→域特征融合，投影形成特征共享层→反向拆解出各个域在共有空间下的特征(自相关矩阵、域相关矩阵、权重向量)→通过相似性度量得到不同域样本间的匹配相似度。
基础权重(质量陷初始权重)由质量缺陷后果严重度、发生频率及可探测性决定，并可自适应调整。数据权重分配方法采用类层次分析法。配置步骤：
1.根据病历结构中数据元的重要度逐层生成判断矩阵
由于判断矩阵的通用标度为1-9和1/2-1/9，其中“1”、“3”、“5”、“7”、“9”分别对应“不重要”、“较不重要”、“一般重要”、“较重要”、“非常重要”，“2”、“4”、“6”、“8”表示介于相邻重要度之间，无法准确判断的情况。因此，根据重要度生成判断矩阵时，两个数据元比较采用重要度大的/重要度小的，再进行四舍五入，m层判断矩阵元素如下：
取值范围为{1,2,3,..,9}
2.逐层一致性评价
上述判断矩阵元素由数据元重要度计算，并进行四舍五入，因此仍会出现轻微不一致的情况，因此在应用前仍需进行一致性评价。
一致性评价步骤为：
a)计算判断矩阵最大特征根λmax，计算
b)计算标度为1-9，1/2-1/9的随机一致性系数r.i
c)一致性系数
若c.r＜0.1，则任为一致性较好。
3.权重计算
判断矩阵符合一致性后，采用和法计算权重：计算判断矩阵的行合计，并归一化，所得向量即为权重向量。下层权重分别以上层权重为权数相乘计算。
质量评分依据电子病历内容基础权重、频数系数、缺陷系数。
a)频数系数：b)缺陷系数：依据不同缺陷类型、缺陷个数，制定缺陷扣分比例(50％、75％、100％)规则。
每个数据元(内容)的缺陷不倒扣分值。
例：“手术级别”重要度为3，若发生频率较高，依据风险评估调整为4。后在首页质控中，重要度加权，得到分值应为1.2
若“手术级别”有1个不一致缺陷，实际扣分0.75*1.2
若“手术级别”有3个不一致缺陷，实际扣分1*1.2
利用消息机制实现审核内容、审核结果、质量问题验证、跟进、整改、催办、质询(query)/建议、复审申诉/抗辩的提出和应答等相关信息的发送、接收、应答、提醒、催办、转办、确认等流转。实现报告/报表等文件或信息的发送、接收等。实现质量审核信息或证据及争议信息的采集、展示、保存。
审核信息包括相关患者疾病及诊疗信息、工作人员信息、流程信息、临床文档信息、缺陷内容、申诉理由、抗辩理由等信息。
不符合质量要求的内容与形式信息包括：缺陷号、缺陷描述、缺陷个数、缺陷扣分(系统后台运算后自动显示)、附加说明、截图附件等(缺陷条目设有截图和部分文本保存功能，以截取当前屏幕内容或保存病历文本信息等以保存证据)。缺陷描述根据缺陷号自动填写，亦可填写相关书写规范要求，或选择引用历史缺陷描述，内容可随时修改。
个案质量可通过在人工审核界面设置质量缺陷复审、反馈、跟进、建议、整改、效果评价、结案等相关流程节点操作角色、权限、触发条件、后续流转节点及操作内容等进行追踪。质量追踪与质量信息沟通和人机交互功能交叉，包括质量审核(包括复审)业务流转与质量追踪信息沟通和交互，例如查看个人质量审核、追踪待办事项、待查消息等，实现质询(query)的提出和应答、质量问题跟进的催办、建议、跟进等信息沟通。
质量追踪的信息包括：复审信息包括是否申请复审、相关申述说明、抗辩说明、分歧澄清需采集的证据或记录的内容和形式要求以及采集人员(角色身份)、采集方式、采集节点、采集时点(时限或频次)等。整改信息包括是否发送整改、整改人、整改结果、整改结果评估需采集的证据或记录的内容和形式要求以及采集人员(角色身份)、采集方式、采集节点、采集时点(时限或频次)等。
整体质量追踪通过质量指标的统计、分析和基于数据驱动的pdca循环实现。
根据质量问题可能导致的不良后果的严重程度(例如对患者安全的影响程度、对drgs分组或支付的影响程度、对诊疗质量的影响程度、对法定报告数据质量的影响程度、对卫生政策管理重点要求实现的影响程度、对自定义的专项管理结果的影响程度)、质量问题的发生频率(由累积数据挖掘)、质量问题可探测性、质量问题的改进难度等，确定质量问题区域和流程，定义预警范围(包括时间期间、空间范围、专业人员层级或范围等)及预警措施(是否发送预警、预警等级、预警结果跟进等措施)和管理、改进、跟进措施等。
质量数据分析着重关注重点问题、重点责任人、变化趋势分析以及政策性或第三方监管要求的监测指标。统计报表主要分为三大类：指标类、缺陷类、得分类。质量指标统计、质量报表、图表生成等使用r软件工具。
质量指标的信息模型参照nqf(nationalqualityforum)开发的质量数据模型(qdm，qualitydatamodel)。qdm对统计指标的分子、分母纳入与排除标准及指标相关的概念语义进行标准化，保证质量指标语义的重用性、一致性与统计数据的共享性与可比性。qdm中分子与分母等病例需从电子病历中抽取，抽取工具为nlp表型抽取工具，high-throughputphenotyping。
统计数据以固定格式的统计报表形式输出，并人性化地实现质量评估报告自动输出。
依据证据内容的采集节点、采集时点、采集方式与内容形式等采集要求，实现各节点受控信息(如电子病历等)的调阅、流转等，以及相关质控或争议证据的采集，并可进行质控信息的发送、接收、反馈、确认等操作或选择。
本发明在应用于智能控制系统后，电子病历质控工作效率明显提高，质控完成率达100％，提高了83.06％。及时完成率达100％，提高了140.58％。质量数据分析处理效率提高了80％。数据准确率明显提高，平均缺陷下降了28.52％，主要诊断正确率提高22.14％，主要手术及操作正确率提高11.97％。mdc13组的费用riv提高了8.25％。drgs分组一致率提高了49.68％。
另外，本发明应用于一种基于nlp的电子病历数据质量管理系统。
该系统架构包括五层，最底层为物理层，包括运行环境、操作系统和硬件平台外，其余四层，由底向上依次是数据处理层、算法框架层、智能服务层、应用层，它们各自的组成和核心组成单元作用分别如下：
1、数据处理层：该层包括存储、数据预处理及批处理。
(a)(数据)存储包括关系型数据库、非关系型数据库，关系型数据库用于存储结构化数据，非关系型数据库主要用于存储原始的电子病历文档等半结构化数据，而经过nlp等技术手段转化为结构化数据的电子病历数据也会存储在关系型数据库中。
(b)数据预处理包括数据清洗、数据集成、数据变换和数据规约。
(c)数据的批处理，根据处理的数据分类采用不同的方法及框架，对于纯粹的大计算量的数据，采用hadoop框架的mapreduce将大的计算拆成map和reduce；而对于涉及迭代计算比较多的机器学习等运算，则采用中间数据存放在内存中的spark。
2、算法框架层：该层主要是固化相关算法框架(包括开源的算法框架及自主开发的)，同时提供了对应的api供调用以避免重复开发，提高代码的可复用性、提升开发效率。这里涉及的算法框架主要包括自然语言处理(nlp)、文本挖掘、解释器、专家系统、基础ml算法(基础机器学习算法)、统计学习和知识推理。
3、智能服务层：包括web服务、自然语言接口、基于知识库的知识管理。
(1)web服务是基于xml和https的一种服务，它和组件一样，可以提供重用功能，也就是一次开发，可以被多次调用，还可以把基于不同平台开发的功能集成到一起；
(2)自然语言接口主要把常用的自然语言算法开发成接口，供调动；
(3)基于知识库的知识管理，使用知识库管理规则，进而实现对知识的动态管理，目前主要存放了电子病历质量控制的规则。
4、应用层：目前基于该框架，主要开发了cdi、医疗数据质量控制、数据仓库等应用。
(1)cdi(clinicaldocumentsimprovement，病历文书改进)应用主要提供了病历文书改进咨询功能。病历文书改进咨询是质控专家与医护人员之间的沟通手段。咨询包括澄清、临床声明、提醒等，咨询不涉及质控缺陷或扣分的记录。
咨询主要涉及一下工作内容，具体流程如下：
(a)与医师明确遗漏、冲突、不准确的医疗记录或诊断。
(b)辅助诊断、疾病编码、drg分组、期望死亡率，以保证准确的医疗补偿费用。
(c)提高医师与其他医疗团队成员的沟通效率。
(d)提供医疗决策知识，提高医疗质量及结果指标。
(e)提高编码员的临床知识。
(2)医疗数据质量控制
基于本体、nlp信息抽取、语义数据仓库等关键技术，利用面向服务的架构、综合restful设计风格、面向对象的工具、分布式智能主题和事件驱动技术，构建实时智能、自适应、自组织、自容错、自寻优的soa医疗数据质量、病历质量、医疗质量管理系统平台。主要功能有：
信息抽取的目的是从文本数据中挖掘语义信息从而发现知识。信息抽取的主要技术为实体识别及属性填充。
电子病历中蕴含了医学知识和临床诊疗信息，临床诊疗信息的挖掘的目的就是在电子化病历的文本信息中利用nlp技术发现临床知识和诊疗模式。电子病历信息抽取的主要流程包括：问题的边界划分→句子边界识别→句法分析、分词、单词或短语识别、命名实体识别→短语或词变形分析、缩略语或大写识别→建立候选集、候选实体/概念/术语选择→评估候选集、语义消歧→实体标准化→术语映射→模板内容(实体属性)填充。
(a)基于本体的病历质量监控
基于本体的智能质控的核心技术是构建病历本体、质量本体的信息、政策及具体关系网络等，并对数据的获取、维护、分发、维护和处理等进行规范，通过本体语义网推理病历质量缺陷，主要有推理机机制、推理规则生成(swrl)和查询语言(sparql)转换等关键技术。智能质控依据内部语义推理，辅助规则、案例、数据挖掘等生成质控结果及预警信息。
(b)基于人工质控的算法改进
对于无法智能判断的，可采取以下措施：
a)人工质控修正结果，人工质控结果可作为训练样本，并实现后期的监督学习功能；
b)计算机模拟专家系统通过收集在线专家系统的评估数据作为训练样本数据建立判断模型，然后根据判断结果调取相关知识，提出专业建议。
(3)数据仓库
电子病历信息导入病历质量控制平台，经信息抽取后的电子病历信息形成的数据存放在数据仓库中，供后续使用。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。