一种基于智能搜索的AR肿瘤知识图谱多模态演示方法与流程

本发明涉及医疗数据处理以及知识图谱可视化领域，尤其涉及一种基于智能问答的ar肿瘤知识图谱多模态演示方法。

背景技术：

随着医学信息化的发展和医疗的大数据化，在医疗领域中，越来越多有用的知识图谱被构建出来，尤其是我国每年的肿瘤患者越来越多，已经渐渐成为“第一杀手”，将知识图谱运用到肿瘤领域中，可以通过构建肿瘤知识图谱，提供药物推荐，疾病预测等服务。

目前，智能搜索能够提供传统的快速检索、相关度排序、智能信息过滤和推送等功能。患者的医疗知识普及主要是通过人工的方式，依靠医生的口头交待，但是有时会面临患者需要了解更多的知识，只能通过从网上检索信息。但是网上信息繁杂，患者难以获得自己有用的信息，而且网上提供的数据多为单一的文字描述，对于医学专业用词或者某些抽象的医学概念来说，理解起来比较困难，缺乏一定的直观性。此外，网络上搜索的答案鱼目混杂，对于有些不可靠的信息，用户有可能被误导。

ar技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。在医疗领域，增强现实与医疗的结合应用逐渐被人们所重视。由于知识图谱是将复杂的信息通过计算处理成能够结构化表示的知识，所表示的知识可以通过图形绘制而展现出来，为人们的学习提供有价值的参考，为信息检索提供便利。知识图谱就是一种知识库，但构建好的知识图谱如何可视化展示出来，还存在以下问题：

1.医学知识枯燥难懂，内容冗杂，而知识图谱多为2d可视化展示，繁杂的文本会让知识图谱的节点很多，看起来复杂难懂，并且对于数据比较多的文本，显示效果会受到屏幕大小的限制。

2.知识图谱的构建和数据都是基于单一文本数据格式进行分析，对于语音、视频、图像等多模态数据的使用存在明显不足，知识图谱的呈现多为文本形式的知识点，可视化感官效果不好，单调枯燥的医疗知识难以提供患者更加直观的感受，内容模态的单一性使用户获取目标知识的吸收程度不高。

3.目前的医学相关知识图谱的可视化展示都是单一的2d或者3d的展示方式，患者选择性低，无法实现自定义展示方式。

4.ar医疗知识图谱无法提供自动检索的功能。

技术实现要素：

本发明的目的是针对肿瘤知识图谱可视化的难点，基于智能搜索，设计一种ar肿瘤知识图谱的多模态展示方法，不仅是通过文本展示，同时涉及图片、音频、视频等多媒体资源的展示，并且能结合3d和2d的切换，使用户根据自身需求，在3d的不同实体层级上，进行2d的切换和多模态展示，实现用户更好的体验效果，避免内容过多导致2d知识图谱显示的节点覆盖，屏幕太小等问题。增加智能检索功能，方便对目标知识的查询。该发明主要解决现有方法的可视化形式单一，内容枯燥，信息冗杂，功能简单的缺点，使用户获取目标医学知识更加简单，易于掌握。

结合增强现实技术和智能搜索的方法，通过构建肿瘤知识图谱，实现一种方法可以展示3d的多模态知识图谱，并且可以根据用户的需要实现3d和2d的切换，摆脱了用户获取知识的枯燥性，也能让用户更好地掌握肿瘤相关的医学知识。

为了达到上述目的，本发明技术方案的具体步骤为：

s1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；

s2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的ar多模态知识图谱，并且能够根据需要进行2d和3d的转换；

s3.智能搜索结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示；

在步骤s1中，对目标肿瘤的原始数据，通过以下方法进行多模态医疗知识图谱的构建以及数据库的连接：

s11.根据不同的目标肿瘤实体以及相关肿瘤属性，从多个数据源获取多个原始数据，原始数据包括图片、音频或者视频资源；

s12.利用开源的词法工具和医疗领域的词典库，对目标肿瘤实体识别，并从语料数据中提取出实体与实体之间的多个关系类型，所述关系类型至少包括流行病学特征，筛查，临床表现和诊断，病理诊断，分子分型，分期，治疗；

s13.通过知识抽取得到所述实体和关系的信息，定义知识图谱实体和属性，包括实体和实体之间的关系，实体的属性值。其中的实体信息和属性信息，包括文本信息，图片，音频或者视频的一种或者多种；

s14.根据所述实体和实体之间的关系，构建医疗知识图谱树，其中根节点代表的是目标肿瘤实体的值，实体与实体之间的关系代表树干，实体的下位概念是中间节点，每个实体的属性作为子节点；

s15.根据上述s14构建的图谱树，将目标肿瘤实体和实体之间的关联关系，以csv格式导入到neo4j数据库中。

在步骤s2中，对于ar肿瘤知识图谱，主要通过以下方法进行ar知识图谱的多模态展示和2d、3d的切换：

s21.在unity系统中设置知识图谱演示的场景，通过3dsmax三维建模软件制作人体目标肿瘤对应器官的三维模型中的标准图，包括各个器官的位置，器官名称，各种肿瘤可能存在的位置等，并将其导入到unity中；

s22.点击三维模型上的对应肿瘤所在器官，通过服务器，从neo4j数据库获取数据，解析从服务端获取的数据，将数据分为实体、关系和属性三类，实体、关系和属性都包含各自的id，名称以及类别；

s23.通过unity中的树形插件，根据获取的实体和关系的id和类别，动态创建知识图谱树，形成3d树的根，树干以及节点，并且将实体的名称显示在树形结构对应位置上；

s24.根据ui页面渲染帧循环的改变，实体和属性信息的改变进行ui页面的调整，主页面主要是实体名称及其他实体的关联情况，可以通过点击不同的实体进入下一层级；

s25.在页面右侧存在自动旋转、模式切换以及后退的按钮，根据用户需求，在unity中进行设置，使得用户可以进行3d和2d模式的切换，2d主要是通过对应的id，对获取的数据以思维导图的形式呈现，并可以通过在3d中不同实体的id，进入到目标实体id的2d思维导图平面中，在3d和2d的信息展示过程中，都是多模态信息，可通过点击对应节点显示视频、图片等多模态的信息；

s26.利用vuforia插件，在unity中设置要展示的ar树结构和点击事件，并对ar树展示场景设置旋转和缩放按钮。点击上述s25中3d模式下的树节点，会自动下载默认图片，并根据neo4j数据库获取的信息，ar树的内容包括多模态的信息。发布到android手机上，打开应用，摄像头会被打开，用摄像头扫描目标图片，可以看到ar树展现在屏幕上方空间中，通过设置的按钮进行旋转和缩放，点击ar树节点，可以在客户端显示对应的多模态内容。

在步骤s3中，根据步骤s2中建立的ar展示肿瘤知识图谱的多模态展示系统以及能根据不同id在2d、3d呈现不同形式的知识图谱，增加智能搜索的功能，主要是通过以下方法实现：

s31.利用问句解析技术和文本关键词提取技术获取用户输入的问题的关键字，至少包括目标肿瘤名称和疾病实体名称的信息或者属性信息；

s32.连接图数据库，通过获取的关键字，在neo4j数据库进行检索，得到匹配关键字的搜索结果；

s33.客户端根据用户关注的节点，进行ar树形结构的重建，重建的结果包括目标关键词对应实体的树形结构，以及对应的多模态信息。

发明相较于现有技术具有以下优点：

1.通过构建多模态肿瘤知识图谱，将目标肿瘤的相关知识点，知识点之间的关系用图谱的形式展现出来，并且将多模态融入到所述知识图谱中，丰富了知识的展现形式；

2.通过对知识图谱的ar多模态展示，将传统的2d知识图谱可视化变成3d效果，使得在2d上展示的信息总量不受到限制。同时，由于肿瘤知识图谱在3d下的ar展示可以展现不同实体的层级，并且可以根据用户需要，也提供了2d的思维导图的展示形式，对于知识体系不是过于复杂的也能很好的展示；

3.针对于该ar肿瘤多模态的展示，还提供了智能搜索的功能，有利于用户直接获得目标信息；

4.该方法通过结合多模态知识图谱的ar展示，并且提供智能搜索和2d转换，融合多种功能，有利于用户有更加丰富的体验效果，提高用户获取知识的效率。

附图说明

图1为目标肿瘤多模态知识图谱构建过程；

图2为基于智能搜索的ar肿瘤知识图谱演示方法的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明设计一种基于智能搜索的ar肿瘤知识图谱多模态演示方法，通过将肿瘤的多模态知识图谱以ar形式展示，并且可以根据用户需要，进行2d和3d的切换，此外，新增了智能搜索的功能。相较于现有方法，本发明可以避免知识图谱过多时在2d展示不全的缺点，提高用户获取知识的趣味性和便捷性，智能搜索功能使用户能方便查找到所需要的肿瘤信息，多模态的信息也丰富了用户的体验；

以下是本发明的优选实例并结合附图，对本发明的技术方案进一步描述，但本发明并不仅限于这些实施例。

如图1和图2所示，本实施例公开了一种基于智能搜索的ar肿瘤知识图谱多模态演示方法，整体流程为：首先构建目标肿瘤的多模态知识图谱，将构建好的知识图谱的多模态信息导入到neo4j数据库中。然后，在unity系统中设置人体三维模型，通过点击对应肿瘤所在器官位置，发送http请求，从图数据库获取数据并返回，客户端演示目标肿瘤实体的ar多模态知识图谱，并且能够根据需要进行2d和3d的转换；此外，结合智能搜索实现对关键字信息的有效检索功能。

具体包括以下步骤：

s1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中。

s2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的ar多模态知识图谱，并且能够根据需要进行2d和3d的转换；

s3.智能搜索结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示。

下面以肺癌ar知识图谱多模态演示为例进行阐述：

对应步骤1，对目标肿瘤的原始数据，通过以下方法进行多模态医疗知识图谱的构建以及数据库的连接：

s11.根据不同的目标肿瘤实体以及相关肿瘤属性，从多个数据源获取多个原始数据，原始数据包括图片、音频或者视频资源。作为肺癌的多个数据源，至少包括诊疗数据源，2019nccn,ecmo等医学专业指南数据源；

s12.利用开源的词法工具和医疗领域的词典库，对肺癌实体识别，设计关系类型和疾病实体类型，所述肺癌实体和其他实体之间的关系类型主要包括以下几种：流行病学特征，筛查，临床表现和诊断，病理诊断，分子分型，分期，治疗；所述其他实体类型如：根据流行病学特征关系，对应实体有年龄特征，性别特征，地区分布特征，职业分布特性；根据筛查关系，对应实体有风险评估，风险状态，低剂量ct等；

s13.根据上述其他实体，知识抽取得到所述实体的属性信息，定义肺癌实体与实体属性，包括实体和实体之间的关系以及所述实体对应的属性信息。其中的实体信息和属性信息，都包含文本信息，图片，音频或者视频的一种或者多种；

s14.构建“肺癌”医疗知识图谱树，其中根节点的值就是肺癌，实体的下位概念是中间节点，根据肺癌实体和疾病实体之间的关系，定义出的中间关系包括肺癌的流行病学，肺癌的筛查，临床表现和诊断，病理诊断，分子分型，肺癌分期，非小细胞肺癌治疗，小细胞肺癌治疗，随访。根据关系，得到二级实体节点；对于某些二级实体节点，再根据其下位概念，进行三级实体节点的区分。实体的属性作为子节点。例如：肺癌-分类-非小细胞肺癌，在非小细胞肺癌这个二级实体节点下，又可生成三级节点：非小细胞肺癌-分期-ia,ib,iia,iib,可手术iiia或iiib期，不可手术iiia,iiib,iiic期等；

s15.根据上述s14构建的图谱树，以csv格式导入到neo4j数据库中。

在步骤s2中，对于ar肿瘤知识图谱，主要通过以下方法进行ar知识图谱的多模态展示和2d、3d的切换：

s21.在unity系统中设置知识图谱演示的场景，在3dsmax三维建模软件制作人体目标肿瘤对应器官的三维模型中的标准图，包括各个器官的位置，器官名称，至少包括肺，胃，肝，小肠，大肠，脑干，鼻咽，乳腺，骨髓，食管，宫颈，前列腺，淋巴结等常见肿瘤发生位置，将其导入到unity中；

s22.点击肺部，通过向服务器发送http请求，从neo4j数据库获取数据，解析从neo4j数据库中获取的数据，主要是步骤1中存入的知识图谱的数据，不同的实体和属性都有不同的id值。

s23.通过unity中的treeview树形插件，根据获取的实体和关系的id和类别，动态创建知识图谱树，形成3d树的根，树干以及节点，并且将实体的名称显示在树形结构对应位置上，可以动态配置数据源。对于树形样式的修改，可以通过设置属性drawmode属性为ownerdrawall进行自定义绘制；

s24.根据帧循环、实体和属性信息的改变进行ui页面的实时调整，主页面主要是实体名称及其他实体的关联情况，可以通过点击不同的实体进入下一层级；

s25.在页面右侧存在自动旋转、模式切换以及后退的按钮，根据用户需求，在unity中进行设置，使得用户可以进行3d和2d模式的切换，2d主要是通过对应的id，对获取的数据以思维导图的形式呈现，并可以通过在3d中不同实体对应的id，进入到各自指定的2d思维导图平面中，在3d和2d的信息展示过程中，都是多模态信息，可通过点击对应节点显示视频、图片等多模态的信息；

s26.利用vuforia插件，在unity中设置要展示的肺癌的ar树结构和点击事件，并对肺癌ar树展示场景设置旋转和缩放按钮。点击上述s25中3d模式下的树节点，会自动下载默认图片，并根据neo4j数据库获取的信息，肺癌ar树的内容包括肺癌相关的视频，图片等多模态信息。将其发布到android手机上，打开应用，摄像头会被打开，用摄像头扫描目标图片，可以看到肺癌ar树展现在屏幕上方空间中，通过之前设置的按钮进行旋转和缩放，点击肺癌ar树节点，可以在客户端显示对应的多模态内容。

在步骤s3中，根据步骤s2中建立的ar展示肿瘤知识图谱的多模态展示系统以及能根据不同id在2d、3d呈现不同形式的知识图谱，增加智能搜索的功能，主要是通过以下方法实现：

s31.利用问句解析技术和文本关键词提取技术获取用户输入的问题的关键字，例如问题：“肺癌的筛查”；

s32.连接图数据库，通过设计关键字的sql语句，获取用户输入的关键字“肺癌”、“筛查”，在neo4j数据库进行检索，得到匹配对应关键字的内容，客户端根据获取的“肺癌”(实体)-“筛查”(关系)-对应的实体值；

s33.根据获取的数据进行ar树形结构的重建，重建的结果是“筛查”实体相关内容的3d树形结构；

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。