一种影像的关联显示方法、装置及服务设备、存储介质与流程

文档序号:16188819发布日期:2018-12-08 05:28阅读:145来源:国知局
本发明涉及影像处理
技术领域
:,尤其涉及一种影像的关联显示方法、装置及服务设备、存储介质。
背景技术
:随着电子技术、计算机技术的不断发展,对于图像、视频等影像的采集也得到了巨大的优化,各类影像处理用户可以基于较为成熟的影像采集技术,得到清晰准确的图像,以便于通过对这些图像的分析来较好地满足人们生产生活的需要。在医疗领域,基于先进的ct(computedtomography,电子计算机断层扫描)设备,可以利用x线束、γ射线、超声波等,采集到患者某个部位的清晰影像,在生成ct影像后,医生等用户便可以基于清晰ct影像,对患者做出较为准确的诊断。如何更加自动化智能化地为医生等影像用户提供影像成为研究的热点。技术实现要素:本发明实施例提供一种影像的关联显示方法、装置及服务设备、存储介质,可快捷地在用户终端上为用户提供待分析的目标对象影像和用于辅助对待分析的目标对象影像进行分析的辅助影像。一方面,本发明实施例提供了一种影像的关联显示方法,包括:接收用户终端的显示请求,所述显示请求包括待显示对象影像的目标标识;从第一影像集合中查找与所述目标标识关联的目标对象影像,并向所述用户终端返回所述目标对象影像,以便于所述用户终端显示所述目标对象影像,其中,所述目标对象影像是从影像管理设备获取并存储到所述第一影像集合中的对象影像;若接收到所述用户终端的关于所述目标对象影像的辅助查看请求,则从第二影像集合中查找与所述目标对象影像关联的目标辅助影像,所述目标辅助影像包括:在对所述目标对象影像进行异常识别后生成的用于标记异常图像区域的标记信息;向所述用户终端返回所述目标辅助影像。另一方面,本发明实施例还提供了另一种影像的关联显示方法,包括:接收影像查看操作,将所述影像查看操作所操作的拍摄对象的对象标识作为目标标识;生成包括所述目标标识的显示请求,并将显示请求发送给服务设备;接收服务设备返回与所述目标标识关联的目标对象影像,并在用户界面上显示所述目标对象影像;在接收到对所述用户界面上包括的辅助查看标识的用户操作时,生成关于所述目标对象影像的辅助查看请求,并将辅助查看请求发送给所述服务设备;接收所述服务设备响应所述辅助查看请求返回的目标辅助影像,并显示所述目标辅助影像。又一方面,本发明实施例还提供了一种服务设备,包括:处理器、图像拉取接口、用户接口以及存储装置;所述处理器,用于通过所述图像拉取接口从影像管理设备中获取拍摄对象的对象影像;并基于对象标识将获取到的对象影像存储到所述存储装置的第一影像集合中;所述处理器,还用于获取所述拍摄对象的对象影像关联的辅助影像,并将获取到的辅助影像存储到所述存储装置的第二影像集合中,其中,辅助影像包括:在为所述拍摄对象的对象影像进行异常识别后生成的用于标记异常图像区域的标记信息;所述处理器,还用于通过所述用户接口将从所述第一影像集合中查找到的目标对象影像和/或将从所述第二影像集合中查找到的目标辅助影像发送给用户终端,以便于显示在所述用户终端上。相应地,本发明实施例还提供了一种影像的关联显示装置,所述装置包括一个或者多个用于执行上述方法的模块。相应地,本发明实施例还提供了一种服务设备,所述服务设备包括存储装置和处理器,所述存储装置中存储有程序指令,所述处理器调用所述存储装置中的程序指令,用于执行如上述的方法。相应地,本发明实施例还提供了一种计算机存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时实现上述的方法。本发明实施例可以根据需要简单快捷地为用户关联显示原始影像和经过智能分析后辅助影像,在一定程度上能够为影像分析用户对待分析影像所作的分析提供辅助,可较大程度地减少误判,在医疗以及安保领域,可以较为有效地避免误诊以及安全漏判的发生,提高了影像分析的准确性。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1是本发明实施例的对影像的关联显示处理的系统结构示意图;图2是本发明实施例的一种影像的关联显示方法的实施例流程示意图;图3是本发明实施例的一种用户界面的示意图;图4是本发明实施例的另一种用户界面的示意图;图5是本发明实施例的存储辅助影像的方法流程示意图;图6是本发明实施例的另一种影像的关联显示方法的流程示意图;图7是本发明实施例的一种影像的关联显示装置的结构示意图;图8是本发明实施例的另一种影像的管理显示装置的结构示意图;图9是本发明实施例的一种服务设备的结构示意图;图10是本发明实施例的一种用户终端的结构示意图。具体实施方式在本发明实施例中,一方面提供影像显示服务的服务设备可以直接提取做影像异常分析工作的用户所需的目标对象影像,并将目标对象影像显示在用户的用户终端上;另一方面,在用户通过用户终端展示的界面发出的辅助查看操作后,该服务设备还能够基于辅助查看操作对应的辅助查看请求,将目标对象影像关联的目标辅助影像发送给所述用户终端,方便用户结合目标辅助影像对目标对象影像进行分析。所述目标辅助影像可以是基于分析模型对所述目标对象影像进行分析(例如异常识别)后,如果目标对象影像中的对象存在异常特征,则在所述目标对象影像的基础上,将异常特征所在的图像区域进行标记,也就是说,所述目标辅助影像上包括:在对所述目标对象影像进行异常识别后生成的用于标记异常图像区域的标记信息。所述分析模型是预先设置的,是经过计算机训练学习的方式优化得到。例如,在医疗领域,对于某个腿部可能存在骨折的患者的ct影像(该ct影像即为目标对象影像),采用预设的医疗分析模型,可以识别出ct影像中疑似骨折的异常图像区域,由此在该患者的ct影像的基础上,通过红色的圆圈标记等形式,将该部分异常图像区域标记出来得到一个关于该ct影像的辅助影像,这样医生就可以在该ct影像的基础上,基于其辅助图像,更为有效全面地对患者的病情进行分析。在其他例子中,可以基于其他预设的分析模型,为用户提供相应的辅助图像,比如在机场、火车站等场所,通过分析模型对监控摄像头拍摄到的影像进行自动分析,找到其中的异常图像区域(比如不应该出现人或者动物的区域所对应的影像上存在了疑似人或动物的图像区域),并标记这些异常图像区域生成辅助图像发送给安保人员。对目标对象影像进行分析得到目标辅助影像的处理过程可以在所述服务设备上执行。在所述服务设备上可以预置所需类型的分析模型,这样对于影像管理设备采集到的对象影像,所述服务设备可以直接进行分析得到辅助影像,并在用户需要时发送给相应的用户。在其他实施例中,对象影像的分析也可以是在影像服务器上,影像服务器内置了分析模型专用于对一类或者多类对象影像进行智能分析,以输出不同需求的辅助图像。而所述服务设备则可以作为一个中转设备,在接收到用户的用户终端发出的辅助查看请求后,到影像服务器中获取相应的辅助影像,然后反馈给用户终端。当然,所述影像服务器可以在分析模型对对象影像进行分析得到辅助影像后,直接将辅助影像反馈给服务设备,服务设备基于对象标识,在本地存储辅助影像,方便后续在用户需要时,快速查找并反馈给用户终端。本发明实施例提及的分析模型主要是一些图像识别模型,可以通过有监督的训练图像集来对初始分析模型进行优化训练。优化训练的过程大体上包括:输入具有异常图像区域的目标训练图像到初始分析模型中,由初始分析模型得到异常识别结果,如果异常识别结果对应的异常图像区域与已知的该目标训练图像的异常图像区域的位置或者图像特征的相似度较小(例如小于某个相似度阈值),则认为初始分析模型中的模型参数需要优化。在对初始分析模型中的模型参数进行优化后,再对所述目标训练图像进行分析,重复执行上述步骤。如果异常识别结果对应的异常图像区域与已知的该目标训练图像的异常图像区域的位置或者图像特征的相似度较大(例如大于某个相似度阈值),则认为初始分析模型能够对该图像进行异常识别。当基于大量的目标训练图像(通常为数万甚至数十万的图像)对模型参数进行训练优化后,初始分析模型能够同时对大量的图像进行准确的异常识别,此时该初始分析模型即为最终可布置到所述服务设备或者影像服务器上的分析模型。所述初始分析模型可以是基于神经网络构建的模型。分析模型可以根据实际需要不断被训练优化,以达到准确的异常识别功能。请参见图1,是本发明实施例的对影像的关联显示处理的系统结构示意图,该系统包括用户侧设备102,服务设备101以及网络侧设备。如图1所示,在本发明实施例中,用户侧设备102包括用户终端、影像管理设备、其他服务提供设备。用户侧的这些设备主要是指需要影像显示服务的用户所包括的设备,例如医院用户所使用的医生工作台(即用户终端)、影像中心服务设备(例如包括pacs(picturearchivingandcommunicationsystems,影像归档和通信系统)的中心)(即影像管理设备)、诊断报告服务设备(即其他服务提供设备)等设备,又例如是安保用户所使用的监控显示设备(即用户终端)、用于对各个重要位置设置的监控摄像头采集的影像进行管理的设备(即影像管理设备)等设备。网络侧设备则包括各类型的能够对对象影像进行高阶处理的服务器或服务器组等,在本发明实施例中,网络侧设备主要是为所述服务设备101提供接入接口,为所述服务设备101提供影像上传、辅助影像查询及辅助影像反馈等服务。利用影像服务器103非常高的软硬件处理性能,能够设置更为复杂但精确的分析模型,以更准确地识别各对象影像中的异常图像区域,生成各对象影像的目标辅助影像。影像服务器103可以是云服务器。当然,在其他实施例所描述的系统中,网络侧设备为可选设备,网络侧设备实现的功能可以由所述服务设备101实现。当所述服务设备101无法获取某个对象影像的辅助影像时,例如服务设备101的处理器检测到内存、处理器等软硬件资源占用率高于预设的阈值、和/或获取对象影像对应的辅助影像的时长大于预设时长阈值时,可以将后续的其他对象影像发送给影像服务器103,由影像服务器103来对这些其他对象影像进行异常识别,得到相应的辅助影像。所述服务设备101为本发明实施例的核心设备,如图1所示,所述服务设备101包括的一个或者多个处理器、一个或者多个存储装置。所述存储装置可以包括易失性存储器(volatilememory),例如随机存取存储器(random-accessmemory,ram);存储装置也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flashmemory),固态硬盘(solid-statedrive,ssd)等;存储装置还可以包括上述种类的存储器的组合。所述处理器可以是中央处理器(centralprocessingunit,cpu)。所述处理器还可包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specificintegratedcircuit,asic),可编程逻辑器件(programmablelogicdevice,pld)等。上述pld可以是现场可编程逻辑门阵列(field-programmablegatearray,fpga),通用阵列逻辑(genericarraylogic,gal)等。所述存储装置还用于存储程序指令。所述处理器可以调用所述程序指令,通过各种接口与用户侧设备102和网络侧设备进行通信,完成相关数据的获取、处理以及发送,实现本发明实施例的影像的关联显示方法。所属的各类接口可以包括:图像拉取接口、用户接口、上传接口、报告拉取接口、同步接口、通知接口。在本发明实施例中,所述处理器,用于通过所述图像拉取接口从影像管理设备中获取拍摄对象的对象影像;并基于对象标识将获取到的对象影像存储到所述存储装置的第一影像集合中。在医疗使用场景中,所述对象影像可以是指某个患者对象的ct影像等影像,而所述对象标识用于唯一标识该对象影像。在医疗应用场景下,可以通过标准的医疗行业dicom(digitalimagingandcommunicationsinmedicine,医学数字成像和通信)协议,通过图像拉取接口接收或拉取医院通过pacs(picturearchivingandcommunicationsystems,影像归档和通信系统)系统存储的患者所做医学影像检查的dicom影像文件。通过在医院的pacs系统上配置一个或者多个dicom影像文件的接收方,将所述服务设备101作为其中一个接收方,所述处理器即可通过图像拉取接口自动地接收到dicom影像,减轻了医院的开发工作成本。在其他使用场景中,例如在安保使用场景中,所述对象影像可以是某个节点区域的环境影像,而所述对象标识则用于唯一标识在该节点区域的某时某刻采集到的环境影像。同样在各类关于安保的影像系统以及通信系统做类似配置,所述处理器即可通过图像拉取接口从影像管理设备中获取对象影像。所述处理器,还用于获取所述拍摄对象的对象影像关联的辅助影像,并将获取到的辅助影像存储到所述存储装置的第二影像集合中,其中,辅助影像包括:在为所述拍摄对象的对象影像进行异常识别后生成的用于标记异常图像区域的标记信息。所述第一影像集合和所述第二影像集合可同属于一个数据库内,或者被存储在不同的数据库内。所述第一影像集合中的某个对象影像与第二影像集合中该某个对象影像的辅助影像之间通过对象标识相互关联,或者通过一个映射表的方式来关联该某个对象影像和该某个对象影像的辅助影像,该映射表用于记录对象标识、该某个对象影像存储地址和该某个对象影像的辅助影像的存储地址。所述处理器可以基于某个拍摄对象的对象影像,在本地基于分析模型进行异常识别,得到该拍摄对象的辅助影像,或者也可以根据需要将一个或者多个对象影像上传给影像服务器103,并接收影像服务器103反馈的一个或者多个对象影像对应的辅助影像。在一个实施例中,所述处理器可以在检测到无法获取某个对象影像的辅助影像时,例如服务设备101检测到内存、处理器等软硬件资源占用率高于预设的阈值、和/或检测到对象影像对应的辅助影像的获取时长大于预设时长阈值时,可将后续的其他对象影像发送给影像服务器103,由影像服务器103来对目标对象影像进行异常识别,以得到由影像服务器103反馈的一个或者多个对象影像的辅助影像。以医疗用户为例,对象影像可以是某个患者对象的原始ct影像,而辅助影像则可以是通过上述提及的分析模型对所述原始ct影像进行异常识别后,在原始ct影像中识别并通过标记信息标识出分析模型识别出来的肺部疑似结节的位置区域后的ct影像。所述处理器,还用于通过所述用户接口将从所述第一影像集合中查找到的目标对象影像和/或将从所述第二影像集合中查找到的目标辅助影像发送给用户终端,以便于显示在所述用户终端上。所述目标对象影像是指所述用户终端的显示请求所请求的对象影像,是处理器通过显示请求中的目标标识到第一影像集合中的对象影像进行查找后确定的,而目标辅助影像则是所述处理器基于目标标识,在第二影像集合中的辅助影像中为所述目标对象影像查找并确定的,显示请求中携带的对象标识即为目标标识。用户接口为一个提供筛查服务的接口,各个被授权的医生、护士、或安保人员都可以通过个人电脑pc、笔记本电脑、移动智能终端、可穿戴智能设备等用户终端接入到该用户接口,从而向服务设备101发起显示请求,并接收服务器的反馈。在一个实施例中,所述服务设备101还可以包括上传接口,所述处理器,还用于将所述拍摄对象的对象影像通过所述上传接口发送给影像服务器103,触发所述影像服务器103对所述拍摄对象的对象影像进行异常识别后生成所述对象影像关联的辅助影像;其中,所述处理器是将对象影像以及该对象影像对应的对象标识通过所述上传接口发送给影像服务器103,需要上传的对象影像可以是从影像管理设备获取到某个拍摄对象的需要用户进行分析的影像。所述处理器通过所述上传接口上传一个或者多个对象影像和检查信息至影像服务器103。可以配置完整的错误处理机制和上传优化机制,设置了上传的错误识别的重试次数和上传优先级队列,对于新接收的关于某个对象标识的影像的优先级设置为最高,保证医生能看到的异常识别结果都是最新的。也就是说,如果针对某个对象标识获取到的多组影像,那么最新获取的一组影像的优先级最高。在本发明实施例中,辅助影像是基于分析模型为对应的对象影像进行异常识别后得到的,可以根据实际的对象影像、分析模型分析后的辅助影像,以及最终用户做出的用户分析结果对所述分析模型进行训练优化。在一个实施例中,所述服务设备101可以包括报告拉取接口,所述处理器,还用于通过所述报告拉取接口从分析报告数据库中获取与所述拍摄对象的用户分析结果;并将所述用户分析结果和所述拍摄对象的对象影像作为所述分析模型的训练数据,以便于对所述分析模型进行更新训练。也就是说,以医生、安保人员等用户,在基于目标对象影像和/或目标辅助影像得到用户分析结果(用户分析结果例如可以是医生对患者的诊断结果,或安保人员对目标环境是否被入侵的分析结果)后,这些用户分析结果可以作为对象影像的监督信息,将辅助影像与用户分析结果进行比较,如果用户分析结果所表示的结果与辅助影像所表示的结果相关联,则认为分析模型可以较准确地对所述目标对象影像进行分析。而如果用户分析结果所表示的结果与辅助影像所表示的结果不相关联,则认为需要对分析模型进行训练,可以将此拍摄对象的对象影像和用户分析结果进行关联记录,以便于在后续的某个更新周期到来时,基于记录的对象影像和用户分析结果对分析模型进行训练更新。例如,如果用户分析结果所表示的结果为在肺部的目标位置处存在肺部疑似结节,而辅助影像所表示的结果也为在肺部的目标位置处存在肺部疑似结节,则认为两者相关联;否则,则认为两者不相关联。本发明实施例应用与医疗领域时,基于报告拉取接口接收病理报告和影像报告,基于这两个报告可以对ai引擎中的分析模型进行优化训练,提高分析模型的识别准确率,病理报告可以用于确诊患者,这个结果和引擎的识别结果做对比,如果不一致,则作为错误案例badcase进行算法的回溯分析,优化ai引擎中分析模型的参数,提高识别的准确率。在本发明实施例中,所述服务设备101还包括同步接口,所述处理器,用于通过所述同步接口从所述影像服务器103获取所述拍摄对象的辅助影像。所述处理器用于通过所述同步接口拉取影像服务器103的异常识别结果,所述处理器可以以某个拍摄对象的一次检查为单位,在该检查下的所有对象影像都已经上传成功之后,影像服务器103就会启动异常识别任务,处理器通过同步接口获取到影像服务器103的异常分析的结果后,将结果(即每一对象影像对应的辅助影像)对应存储到所述存储装置中,具体可以存储到上述的第二影像集合。所述处理器同时还会在服务设备101内部进行各数据的同步,确保第一影像集合和第二影像集合中包括最新的相关影像数据。所述处理器还可根据需要,对服务设备101内部进程进行监控和拉活,以及执行程序更新。为了保障服务设备101的稳定运行,需要对服务设备101内部的所有服务进程进行监控,如果出现服务异常退出,所述处理器能够发送警告事件日志,并尝试重新启动,保障服务设备101的服务始终正常运行。如果包括分析模型的ai引擎进行了升级,服务设备101内部服务需要进行升级时,发起自动升级任务,执行升级。在本发明实施例中,所述服务设备101还可以提供通知接口,所述处理器,对服务进程进行监控,根据监控结果生成日志报告;并通过所述通知接口上报生成的日志报告。所述服务设备101主要是向用于对服务设备101进行维护的管理员用户上报生成的日志报告,以便于对服务设备101进行相应的维护处理,保障服务设备101正常工作。所述处理器还提供本服务设备101内部的数据同步服务。在本发明实施例中,针对医院用户而言,其影像管理设备对接收到的对象影像数据组织顺序是:一次检查,一次检查对应多个检查序列,一次检查序列对应n张dicom影像,为了保障一次检查的数据全部一致,对应于影像管理设备对影像的采集管理规则,所述处理器用于执行数据同步任务定时地检测每一次检查对应的所有序列及其影像数量,确保某个目标对象的对象影像是完整的。另外,为了保证服务设备101的信息安全,在所述服务设备101上实施了安全加固策略。医院等场所检查得到的对象影像是极其隐私的患者数据,必须要保证这些对象影像不被泄漏,所以服务设备101中的处理器还用于执行对象影像的脱敏处理、数据加密、传输协议加密、外网访问白名单、自身安全加固等安全方案。其中,在一个实施例中,对象影像的脱敏处理包括:将敏感信息进行脱敏处理,敏感信息例如包括患者的姓名,而将姓名通过指定符号替换例如“*号”替换,不保留患者的真实姓名只需要通过一个对象标识,例如医院分配的唯一id来唯一标识某个对象用户的对象影像。对于所述服务设备101所加载的系统,所述处理器还用于执行系统引导安全,gpt分区(一种安全磁盘分区方案),密码保护,单用户模式必须验证密码,分区表加入校验算法并备份等安全策略,在被感染或误操作可以及时回滚,以此来保证系统的安全和稳定。对于所述服务设备101的文件系统安全,可以采用luks(linuxunifiedkeysetup,linux统一密钥设置)磁盘加密,ecryptfs(一种在linux平台下的企业文件加密系统)文件加密,使磁盘被盗走后重新挂载仍不可用,使目录或文件被盗走后仍不可读。对于所述服务设备101的系统规则安全,可以采用tcp信赖策略,阻止用户使用ctrl-alt-del(一套组合按键)进行重新引导,基于inotify(一个linux特性)监控系统文件,通过iptables(一种linux上常用的防火墙软件)限制主机登录的规则,并采用iptables策略,单独分区,selinux(一种安全增强型linux)等规则。并且设置仅白名单可访问,防止触碰到机器后未经授权重启,inotify监控比较大的目录,可以扰乱入侵者对服务器信息的判断,并且通过限制请求规则,基于角色进行强制访问控制,可以防止进程越权处理。针对所述服务设备101的系统服务安全,限制自启动服务的数量,使自启动服务达到最小,及时更新系统补丁,并且常用服务端口使用非默认的端口,使服务权限最小化,以此来减少进程安全风险。通过及时修复系统漏洞,可增加外部扫描攻击的难度,防止未经允许的服务被外部访问并导致攻击。针对所述服务设备101的用户安全,采用密钥登录,防止特权升级,使用户登录权限最少化,空口令用户锁定,超级用户检查,禁止root用户ssh登录(ssh登录是指可远程登录上linux主机)等策略,禁止执行非程序分区的可执行文件或块设备,降低服务器被攻破的风险。针对所述服务设备101的网络安全,可以通过设置出口白名单,增加时间同步服务、域名解析服务,在协议安全方面可以采用https(hypertexttransferprotocoloversecuresocketlayer,一种以安全为目标的http通道)协议。本发明实施例可以根据需要简单快捷地为用户关联显示原始影像和经过智能分析后辅助影像,在一定程度上能够为影像分析用户对待分析影像所作的分析提供辅助,可较大程度地减少医生用户、安保用户等可能产生的误判,提高了用户对影像分析的准确性。并且对服务设备采取了一系列的安全、保密措施,可以有效防止患者数据等医疗、安保数据的泄露,保证了服务设备的数据安全。下面结合图2、图3对本发明实施例的影像关联显示方法进行描述。请参见图2,是本发明实施例的一种影像的关联显示方法的实施例流程示意图。在图2所对应的实施例中,主要涉及到用户所使用的用户终端与提供影像关联显示服务的服务设备之间的交互。当用户需要对某个患者或者某个环境等对象进行影像分析时,在s201中,用户可以通过在用户终端录入对象标识的方式向所述服务设备发出显示请求,所述显示请求包括待显示的对象影像的目标标识。在一个实施例中,可以通过用户终端扫描二维码等图形码的方式来获取对象信息,得到对象标识,该得到的对象标识作为当前待显示的影像的目标标识添加到显示请求中,例如,医生可以基于用户的社保卡或者挂号单等来提取患者的身份信息,得到患者对象的对象标识,用户终端将其作为待显示的对象影像的目标标识携带在显示请求中。当然,用户也可以直接通过在所述用户终端上输入姓名(例如患者姓名)或者区域名称(例如机房)等名称信息,由用户终端来找到该名称信息对应的对象标识,用户终端将其作为待显示的对象影像的目标标识携带在显示请求中。服务设备接收用户终端的显示请求后,在s202中从第一影像集合中查找与所述目标标识关联的目标对象影像,并在s203中向所述用户终端返回所述目标对象影像,以便于所述用户终端显示所述目标对象影像,其中,所述目标对象影像是从影像管理设备获取并存储到所述第一影像集合中的对象影像。所述用户终端在s204中显示所述目标对象影像。目标对象影像显示在一个用户界面上,该用户界面上包括一些功能按钮,该用户界面可如图3所示,在图3中包括了一个辅助查看的按钮301和一个目标图像对象的查看按钮302。如果对应用户点击了按钮301,则所述用户终端会生成辅助查看请求,并在s205中向服务设备发送该辅助查看请求。当然,在用户终端中也可以通过其他方式来选择辅助查看功能,发起辅助查看请求。例如,在提供的辅助查看输入栏中再次录入所述目标标识。所述服务设备在接收到所述用户终端的关于所述目标对象影像的辅助查看请求后,在s206中从第二影像集合中查找与所述目标对象影像关联的目标辅助影像,所述目标辅助影像包括:在对所述目标对象影像进行异常识别后生成的用于标记异常图像区域的标记信息。在一个实施例中,目标辅助影像可以是已经预置好的,例如在服务设备接收到所述目标对象影像后即通过分析模型进行异常识别后生成的,或者是在接收到所述辅助查看请求后,利用分析模型对所述目标对象影像进行异常识别后生成的。目标辅助影像具体是在所述目标对象影像的基础上增加了标记信息,一种具体实现可参考图3所示,其中,圆圈作为标记信息,为用户标记了疑似异常的异常图像区域。当然,标记信息也可以采用其他形式,例如使用纯文字说明,该文字说明例如可以是“在机房入口处存在疑似入侵者的情况”,其相当于标记了机房入口处的一个图像区域。所述第二影像集合中包括多个辅助影像,这些辅助影像是通过分析模型对相应的对象影像进行异常识别后生成的。根据目标标识在第二影像集合的对象辅助影像中查找到的对应辅助影像即为目标辅助影像。所述分析模型的描述具体可参考上述实施例中的相关内容。可以理解的是,图3仅仅是用于说明本发明实施例的界面。在找到目标辅助影像后,所述服务设备在s207中向所述用户终端返回所述目标辅助影像。所述用户终端在s208中显示返回的目标辅助影像,所述用户终端可以同时在用户界面上显示目标对象影像和目标辅助影像,也可以单独在不同显示页显示目标对象影像和目标辅助影像,提供显示切换功能给用户,以便于用户在不同显示页上来回切换。以图4的医院用户为例,医院用户通过其工作台可以打开上述图3所示的用户界面,查看目标对象影像和目标辅助影像。而医生工作台则是基于用户操作,通过有线或者无线的方式连接到配置了上述的服务设备的机房,服务设备接入到网络,并最终接入到配置了基于上述提及的分析模型的ai引擎的云服务器,由云服务器生成目标对象影像的目标辅助影像通过网络发送给服务设备,服务设备可以先后将用户请求的目标对象影像和目标辅助影像反馈给医生工作台,通过医生工作台的所述用户界面呈现给医生用户。上述的分析模型可以配置到所述服务设备中,也可以配置到影像服务器中。一方面,分析模型可以由大量的训练影像和训练影像的标注信息来进行训练优化,得到能够较为准确地对后续的对象影像进行异常识别的分析模型;另一方面,还可以在分析模型的使用过程中,根据目标对象影像的目标辅助影像,以及对该目标对象影像所对应的拍摄对象的用户分析结果(例如医生的诊断结果,安保人员的确认结果),对分析模型进行训练优化。在一个实施例中,所述服务设备可以根据所述目标标识,从分析报告数据库中获取与所述目标标识对应的拍摄对象的用户分析结果,所述分析报告数据库可以设置在用户侧,例如医院用户用来存储患者病例报告的数据库等类似的数据库;并将所述用户分析结果和所述目标辅助影像作为所述分析模型的训练数据,以便于对所述分析模型进行更新训练。所述分析报告数据库用于记录用户用户分析结果,在分析报告数据库中存储的用户分析结果与相应的对象标识关联,这样在知道目标标识后,即可通过目标标识查找到用户分析结果。如果目标标识对应的用户分析结果所表示的结果与目标辅助影像所表示的结果不相关联,则该目标标识对应的目标对象影像即可作为一个训练影像,而用户分析结果作为该训练影像的标注信息,后续可用于对所述分析模型进行优化训练。在一个实施例中个,所述第二影像集合可以存储在所述服务设备中,当然也可以存储在影像服务器中。请参见图5,是本发明实施例的存储辅助影像的方法流程示意图,在该实施例中,对象影像的辅助影像由影像服务器识别得到,且辅助影像均存储在所述服务设备中。首先,所述服务设备在s501从影像管理设备中获取拍摄对象的对象数据,该对象数据包括采集得到的所述拍摄对象的对象影像;所述服务设备在s502中为所述拍摄对象的对象影像获取对象标识;所述服务设备在s503中将获取的对象标识和所述拍摄对象的对象影像发送给影像服务器;所述服务设备在s504中接收所述影像服务器返回的与所述拍摄对象的对象影像关联的辅助影像,并基于所述对象标识在第二影像数据库中存储所述拍摄对象的辅助影像。所述对象标识可以是在从影像管理设备获取对象数据时,包括在所述对象数据中的对象标识,也就是说,该对象标识可以一个用于表示拍摄对象的标识。或者也可以是在从对象数据中获取到对象影像后,按照标识生成规则生成的一个对象标识,该对象标识可与对象影像、拍摄对象、对应的辅助影像关联。对于从对象数据中获取到的所述拍摄对象的对象影像,后续均以生成的对象标识来唯一标识该对象影像,并且该生成的对象标识会记录到所述拍摄对象的对象数据中,或者建立所述生成的对象标识与所述拍摄对象的对象数据的关联关系,这样不仅可以基于生成的对象标识找到对象影像、辅助影像,还可以在所述服务设备中不会存在患者姓名等内容记录,在一定程度上保证用户隐私安全。所述服务设备在从影像管理设备中获取对象数据时,对于其中的对象影像是按照影像管理设备的采集管理规则来获取的,在本发明实施例中,所述服务设备会获取影像管理设备中采集拍摄对象的对象影像的采集管理规则;再根据所述采集管理规则对采集到的多张对象影像进行分类,并按照分类结果将对象影像划分为多个分类序列存储到第一影像集合中。服务设备可以定时地动态获取影像管理设备采集并存储对象影像的所述采集管理规则,这样一来可以保证每次回去到完整的对象影像,并不需要额外的检测机制来检测对象影像是否采集完毕,节省了研发时间和成本开销,同时,服务设备按照影像管理设备的采集管理规则对获取到的对象影像进行分类并相应存储到第一影像集合中也符合医院、安保等用户的分类习惯,方便后续在需要时向医院用户、安保用户等用户提供对象影像数据。本发明实施例可以根据需要简单快捷地为用户关联显示原始影像和经过智能分析后辅助影像,在一定程度上能够为影像分析用户对待分析影像所作的分析提供辅助,可较大程度地减少医生用户、安保用户等可能产生的误判,提高了用户对影像分析的准确性。再请参见图6,是本发明实施例的另一种影像的关联显示方法的流程示意图,该方法主要应用在用户侧的用户终端上,例如医生的工作台设备、安保用户的监控设备。本发明实施例的所述方法包括如下步骤。s601:接收影像查看操作,将所述影像查看操作所操作的拍摄对象的对象标识作为目标标识;用户终端上通过一个用户界面来接收用户的各种操作,在一个实施例中,用户终端在扫描得到一个拍摄对象的图形码等内容后,即可认为接收到影像查看操作。或者,用户终端如果在用户界面上接收到对影像查看操作按钮的点击操作,则可以认为接收到对当前显示给用户的拍摄对象发起了影像查看操作。s602:生成包括所述目标标识的显示请求,并将显示请求发送给服务设备。s603:接收服务设备返回与所述目标标识关联的目标对象影像,并在用户界面上显示所述目标对象影像。可以在所述用户界面上显示目标对象影像,当然也可以在专用于进行影像显示的显示页面上显示所述目标对象影像。s604:在接收到对所述用户界面上包括的辅助查看标识的用户操作时,生成关于所述目标对象影像的辅助查看请求,并将辅助查看请求发送给所述服务设备;所述用户界面上还可以包括辅助查看按钮,在用户点击该按钮后,即可认为接收到了需要辅助查看的用户操作。s605:接收所述服务设备响应所述辅助查看请求返回的目标辅助影像,并显示所述目标辅助影像。可以通过一个对比显示页面同时显示所述目标对象影像和所述目标辅助影像,当然也可以通过两个显示页面来分别显示所述目标对象影像和所述目标辅助影像,提供切换按钮以便于用户根据需要在显示所述目标对象影像和所述目标辅助影像的页面之间来回切换。本发明实施例进行影像分析的用户可以根据需要便捷地获取并显示显示原始影像和经过智能分析后辅助影像,在一定程度上能够为影像分析用户对待分析影像所作的分析提供辅助,可较大程度地减少误判,在医疗以及安保领域,可以较为有效地避免误诊以及安全漏判的发生,提高了影像分析的准确性。再请参见图7,是本发明实施例的一种影像的关联显示装置的结构示意图,本发明实施例的所述装置可以设置在一个服务器。所述装置包括:通信模块701和处理模块702。所述通信模块701,用于接收用户终端的显示请求,所述显示请求包括待显示对象影像的目标标识;所述处理模块702,用于从第一影像集合中查找与所述目标标识关联的目标对象影像,并向所述用户终端返回所述目标对象影像,以便于所述用户终端显示所述目标对象影像,其中,所述目标对象影像是从影像管理设备获取并存储到所述第一影像集合中的对象影像;若接收到所述用户终端的关于所述目标对象影像的辅助查看请求,则从第二影像集合中查找与所述目标对象影像关联的目标辅助影像,所述目标辅助影像包括:在对所述目标对象影像进行异常识别后生成的用于标记异常图像区域的标记信息;所述通信模块701,还用于向所述用户终端返回所述目标辅助影像。在一个实施例中,所述目标辅助影像是基于分析模型对所述目标对象影像进行异常识别后得到的;所述处理模块702,还用于根据所述目标标识,从分析报告数据库中获取与所述目标对象影像关联的用户分析结果;将所述用户分析结果和所述目标辅助影像作为所述分析模型的训练数据,以便于对所述分析模型进行更新训练。在一个实施例中,所述处理模块702,还用于从影像管理设备中获取拍摄对象的对象数据,该对象数据包括采集得到的所述拍摄对象的对象影像;为所述拍摄对象的对象影像获取对象标识;将获取的对象标识和所述拍摄对象的对象影像发送给影像服务器;接收所述影像服务器返回的与所述述拍摄对象的对象影像关联的辅助影像,并基于所述对象标识在第二影像数据库中存储所述拍摄对象的辅助影像。在一个实施例中,所述为目标对象影像获取对象标识包括:按照标识生成规则为所述对象影像生成的对象标识;所述处理模块702,还用于将该生成的对象标识记录到所述拍摄对象的对象数据中,或者建立所述生成的对象标识与所述拍摄对象的对象数据的关联关系。在一个实施例中,所述处理模块702,还用于获取影像管理设备采集拍摄对象的对象影像的采集管理规则;根据所述采集管理规则对采集到的多张对象影像进行分类,并按照分类结果将对象影像划分为多个分类序列存储到第一影像集合中。本发明实施例的上述各个模块的具体实现可参考前述实施例中相关内容的描述,再次不赘述。本发明实施例可以根据需要简单快捷地为用户关联显示原始影像和经过智能分析后辅助影像,在一定程度上能够为影像分析用户对待分析影像所作的分析提供辅助,可较大程度地减少误判,在医疗以及安保领域,可以较为有效地避免误诊以及安全漏判的发生,提高了影像分析的准确性。再请参见图8,是本发明实施例的另一种影像的管理显示装置的结构示意图,本发明实施例的所述装置可以设置在用户终端上,例如该装置可以设置在医生用户的工作终端、安保用户的监控电脑、个人电脑、笔记本电脑、手机等智能终端中。所述装置包括如下模块。用户模块801,用于接收影像查看操作,将所述影像查看操作所操作的拍摄对象的对象标识作为目标标识;处理模块802,用于生成包括所述目标标识的显示请求,并将显示请求发送给服务设备;接收服务设备返回与所述目标标识关联的目标对象影像,并在用户界面上显示所述目标对象影像;所述用户模块801,还用于接收对所述用户界面上包括的辅助查看标识的用户操作;所述处理模块802,还用于在接收到对所述用户界面上包括的辅助查看标识的用户操作时,生成关于所述目标对象影像的辅助查看请求,并将辅助查看请求发送给所述服务设备;接收所述服务设备响应所述辅助查看请求返回的目标辅助影像,并显示所述目标辅助影像。本发明实施例的上述各个模块的具体实现可参考前述实施例中相关内容的描述,再次不赘述。本发明实施例可以根据需要简单快捷地为用户关联显示原始影像和经过智能分析后辅助影像,在一定程度上能够为影像分析用户对待分析影像所作的分析提供辅助,可较大程度地减少误判,在医疗以及安保领域,可以较为有效地避免误诊以及安全漏判的发生,提高了影像分析的准确性。再请参见图9,是本发明实施例的一种服务设备的结构示意图,本发明实施例的服务设备可以为一个服务器。在一个实施例中,该服务设备可以对应于图1所对应实施例的服务设备。所述服务设备包括存储装置902和处理器901,并且所述服务设备根据实际需要还可以包括用户接口,如图9中所示的网络接口903等结构模块。通过网络接口903,服务设备可以与用户终端或者网络侧服务器进行数据交互。所述存储装置中存储有程序指令,所述处理器调用所述存储装置中的程序指令,用于执行上述图2所对应实施例提及的影像的关联显示方法以及图5等对应实施例的相关方法。另外,所述服务设备还可以通过用户接口实现服务设备与管理用户之间的人机交互。在一个实施例中,所述处理器901,调用所述存储装置902中存储的程序指令,用于接收用户终端的显示请求,所述显示请求包括待显示对象影像的目标标识;从第一影像集合中查找与所述目标标识关联的目标对象影像,并向所述用户终端返回所述目标对象影像,以便于所述用户终端显示所述目标对象影像,其中,所述目标对象影像是从影像管理设备获取并存储到所述第一影像集合中的对象影像;若接收到所述用户终端的关于所述目标对象影像的辅助查看请求,则从第二影像集合中查找与所述目标对象影像关联的目标辅助影像,所述目标辅助影像包括:在对所述目标对象影像进行异常识别后生成的用于标记异常图像区域的标记信息;向所述用户终端返回所述目标辅助影像。在一个实施例,所述目标辅助影像是基于分析模型对所述目标对象影像进行异常识别后得到的;所述处理器901,还用于根据所述目标标识,从分析报告数据库中获取与所述目标对象影像关联的用户分析结果;将所述用户分析结果和所述目标辅助影像作为所述分析模型的训练数据,以便于对所述分析模型进行更新训练。在一个实施例,所述处理器901,还用于从影像管理设备中获取拍摄对象的对象数据,该对象数据包括采集得到的所述拍摄对象的对象影像;为所述拍摄对象的对象影像获取对象标识;将获取的对象标识和所述拍摄对象的对象影像发送给影像服务器;接收所述影像服务器返回的与所述述拍摄对象的对象影像关联的辅助影像,并基于所述对象标识在第二影像数据库中存储所述拍摄对象的辅助影像。在一个实施例中,所述为目标对象影像获取对象标识包括:按照标识生成规则为所述对象影像生成的对象标识;所述处理器901,还用于将该生成的对象标识记录到所述拍摄对象的对象数据中,或者建立所述生成的对象标识与所述拍摄对象的对象数据的关联关系。在一个实施例中,在接收用户终端的显示请求之前,所述处理器901,还用于获取影像管理设备采集拍摄对象的对象影像的采集管理规则;根据所述采集管理规则对采集到的多张对象影像进行分类,并按照分类结果将对象影像划分为多个分类序列存储到第一影像集合中。本发明实施例的上述处理器901的具体实现可参考前述实施例中相关内容的描述,再次不赘述。本发明实施例可以根据需要简单快捷地为用户关联显示原始影像和经过智能分析后辅助影像,在一定程度上能够为影像分析用户对待分析影像所作的分析提供辅助,可较大程度地减少医生用户、安保用户等可能产生的误判,提高了用户对影像分析的准确性。再请参见图10,是本发明实施例的一种用户终端的结构示意图,本发明实施例的用户终端可以为上述提及的医生工作台、安保用户的智能终端等等。所述用户终端包括存储装置和处理器,所述用户终端包括存储装置1002和处理器1001,并且所述用户终端根据实际需要还可以包括如图10中所示的用户接口1003、通信接口1004等结构模块。所述存储装置1002中存储有程序指令,所述处理器1001调用所述存储装置1002中的程序指令,用于执行上述图6所对应实施例提及的影像的关联显示方法。所述用户接口1003可以用于提供用户界面,例如图3所示的用户界面。用户在该用户界面上可以点击相应按钮以发起显示请求,或者发起辅助查看请求,并且在该用户界面上,可以查看服务设备返回的结果,例如图3所示的返回ct影像和ct影像的辅助影像。所述处理器1001,调用所述存储装置1002中的存储指令,用于接收影像查看操作,将所述影像查看操作所操作的拍摄对象的对象标识作为目标标识;生成包括所述目标标识的显示请求,并将显示请求发送给服务设备;接收服务设备返回与所述目标标识关联的目标对象影像,并在用户界面上显示所述目标对象影像;在接收到对所述用户界面上包括的辅助查看标识的用户操作时,生成关于所述目标对象影像的辅助查看请求,并将辅助查看请求发送给所述服务设备;接收所述服务设备响应所述辅助查看请求返回的目标辅助影像,并显示所述目标辅助影像。本发明实施例的上述处理器1001的具体实现可参考前述实施例中相关内容的描述,再次不赘述。本发明实施例可以根据需要简单快捷地为用户关联显示原始影像和经过智能分析后辅助影像,在一定程度上能够为影像分析用户对待分析影像所作的分析提供辅助,可较大程度地减少误判,在医疗以及安保领域,可以较为有效地避免误诊以及安全漏判的发生,提高了影像分析的准确性。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等。以上所揭露的仅为本发明的部分实施例而已,当然不能以此来限定本发明之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本发明权利要求所作的等同变化,仍属于发明所涵盖的范围。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1