一种显示方法及装置与流程

本发明涉及医疗设备技术领域，尤其涉及一种显示方法及装置。

背景技术：

图像拼接(imagemosaic)技术是将一组相互间存在重叠部分的图像序列进行空间匹配对准，经重采样融合后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。图像拼接是数字图像处理领域的一个重要的研究方向，在摄影测量学、计算机视觉、遥感图像处理、医学图像分析、计算机图形学等领域有着广泛的应用价值。

由于大范围的全景医学图像能够更好的帮助医生对病灶及其周围组织进行更全面直观的了解，因此医学图像拼接在医学图像研究中有着广泛的应用。医生在诊断过程中会对诊断图像进行各种显示的切换，以便通过图像进行准确的诊断。图像的相关显示工具为经常使用的操作，使用时需要将鼠标移动到工具箱查找相关显示工具，然后将鼠标移动到文字或图片上，点击鼠标进行操作，如需切换其他工具则需要重复以上的步骤，操作复杂、影响工作使用效率。

技术实现要素：

有鉴于此，本发明提供一种用于全景医学成像的图像切换及查看的显示方法及装置。

具体地，本发明是通过如下技术方案实现的：

一种显示方法，用于全景医学成像的图像切换及查看，包括：

激活需要查阅的图像；

监听用户的操作指令，根据第一操作指令显示与被激活的所述图像关联的工具菜单；

根据对所述工具菜单的第二操作指令切换所述工具菜单中的显示工具；

根据用户选定的显示工具显示所述图像。

进一步地，所述的显示方法还包括：

新建线程用于执行图像变换功能，开启线程交互将监听操作指令与执行图像变换功能分离处理。

进一步地，所述显示与被激活的所述图像关联的工具菜单包括：

将鼠标样式替换为与被激活的所述图像关联的工具菜单，所述工具菜单包括至少两个区域，其中，第一区域显示所述工具菜单中的一个显示工具，第二区域显示所述工具菜单中的其余显示工具。

进一步地，所述第一区域的显示工具为默认或优先级最高的显示工具，所述第二区域的显示工具围绕所述第一区域，并按照优先级顺时针或逆时针排列。

进一步地，所述方法还包括：当第二区域需要显示的显示工具超出第二区域的范围时，将部分显示工具在所述第二区域显示，将其余显示工具隐藏并以指定图标显示。

进一步地，所述根据对所述工具菜单的第二操作指令切换所述工具菜单中的显示工具包括：

根据鼠标的点击频次、和/或滚轮事件、和/或触摸事件切换所述工具菜单中的显示工具。

进一步地，所述根据对所述工具菜单的第二操作指令切换所述工具菜单中的显示工具包括：

当切换至所述显示菜单中的任一显示工具时，所述显示工具以高亮色显示或以3d球体的方式凸出显示；

在切换显示工具过程中，隐藏已切换过的显示工具，显示隐藏且待切换的显示工具。

进一步地，所述显示工具包括：探测显示、三维显示、放大、缩小、旋转和翻转。

进一步地，所述方法还包括：在图像显示界面显示虚拟按钮所述虚拟按钮包括虚拟滚轮。

本发明还提供一种显示装置，用于全景医学成像的图像切换及查看，该装置包括：图像激活模块、处理模块、显示模块；其中，

图像激活模块，用于激活需要查阅的图像；

处理模块，用于监听用户的操作指令，根据第一操作指令显示与被激活的所述图像关联的工具菜单；根据对所述工具菜单的第二操作指令切换所述工具菜单中的显示工具，根据用户选定的显示工具处理所述图像；

显示模块，用于显示处理后的所述图像。

本发明通过将可查看图像的可操作显示工具进行组合，该显示工具的组合便于用户选定，无需每次切换工具都需要到工具箱或工具菜单中调用，减少了选定显示工具的步骤，提高了查看效率。

附图说明

图1是本发明实施例示出的一种显示方法的流程图。

图2是本发明实施例示出的一种显示方法的另一流程图。

图3是本发明实施例示出的一种显示方法的线程交互数据处理流程图。

图4是本发明实施例示出的一种显示方法中显示工具形态图。

图5是本发明实施例示出的一种显示方法中显示工具的另一形态图。

图6是发明一种显示方法具体实施例的详细流程图。

图7是图6中步骤s204的详细流程图。

图8是本发明实施例示出的一种显示装置的模块框图。

图9是本申请提供的一种显示装置的硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，本发明提供一种显示方法，用于全景医学成像的图像切换及查看，包括以下步骤：

步骤s101：激活需要查阅的图像。

在一实施例中，根据用户的鼠标操作指令激活需要查阅的图像。在全景医学成像的图像切换及查看中，多个图像拼接在图像展示页面中，每一个图像在图像展示页面中以图像窗口的形式呈现。即该图像具有以图像窗口为边界的区域范围。在所述图像展示页面中分别监听鼠标事件，根据用户对鼠标的操作激活需要查阅的图像。所述鼠标事件包括但不限于单击、双击、移动、拖动、滚轮、悬停和移动。

步骤s102：监听用户的操作指令，根据第一操作指令显示与被激活的所述图像关联的工具菜单。

所述第一操作指令可理解为对上述步骤中所述图像的鼠标点击操作或触摸点击操作。关联工具菜单与被激活的所述图像，即根据用户的第一操作指令显示工具菜单，所述工具菜单根据所述图像的存储类型显示可用于所述图像存储类型的显示工具，将所述显示工具与所述图像关联用于待选择操作以查阅所述图像，隐藏其他不可用于所述图像的显示工具。例如：当所述图像为照片格式时，所述工具菜单显示可查阅所述图像照片的放大、旋转、翻转等显示工具，将放大、旋转、翻转等显示工具与所述图像关联，隐藏三维显示工具。当所述图像为三维影像时，所述工具菜单显示可查阅所述三维影像的探测显示或三维显示等工具菜单，将所述探测显示或三维显示与所述三维影像关联，隐藏图像的放大、旋转、翻转等显示工具。

操作系统在步骤s101的图像展示页面中任一图像被激活后，继续监听用户的操作指令。例如：操作系统检测到第一操作指令为用户对所述图像的鼠标左键点击操作，在图像被激活状态下操作系统根据该鼠标左键的点击操作显示用于查阅被激活的所述图像的工具菜单。或者操作系统检测到第一操作指令为用户对所述图像的触摸点击操作，在图像被激活状态下操作系统根据该用户触摸点击操作显示用于查阅被激活的所述图像的工具菜单。

在该步骤s102中还包括：根据用户的第一操作指令取消显示所述工具菜单。例如操作系统检测到用户第一操作指令为鼠标左键点击操作，所述鼠标左键点击在所述工具菜单以外的显示区域时取消工具菜单的显示。

步骤s103：根据对所述工具菜单的第二操作指令切换所述工具菜单中的显示工具。

所述第二操作指令用于在所述工具菜单中切换命中显示工具，该第二操作指令包括鼠标的左单/双击、和/或右单/双击、和/或中键单/双击，或其他可切换所述显示工具的操作，例如键盘操作。

用户通过操作系统的操作选择了上述工具菜单中的任一显示工具，操作系统接收到用户切换该显示工具的第二操作指令后，按照操作指令切换所述显示工具。例如操作系统接收操作鼠标滚轮的第二操作指令，操作系统根据该鼠标滚轮的滚动切换工具菜单中的显示工具。

步骤s104：根据用户选定的显示工具显示所述图像；

在一个实施例中，本步骤可以是，根据用户对所述工具菜单的第三操作指令选定的显示工具显示所述图像。例如根据用户选定的是左翻转显示工具，所述图像进行左翻转动作，显示左翻转后的图像。

或：根据用户对所述工具菜单的第三操作指令选定显示工具，根据用户的第四操作指令调用当前选定的显示工具对应的图像变换功能，处理并显示所述图像。

所述第三操作指令用于选定所述工具菜单中的显示工具，该第三操作指令包括鼠标的左单/双击和/或右单/双击、和/或中键单/双击，或其他可选定所述显示工具的操作，例如键盘操作。

所述第四操作指令是指用户通过操作系统对所述图像具体查阅的操作指令，该第四操作指令包括但不限于如放大、缩小、旋转(左旋转、右旋转)、翻转(左翻转、右翻转)、探测显示或三维显示所述图像的操作指令。当然该第四操作指令也可以是取消选定所述显示工具的操作。

当用户切换到需要的显示工具时，操作系统监听用户选择所述显示工具的第三操作指令，接收并根据该第三操作指令选定所述用户切换至的显示工具。例如根据鼠标的中键点击的第三操作指令选定所述显示工具。操作系统在根据用户的第三操作指令选定显示工具后，监听用户利用该显示工具的进一步操作指令。当监听到所述第四操作指令时调用图像查阅的图像变换功能处理所述图像，并显示处理后的图像。例如：当用户通过第三操作指令选择工具菜单中的放大镜工具选项时，工具菜单中其他显示工具收起或隐藏。鼠标变为放大镜图标，根据鼠标左键点击所述图像的第四操作指令，操作系统调用放大镜的算法程序实现相应的图像放大或缩小的显示。

本发明显示方法，通过将可查看图像的可操作显示工具进行组合，该显示工具的组合便于用户选定。无需每次切换工具都需要到工具箱或工具菜单中调用，减少了选定显示工具的步骤，提高了图像查阅效率。

如图2所示，在一实施例中，上述实施例中还包括下述步骤：

步骤s105：新建线程用于执行图像变换功能，开启线程交互将监听操作指令与执行图像变换功能分离处理。

在显示工具选择形态下选定当前选择的显示工具，如默认首选放大镜显示工具选项。新建线程执行图像变换功能的算法程序时，操作系统开启线程交互将监听操作指令(监听操作指令包括但不限于监听鼠标事件、监听调用算法程序事件、键盘操作事件)与调用对应操作指令的图像变换功能的算法程序分离处理。所述鼠标事件包括鼠标的移动、单击、鼠标位置等，所述算法程序包括对图像的放大、缩小、旋转、翻转、探测显示或三维显示所述图像的执行程序。

请参阅图3，以放大镜为例，当操作系统监听到用户对图像的第四操作指令时，即放大或缩小所述图像。操作系统创建一个新的ui线程在放大镜范围内显示被放大的图像，操作系统的主线程监听用户操作的第一操作指令、第二操作指令、第三操作指令、第四操作指令、其他鼠标或键盘操作事件等监听活动。分离处理包括在主线程内监控用户操作指令(点击鼠标左键放大图像)，主线程将监听到的用户操作指令传给新建的ui线程，新建的ui线程进行图像放大的算法，并显示对应用户第四操作指令的结果图像。

其程序运行为：当主线程从工作线程取回结果图像的消息时，通过onmessage(自定义消息)方法执行，当主线程发送操作指令消息到工作线程时，通过postmessage(postmessag是windows应用程序接口(api)中的一个常用函数，用于将一条消息放入到消息队列中)方法执行。当工作线程从主线程操作指令消息时，通过onmessage方法执行，当工作线程发送结果图像消息到主线程时，通过postmessage方法执行。新建ui线程为工作线程，是独立于主线程之外的消息线程，能够独立执行消息动作，完成消息处理，不会占用主线程的资源。充分考虑到多任务在多线程下的应用，充分发挥硬件性能，达到最优的体验效果。

相关技术中由于在一个线程内处理监听操作指令和图像变换功能算法两个程序会产生线程阻塞。例如在一个线程内既要监听用户的第一操作操作指令、第二操作指令、第三操作指令和第四操作指令等，又要在该线程内执行图像的算法程序，使得线程阻塞、显示不平滑。将处理图像的图像变换功能与监听操作指令分离使得单线程操作的阻塞现象消失，达到平滑显示交互的目的。

所要说明的是上述步骤适用于上一实施例中任一步骤或任两个步骤之间，用以达到各步骤平滑显示的目的。

进一步地，所述显示工具包括但不限于：探测显示、三维显示、放大、缩小、旋转和翻转。其中探测显示泛指利用探测成像技术的医疗设备具有的显示功能被嵌入在操作系统中；所述三维显示泛指利用三维成像技术的医疗设备具有的三维显示功能被嵌入在操作系统中。增加探测和三维显示工具，当在医疗图像上时，可以切换为探测工具显示身体部位的内部图像，可以切换为三维工具显示身体部位的3d图像。而其中的放大、缩小、旋转和翻转泛指操作系统中图像查看的缩放功能、左旋转功能、右旋转功能、左翻转功能、右翻转功能等。

在一实施例中，在上述s101中，所述激活需要查阅的图像包括：

当鼠标划入所述图像展示页面中某一图像的区域范围内时，激活该图像；

和/或当鼠标悬停位置在所述图像展示页面中某一图像的区域范围内时，激活该图像。

在确定鼠标的实时坐标、滑动轨迹或鼠标悬停位置时，可利用区域多点划分的方法在显示区域建立坐标系，在坐标系内有多个坐标点，当鼠标经过某一坐标点时即可确定其在显示区域的位置。例如鼠标滑动事件的位置确定，滑动事件s1以p1为起点，滑动方向沿着直线l，直线l由多个坐标点组成，可得知滑动事件s1中鼠标的最终位置p2。以上鼠标事件的位置确定方法不是唯一的，也可以采用其他方法，在此不做限定。所述图像被操作系统激活待进一步操作。该步骤使图像选择更加方便，无需每次切换显示方式操作都要到工具箱或工具菜单中进行一次选择。

即通过监听鼠标的滑动点击事件和/或鼠标的悬停事情来选定图像展示页面中的图像并激活该图像。当然也可以采用其他方式激活所述图像，例如鼠标点击所述图像；如未开启上述监听滑动和悬停事件选定所述图像的功能时，鼠标点击图像可实现图像的激活。

在上述步骤102中所述显示与被激活的所述图像关联的工具菜单包括：

将鼠标样式替换为与被激活的所述图像关联的工具菜单，所述工具菜单包括至少两个区域，其中，第一区域显示所述工具菜单中的一个显示工具，第二区域显示所述工具菜单中的其余显示工具。

在一实施例中，在被激活的所述图像的区域范围附近显示所述工具菜单，所述工具菜单包含的显示工具以被使用频次的高低优先级的方式显示。显示排版的方式可选用列表等形式。选择所述工具菜单的显示工具可对所述图像进行查阅，如放大、缩小、旋转、翻转、探测显示或三维显示所述图像。

即所述第一区域的显示工具为默认或优先级最高的显示工具，所述第二区域的显示工具围绕所述第一区域，并按照优先级顺时针或逆时针排列。当第二区域需要显示的显示工具超出第二区域的范围时，将部分显示工具在所述第二区域显示，将其余显示工具隐藏并以指定图标显示。

如图4所示，在虚线形成的圆形或多边形边界的边框内显示工具菜单的显示工具，也可以是实线形成的圆形或多边形边界的边框内显示工具菜单的显示工具，用于提高显示界面友好性。当然也可以无边框区域显示工具菜单，即无虚线或实线形成的边框。显示工具包括放大镜、左旋转、右旋转、左翻转、右翻转等。其中放大镜为第一优先级的显示工具，优先级可根据显示工具的使用频次划分，或默认设置某个显示工具为第一优先级。由图可知，左旋转、左旋转、右旋转、左翻转、右翻转的显示工具围绕第一优先级的放大镜按照优先级从高到底排列。第一区域位于中心位置用于显示放大镜工具，第二区域用于逆时针显示左旋转、右旋转、左翻转和右翻转，其余显示工具隐藏并以省略号的指定图标显示，省略号表示隐藏的待切换的显示工具，例如探测显示和三维显示等。当然所述工具菜单包含的显示工具也可以选用列表形式予以显示，如图5所示。从上至下依次显示放大镜、左旋转、右旋转、左翻转和右翻转。其中放大镜显示工具凸出于其他显示工具左移表示被选中。

在上述步骤s103中所述根据用户对所述工具菜单的第二操作指令切换所述工具菜单中的显示工具包括：

根据鼠标的点击频次、和/或滚轮事件、和/或触摸事件切换所述工具菜单中的显示工具。

在一实施例中，例如双击鼠标可切换至放大显示工具等，滚动鼠标滚轮可在工具菜单中依次切换显示工具。又例如在一具有触摸环境下，通过触摸屏的点击、滑动等操作切换工具菜单中的显示工具。

在上述步骤s103中根据用户对所述工具菜单的第二操作指令切换所述工具菜单中的显示工具还包括：

当切换至所述显示菜单中的任一显示工具时，所述显示工具以高亮色显示或以3d球体的方式凸出显示。例如当操作系统根据用户的第二操作指令切换至右翻转的显示工具时，该右翻转的显示工具以高亮色区别于其他显示工具。或者当操作系统根据用户的第二操作指令切换至右翻转的显示工具时，该右翻转的显示工具以一个3d球体的方式凸出显示以区别于其他显示工具。

在切换显示工具过程中，隐藏已切换过的显示工具，显示隐藏且待切换的显示工具。例如根据鼠标的滚轮事件滚动切换所述显示工具时，隐藏已切换过的显示工具，显示隐藏待切换的显示工具。例如依次显示了左旋转功能、右旋转功能、左翻转功能、右翻转功能的显示工具，隐藏了探测显示功能和三维显示功能的显示工具。用户通过滚轮的滑动已切换过左旋转功能、右旋转功能，即不选择左旋转功能和右旋转功能，则隐藏左旋转功能和右旋转功能。显示待切换的探测显示功能和三维显示功能的显示工具。

在一个实施例中，在图像显示界面还可以显示虚拟按钮，用于模拟鼠标，所述虚拟按钮包括虚拟滚轮。所述虚拟按钮以虚拟可触摸操作的形态显示，可直接触摸虚拟按钮选定某一显示工具。滚动所述虚拟按钮的虚拟滚轮用于切换所述显示工具，通过触摸虚拟滚轮操作选定显示工具。

如图6所示，下面以医疗阅片服务场景中的胸片为例对本发明作进一步地说明。本发明的显示方法应用于胸片放大阅片，包括以下步骤：

步骤s201：监听在图像展示页面中的第一操作指令，根据用户的第一操作指令显示工具菜单。

确定鼠标选择本发明显示方法的程序启动(本实施例简称为魔镜功能)，监听作为第一操作指令的鼠标事件，根据用户的第一操作指令使鼠标变成魔镜形式，魔镜形式显示可参阅图4。工具菜单包括但不限于放大镜功能、左翻转功能、右翻转功能、左旋转功能和右旋转功能。时刻监听鼠标的单击、双击、移动、拖动，滚轮等操作。当发现用户点击了鼠标左键以后，打开工具菜单。

步骤s202：根据用户的第二操作指令切换工具菜单的显示工具，同时隐藏其他显示工具。

具体的，根据鼠标滑轮动作切换工具菜单的显示工具，同时隐藏已切换过的其他显示工具。

步骤s203：根据用户的第三操作指令选定显示工具。

具体的，操作系统检测到用户的鼠标点击，选定当前切换到的显示工具。

步骤s204：根据用户的第四操作指令调用当前选定的显示工具对应的图像变换功能。

例如，用户选定了放大镜，此时用户可以滑动鼠标，在检测到用户在胸片图像上点击了鼠标左键或用户通过滑动鼠标在胸片图像上画定了显示目标后，则请求相应的算法，将所述胸片图像或所述显示目标进行放大。

如图7所示，步骤s204中图像变换功能选择的步骤包括：

s2041：开始；

s2042：监听鼠标事件；

s2043：判断是否选择了图像功能；若是则执行步骤s2044，若否则执行步骤s2046；即判断选择显示工具，显示工具包括左旋转功能、右旋转功能、左翻转功能、右翻转功能等。

s2044：执行对应图像操作功能；即执行图像变换功能，s2045结束。

s2046：弹出图像操作列表；即弹出图像变换功能的图像查看功能列表；

s2047：选择图像操作功能，即选择图像变换功能，返回步骤s2042。

步骤s205：根据调用的图像变换功能对胸片图像进行显示。

例如，请求放大镜的图像变换功能对所述胸片进行相应的图像放大运算，对图像按照规则进行等比无损放大，将放大的图像传输到展示区，供展示使用。本步骤中，可以在新的线程里调用后台的算法进行图像的放大显示计算，将计算的结果生成放大以后的图像，并且将图像返回给请求的胸片图像，在胸片图像相应的位置显示放大的效果。

本发明将显示工具整合，通过鼠标操作事件选定图像，并将显示工具与所述选定图像关联，通过鼠标滚轮或点击频次来选择显示功能，提高了查阅效率。

如图8所示，本发明对应上述显示方法提供一种显示装置1，用于全景医学成像的图像切换及查看，包括：图像激活模块、处理模块、显示模块；其中，

图像激活模块10，用于激活需要查阅的图像；

处理模块20，用于监听用户的操作指令，根据第一操作指令显示与被激活的所述图像关联的工具菜单；根据对所述工具菜单的第二操作指令切换所述工具菜单中的显示工具，根据用户选定的显示工具处理所述图像；

显示模块30，用于显示处理后的所述图像。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本发明的显示方法及装置，将常用显示工具进行组合，改变每次切换显示方式操作都要到工具箱进行一次选择的方式。通过鼠标滚轮或者点击频次来快速切换显示方式操作，提高查阅效率。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

根据应用的场景不同，所述装置有可能是通过软件实现的业务逻辑，也可能是硬件或者软硬件结合的设备。下面以软件实现为例介绍本申请装置。软件作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。如图9所示，为一个例子中，本申请软件装置所在的显示装置的硬件结构图。所述显示装置设备除了包括有处理器、内存、io接口、网络接口、内部总线、以及非易失性存储器之外，可能还包括其他硬件，对此不再赘述。内存和非易失性存储器存储有与显示逻辑对应的机器可执行指令。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：rom/ram、磁碟、光盘等。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。