一种基于显微手术成像系统的术区自动测光方法及装置与流程

本发明实施例涉及图像处理领域，具体涉及一种基于显微手术成像系统的术区自动测光方法及装置。

背景技术：

手术显微成像系统已经开始逐步推广应用与多个临床外科科室，如脑科、眼科、耳鼻喉科等等。手术显微成像系统是在数字监视器中实时将显微镜中的手术画面采集显示，可以将主刀医生从手术中长期的强迫体位中解放出来。然而将手术画面直接采集显示，需要考虑到成像质量，这样可以为医生提供更加清晰及容易辨认的解剖结构。

现有视频成像系统在显微手术成像系统中使用的方法主要有中心测光或者四周点测光，这些方法虽然可以有效的降低大部分过曝的情况，但是因为检测区域不一定是主刀医生所关注的区域，也会因为术区的复杂环境以及灯光等各种原因，导致主导医生所关注的术区成像存在过曝的现象，这将严重影响显微成像画面的呈现，影响术区解剖结构的观察。

技术实现要素：

本发明实施例的目的在于提供一种基于显微手术成像系统的术区自动测光方法及装置，用以解决现有术区成像存在过曝的现象影响成像质量的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种基于显微手术成像系统的术区自动测光方法，所述方法包括：构建显微图像数据集并进行标注；构建深度卷积神经网络模型，并利用显微图像数据集对所述深度卷积神经网络模型进行训练和测试，得到分层掩膜神经网络模型；利用所述分层掩膜神经网络模型对实时显微图像进行检测，得到术区掩膜；根据所述术区掩膜得到测光值。

进一步地，对所述显微图像数据集进行标注，具体包括：对显微图像进行降采样操作，获取图像的分层掩膜和显微成像画面中的手术器械前端坐标，并进行标注。

进一步地，得到所述分层掩膜神经网络模型，具体包括：利用显微图像数据集的训练集和测试集对所述深度卷积神经网络模型进行训练和测试，直至分层掩膜的重叠率达到预设值，获取准确的网络参数，得到分层掩膜神经网络模型。

进一步地，所述分层掩膜神经网络模型包括图像输入层、特征提取层、分层掩膜获取层、术区坐标获取层和输出层。

进一步地，通过所述分层掩膜神经网络模型得到术区掩膜的方法具体包括：通过图像输入层对实时显微图像进行降采样，得到降采样后的手术显微图像；通过特征提取层对降采样后的手术显微图像进行特征提取；通过分层掩膜获取层获取实时图像的分层掩膜；通过术区坐标获取层获取手术器械前端坐标；根据手术器械前端坐标对分层掩膜进行分区，再进行上采样，得到术区掩膜；通过输出层输出术区掩膜。

进一步地，所述方法还包括：将术区掩膜应用到显微镜下的图像中，获取掩膜区域亮度值；对掩膜区域的亮度值求取均值，得到术区的测光值。

第二方面，本发明实施例还提供一种基于显微手术成像系统的术区自动测光装置，所述装置包括：数据采集单元，用于存储显微图像数据集；执行单元，用于构建深度卷积神经网络模型，并在训练和测试后形成分层掩膜神经网络模型，利用所述分层掩膜神经网络模型得到术区掩膜；测光单元，用于根据术区掩膜得到测光值。

进一步地，所述执行单元还用于对实时显微图像进行降采样，得到降采样后的手术显微图像，对降采样后的手术显微图像进行特征提取，并获取实时图像的分层掩膜和手术器械前端坐标，且根据手术器械前端坐标对分层掩膜进行分区，再进行上采样。

本发明实施例提供的技术方案至少具有如下优点：

本发明采用分层掩膜神经网络模型得到术区掩膜，通过术区掩膜得到测光值，从而实现术区自动测光，显微手术成像系统根据该测光值进行自动调整，避免术区图像出现过曝现象。

附图说明

图1为本发明实施例提供的一种基于显微手术成像系统的术区自动测光方法步骤图。

图2为本发明实施例提供的一种基于显微手术成像系统的术区自动测光装置结构示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明实施例提供一种基于显微手术成像系统的术区自动测光方法，参考考图1，该方法包括：

步骤s1：构建显微图像数据集并进行标注；

具体地，依据手术类别，从显微手术成像系统中获取历史图像数据，组成显微图像数据集d，优选的数据集的数量大小不低于5000张，该数据集d包括训练集dtrain和测试集dtest。为了具有更好的训练效果，需要先对显微图像id进行降采样操作，获得降采样后的图像i′d，降采样后的图像大小优选为832×512；

然后使用如labelme之类的标注工具，根据手术区域的轮廓以及深度信息将手术区域的分层信息画出，获取降采样后图像i′d的分层掩膜m′d；同时利用标注工具将显微成像画面中手术器械前端执行部分圈出，获取其位置区域坐标信息l′d；结合上述获得的m′d和l′d信息，得到术区关注区域的掩膜md。

步骤s2：构建深度卷积神经网络模型，并利用显微图像数据集对深度卷积神经网络模型进行训练和测试，得到分层掩膜神经网络模型；

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。本实施例的卷积神经网络模型包括图像输入层、特征提取层、分层掩膜获取层、术区坐标获取层和输出层，在利用数据集d对其进行训练和学习后，使其具有快速识别术区掩膜的能力，即下文所述的分层掩膜神经网络模型。

利用显微图像数据集的训练集dtrain和测试集dtest对深度卷积神经网络模型进行训练和测试，调节超参数，直至分层掩膜的重叠率达到预设值，获取准确的网络参数，得到分层掩膜神经网络模型。预设值优选地为85％。

步骤s3：利用分层掩膜神经网络模型对实时显微图像进行检测，得到术区掩膜；

具体地，通过图像输入层对实时显微图像i进行降采样，得到降采样后的手术显微图像i′；

在特征提取层引入vgg16网络结构的前半部分卷积池化层进行特征提取，实现对降采样后的手术显微图像进行特征提取；

将特征提取层得到的卷积结果分为两部分，一部分用于通过分层掩膜获取层获取实时图像i′的分层掩膜m′，具体地引入u-net网络的后半部分，进行上采样，直至跟图像i′的大小一致，输出图像i′的分层掩膜m′；

另一部分用于通过术区坐标获取层获取显微成像图像中手术器械前端执行部分的位置区域坐标，即手术器械前端坐标l′，具体地，引入yolo3，从vgg16网络中的后三层提取特征进行检测，获取手术器械前端坐标l′。需要说明的是，因为手术器械前端是手术的操作区，医生会关注此区域，因此获取的是手术器械前端坐标，以此获取术区关注区域的掩膜m′l。

根据位置区域坐标l′以及分层掩膜m′，将非位置区域坐标所在的分层掩膜置0变成背景分区，则剩下的位置区域坐标所在的分层掩膜区域为术区关注区域的掩膜m′l；

将术区关注区域的掩膜m′l上采样至跟图像i相同的大小，获得术区掩膜m。

最后，通过输出层输出术区掩膜m。

步骤s4：根据术区掩膜得到测光值。

将术区掩膜m应用到显微镜下的图像中，获取掩膜区域亮度值；

对掩膜区域的亮度值求取均值，该均值即为术区的测光值。

本实施例采用分层掩膜神经网络模型得到术区掩膜，通过术区掩膜得到测光值，从而实现术区自动测光，显微手术成像系统根据该测光值进行自动调整，避免术区图像出现过曝现象。

与上述实施例对应的，本发明实施例还提供一种基于显微手术成像系统的术区自动测光装置，参考图2，该装置包括：

数据采集单元01，用于存储显微图像数据集；

执行单元02，用于构建深度卷积神经网络模型，并在训练和测试后形成分层掩膜神经网络模型，利用所述分层掩膜神经网络模型得到术区掩膜；

测光单元03，用于根据术区掩膜得到测光值。

上述执行单元02还用于对实时显微图像进行降采样，得到降采样后的手术显微图像，对降采样后的手术显微图像进行特征提取，并获取实时图像的分层掩膜和手术器械前端坐标，且根据手术器械前端坐标对分层掩膜进行分区，并根据位置区域坐标l′以及分层掩膜m′，将非位置区域坐标所在的分层掩膜置0变成背景分区，则剩下的位置区域坐标所在的分层掩膜区域为术区关注区域的掩膜m′l；将术区关注区域的掩膜m′l上采样至跟图像i相同的大小，获得术区掩膜m，最后，通过输出层输出。

本实施例采用分层掩膜神经网络模型得到术区掩膜，通过术区掩膜得到测光值，从而实现术区自动测光，显微手术成像系统根据该测光值进行自动调整，避免术区图像出现过曝现象。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。