一种透明容器内固体析出监测方法、装置、介质及设备与流程

本发明涉及机器视觉，尤其涉及一种透明容器内固体析出监测方法、装置、介质及设备。

背景技术：

1、结晶过程监测涉及液固非均相体系，需同时监测溶液浓度变化和获取晶体固相信息实现。由于体系复杂度高，传统分析技术和监测策略难以实现实时效果。过程分析技术(process analytical technologies，pat)是一种设计、分析和控制生产的系统，该系统通过实时测量原材料、生产中的物料，及工艺流程中的关键质量和性能属性，从而保证最终产品的质量。pat技术可实时测量体系中各种参数变化，可实现过程开发、优化、设计、分析和调控，故广泛应用于工业生产和过程监测中，从而有助于了解结晶过程机理，指导过程开发、优化、设计和放大。

2、结晶过程在线监控pat技术主要包括以下三类：

3、通过测定溶液浓度监控结晶过程，采用衰减全反射模式光谱仪和电导率仪。由于电导率受细小颗粒和晶垢影响，不适用于有机溶液体系。

4、直接提供固相信息(晶型、颗粒尺寸以及形貌分布等)的技术，常用的包括拉曼光谱(raman spectra，rs)、现代近红外光谱技术(near infrared，nir)、聚焦光束反射测量技术(focused beam reflectance measurement，fbrm)和x射线衍射技术(x-raydiffraction，xrd)等技术。晶体形貌原位成像监测技术主要采用颗粒录影显微镜(particle video microscope，pvm)和热台偏光显微镜(hspm)等，具有便捷高效的优点，但需要特制大型分析仪器，成本高，应用场景有限。

5、基于视觉的结晶过程监测。由于晶体形貌差异较大、结晶前期晶核较小，结晶监测多采用显微镜技术物理放大晶核图像，然后采用深度学习技术进行目标检测与图像分割，但需要硬件获得显微图像，不具备实时识别能力。

6、因此，如何对结晶进行实时准确监测，是本技术方案所要解决的关键问题。

技术实现思路

1、为了解决背景技术中提到的至少一个技术问题，本发明的目的在于提供一种透明容器内固体析出监测方法、装置、介质及设备，可以实现透明容器内固体析出的准确监测。

2、为实现上述目的，本发明提供如下技术方案：

3、第一方面，本发明实施例提供了一种透明容器内固体析出监测方法，包括：

4、s101，获取包含透明容器的第一视频帧，所述透明容器中含有溶液；

5、s102，从所述第一视频帧中提取所述透明容器所在区域的roi灰度图像；

6、s103，将所述roi灰度图像输入到目标检测模型中，检测是否含有疑似晶体；

7、s104，若含有疑似晶体，从所述roi灰度图像中提取疑似结晶区域图像，所述疑似结晶区域图像中包含了所有疑似晶体；若不含疑似晶体，则输出检测结果为所述透明容器内没有固体析出；

8、s105，将所述疑似结晶区域图像转换为高分辨率图像；

9、s106，在所述高分辨率图像中，基于所述疑似晶体的边缘确定目标图像，每个所述目标图像包含至少一个所述疑似晶体；

10、s107，将所有所述目标图像的分辨率还原为所述roi灰度图像的分辨率，并对还原后的目标图像进行二值化处理，得到晶体位置掩膜；

11、s108，判断所述疑似结晶区域图像所在的区域和所述晶体位置掩膜所在的区域的交并比是否大于第一预设阈值；

12、若大于所述第一预设阈值，则输出检测结果为所述透明容器内有固体析出；

13、若不大于所述第一预设阈值，则输出检测结果为所述透明容器内没有固体析出。

14、进一步的，所述s102包括：

15、将所述第一视频帧调整为预设格式并缩放至预设尺寸，得到三维rgb彩色图像；

16、将所述三维rgb彩色图像输入到目标检测模型中，得到透明容器所在区域的区域彩色图像；

17、将所述区域彩色图像转换为区域灰度图像；

18、对所述区域灰度图像进行滤波，得到roi灰度图像。

19、进一步的，所述s104包括：

20、将所述roi灰度图像输入sobel滤波器进行滤波处理，得到第一梯度图像；

21、基于非极大值抑制算法对所述第一梯度图像进行边缘处理，得到第一边缘处理图像；

22、判断所述第一边缘处理图像中弱边缘点的邻域内是否存在强边缘点，若存在则将所述弱边缘点设置为强边缘点；其中，所述强边缘点为梯度强度大于第二预设阈值的像素点，所述弱边缘点为梯度强度小于等于所述第二预设阈值且大于等于第三预设阈值的像素点；所述强边缘点的连通区域为疑似结晶区域图像。

23、进一步的，所述s105包括：

24、采用多个不同尺度的卷积核对所述疑似结晶区域图像进行卷积操作，得到多个不同尺度的图像特征；

25、融合所述多个不同尺度的图像特征，得到融合图像；

26、通过上采样操作将所述融合图像进行放大，直到所述融合图像中的所述疑似晶体的尺寸在第一范围内，得到高分辨率图像，其中，所述第一范围为200nm～300nm。

27、进一步的，所述s106包括：

28、将所述高分辨率图像输入sobel滤波器，进行滤波处理，得到第二梯度图像；

29、基于非极大值抑制算法对所述第二梯度图像进行边缘处理，得到第二边缘处理图像；

30、判断所述第二边缘处理图像中弱边缘点的邻域内是否存在强边缘点，若存在则将所述弱边缘点设置为强边缘点；其中，所述强边缘点为梯度强度大于第四预设阈值的像素点，所述弱边缘点为梯度强度小于等于所述第四预设阈值且大于等于第五预设阈值的像素点；所述强边缘点的连通区域为结晶大致区域图像；

31、对所述结晶大致区域图像进行闭操作后输入目标检测模型，得到若干个目标图像。

32、进一步的，所述s107包括：

33、通过下采样操作将所有所述目标图像的分辨率还原为所述roi灰度图像的分辨率；

34、对还原后的目标图像进行二值化处理，将所述目标图像中位于第一区域的像素点的像素值设置为1，位于第二区域的像素点的像素值设置为0，得到与所述第一区域对应的晶体位置掩膜；其中，所述第一区域对应所述疑似晶体所在的区域，第二区域对应除所述疑似晶体以外的区域。

35、进一步的，所述s108中，若大于所述第一预设阈值，还包括：

36、将所述晶体位置掩膜减去所述疑似结晶区域图像，得到晶体分割图像；

37、对所述晶体分割图像进行边缘处理；

38、对边缘处理后的晶体分割图像进行测地膨胀，得到晶体掩膜图像并将得到的所述晶体掩膜图像输出。

39、进一步的，所述目标检测模型为mask r-cnn。

40、第二方面，本发明实施例提供了一种透明容器内固体析出监测装置，包括：

41、获取单元，用于获取包含透明容器的第一视频帧，所述透明容器中含有溶液；

42、第一提取单元，用于从所述第一视频帧中提取所述透明容器所在区域的roi灰度图像；

43、检测单元，用于将所述roi灰度图像输入到目标检测模型中，检测是否含有疑似晶体；

44、第二提取单元，用于若含有疑似晶体，从所述roi灰度图像中提取疑似结晶区域图像，所述疑似结晶区域图像中包含了所有疑似晶体；若不含疑似晶体，则输出检测结果为所述透明容器内没有固体析出；

45、转换单元，用于将所述疑似结晶区域图像转换为高分辨率图像；

46、确定单元，用于在所述高分辨率图像中基于所述疑似晶体的边缘确定目标图像，每个所述目标图像包含至少一个所述疑似晶体；

47、还原单元，用于将所有所述目标图像的分辨率还原为所述roi灰度图像的分辨率，并对还原后的目标图像进行二值化处理，得到晶体位置掩膜；

48、输出单元，用于判断所述结晶区域图像所在的区域和所述晶体位置掩膜所在的区域的交并比是否大于第一预设阈值；若大于第一预设阈值时，输出检测结果为所述透明容器内有固体析出；若不大于第一预设阈值时，输出检测结果为所述透明容器内没有固体析出。

49、第三方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的任一透明容器内固体析出监测方法。

50、第四方面，本发明实施例还提供了一种终端设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的任一透明容器内固体析出监测方法。

51、与现有技术相比，本发明的有益效果是：

52、利用mask r-cnn检测透明容器中是否包含疑似晶体，并提取出疑似结晶区域图像，剔除不必要的图像信息，只针对疑似结晶区域图像进行高倍率增强，可以降低网络计算量，大幅提高监测效率；

53、通过增强疑似结晶区域的分辨率，更能准确地识别出疑似晶体，实现了透明反应器内固体析出的准确监测；

54、通过mask r-cnn网络进行目标图像的识别与分割，并对目标图像进行二值化处理得到晶体位置掩膜，与疑似结晶区域图像进行交并比计算，从而判断是否有固体析出，大幅提高了模型处理速度；

55、适用于有机溶液体系，无需大型仪器，无需存储显微图像，本技术方案可以对视频流中的每一帧进行快速监测，具有实时识别的能力。