基于视觉提示的目标检测方法、装置、设备及存储介质与流程

本技术涉及计算机视觉，特别涉及一种基于视觉提示的目标检测方法、装置、设备及存储介质。

背景技术：

1、随着图像处理技术的发展，基于计算机视觉的检测算法已经成为一个热门的研究方向，同时目标检测算法在工业制造等领域得到了广泛的应用。例如，对于十字路口、农田以及工厂等存在密集人群或者密集产品的场景，往往需要对目标对象进行目标检测以及目标检测，从而指导实施针对于公共安全及生产管理的相关措施。

2、现有的目标检测方法主要是基于训练得到的目标检测模型实现的，即，利用封闭数据集对深度学习模型进行训练得到经过训练的目标检测模型，然后通过目标检测模型来对图像进行处理以得到目标检测。但是，这种方法仅能对目标检测模型中预定义类别的目标检测，而对于目标检测模型中预定义类别外的目标无法进行检测，这就限制了检测方法的适用场景，使得该检测方法存在适应性问题。同时，如果需要对目标检测模型中预定义类别外的目标进行检测时，就需要重新收集训练数据和对模型进行重新训练，这就需要重新花费时间和人力，增加了目标检测的检测成本。

3、因而现有技术还有待改进和提高。

技术实现思路

1、本技术要解决的技术问题在于，针对现有技术的不足，提供一种基于视觉提示的目标检测方法、装置、设备及存储介质。

2、为了解决上述技术问题，本技术实施例第一方面提供了一种基于视觉提示的目标检测方法，其中，所述方法包括：

3、选取至少一张视觉提示图像；

4、基于所述视觉提示图像获取视觉提示信息，其中，所述视觉提示信息包括所述视觉提示图像中的至少一个待检目标的提示信息；

5、基于所述视觉提示图像和所述视觉提示信息显示待检测图像中符合所述待检目标的目标检测结果。

6、所述的基于视觉提示的目标检测方法，其中，所述提示信息包括待检目标的提示位置信息，或者待检目标的提示位置信息和提示类别，其中，所述提示类别包括正例类别或负例类别，所述正例类别表示待检目标包含于目标检测结果内，所述负例类别表示待检目标不包含于目标检测结果内。

7、所述的基于视觉提示的目标检测方法，其中，所述目标检测结果包括待检测图像中至少一个符合所述待检目标的检测目标、各所述检测目标的检测位置信息，并且当提示信息包括提示类别时，所述目标检测结果包括各所述检测目标的检测位置信息和/或各所述检测目标的提示类别。

8、所述的基于视觉提示的目标检测方法，其中，所述目标检测结果包括所述检测目标的置信度、显示阈值和所有所述检测目标的计数结果中的一种或者多种。

9、所述的基于视觉提示的目标检测方法，其中，当所述目标检测结果包括各所述检测目标的置信度和显示阈值时，所述显示所述待检图像对应的目标检测结果之后，所述方法还包括：

10、修改所述显示阈值，并基于修改后的显示阈值调整所述目标检测结果。

11、所述的基于视觉提示的目标检测方法，其中，所述检测位置信息的展示模式包括检测框、检测点和检测分割的一种或多种。

12、所述的基于视觉提示的目标检测方法，其中，所述显示所述待检测图像对应的目标检测结果之后，所述方法还包括：

13、接收所述视觉提示信息对应的调整操作；

14、基于所述调整操作对所述视觉提示信息进行调整；

15、将所述调整后的视觉提示信息作为视觉提示信息，重新执行基于所述视觉提示图像和所述视觉提示信息显示待检测图像中符合所述待检目标的目标检测结果的步骤。

16、所述的基于视觉提示的目标检测方法，其中，所调整操作包括添加操作、删除操作和修改操作中的一种或者多种，其中，所述添加操作用于向所述视觉提示信息添加提示信息，所述删除操作用于删减所述视觉提示信息中的提示信息；所述修改操作用于修改所述视觉提示信息中的提示信息。

17、所述的基于视觉提示的目标检测方法，其中，所述选取至少一张视觉提示图像具体包括：

18、接收用户输入的图像选取操作，其中，所述图像选取操作包括的拖拽操作和/或选取操作；

19、读取所述图像选取操作所选取的图像，以得到至少一张视觉提示图像。

20、所述的基于视觉提示的目标检测方法，其中，所述基于所述视觉提示图像获取视觉提示信息具体包括：

21、接收用户输入的提示信息选取操作，其中，所述提示信息选取操作包括在所述视觉提示图像上执行的标注操作和/或提示文本输入操作；

22、基于所述提示信息选取操作在所述视觉提示图像中选取待检目标，并获取选取到的待检目标的提示信息。

23、所述的基于视觉提示的目标检测方法，其中，所述目标检测结果的确定过程具体包括：

24、提取所述视觉提示图像的第一特征图和所述待检图像的第二特征图；

25、基于所述第一特征图和所述视觉提示信息确定视觉提示特征；

26、基于所述视觉提示特征和所述第二特征图，确定所述待检图像中符合所述待检目标的目标检测结果。

27、所述的基于视觉提示的目标检测方法，其中，所述第一特征图和所述第二特征图均通过图像编码器提取得到的，所述图像编码器提取特征图的过程具体包括：

28、将目标图像输入预设的图像编码器中的骨干网络，通过所述骨干网络提取所述目标图像对应的视觉特征图；

29、将所述视觉特征图输入所述图像编码器中的特征编码器，输出目标特征图，其中，所述特征编码器包括若干级联的transformer编码器，所述transformer编码器包括多头自注意力层和前馈神经网络层。

30、所述的基于视觉提示的目标检测方法，其中，所述基于所述第一特征图和所述视觉提示信息确定视觉提示特征具体包括：

31、将所述视觉提示信息输入预设的视觉提示编码器中的线性投影层，通过所述线性投影层得到所述视觉提示信息对应的位置编码；

32、将所述位置编码和所述第一特征图输入所述视觉提示编码器中的特征提取模块，通过所述特征提取模块确定视觉提示特征，其中，所述特征提取模块将所述位置编码作为查询向量、值向量和键向量，通过自注意力机制在所述第一特征图上执行特征提取，以得到视觉提示特征。

33、所述的基于视觉提示的目标检测方法，其中，基于所述视觉提示特征和所述第二特征图，确定所述待检图像中符合所述待检目标的目标检测结果具体包括：

34、将所述视觉提示特征和所述第二特征图输入预设的目标解码器，通过所述目标解码器确定所述待检图像中符合所述待检目标的目标检测结果，其中，所述目标解码器包括transformer解码器。

35、本技术实施例第二方面提供了一种基于视觉提示的交互目标检测装置，所述基于视觉提示的交互目标检测装置包括：

36、选取模块，用于选取至少一张视觉提示图像；

37、获取模块，用于基于所述视觉提示图像获取视觉提示信息，其中，所述视觉提示信息包括所述视觉提示图像中的至少一个待检目标的提示信息；

38、显示模块，用于基于所述视觉提示图像和所述视觉提示信息显示待检测图像中符合所述待检目标的目标检测结果。

39、本技术实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的基于视觉提示的目标检测方法中的步骤。

40、本技术实施例第四方面提供了一种终端设备，其包括：处理器和存储器；

41、所述存储器上存储有可被所述处理器执行的计算机可读程序；

42、所述处理器执行所述计算机可读程序时实现如上任一所述的基于视觉提示的目标检测方法中的步骤。

43、有益效果：与现有技术相比，本技术提供了一种基于视觉提示的目标检测方法、装置、设备及存储介质，方法包括获取选取至少一张视觉提示图像；基于所述视觉提示图像获取视觉提示信息，其中，所述视觉提示信息包括所述视觉提示图像中的至少一个待检目标的提示信息；基于所述视觉提示图像和所述视觉提示信息显示待检测图像中符合所述待检目标的目标检测结果。本技术实施例通过在视觉提示图像中获取视觉提示信息，然后将视觉提示图像和视觉提示信息作为视觉提示，根据视觉提示在待检测图像中检测符合待检测目标的检测目标，这样可以对于任何目标进行检测，无需依赖预定义类别，提高了检测方法的适用范围，并且避免了重复训练所需要的人力和时间成本，降低了目标检测的检测成本；同时，本技术根据显示所述待检测图像对应的目标检测结果之后，接收所述视觉提示信息对应的调整操作，基于所述调整操作对所述视觉提示信息进行调整，将所述调整后的视觉提示信息作为视觉提示信息，重新执行基于所述视觉提示图像和所述视觉提示信息显示待检测图像中符合所述待检目标的目标检测结果的步骤，可以根据视觉反馈对目标检测结果进行调整，从而提高检测结果的准确性和可信度。