目标检测方法及其装置、设备、介质与流程

本申请涉及网络直播，尤其涉及一种目标检测方法及其相应的装置、计算机设备、计算机可读存储介质。

背景技术：

1、在商品导购过程中，主播在直播过程中展示商品，包括商品的外观、功能、特点、优惠信息等，进一步还会介绍商品的价值和推荐理由。观众可以通过弹幕、评论、私信等方式与主播进行实时互动，进一步观众认可和支持主播导购，想要表达出对主播内容和/或主播体验相当的满意，可以选择给主播付费购买特效，从而给视频播放中的主播添置该特效，以进一步增加互动和娱乐的乐趣。

2、传统技术中，通常以主播的人脸作为目标检测对象将其从直播视频流中检测出来，然而难以避免地遇到主播在进行商品导购过程中，主播的人脸被商品遮挡以至于人脸无法检测出来，因此，观众给主播的人脸添置的特效也无法实现，导致无法给予观众应用的付费体验，降低用户粘性。

3、鉴于传统技术的不足，本申请人长期从事相关领域的研究，为解决电商领域业内难题，故另辟蹊径。

技术实现思路

1、本申请的首要目的在于解决上述问题至少之一而提供一种目标检测方法及其相应的装置、计算机设备、计算机可读存储介质。

2、为满足本申请的各个目的，本申请采用如下技术方案：

3、适应本申请的目的之一而提供的一种目标检测方法，包括如下步骤：

4、响应辅助信息添置请求，获取直播视频流中待显示的目标图像帧；

5、采用预设的目标检测模型中的图像特征提取网络提取出目标图像帧中的初步图像特征，经由多尺度特征网络对初步图像特征进行多尺度融合，得到各个尺度对应的特征图，获取最大尺度输出的特征图作为目标特征图；

6、经由所述目标检测模型中的两路检测分支分别根据所述目标特征图，对应确定出所述目标图像帧中的目标检测对象，以及目标检测对象在所述目标图像帧中的位置信息；

7、根据所述目标检测对象的位置信息和所述请求指定的相对位置信息，在所述目标图像帧中添置所述请求所指定的辅助信息。

8、另一方面，适应本申请的目的之一而提供的一种目标检测装置，包括请求响应模块、目标特征模块、目标对象模块以及信息添置模块，其中，请求响应模块，用于响应辅助信息添置请求，获取直播视频流中待显示的目标图像帧；目标特征模块，用于采用预设的目标检测模型中的图像特征提取网络提取出目标图像帧中的初步图像特征，经由多尺度特征网络对初步图像特征进行多尺度融合，得到各个尺度对应的特征图，获取最大尺度输出的特征图作为目标特征图；目标对象模块，用于经由所述目标检测模型中的两路检测分支分别根据所述目标特征图，对应确定出所述目标图像帧中的目标检测对象，以及目标检测对象在所述目标图像帧中的位置信息；信息添置模块，用于根据所述目标检测对象的位置信息和所述请求指定的相对位置信息，在所述目标图像帧中添置所述请求所指定的辅助信息。

9、又一方面，适应本申请的目的之一而提供的一种计算机设备，包括中央处理器和存储器，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的目标检测方法的步骤。

10、又一方面，适应本申请的另一目的而提供的一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述的目标检测方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行该方法所包括的步骤。

11、本申请的技术方案存在多方面优势，包括但不限于如下各方面：

12、本申请通过响应辅助信息添置请求，获取直播视频流中待显示的目标图像帧。采用预设的目标检测模型中的图像特征提取网络提取出目标图像帧中的初步图像特征，经由多尺度特征网络对初步图像特征进行多尺度融合，得到各个尺度对应的特征图，获取最大尺度输出的特征图作为目标特征图，之后，经由两路检测分支分别根据目标特征图，对应确定出目标图像帧中的目标检测对象及其在目标图像帧中的位置信息。根据目标检测对象的位置信息和请求指定的相对位置信息，在目标图像帧中添置所述请求所指定的辅助信息。一方面，目标检测模型确定出的目标特征图的尺寸较大即感受野较大，可以捕捉更广泛的上下文语义信息，确保对显示面积较小的检测对象的检测能力，并且目标特征图进一步融合了各个尺度的特征图，即融合高分辨率的浅层特征与高语义信息的深层特征，从而确保精准地检测出各种大小的显示面积的检测对象。另一方面，能够实时响应辅助信息添置请求，基于精准的目标检测为直播视频流中的目标图像帧添置相应的辅助信息，保障用户体验，增加用户粘性。

技术特征：

1.一种目标检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的目标检测方法，其特征在于，经由所述目标检测模型中的两路检测分支分别根据所述目标特征图，对应确定出所述目标图像帧中的目标检测对象，以及目标检测对象在所述目标图像帧中的位置信息，包括如下步骤：

3.根据权利要求2所述的目标检测方法，其特征在于，根据目标对象框及其类别信息确定出所述目标图像帧中的目标检测对象，包括如下步骤：

4.根据权利要求1所述的目标检测方法，其特征在于，响应辅助信息添置请求之前，包括如下步骤：

5.根据权利要求1所述的目标检测方法，其特征在于，响应辅助信息添置请求之前，包括如下步骤：

6.根据权利要求4所述的目标检测方法，其特征在于，获取预备的第一训练集中的单个训练样本及其监督标签之前，包括如下步骤：

7.根据权利要求5所述的目标检测方法，其特征在于，获取预备的第二训练集之前，包括如下步骤：

8.一种目标检测装置，其特征在于，包括：

9.一种计算机设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。

10.一种计算机可读存储介质，其特征在于，其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。

技术总结
本申请涉及网络直播技术领域中一种目标检测方法及其装置、设备、介质，所述方法包括：响应辅助信息添置请求，获取直播视频流中待显示的目标图像帧；采用预设的目标检测模型中的图像特征提取网络提取出目标图像帧中的初步图像特征，经由多尺度特征网络对初步图像特征进行多尺度融合，得到各个尺度对应的特征图，获取最大尺度输出的特征图作为目标特征图；经由目标检测模型中的两路检测分支分别根据目标特征图，对应确定出目标图像帧中的目标检测对象及其在目标图像帧中的位置信息；根据目标检测对象的位置信息和请求指定的相对位置信息，在目标图像帧中添置所述请求所指定的辅助信息。本申请目标检测精准，可确保准确添置辅助信息。

技术研发人员：张凌云
受保护的技术使用者：广州商研网络科技有限公司
技术研发日：
技术公布日：2024/1/16