通用在线AI流式处理方法、装置、设备和介质与流程

本技术涉及图像处理领域，尤其涉及一种通用在线ai流式处理方法、装置、设备和介质。

背景技术：

1、智能图像处理是人工智能(artificial intelligence，ai)的一个非常重要和热门的方向，例如人脸识别、图像分类、对象检测等等。

2、目前大部分面向图像处理的ai模型都是对单一幅图像进行处理，以人脸识别为例：输入一幅带有人脸的图像，调用预训练好的人脸识别ai模型对这张图像进行推理，根据推理结果在原图像上框出检测出的人脸并标注识别出的人员信息，得到该图像对应的ai预测结果；但此方法属于面向单幅图像的ai处理方式，无法对视频流进行处理，而即便是有部分方法可以对视频流进行处理，也只能面对特定场景和特定用户。

3、因此，亟待提出适用于广大互联网用户的面向视频流的ai流式处理方法。

技术实现思路

1、本技术提供一种通用在线ai流式处理方法、装置、设备和介质，用以解决现有技术无法让任意用户进行视频流的在线ai处理的问题。

2、第一方面，本技术提供一种通用在线ai流式处理方法，包括：

3、根据用户端发送的视频预测请求，在ai服务器的视频ai缓冲区中查询缓存结果，其中，所述视频预测请求中包括url地址，不同url地址指向不同媒体服务器；

4、若没有在所述视频ai缓冲区中查询到所述url地址对应的缓存结果，则通过所述ai服务器的视频ai处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示；

5、若确认收到所述用户端发送的播放指示，则通过所述视频ai处理线程向所述url地址指向的媒体服务器获取视频图像，并将所述视频图像的ai预测结果作为所述url地址对应的缓存结果发送至所述视频ai缓冲区，其中，所述ai预测结果是由所述ai服务器的图像预测线程预测产生的；

6、根据将所述ai预测结果发送至所述视频ai缓冲区后的第二当前时间和所述第一当前时间的时间差，确认跳帧结果，并根据所述跳帧结果重新确认是否收到所述用户端发送的播放指示，其中，所述跳帧结果包括指示跳帧和指示不跳帧。

7、在一种可能的实现方式中，所述通过所述ai服务器的视频ai处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示，包括：

8、通过所述ai服务器的视频ai处理线程获取第一当前时间，以及获取所述用户端向所述url地址指向的媒体服务器最后一次发送播放指示的第一时间；

9、若所述第一当前时间和所述第一时间的第一差值小于等于所述预设时间阈值，则确认所述第一当前时间的预设时间阈值内，收到所述用户端发送的播放指示；

10、若所述第一当前时间和所述第一时间的第一差值大于所述预设时间阈值，则确认所述第一当前时间的预设时间阈值内，未收到所述用户端发送的播放指示。

11、在一种可能的实现方式中，所述将所述视频图像的ai预测结果作为所述url地址对应的缓存结果发送至所述视频ai缓冲区之前，所述方法还包括：

12、根据所述视频图像，通过所述视频ai处理线程调取所述图像预测线程，并通过所述图像预测线程将所述视频图像预测出所述ai预测结果后，将所述ai预测结果反馈至所述视频ai处理线程。

13、在一种可能的实现方式中，所述根据将所述ai预测结果发送至所述视频ai缓冲区后的第二当前时间和所述第一当前时间的时间差，确认跳帧结果，包括：

14、通过所述ai服务器的视频ai处理线程获取所述ai预测结果发送至所述视频ai缓冲区后的第二当前时间，并获取所述第二当前时间和所述第一当前时间的第二差值；

15、若单帧图像的播放持续时间大于等于所述第二差值，则确认指示不跳帧，并将所述播放持续时间和所述第二差值作差得到的第三差值作为所述视频ai处理线程的休眠时间，休眠结束后再重新确认是否收到所述用户端发送的播放指示；

16、若单帧图像的播放持续时间小于所述第二差值，则确认指示跳帧，并进行跳帧处理，根据跳帧处理后指向的视频图像，重新确认是否收到所述用户端发送的播放指示。

17、在一种可能的实现方式中，所述进行跳帧处理，根据跳帧处理后指向的视频图像，重新确认是否收到所述用户端发送的播放指示，包括：

18、将所述第二差值和所述播放持续时间作差，获得第四差值；

19、若所述第四差值大于等于所述播放持续时间，则进行一次跳帧，将所述第四差值和所述播放持续时间作差，获得更新后的第四差值，并重新判定更新后的第四差值是否大于等于所述播放持续时间，直到更新后的第四差值小于所述播放持续时间；

20、若所述第四差值小于所述播放持续时间，则进行一次跳帧，并将所述播放持续时间和所述第四差值作差得到的第五差值作为所述视频ai处理线程的休眠时间，休眠结束后再重新确认是否收到所述用户端发送的播放指示。

21、在一种可能的实现方式中，所述通过所述ai服务器的视频ai处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示之前，所述方法还包括：

22、通过所述视频ai处理线程在所述视频ai缓冲区中创建所述url地址对应的键值对，所述键值对将用于存储所述url地址对应的缓存结果；

23、若确认未收到所述用户端发送的播放指示，则所述方法还包括：

24、在所述视频ai缓冲区中删除所述url地址对应的键值对，并结束所述视频ai处理线程的相关过程。

25、在一种可能的实现方式中，若在所述视频ai缓冲区中查询到所述url地址对应的缓存结果，则所述方法还包括：

26、在所述url地址对应的键值对中记录所述用户端发送所述播放指示的时间，并从所述键值对中读取所述url地址对应的缓存结果。

27、第二方面，本技术一种通用在线ai流式处理装置，包括：

28、获取模块，用于根据用户端发送的视频预测请求，在ai服务器的视频ai缓冲区中查询缓存结果，其中，所述视频预测请求中包括url地址，不同url地址指向不同媒体服务器；

29、第一处理模块，用于若没有在所述视频ai缓冲区中查询到所述url地址对应的缓存结果，则通过所述ai服务器的视频ai处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示；

30、第二处理模块，用于若确认收到所述用户端发送的播放指示，则通过所述视频ai处理线程向所述url地址指向的媒体服务器获取视频图像，并将所述视频图像的ai预测结果作为所述url地址对应的缓存结果发送至所述视频ai缓冲区，其中，所述ai预测结果是由所述ai服务器的图像预测线程预测产生的；

31、跳帧模块，用于根据将所述ai预测结果发送至所述视频ai缓冲区后的第二当前时间和所述第一当前时间的时间差，确认跳帧结果，并根据所述跳帧结果重新确认是否收到所述用户端发送的播放指示，其中，所述跳帧结果包括跳帧和不跳帧。

32、第三方面，本技术提供一种通用在线ai流式处理设备，包括：至少一个处理器和存储器；

33、所述存储器存储计算机执行指令；

34、所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上所述的通用在线ai流式处理方法。

35、第四方面，本技术提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上所述的通用在线ai流式处理方法的步骤。

36、本技术提供的一种通用在线ai流式处理方法、装置、设备和介质，根据用户端发送的视频预测请求，在ai服务器的视频ai缓冲区中查询缓存结果，其中，所述视频预测请求中包括url地址，不同url地址指向不同媒体服务器；若没有在所述视频ai缓冲区中查询到所述url地址对应的缓存结果，则通过所述ai服务器的视频ai处理线程，确认距离第一当前时间的预设时间阈值内是否收到所述用户端发送的播放指示；若确认收到所述用户端发送的播放指示，则通过所述视频ai处理线程向所述url地址指向的媒体服务器获取视频图像，并将所述视频图像的ai预测结果作为所述url地址对应的缓存结果发送至所述视频ai缓冲区，其中，所述ai预测结果是由所述ai服务器的图像预测线程预测产生的；根据将所述ai预测结果发送至所述视频ai缓冲区后的第二当前时间和所述第一当前时间的时间差，确认跳帧结果，并根据所述跳帧结果重新确认是否收到所述用户端发送的播放指示，其中，所述跳帧结果包括跳帧和不跳帧。

37、上述方法中，通过url地址指向的媒体服务器，在视频ai缓冲区中查询有没有该url地址(或媒体服务器的视频流)对应的缓存结果，如果没有，那么通过视频ai处理线程从媒体服务器中获取视频流的视频图像，将视频图像送到图像预测线程预测产生ai预测结果，并将ai预测结果发送至视频ai缓冲区，以便向用户可以播放ai预测结果，且在此过程中，还考虑了视频ai处理线程的处理时间以确认是否在下一次处理视频图像时是否需要跳帧，保证各个用户可以在线访问媒体服务器，并且保证了播放流畅，给广大互联网用户提供了便利性。