视觉识别结果的可视化展示方法及装置和电子设备与流程

本说明书实施例涉及计算机，尤其涉及一种视觉识别结果的可视化展示方法及装置和电子设备。

背景技术：

1、计算机视觉(computer vision，cv)是一种研究如何使机器“看”的技术。具体来说，可以是指用视频采集设备和计算机代替人眼对目标对象进行识别、跟踪、测量甚至决策。由于计算机视觉技术可以24小时全天候处理，因此其使用场景更为广泛。

2、例如，在城市道路交通场景下，随着交通治理需求的日益增长，相关决策者需要实时了解道路车流量、超速车辆、拥堵长度、违法事件等信息。计算机视觉技术恰好能够满足这种场景下的使用需求，具体的计算机视觉系统可以拉取道路摄像头采集到的视频流，并可以从视频流中识别出各种道路事件或车流量等视觉识别结果；然而将这些视觉识别结果传送到决策者的业务系统中。

3、在实际应用中，对于计算机视觉的视觉识别结果的可视化展示是一个普遍的需求。而在相关技术中，可视化展示一般需要将视频流进行编解码，并在编码时将视觉识别结果编码到视频流中，使得视频流与视觉识别结果融合为一体；然而，这个过程比较消耗计算资源。

技术实现思路

1、本说明书实施例提供的一种视觉识别结果的可视化展示方法及装置和电子设备。

2、根据本说明书实施例的第一方面，提供一种视觉识别结果的可视化展示方法，所述方法包括：

3、获取视频流；其中，所述视频流对应的视频画面中包含若干待识别的目标对象；

4、对所述视频流包含的目标对象进行视觉识别，得到与所述目标对象对应的视觉识别结果；

5、将所述视觉识别结果作为字段值写入所述视频流的流媒体格式中的预设字段，并将所述视频流传输至流媒体客户端，以使所述流媒体客户端播放所述视频流，并基于所述预设字段对应的字段值在所述视频流的视频画面中分层显示所述视觉识别结果。

6、可选的，所述视频流的流媒体格式包括flv格式；所述预设字段包括flv tag字段。

7、可选的，所述视觉识别结果包括目标对象的识别框所对应的识别框信息的序列，所述识别框信息包括时间戳、所述识别框位于视频画面中的位置和大小；

8、所述在所述视频流的视频画面中分层显示所述视觉识别结果，包括：

9、根据所述识别框信息的序列中每个时间戳对应的识别框的位置和大小，绘制每个时间戳对应的识别框画面；

10、根据所述每个时间戳对应的识别框画面绘制随时间戳变化而变化位置和大小的识别框视频；

11、将所述视频流的时间戳与所述识别框视频的时间戳对齐后，在所述视频流的视频画面中分层播放所述识别框视频。

12、可选的，所述对所述视频流包含的目标对象进行视觉识别，得到与所述目标对象对应的视觉识别结果，包括：

13、将所述视频流传输给计算机视觉系统进行视觉识别，得到所述计算机视觉系统输出的视觉识别结果。

14、根据本说明书实施例的第二方面，提供一种视觉识别结果的可视化展示方法，所述方法包括：

15、接收流媒体服务端发送的视频流；其中，所述视频流对应的视频画面中包含若干待识别的目标对象；

16、获取所述视频流的流媒体格式中的预设字段对应的字段值；其中，所述字段值包括所述流媒体服务端对所述视频流中的目标对象进行视觉识别得到的视觉识别结果；

17、播放所述视频流，并基于所述预设字段对应的字段值在所述视频流的视频画面中分层显示所述视觉识别结果。

18、可选的，所述视觉识别结果包括目标对象的识别框所对应的识别框信息的序列，所述识别框信息包括时间戳、所述识别框位于视频画面中的位置和大小；

19、所述在所述视频流的视频画面中分层显示所述视觉识别结果，包括：

20、根据所述识别框信息的序列中每个时间戳对应的识别框的位置和大小，绘制每个时间戳对应的识别框画面；

21、根据所述每个时间戳对应的识别框画面，绘制随时间戳变化而变化位置和大小的识别框视频；

22、将所述视频流的时间戳与所述识别框视频的时间戳对齐后，在所述视频流的视频画面中分层播放所述识别框视频。

23、根据本说明书实施例的第三方面，提供一种视觉识别结果的可视化展示装置，所述装置包括：

24、接收单元，获取视频流；其中，所述视频流对应的视频画面中包含若干待识别的目标对象；

25、识别单元，对所述视频流包含的目标对象进行视觉识别，得到与所述目标对象对应的视觉识别结果；

26、展示单元，将所述视觉识别结果作为字段值写入所述视频流的流媒体格式中的预设字段，并将所述视频流传输至流媒体客户端，以使所述流媒体客户端播放所述视频流，并基于所述预设字段对应的字段值在所述视频流的视频画面中分层显示所述视觉识别结果。

27、根据本说明书实施例的第四方面，提供一种视觉识别结果的可视化展示装置，所述装置包括：

28、接收单元，接收流媒体服务端发送的视频流；其中，所述视频流对应的视频画面中包含若干待识别的目标对象；

29、获取单元，获取所述视频流的流媒体格式中的预设字段对应的字段值；其中，所述字段值包括所述流媒体服务端对所述视频流中的目标对象进行视觉识别得到的视觉识别结果；

30、展示单元，播放所述视频流，并基于所述预设字段对应的字段值在所述视频流的视频画面中分层显示所述视觉识别结果。

31、根据本说明书实施例的第五方面，提供一种电子设备，包括：

32、处理器；

33、用于存储处理器可执行指令的存储器；

34、其中，所述处理器被配置为上述任一项视觉识别结果的可视化展示方法。

35、本说明书实施例，提供了一种视觉识别结果的可视化展示方案，通过将视觉识别结果作为字段值写入视频流的流媒体格式中的预设字段，并将视频流传输至流媒体客户端，以使流媒体客户端可以将视频流和视觉识别结果分层进行绘制，具体是将基于预设字段对应的字段值绘制而成的与视觉视频结果对应的识别框展示在视频流的视频画面中。由于无需在视频编码层将视觉视频结果与视频流进行融合的视频编解码处理，因此可以减少计算资源的消耗；无需过多的计算资源也可以实现视觉识别结果的可视化展示。

技术特征：

1.一种视觉识别结果的可视化展示方法，所述方法包括：

2.根据权利要求1所述的方法，所述视频流的流媒体格式包括flv格式；所述预设字段包括flv tag字段。

3.根据权利要求1所述的方法，所述视觉识别结果包括目标对象的识别框所对应的识别框信息的序列，所述识别框信息包括时间戳、所述识别框位于视频画面中的位置和大小；

4.根据权利要求1所述的方法，所述对所述视频流包含的目标对象进行视觉识别，得到与所述目标对象对应的视觉识别结果，包括：

5.一种视觉识别结果的可视化展示方法，所述方法包括：

6.根据权利要求5所述的方法，所述视觉识别结果包括目标对象的识别框所对应的识别框信息的序列，所述识别框信息包括时间戳、所述识别框位于视频画面中的位置和大小；

7.一种视觉识别结果的可视化展示装置，所述装置包括：

8.一种视觉识别结果的可视化展示装置，所述装置包括：

9.一种电子设备，包括：

10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-6中任一项所述的方法。

技术总结
本说明书实施例提供一种视觉识别结果的可视化展示方法及装置和电子设备。该包括：获取视频流；其中，所述视频流对应的视频画面中包含若干待识别的目标对象；对所述视频流包含的目标对象进行视觉识别，得到与所述目标对象对应的视觉识别结果；将所述视觉识别结果作为字段值写入所述视频流的流媒体格式中的预设字段，并将所述视频流传输至流媒体客户端，以使所述流媒体客户端播放所述视频流，并基于所述预设字段对应的字段值在所述视频流的视频画面中分层显示所述视觉识别结果。

技术研发人员：左志浩,崔衡,李竺皓,雷涛,朱哲
受保护的技术使用者：阿里云计算有限公司
技术研发日：
技术公布日：2024/1/12