一种数据分析方法、装置及存储介质与流程

1.本发明涉及图像处理技术领域，具体涉及一种数据分析方法、装置及存储介质。


背景技术：

2.随着人工智能的发展，目标智能识别和检测成为一个主要的研究方向，也应用于生活中的各种场景中，节约了大量的人力。例如现在的智能发现一体机是一种视频解析服务器，其主要用于对监控到的视频数据进行解析，识别出目标物体。但是目前对视频流进行解析存在的技术问题是：视频流接入使用动态解码相对稳定，但直接对视频流进行解析以进行目标检测的检测目标效果不佳，主要存在问题是容易漏检导致检测精度低。


技术实现要素：

3.本发明主要解决的技术问题是现有技术中直接对视频流进行目标检测时检测精度低。
4.一种数据分析方法，包括：实时获取接入的视频流；对所述视频流进行抽帧操作，以将所述视频流转换成原始图片；对所述原始图片进行实时识别和分析，得到分析结果，并根据所述分析结果对对应的原始图片进行标注，得到已标注的静态图像；输出所述已标注的静态图像。
5.在一种实施例中，所述对所述视频流进行抽帧操作，以将所述视频流转换成原始图片包括：采用预设的抽帧频率对所述视频流进行抽帧或者截图以获得所述原始图片。
6.在一种实施例中，在对所述视频流进行抽帧操作之前还包括：对所述视频流进行转码操作，使得转码后的视频流的协议满足预设的要求。
7.在一种实施例中，所述对所述原始图片进行实时识别和分析，得到分析结果，并根据所述分析结果对对应的原始图片进行标注，得到已标注的静态图像包括：将原始图片输入到已训练好的识别标注模型中，得到已标注的静态图像；所述识别标注模型用于对所述原始图片进行特征提取以得到特征信息，然后根据所述特征信息判断当前原始图片是否满足目标特征，若满足则将当前原始图片标注为正样本静态图像；否则标注为负样本静态图像。
8.在一种实施例中，在对所述视频流进行抽帧或者截图以获得所述原始图片时，还同步提取用于获取当前原始图片对应的设备id以及获取时间，将所述设备id和获取时间作为该当前原始图片对应的标签；在输出所述已标注的静态图像之后还包括：根据标注为正样本静态图像的当前原始图片对应的标签确定该正样本静态图像对应的原始图片；
在一个预设的视频合成周期内，采用所述正样本静态图像取代视频合成周期内所有原始图片中该正样本静态图像对应的未标注的原始图片；并将所述正样本静态图像和未被取代的原始图片进行合成，得到标注视频流。
9.一种数据分析装置，包括：视频接入模块，用于实时获取接入的视频流；抽帧模块，用于对所述视频流进行解码操作，以将所述视频流转换成原始图片；识别标注模块，用于对所述原始图片进行实时识别和分析，得到分析结果，并根据所述分析结果对对应的原始图片进行标注，得到已标注的静态图像；输出模块，用于输出所述已标注的静态图。
10.在一种实施例中，还包括转码模块，用于在对所述视频流进行抽帧操作之前，对所述视频流进行转码操作，使得转码后的视频流的协议满足预设的要求。
11.在一种实施例中，所述对所述原始图片进行实时识别和分析，得到分析结果，并根据所述分析结果对对应的原始图片进行标注，得到已标注的静态图像包括：将原始图片输入到已训练好的识别标注模型中，得到已标注的静态图像；所述识别标注模型用于对所述原始图片进行特征提取以得到特征信息，然后根据所述特征信息判断当前原始图片是否满足目标特征，若满足则将当前原始图片标注为正样本静态图像；否则标注为负样本静态图像；所述数据分析装置还包括视频标注模块，用于：在对所述视频流进行解码操作，以将所述视频流转换成原始图片时，还同步提取用于获取当前原始图片对应的设备id以及获取时间，将所述设备id和获取时间作为该当前原始图片对应的标签；以及在输出所述已标注的静态图像之后；根据标注为正样本静态图像的当前原始图片对应的标签确定该正样本静态图像对应的原始图片；在一个预设的视频合成周期内，采用所述正样本静态图像取代视频合成周期内所有原始图片中该正样本静态图像对应的未标注的原始图片；并将所述正样本静态图像和未被取代的原始图片进行合成，得到标注视频流。
12.一种数据分析装置，包括：存储器，用于存储程序；处理器，用于通过执行所述存储器存储的程序以实现如上所述的方法。
13.一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以实现如上所述的方法。
14.依据上述实施例的数据分析方法，其包括：实时获取接入的视频流；对视频流进行抽帧操作，以将视频流转换成原始图片；对原始图片进行实时识别和分析，得到分析结果，并根据分析结果对对应的原始图片进行标注，得到已标注的静态图像，最后输出已标注的静态图像。采用本技术的方法，将动态的视频流实时的转换成静态的图片进行目标检测和分析，在保证检测的实时性的同时，降低漏检率，使得检测结果更加精确。
附图说明
15.图1为本技术实施例的数据分析方法流程图；图2为本技术实施例的一体机组网示意图；图3为本技术实施例的数据分析装置结构框图；图4为本技术另一个实施例的数据分析装置结构框图。
具体实施方式
16.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本技术能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本技术相关的一些操作并没有在说明书中显示或者描述，这是为了避免本技术的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
17.另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
18.现有技术中许多设备都需要获取周围环境的视频流以进行目标检测，例如停车场等，通过摄像头获取停车位处的视频流，然后对视频流进行解析以获取检测结果，但是现有技术中对视频流进行目标检测由于容易漏检而导致检测精度不高，为了解决现有技术中检测精度不高的技术问题，本技术中将动态的视频流转换成静态的图片，然后对静态图片进行识别和分析，得到分析结果后对原始图片进行标注，最后输出已标注的静态图像，这样在保证检测的实时性的同时，降低漏检率，使得检测结果更加精确。另外，由于视频流一般占用带宽较大且视频流的url（统一资源定位器）经常变化，这样导致对视频流的解析经常失败，也会导致通过视频流进行解析检测失败而影响检测精度，本技术将视频流转换成图片后，传输和解析更加稳定，也避免了解析失败的情况。
19.实施例一：请参考图1，本实施例提供一种数据分析方法，其包括：步骤101：实时获取接入的视频流。
20.本实施例以配置rtx2080 gpu显卡的一体机为例进行说明。如图2，一体机1分别与摄像头2、服务器3以及客户端4连接。摄像头2用于获取视频流然后传输给一体机1进行数据处理，客户端4用于对处理后的分析结果进行显示，方便工作人员查看，服务器3用于存储相关数据。经过多次实验本实施的一体机的最大负载为32路视频流实时解析（不会超过36路）或者5min周期静态巡检300路；而一体机处理静态图片的性能测试结果为tps（并发量）=40张/秒，意味着一体机每秒最大可以吞吐和处理图片40张。如果能够将动态视频流全部转为静态图片接入方式处理，按照5min巡检周期计算，一体机理论上可以最大处理40张/秒*300秒=12000张。一体机性能也受网口和带宽限制，1路1980*1080像素的视频流接入占用带宽约1~2mb，标配一体机默认是千兆网口，理论上至少可以支持1000mb/2mb/路=500路视频流。
即使按每秒抽1帧的方式进行处理，5min周期也可以并发40路（大于32路）视频流接入，从而实现将静态分析引擎作为动态分析引擎使用的方法。
21.步骤102：对视频流进行抽帧操作，以将视频流转换成原始图片。
22.本实施例中采用预设的抽帧频率对所述视频流进行抽帧或者截图以获得原始图片。
23.步骤103：对原始图片进行实时识别和分析，得到分析结果，并根据分析结果对对应的原始图片进行标注，得到已标注的静态图像。
24.本实施例中对原始图片进行实时识别和分析的方法具体为：基于现有的深度学习的方法，训练一个识别标注模型，将原始图片输入到已训练好的识别标注模型中，得到已标注的静态图像；识别标注模型用于对原始图片进行特征提取以得到特征信息，然后根据特征信息判断当前原始图片是否满足目标特征，若满足则将当前原始图片标注为正样本静态图像；否则标注为负样本静态图像。例如根据不同场景分类，原始图片进行预处理后进行识别。识别标注模型检测目标特征，然后进行前后帧比对、去重分析，满足低于一定阈值的才判定为正样本，否则均为负样本。需要说明的是，本实施例的正样本和负样本是根据目标的特征信息而人为设定的，例如需要检测某停车位上当前是否有车辆，此时若检测到车辆的相关特征信息则该原始图片被标注为正样本静态图像，若未检测到车辆的相关特征信息或者非车辆的相关特征信息，则该原始图片被标注为负样本静态图像。
25.步骤104：输出已标注的静态图像。
26.根据实际场景的需求，输出已标注的正样本静态图像，例如输出带车辆信息的图片。
27.采用本实施例的数据分析方法，除了提高了目标检测的精度之外，还具有以下优点:1、基于相同的硬件设备，采用本实施例的将动态视频流转换为静态的图像进行分析时，可以同时接入和分析更多路的视频流。同理的，对于现在需要性能不是很高的老旧设备，采用本技术的方法，可以使得其的性能发挥出和现有的高性能同样的技术效果，即检测识别速度跟的上现有配置较高的设备。
28.2、对于一些需要同时进行数据传输和存储的设备来说，采用本实施例的方法后得到的正样本静态图像，其存储时占用空间比视频流小的多，因此同样的存储容量的硬件设备可以存储更长时间的采集信息。如果需要将检测到的信息发送给远程平台时，本实施例的正样本静态图像占用的带宽资源更小，传播速度更快，且传输更加稳定。
29.在一种实施例中，在对原始的视频流进行抽帧操作之前还包括：对视频流进行转码操作，使得转码后的视频流的协议满足预设的要求。例如将rtmp协议（实时消息传输协议）的视频流转为rtsp协议（实时流传输协议）的视频流。
30.在一种实施例中，在对视频流进行抽帧或者截图以获得所述原始图片时，还同步提取用于获取当前原始图片对应的设备id以及获取时间，将设备id和获取时间作为该当前原始图片对应的标签。例如，本实施例中抽帧频率的频率配置为25帧/秒，通过视频流抽帧或截图方式采集原始图片，原始图片命名中含有设备id、抽帧（截图）时间。抽帧（截图）频率是指抽取（截取）单张图片的时间间隔，如1帧/5分钟，代表每5分钟抽取（截取）一张图。具体的，技术人员建议根据实际采集的场景设置抽帧（截图）频率，例如需要实时性高点的，抽帧
频率设置较小点。本实施例提供一种抽帧频率最优参数:对于实时性要求高的场景建议1帧/秒；对于准实时性要低的场景建议1帧/分钟或1帧/5分钟。本实施例连续的对视频流抽帧，有利于解决h265协议（即h265视频编码解码）普遍解码效果差的问题（比如刚打开视频流出现几秒丢包产生的花屏、绿屏等现象）。
31.如果需要具有标注帧的视频作为证据，本实施在输出已标注的静态图像之后还包括：根据标注为正样本静态图像的当前原始图片对应的标签确定该正样本静态图像对应的原始图片。由于标签在图像处理过程中的不变性，因此正样本静态图像对应的标签就是其对应的当前原始图片对应的标签。每个原始图片对应的标签在图像处理过程中不会变化，例如某个原始图片对应的标签a，在经过上述的处理得到其对应的正样本静态图像后，该正样本静态图像对应的标签也是标签a，因此通过该标签a的不变性，就可以找到对应的一组原始图片和正样本静态图像。
32.根据正样本静态图像对应的标签确定其对应的原始图片；在一个预设的视频合成周期内，采用正样本静态图像取代视频合成周期内所有原始图片中该正样本静态图像对应的未标注的原始图片；并将正样本静态图像和未被取代的原始图片进行合成，得到标注视频流。例如在设置的3min视频合成周期内，抽帧获得300张原始图片，将300张原始图片输入到预先训练好的识别标注模型中，得到50张正样本静态图像，然后根据50张正样本静态图像对应的标签（即抽帧的设备id信息和时间）确定其对应的50张原始图片，然后采用50张正样本静态图像代替50张原始图片，将50张正样本静态图像和250张原始图片进行合成，得到标注视频流，这样可以播放视频流查看检测信息。一般的，合成视频帧率根据实际情况设定，本实施例建议小于等于25帧/秒。
33.在另一种实施例中，还可以通过人工干预合成标注视频流，例如对正样本静态图像（例如告警视频）的内容进行审核，暂停视频播放，标注一帧，拖动进度条，跳到下一帧按钮继续标注，直到n帧均标注完成后，一键合成已标注的视频。对于系统自动合成的标注视频，允许进行标注或标注纠正后再次一键合成视频，可以为客户提供更直观的违规结果呈现。
34.在一种实施例中，在合成标注视频流之后，还需要将该标注视频流发送给第三方平台，例如采用ftp（文件传输协议）接口、api（应用程序接口）接口的形式将标注视频流发送给第三方。例如输出标注视频流的具体步骤如下：s1、将所有原始抽帧（或截图）原始图片均存于（mysql）数据库的两张表(1~n张表)。
35.s2、通过存储过程等定时任务，（联表）查询5min周期内的正样本静态图像（如告警图片）、负样本静态图像（未告警图片）和原始图片数据，并根据正样本静态图像、原始图片、负样本静态图像各自所带的时间戳进行排序。
36.s3、如果正样本静态图像和负样本静态图像两者的时间戳和原始图片时间戳一致，则取用正样本静态图像和负样本静态图像输出，否则取用原始图片输出。
37.本实施例输出视频流的方式可以为两种：一、通过ffmpeg（视频和平软件）模块合成视频；2、采用http（超文本传输协议）输出（推送到第三方平台的）过程中，采用直播或录屏的方式输出视频流给本平台及第三方平台或者大屏等显示器进行展示。
38.实施例二：
请参考图3，本实施例提供一种数据分析装置，其包括：视频接入模块201、抽帧模块203、识别标注模块204、输出模块205。其中，视频接入模块201用于实时获取接入的视频流，例如视频接入模块201包括千兆网口，理论上至少可以支持1000mb/2mb/路=500路视频流。抽帧模块203用于对视频流进行解码操作，以将视频流转换成原始图片。识别标注模块204用于对原始图片进行实时识别和分析，得到分析结果，并根据分析结果对对应的原始图片进行标注，得到已标注的静态图像。输出模块205用于输出已标注的静态图，例如包括ftp（文件传输协议）接口、api（应用程序接口）接口，以输出已标注的静态图。
39.在一种实施例中，数据分析装置还包括转码模块202，转码模块202用于在对视频流进行抽帧操作之前，对视频流进行转码操作，使得转码后的视频流的协议满足预设的要求。
40.在一种实施例中，对所述原始图片进行实时识别和分析，得到分析结果，并根据所述分析结果对对应的原始图片进行标注，得到已标注的静态图像包括：将原始图片输入到已训练好的识别标注模型中，得到已标注的静态图像；所述识别标注模型用于对所述原始图片进行特征提取以得到特征信息，然后根据所述特征信息判断当前原始图片是否满足目标特征，若满足则将当前原始图片标注为正样本静态图像；否则标注为负样本静态图像。
41.在一种实施例中，数据分析装置还包括视频标注模块206，视频标注模块206用于：在对所述视频流进行解码操作，以将所述视频流转换成原始图片时，还同步提取用于获取当前原始图片对应的设备id以及获取时间，将所述设备id和获取时间作为该当前原始图片对应的标签，同时视频标注模块206还用于在输出已标注的静态图像之后；实时根据正样本静态图像对应的标签确定其对应的原始图片；在一个预设的视频合成周期内，采用正样本静态图像取代视频合成周期内所有原始图片中该正样本静态图像对应的未标注的原始图片；并将正样本静态图像和未被取代的原始图片进行合成，得到标注视频流。
42.现有技术中都是针对视频流进行动态处理，目前供应商提供的设备也都是仅仅支持视频动态分析或者静态分析的，考虑到容易造成服务器异常和售后维护成本，不允许将动态分析引擎作为静态分析引擎使用。而本实施例根据长期的研发提出了本技术的装置，将动态视频转为静态图片进行处理，可以保持准实时性、降低目标检测漏报率、节省存储空间，适当增加告警图片输出数量。同时本实施例的装置相当于将静态分析引擎作为动态分析引擎使用，从而充分利用服务器的硬件性能，降低客户的成本。
43.实施例三：本实施例提供一种数据分析装置,如图4，其包括：存储器301和处理器302。存储器301用于存储程序。处理器302用于通过执行存储器存储的程序以实现如上述实施例一提供的方法。
44.实施例四：本实施例提供一种计算机可读存储介质，所述介质上存储有程序，程序能够被处理器执行以实现如实施例一提供的方法。
45.本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述
功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
46.以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。