一种图像处理方法、装置及基于NVR的图像处理系统与流程

一种图像处理方法、装置及基于nvr的图像处理系统
技术领域
1.本技术涉及图像处理技术领域，更具体地说，它涉及一种图像处理方法、装置及基于nvr的图像处理系统。


背景技术：

2.nvr，即网络视频录像机，是网络视频监控系统的存储转发部分，nvr与视频编码器或网络摄像机协同工作，完成视频的录像、存储及转发功能。
3.由于许多地区的监控摄像头布设较早，其分辨率较低，无法提供现在快速发展的人脸识别、图像识别算法所需的较高分辨率图像，如果大规模更换掉早期的低分辨率摄像头会导致市政安防成本的急剧提高。


技术实现要素：

4.针对实际运用中现有的摄像机获取图像的分辨率较低无法满足识别算法的需要这一问题，本技术目的一在于提出一种图像处理方法，可以根据不同的场景条件对现有摄像机获取的设定分辨率图像进行处理，使其满足不同场景条件的使用需求；基于上述图像处理方法，本技术目的二在于提供一种图像处理装置，可以按照场景条件输出针对性更强的图像；于上述图像处理方法，本技术目的三在于保护一种基于nvr的图像处理系统。
5.具体方案如下：一种图像处理方法，包括：建立场景条件与分辨率信息之间的第一关联关系；获取场景条件及当前图像的分辨率信息；基于所述场景条件及分辨率信息，结合所述第一关联关系，调整当前图像对应的分辨率。
6.通过采用上述技术方案，利用第一关联关系划分出不同的使用场景，将不同的场景条件与该场景条件下最适宜图像分辨率对应起来，利用图像处理技术将当前场景条件下获取的图像进行处理，使其调整至合适的图像分辨率，相较于将获取到的图像直接利用各种图像识别技术进行处理，经过分辨率处理的图像更能满足图像识别等技术的要求，也方便对图像进行后续的操作处理。
7.优选的，所述获取场景条件，包括：设定并存储可经由图像得到的触发特征信息及其与各所述场景条件之间的第二关联关系；基于当前图像信息识别其中的触发特征信息；基于识别结果以及所述第二关联关系，获取得到所述场景条件。
8.通过采用上述技术方案，利用图像的不同触发标识将图像划分为不同的场景条件，为划分场景条件提供了判断条件，便于利用图像中的特征信息将图像进行不同的处理，以适配不同的算法。
9.优选的，所述触发特征信息包括：
图像信息中的人脸特征信息、车牌特征信息以及危险物特征信息；以及基于所述图像信息经设定算法处理得到的目标物移动速度信息。
10.通过采用上述技术方案，图像中存在人脸特征信息表征该图像将应用于人脸识别，图像中车牌特征信息表征该图像将应用于车牌识别，目标物移动速度信息表征该图像将应用于识别高空抛物或者车辆是否超速，将上述特征信息作为判断条件，将图像进行不同的图像处理，便于匹配不同的识别算法。
11.优选的，所述基于当前图像信息识别其中的触发特征信息包括：基于单帧图像识别获取人脸特征信息、车牌特征信息以及危险物特征信息；基于相邻帧图像结合设定算法识别获取目标物移动速度信息。
12.通过采用上述技术方案，通过单帧图像经过图像中的特征捕捉到人脸轮廓特征、车牌轮廓和颜色等特征以及危险物轮廓特征，通过将相邻帧图像进行像素点对比，结合算法得到目标物的移动速度。
13.优选的，所述获取场景条件包括：设定并存储可经由图像解析或设备输入得到的自动触发信息及其与各所述场景条件之间的第三关联关系；基于当前图像识别其中的自动触发信息；基于识别结果以及所述第三关联关系，获取得到所述场景条件。
14.通过采用上述技术方案，将图像附带或输入的自动触发信息作为划分场景条件的依据，当满足自动触发信息时，自动对图像分辨率进行针对性处理，输出分辨率更加适合其应用场景的图像；设置第三关联关系，增加了划分场景条件的依据，使得输出图像的针对性更强。
15.优选的，所述自动触发信息还包括与当前图像关联的时间信息、地理位置信息、环境信息以及图像储存位置的内存大小信息。
16.通过采用上述技术方案，当图像时间信息、地理位置信息、环境信息满足条件时，如满足处于夜间状态、位于偏僻路段、环境能见度降低等条件时，也需要将图像进行增强处理，便于匹配识别算法。
17.优选的，所述基于当前图像识别其中的自动触发信息包括基于内存检测算法获取图像储存位置的内存大小信息、以及图像传输所对应的网络带宽。
18.通过采用上述技术方案，利用检测算法获取图像储存位置的内存大小信息以及图像传输所对应的网络带宽，。
19.优选的，于图像中选定目标参照物，根据目标参照物是否移动将应用场景划分为静态场景和动态场景；建立图像基础分辨率信息、静态场景所对应的第一分辨率信息以及动态场景对应的第二分辨率信息；获取图像储存位置的内存大小信息，若内存大小满足基于基础图像分辨率信息存储设定时长图像，则以基础图像分辨率存储获取到的图像；若应用场景为动态场景，则将当前图像对应的分辨率调整为第二分辨率，则将后续时长中静态场景图像的分辨率调整为第一分辨率，使所述内存大小满足存储设定时长图像的要求。
20.通过采用上述技术方案，以基础图像分辨率储存静态场景图像，以第二分辨率储存动态场景，结合内存，对动态场景之后的静态场景以第一分辨率储存，使该图像信息所需内存满足实际内存，使整段图像信息的所需内存始终与硬件的实际内存相适应，避免由于增强动态场景分辨率导致硬件设备无法储存整段图像信息情况的出现。
21.优选的，所述当前图像信息对应的分辨率调整为第二分辨率包括：基于场景条件将动态场景图像划分为关键帧与存在特征帧；若当前图像为关键帧，则以第二分辨率存储获取到的图像信息；基于图像储存位置的内存大小信息和存储设定时长当前图像的所需内存，将存在特征帧以基础分辨率或第一分辨率储存。
22.通过采用上述技术方案，结合触发标识中的特征信息，只对关键帧进行分辨率增强，如图像中的人脸正面最多、动态变化最大、或其它设定参照出现时，其余存在标识信息的图像帧保持不变或进行分辨率减弱储存，后期可以再利用其它方式对其进行增强，由此视频存储的内容则会更准确，调取查阅时能够很快得到想要的关键图像信息，也更利于监控场景的应用，相较于整段储存动态图像，占用更小的内存同时方便查阅。
23.一种图像处理装置，用于实现如前所述的图像处理方法，包括：用于存储场景条件与分辨率信息之间第一关联关系的存储模块；用于获取场景条件及当前图像分辨率信息的信息获取模块；以及用于根据所述场景条件及分辨率信息结合所述第一关联关系，调整当前图像对应分辨率的分辨率调整模块；其中，信息获取模块获取当前图像的场景条件以及分辨率信息，分辨率调整模块基于存储模块中储存的第一关联关系调整当前图像的分辨率。
24.通过采用上述技术方案，调用存储模块中存储的第一关联关系判断当前图像的场景条件，信息获取模块根据当前图像的场景条件匹配分辨率信息，得到当前图像最适配的分辨率信息，分辨率调整模块将当前图像调整至最适配的分辨率，完成对图像的处理。
25.优选的，所述信息获取模块包括用于获取触发特征信息的图像特征捕捉模块以及与外部设备数据连接的图像信息解析模块，实时获取触发特征信息以及自动触发信息；所述存储模块中还存储有触发特征信息与场景条件之间的第二关联关系以及自动触发信息与场景条件之间的第三关联关系。
26.通过采用上述技术方案，图像特征捕捉模块对图像进行特征捕捉得到图像上的触发特征信息，外部设备将图像的环境信息、时间、地点等相关信息传输至图像信息解析模块，图像信息解析模块对相关信息进行解析，获取自动触发信息，通过调用存储模块中的关联关系，利用触发特征信息、自动触发信息与场景条件之间的关系，判断当前的场景条件。
27.优选的，一种基于nvr的图像处理系统，包括具有设定分辨率的nvr装置、图像输出装置；所述nvr装置包括或连接有如前所述的图像处理装置；其中，所述nvr装置的图像输出端与所述信息获取模块的数据输入端数据连接，所述图像输出装置的图像输入段与分辨率调整模块的图像输出端数据连接。
28.通过采用上述技术方案，图像处理装置将nvr装置获取的图像进行针对性处理，使得只能获取固定分辨率的nvr装置可以输出的图像适用不同场景条件的多种分辨率图像，均衡所需内存与后期图像识别的准确性，增强了基于nvr的图像处理系统的适用范围。
29.与现有技术相比，本技术的有益效果如下：
(1)通过利用图像处理技术将当前场景条件下获取的图像进行处理，使其调整至合适的图像分辨率，相较于将获取到的图像直接利用各种图像识别技术进行处理，经过分辨率处理的图像更能满足图像识别等技术的要求，也方便对图像进行后续的操作处理；(2)通过图像上的触发特征信息以及解析图像或输入得到的自动触发信息，将图像适用的场景条件做了详细的划分，针对各种不同的场景条件；(3)通过划分动态场景以及静态场景、关键帧以及存在特征帧，保证了图像存储位置内存有限时依然可以完整储存图像，同时对其中关键信息进行增强处理，方便后期调取、查阅其中的关键信息。
附图说明
30.图1为本技术的流程示意图；图2为本技术获取场景条件的流程示意图；图3为本技术获取场景条件的另一流程示意图；图4为本技术图像处理装置的示意图。
31.附图标记：1、存储模块；2、信息获取模块；3、分辨率调整模块。
具体实施方式
32.下面结合实施例及图对本技术作进一步的详细说明，但本技术的实施方式不仅限于此。
33.实施例一一种图像处理方法，如图1所示，包括：s100、建立场景条件与分辨率信息之间的第一关联关系。
34.s200、获取场景条件及当前图像的分辨率信息。
35.s300、基于所述场景条件及分辨率信息，结合所述第一关联关系，调整当前图像对应的分辨率。
36.通过上述步骤，不需要更换具有设定分辨率的摄像头，当识别到从高空抛下的烟头、垃圾等物体时，场景条件为高空抛物场景，将摄像头获取到的图像进行分辨率增强处理，将当前图像增强为1080p的高清晰度图像，得到更加清晰、更加适用于高空抛物场景识别的图像，便于识别目标物以及从何处抛出等信息，不需要更换高分辨率的摄像头，节省了市政安防成本。
37.实施例二一种图像处理方法，包括：s100、建立场景条件与分辨率信息之间的第一关联关系。
38.具体的，不同的图像信息具有不同的使用场景，根据图像使用的场景划分出不同的场景条件，用于对图像进行分类，在本技术实施方式中，场景条件包括人脸识别场景、车辆识别场景以及危险场景，根据现有的人脸识别数据库，与人脸识别算法结合进行人脸识别的图像最适宜的分辨率为1080p，上述分辨率的图像在考虑到所占内存大小后人脸识别的准确性最高，同理，用于车辆识别场景条件的图像分辨率为640p时可以均衡所占内存以及识别的准确性，危险场景的最适宜分辨率为720p。
39.s200、获取场景条件及当前图像的分辨率信息。
40.具体的，通过上述第一关联关系判断当前图像所适用的场景条件，如何判断如图2-3 所示。
41.s210、设定并存储可经由图像得到的触发特征信息及其与各所述场景条件之间的第二关联关系。
42.具体的，触发特征信息包括基于单帧图像识别获取人脸特征信息、车牌特征信息以及危险物特征信息，人脸特征信息为图像中存在的人脸，通过人脸识别算法实现，与进行人脸匹配的算法区别在于，只需要捕捉判断图像中是否存在人脸，不需要对提取到的人脸特征进行数据库中人脸特征的匹配。类似的，车牌特征信息通过车牌识别算法实现，只需要捕捉到图像中存在包含数字的类似车牌物，即认定该图像中存在车牌，不需要精确识别出车牌中的数字和字母，危险物特征信息识别与数据库中的危险物轮廓进行匹配，识别当前图像中是否存在危险物，上述危险物信息在本技术实施方式中，优选为刀具轮廓信息和爆炸物轮廓信息。
43.触发特征信息还包括基于相邻帧图像结合设定算法识别获取目标物移动速度信息，当对比相邻帧图像后，发现图像中存在移动物体时，选择该物体为目标物，通过结合当前图像每秒的帧数、每帧图像中目标物移动的像素点数以及该角度图像中物体与实物的比例关系可以得到目标物移动速度信息。
44.所述场景条件还包括高空抛物场景，在高空抛物场景时，目标物移动速度信息单独适用，当识别出目标物垂直方向上的移动速度满足高空抛物的坠物速度时，判定当前图像适用于高空抛物场景，且高空抛物场景的最适宜分辨率为640p。
45.在另一实施方式中，目标物移动信息还可以与车牌特征信息合并使用，当场景条件为车辆超速场景时，根据车辆的移动速度信息锁定目标车辆，再将含有该目标车辆的图像分辨率增强至适用于车牌识别的640p。
46.为便于理解本步骤中的第二关联关系，下方表格举出几种常用的单独使用触发特征信息以及组合使用触发特征信息的场景条件。征信息的场景条件。
47.s220、基于当前图像信息识别其中的触发特征信息。
48.利用单帧图像关联人脸特征捕捉算法、车牌特征捕捉算法、危险物轮廓特征捕捉
算法对当前单帧图像进行判定，利用相邻帧图像关联目标物移动速度算法判定当前图像中是否存在移动的目标物。
49.s230、基于识别结果以及所述第二关联关系，获取得到所述场景条件。
50.具体的，结合上述表格，将触发特征信息与场景条件进行匹配。
51.s300、基于所述场景条件及分辨率信息，结合所述第一关联关系，调整当前图像对应的分辨率。
52.根据图像匹配的场景条件，调整图像的分辨率使其更好地匹配后续识别算法。
53.上述步骤可以根据由图像直接或间接得到的触发特征信息将图像进行场景条件的分类和匹配，为了进一步优化图像处理方法，增强图像处理方法的适用范围，获取场景条件还可以包括以下步骤：s211、设定并存储可经由图像解析或设备输入得到的自动触发信息及其与各所述场景条件之间的第三关联关系。
54.具体的，自动触发信息可以由图像获取设备本身自带的时间或地理位置标记解析得到，也可以在图像获取设备上连接设置一个自动触发信息获取设备，如在摄像机上安装一个环境监测设备，实时获取摄像机附近的天气信息、能见度信息、雾霾信息等，便于获取到雨雪天气、大雾天气或雾霾严重等能见度较差的环境状况，需要自动将当前图像分辨率调高的场景条件。
55.自动触发信息包括与当前图像关联的时间信息、地理位置信息、环境信息以及图像储存位置的内存大小信息，其中，当获取到的时间信息显示该图像处于夜晚环境，则该图像的场景条件属于夜间识别场景，当获取到的地理位置信息显示该图像处于事故高发地点，则该图像的场景条件属于事故高发地识别场景，当获取到的时间信息显示该图像处于恶劣环境，则该图像的场景条件属于恶劣环境识别场景，上述场景条件均需要对图像进行分辨率增强处理，方便进行后续的识别或其他应用。
56.当获取到的图像储存位置的内存大小信息显示图像存储位置的内存小于当前图像存储的所需内存时，需要对图像进行分辨率降低处理，以保证对图像可以完整储存。
57.s221、基于当前图像识别其中的自动触发信息。
58.通过内存检测算法获取图像储存位置的内存大小信息，如使用0和1对图像储存位置的每一个bit位进行遍历，同理的，利用内置的带宽检测工具对图像传输所对应的网络带宽进行检测，保证图像储存和图像传输的完整性。
59.s231、基于识别结果以及所述第三关联关系，获取得到所述场景条件。
60.结合经由图像解析或设备输入得到的自动触发信息，将当前图像划分不同的场景条件，便于针对性地将图像自动进行增强或减弱。
61.由于图像存储位置内存和有限，如果将夜间时段的所有图像或包含人脸的所有图像不加甄别地增强，会导致后续的关键信息无法储存，因此，即使符合需要进行分辨率增强的场景条件，也需要进一步对图像中的场景进行区分，包括如下步骤。
62.s204、于图像中选定目标参照物，根据目标参照物是否移动将应用场景划分为静态场景和动态场景。
63.根据相邻帧图像对比得到图像中的目标参照物是否移动，将应用场景分为静态场景和动态场景，如时间信息显示当前处于夜间时段，在内存不足时，对静态的夜间识别场景
即没有任何物体移动的夜间图像进行图像分辨率的增强没有较大的意义。
64.s205、建立图像基础分辨率信息、静态场景所对应的第一分辨率信息以及动态场景对应的第二分辨率信息。
65.在本技术实施方式中，图像的基础分辨率设置为480p，静态场景所对应的第一分辨率设置为240p，动态场景对应的第二分辨率设置为720p。
66.s206、获取图像储存位置的内存大小信息，若内存大小满足基于基础图像分辨率信息存储设定时长图像，则以基础图像分辨率存储获取到的图像。
67.如果内存大小满足基于基础图像分辨率信息存储设定时长图像，静态场景图像以基础分辨率480p进行储存或传输，无需进行分辨率处理。
68.s207、若应用场景为动态场景，则将当前图像对应的分辨率调整为第二分辨率，则将后续时长中静态场景图像的分辨率调整为第一分辨率，使所述内存大小满足存储设定时长图像的要求。
69.若经过相邻帧对比后，选取目标物判断该场景为动态场景后，将该动态场景以第二分辨率720p进行储存或传输，由于提高了动态图像的分辨率，该段图像的所占内存增大，对后续图像中的静态场景进行分辨率降低处理，使该段图像所占的内存达到动态平衡。
70.如果区分动态场景与静态场景仍然无法满足存储位置的内存时，则按照如下步骤对动态场景进行进一步的区分。
71.基于场景条件将动态场景图像划分为关键帧与存在特征帧，如结合人脸特征信息，将包含人脸移动的图像划分为具有正面人脸的关键帧以及只存在人脸的存在特征帧，关键帧更适合用于进行人脸的匹配识别，也在后期进行查阅图像时强化了关键信息，便于图像处理方法在监控场景的使用。
72.若当前图像为关键帧，则以第二分辨率存储获取到的图像信息，即对关键帧做分辨率增强处理，基于图像储存位置的内存大小信息和存储设定时长当前图像的所需内存，若内存足够，将存在特征帧以基础分辨率储存或传输，若内存不足，将存在特征帧以第一分辨率 240p储存或传输。
73.一种图像处理装置，如图4所示，用于实现如前所述的图像处理方法，包括用于存储场景条件与分辨率信息之间第一关联关系的存储模块1，用于获取场景条件及当前图像分辨率信息的信息获取模块2以及用于调整当前图像对应分辨率的分辨率调整模块3。其中，信息获取模块2获取当前图像的场景条件以及分辨率信息，分辨率调整模块3基于存储模块 1中储存的第一关联关系调整当前图像的分辨率。
74.详述的，图像处理装置的存储模块1中还存储有触发特征信息与各所述场景条件之间的第二关联关系以及自动触发信息与各所述场景条件之间的第三关联关系。
75.信息获取模块2包括图像特征捕捉模块以及图像信息解析模块，存储有人脸特征捕捉算法、车牌特征捕捉算法等，用于获取触发特征信息和自动触发信息。
76.分辨率调整模块3配置为现有的图像分辨率增强或减弱的算法，在本技术中不做赘述，用于将图像调整至适配的分辨率。
77.存储模块1配置为存储器，可以为终端设备的内部存储单元，例如，终端设备的硬盘或者内存，也可以为终端设备的外部存储设备，例如，终端设备上配备的插接式硬盘、智能存储卡(smc)、安全数字卡(sd)或者闪存卡(fc)等，并且，存储器还可以为终端设备的内
部存储单元与外部存储设备的组合，存储器用于存储计算机程序以及终端设备所需的其他程序和数据，存储器还可以用于暂时地存储已经输出或者将要输出的数据，本技术对此不做限制。
78.一种基于nvr的图像处理系统，包括具有设定分辨率的nvr装置、图像输出装置， nvr装置包括或连接有如前所述的图像处理装置，其中，所述nvr装置的图像输出端与信息获取模块2的数据输入端数据连接，所述图像输出装置的图像输入段与分辨率调整模块3 的图像输出端数据连接，可以针对场景条件输出不同分辨率的图像，使其与场景条件更加适配。
79.以上所述仅是本技术的优选实施方式，本技术的保护范围并不仅局限于上述实施例，凡属于本技术思路下的技术方案均属于本技术的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理前提下的若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。