利用基于AI的对象识别的监控摄像机图像的噪声去除的制作方法

本发明涉及一种监控摄像机图像处理装置及方法。

背景技术：

1、在由低照度环境的监控摄像机拍摄图像的情况下，为了调亮暗画面，需要强制设定较高的传感器增益。此时，将在图像产生噪声。为了去除这种噪声，目前适当地组合使用2d数字降噪(dnr：digital noise reduction)和3d dnr方法。

2、2d dnr是在存在噪声像素时参考噪声像素的周边像素进行校正的方法，虽然对于去除移动的物体的噪声有效，但是在去除诸如背景的固定物体的噪声的情况下，具有模糊现象之类的分辨率降低的缺点。3d dnr是在产生噪声像素时参考同一位置的前一帧/后一帧的像素进行校正的方法。

3、在监控摄像机的情况下，在低照度环境中，使用作为现有的噪声去除技术的2d和3d噪声滤波器来去除由传感器增益放大产生的噪声。无论是否存在对象都以预先定义的去除强度减少噪声，因此必然导致对象模糊，并且产生较多运动残影(motion blur)。若降低噪声去除强度而使残影效果(motion blur)看起来较少，则必然会增加噪声，这会导致图像传输信息增多而使带宽(band width)增加的结果。因此，在现有的噪声去除技术中，无论画面上是否存在对象，即使对象出现运动残影(motion blur)，也都将噪声控制在预定水平。由此，在对象的运动较多的情况下，可能因运动残影(motion blur)增多而难以区分对象。

4、因此，需要一种提高针对作为主要监视对象的人和对象的识别率的同时使残影效果最小化的方案。

技术实现思路

1、技术问题

2、为了解决上述的技术问题，可以考虑利用对象的运动信息来在没有运动的情况下控制为去除较多噪声，而在有运动的情况下去除较少噪声的方法，但是还可能存在因在自然环境中产生的运动误报的问题引起的功能性限制。由此，本发明可以提供一种能够通过将人工智能技术应用于监控摄像机的图像处理领域来使现有的因依赖运动数据而产生的运动误报最小化，并能够通过更准确地识别对象的运动信息来在提高对象的识别率的同时使对象的运动残影最小化的动态地控制噪声去除强度的装置、方法及系统。

3、本发明用于解决上述的技术问题，其目的在于提供一种能够通过根据画面上的对象的存在与否来动态地控制噪声去除强度而使运动残影(motion blur)最小化的监控摄像机的图像处理装置及方法。

4、此外，本发明的目的在于提供一种能够在低照度条件下根据画面上的对象的运动与否来使运动残影和噪声最小化的监控摄像机的图像处理装置及方法。

5、本发明所要实现的技术问题不限于以上提及的技术问题，本发明所属技术领域的普通人员可以从以下的详细说明中清楚地理解未提及的其他技术问题。

6、技术方案

7、根据本发明的一实施例的监控摄像机图像的处理装置包括：图像拍摄部；以及处理器，在低照度环境中通过所述图像拍摄部获取的图像中，根据传感器增益放大量来线性控制第一噪声去除强度，其中，所述处理器在从所述图像中识别到对象的情况下，根据所述对象的移动速度来在从所述第一噪声去除强度到低于所述第一噪声去除强度的第二噪声去除强度之间动态地控制噪声去除强度。

8、所述处理器在从所述图像中未识别到所述对象的情况下，随着所述低照度环境的区间开始，可以将所述图像拍摄部的快门速度从第一快门速度随着所述传感器增益放大量增加并达到第一传感器增益值而线性降低至第二快门速度，在识别到所述对象的情况下，可以将达到所述第二快门速度的所述传感器增益放大量设定为大于所述第一传感器增益值的第二传感器增益值。

9、所述处理器可以应用基于深度学习的yolo(you only look once)算法来识别所述对象，向识别到的每个所述对象赋予id，提取所述对象的坐标，并基于第一图像帧和所述第一图像帧的下一帧的第二图像帧中包含的对象的坐标信息来计算所述对象的移动速度。

10、所述第一噪声去除强度可以为所述图像中不存在所述对象的情况的噪声去除强度，所述第二噪声去除强度从所述第一噪声去除强度降低的比率可以根据所述对象的移动速度而不同。

11、所述处理器可以在所述对象的移动速度增加并达到由所述图像拍摄部可识别的最大极限速度的情况下，以所述第一噪声去除强度为基准按最大降低比率控制噪声去除强度。

12、所述处理器可以在所述传感器增益放大量增加并达到第一增益值的情况下，线性增加所述第二噪声去除强度，在超过所述第一增益值而达到所述第二增益值的情况下，可以控制为以与所述第一噪声去除强度相同的强度去除噪声。

13、在此，所述第一增益值可以为42db，所述第二增益值可以为60db。

14、所述处理器可以在从所述图像中识别到对象的情况下，根据所述移动速度来按预定比率降低用于2d dnr(digital noise reduction)和3d dnr的各个滤波器的控制强度。

15、所述处理器可以在由所述图像拍摄部获取的图像中区分不发生所述对象的运动的第一区域和发生所述运动的第二区域，并对所述第一区域应用所述第一噪声控制强度，对所述第二区域应用所述第二噪声控制强度。

16、所述处理器可以在检测到所述对象的运动的情况下或所述对象的移动速度增加的情况下，根据预定降低比率从当前噪声控制强度立即降低噪声控制强度。

17、所述处理器可以在检测到的所述对象的运动消失或所述对象的移动速度降低的情况下，在经过预定休止时间后，通过反映所述对象的移动速度来使所述噪声去除强度线性增加。

18、所述监控摄像机还可以包括通信部，所述处理器可以利用所述通信部将通过所述图像拍摄部获取的图像数据发送到外部服务器，并且可以利用所述通信部从外部服务器接收基于人工智能的对象识别结果。

19、根据本发明的另一实施例的监控摄像机图像的处理装置可以包括：图像拍摄部；以及处理器，在低照度环境中通过所述图像拍摄部获取的图像中，根据传感器增益放大量来线性控制第一噪声去除强度，其中，所述处理器可以在从所述图像中识别到对象的情况下，根据所述对象的移动速度来在从所述第一噪声去除强度到低于所述第一噪声去除强度的第二噪声去除强度之间动态地控制噪声去除强度。

20、所述处理器在第一噪声去除强度与第二噪声去除强度之间根据所述对象的移动速度来动态控制噪声去除强度，其中，所述第一噪声去除强度可以与从所述图像中未检测到所述对象或未检测到所述对象的运动的情况对应，所述第二噪声去除强度可以与在所述对象的移动速度增加并达到由所述图像拍摄部可识别的最大极限速度的情况下，以所述第一噪声去除强度为基准按最大降低比率降低的噪声去除强度对应。

21、根据本发明的另一实施例的监控摄像机图像的处理方法包括以下步骤：在通过图像拍摄部获取的图像中，根据传感器增益放大量来线性控制第一噪声去除强度；在从所述图像中识别到对象的情况下，计算所述对象的移动速度；以及根据所述移动速度来在从所述第一噪声去除强度到低于所述第一噪声去除强度的第二噪声去除强度之间动态地控制噪声去除强度。

22、在从所述图像中未识别到所述对象的情况下，随着低照度环境的区间开始，将所述图像传感器的快门速度从第一快门速度随着所述传感器增益放大量增加并达到第一传感器增益值而线性降低至第二快门速度，在识别到所述对象的情况下，可以将达到所述第二快门速度的所述传感器增益放大量设定为大于所述第一传感器增益值的第二传感器增益值。

23、所述监控摄像机图像的处理方法可以包括以下步骤：应用基于深度学习的yolo(you only look once)算法来识别所述对象；以及向识别到的每个所述对象赋予id，提取所述对象的坐标，并基于第一图像帧和所述第一图像帧的下一帧的第二图像帧中包含的对象的坐标信息来计算所述对象的移动速度。

24、在所述监控摄像机图像的处理方法中，所述第一噪声去除强度可以是所述图像中不存在所述对象的情况下的噪声去除强度，所述第二噪声去除强度可以被控制为根据所述对象的移动速度来使其从所述第一噪声去除强度降低的比率不同。

25、在所述监控摄像机图像的处理方法中，在所述对象的移动速度增加并达到由所述图像拍摄部可识别的最大极限速度的情况下，可以以所述第一噪声去除强度为基准按最大降低比率控制噪声去除强度。

26、在所述监控摄像机图像的处理方法中，在所述传感器增益放大量增加并达到第一增益值的情况下，可以线性增加所述第二噪声去除强度，在超过所述第一增益值而达到所述第二增益值的情况下，可以控制为以与所述第一噪声去除强度相同的强度去除噪声。

27、所述监控摄像机图像的处理方法还可以包括以下步骤：在检测到的所述对象的运动消失或所述对象的移动速度降低的情况下，在经过预定休止时间后，通过反映所述对象的移动速度来使所述噪声去除强度线性增加。

28、根据本发明的另一实施例的监控摄像机系统包括：监控摄像机，在预定照度以下的环境中拍摄监视区域的图像；以及计算装置，通过通信部从所述监控摄像机接收拍摄到的所述图像，利用基于人工智能的对象识别算法从所述图像中识别对象，计算识别到的所述对象的移动速度而发送到所述监控摄像机，其中，所述监控摄像机根据所述对象的移动速度在从第一噪声去除强度到低于所述第一噪声去除强度的第二噪声去除强度之间动态地控制噪声去除强度。

29、根据本发明的另一实施例的监控摄像机图像的处理方法包括以下步骤：从通过图像拍摄部获取的图像中识别对象；计算所述对象的移动速度；以及根据所述对象的移动速度来在第一噪声去除强度与第二噪声去除强度之间动态地控制所述图像的噪声去除强度，其中，所述第一噪声去除强度与从所述图像中未检测到所述对象或未检测到所述对象的运动的情况对应，所述第二噪声去除强度与所述对象的移动速度增加并达到由所述图像拍摄部可识别的最大极限速度的情况下，以所述第一噪声去除强度为基准按40％的降低比率降低的噪声去除强度对应。

30、技术效果

31、根据本发明的一实施例，可以动态地控制噪声去除强度，以能够通过更准确地识别对象的运动信息来在提高对象的识别率的同时使对象的运动残影最小化。

32、此外，本发明能够在低照度条件下根据画面上的对象的运动与否来使运动残影和噪声最小化。

33、本发明可获得的效果不限于以上提及的效果，本发明所属技术领域的普通人员可以从以下的详细说明中清楚地理解未提及的其他效果。