图像处理设备和用于控制图像处理设备的方法与流程

本公开涉及一种图像处理设备和用于控制图像处理设备的方法。

背景技术：

1、在对象检测技术中，当人被物体或其他人隐藏时，很难完整地检测到人。已经研究了各种技术来解决该问题。检测器的性能可以通过使用在许多视点拍摄的图像或分类设备，或者基于特征点来补充。

2、然而，如果需要大量数据库或者人被隐藏，则这种方法难以获得高可靠性的信息。并且，大多数的分类设备仅考虑人的完整检测，并且存在不考虑人的三维位置信息的问题。

技术实现思路

1、鉴于上述情况，本公开提供了一种可以在没有大量数据库的情况下增加遮挡检测结果的可靠性的图像处理设备和用于控制图像处理设备的方法。

2、另外，本公开提供了一种可以通过使用利用基于深度学习的遮挡检测结果表示检测对象的边界框信息来有效地校正隐藏对象的坐标信息的图像处理设备和用于控制图像处理设备的方法。

3、本公开要实现的目的不限于上述目的，并且本领域技术人员可以从以下说明中清楚地理解未提及的其他目的。

4、根据本公开的一实施例的一种图像处理设备包括：图像获取单元；以及处理器，被配置为基于指示来自通过所述图像获取单元获取的图像的对象检测结果的边界框的纵横比小于预定的基准纵横比来确定对象的至少一部分被遮挡，并且根据边界框的坐标信息来估计对象的基准坐标，其中，不同的纵横比根据所述对象的类型和属性中的至少一个而被应用于基准纵横比。

5、所述对象的类型可以包括人、动物和车辆中的至少一个，并且其中，所述对象的属性可以包括在相同类型的对象之中能够分类为不同类别的特征。

6、所述基准坐标可以是用于在所述对象的至少一部分被遮挡的状态下估计所述对象被遮挡之前的长度的坐标，并且包括所述对象被遮挡之前的长度方向上的两端点中的至少一个点的坐标信息。

7、所述处理器可以被配置为：通过使用基于深度学习的算法检测图像中的对象，对检测到的对象的类型或属性进行分类，并基于检测到的对象的所分类的类型或属性将边界框的纵横比与预定的基准纵横比进行比较。

8、预定的基准纵横比可以根据所述图像获取单元的安装角度来改变。

9、基于对象的类型是人体并且边界框的纵横比小于基准纵横比，所述处理器可以被配置为：确定所述边界框包括人体的头部区域，从头部区域的坐标值估计人体的脚尖坐标，并且计算人体的整个身体的长度。

10、所述处理器可以被配置为：估计将包括头部区域的边界框的中心坐标值中的y坐标值与边界框的垂直长度的整数倍相加的结果作为人体的脚尖坐标。

11、所述整数倍的整数值可以是将预定的基准纵横比与考虑了所述图像获取单元的灵敏度的值相加的值。

12、所述处理器可以被配置为：在通过所述图像获取单元检测到的至少两个对象中的至少一个对象被检测为遮挡对象的情况下，通过将基准坐标应用于遮挡对象来测量所述至少两个对象之间的实际距离。

13、所述处理器可以被配置为：根据所述图像获取单元的校准信息基于包括头部区域的边界框的二维中心坐标值和人体的身高值，构建人体的三维坐标值，从三维坐标值获取脚尖的三维坐标值，并且通过基于所述图像获取单元的校准信息将脚尖的三维坐标值转换为二维中心坐标值来估计人体的脚尖坐标。

14、所述处理器可以被配置为：估计至少一个遮挡对象的基准坐标，基于估计的基准坐标生成所述至少一个遮挡对象的校正的边界框，并且生成校正边界框的坐标信息作为用于对对象进行分类的深度学习模型的输入数据。

15、根据本公开的另一实施例的一种用于控制图像处理设备的方法包括如下步骤：从通过图像处理设备的图像获取单元获取的图像中检测对象；将指示对象的检测结果的边界框的纵横比与预定的基准纵横比进行比较；以及基于边界框的纵横比小于预定的基准纵横比来确定对象的至少一部分被遮挡，并且基于边界框的坐标信息来估计对象的基准坐标，其中，不同的纵横比根据对象的类型和属性中的至少一个而被应用于基准纵横比。

16、对象包括人体，并且所述方法还可以包括如下步骤：基于边界框的纵横比小于基准纵横比，确定边界框包括人体的头部区域；以及估计将边界框的顶部的中心坐标值中的y坐标值与边界框的垂直长度的整数倍相加的结果作为人体的脚尖坐标。

17、可以识别检测到的所述对象的性别，并且所述方法还可以包括如下步骤：基于边界框的纵横比小于基准纵横比，确定边界框包括人体的头部区域；根据所述图像获取单元的校准信息基于包括头部区域的边界框的二维中心坐标值和根据性别预先确定的人体身高值，构建人体的三维坐标值；从三维坐标值获取脚尖的三维坐标值；以及通过基于所述图像获取单元的校准信息将脚尖的三维坐标值转换为二维中心坐标值来估计人体的脚尖坐标。

18、根据本公开的另一实施例的一种图像处理设备包括：图像获取单元；以及处理器，被配置为从通过图像获取单元获取的图像中检测对象，将检测到的对象的边界框的纵横比与预定的基准纵横比进行比较，基于检测到的被遮挡的对象的至少一部分来估计遮挡对象的基准坐标，并且基于估计的基准坐标来获取遮挡对象的校正的边界框的坐标信息，其中，所述处理器将校正的边界框的坐标信息配置为深度学习对象检测模型的输入数据，并输出对象检测结果。

19、不同的纵横比可以根据对象的类型和属性中的至少一个而被应用于基准纵横比。

20、对象的类型可以包括人、动物和车辆中的至少一个，并且其中，对象的属性可以包括在相同类型的对象之中能够分类为不同类别的特征。

21、基准坐标可以是用于在对象的至少一部分被遮挡的状态下估计对象被遮挡之前的长度的坐标，并且包括对象被遮挡之前的长度方向上的两端点中的至少一个点的坐标信息。

22、所述处理器可以被配置为：基于边界框的纵横比小于基准纵横比来确定遮挡对象，基于遮挡对象是人确定遮挡对象的边界框仅包括人体的头部区域，从头部区域的坐标值估计人体的脚尖坐标，并且计算人体的整个身体的长度。

23、所述处理器可以被配置为：估计将包括所述头部区域的所述边界框的中心坐标值中的y坐标值与所述边界框的垂直长度的整数倍相加的结果作为所述人体的脚尖坐标，其中，所述整数倍的整数值是将预定的所述基准纵横比与考虑了所述图像获取单元的灵敏度的值相加的值。

24、所述处理器可以被配置为：识别检测到的人体的性别，根据所述图像获取单元的校准信息基于包括头部区域的边界框的二维中心坐标值和根据性别预先确定的人体身高值，构建人体的三维坐标值，从三维坐标值获取脚尖的三维坐标值，并且通过基于所述图像获取单元的校准信息将脚尖的三维坐标值转换为二维中心坐标值来估计所述人体的脚尖坐标。

25、根据本公开的另一实施例的监控相机包括：图像获取单元；以及处理器，被配置为基于指示来自通过所述图像获取单元获取的图像的对象检测结果的边界框的纵横比小于预定的基准纵横比来确定人体的至少一部分被另一对象隐藏，并且基于边界框的坐标信息来估计人体的整个身体长度。

26、处理器可以被配置为：通过使用基于yolo(you only lock once)算法的深度学习从图像中检测对象，并且基于检测到的对象是人，将边界框的纵横比与预定基准纵横比进行比较。

27、预定的基准纵横比可以根据监控相机的安装角度而改变。

28、基于边界框的纵横比小于基准纵横比，处理器可以被配置为：确定边界框包括人体的头部区域，从头部区域的坐标值估计人体的脚尖坐标，并且计算人体的整个身体的长度。

29、处理器可以被配置为：估计将包括头部区域的边界框的中心坐标值中的y坐标值与边界框的垂直长度的整数倍相加的结果作为人体的脚尖坐标。

30、所述整数倍的整数值可以是将预定的所述基准纵横比与考虑了所述图像获取单元的灵敏度的值相加的值。

31、所述处理器可以被配置为：根据所述图像获取单元的校准信息基于包括头部区域的边界框的二维中心坐标值和根据性别预先确定的人体身高值，构建人体的三维坐标值，从所述三维坐标值获取脚尖的三维坐标值，并且通过基于所述图像获取单元的校准信息将所述脚尖的三维坐标值转换为二维中心坐标值来估计所述人体的脚尖坐标。

32、所述处理器可以被配置为：通过使用基于深度学习的算法来检测所述人体，对所述人体的性别进行分类，并且根据所分类的性别来不同地应用预定的所述人类身高值。

33、根据本发明的另一实施例的一种用于控制监控相机的方法包括如下步骤：从通过图像处理设备的图像获取单元获取的图像中检测对象；将指示对象的检测结果的边界框的纵横比与预定的基准纵横比进行比较；以及基于边界框的纵横比小于预定的基准纵横比来确定对象的至少一部分被隐藏，并且基于所述边界框的坐标信息来估计所述对象的基准坐标。

34、对象可以包括人体，并且所述用于控制监控相机的方法还可以包括如下步骤：基于边界框的纵横比小于基准纵横比，确定边界框包括人体的头部区域；以及估计将边界框的顶部的中心坐标值中的y坐标值与边界框的垂直长度的整数倍相加的结果作为人体的脚尖坐标。

35、所述对象可以包括人体，所述用于控制监控相机的方法还可以包括如下步骤：基于边界框的所述纵横比小于基准纵横比，确定边界框包括所述人体的头部区域；基于包括头部区域和根据性别预先确定的人体身高值的边界框的二维中心坐标值和基于所述图像获取单元的校准信息的人体的三维坐标值，配置二维中心坐标值；从所述三维坐标值获取脚尖的三维坐标值；以及通过基于所述监控相机的校准信息将所述脚尖的三维坐标值转换为二维中心坐标值来估计所述人体的脚尖坐标。

36、根据本发明的另一实施例的一种监控相机包括：图像获取单元；以及处理器，被配置为从由图像获取单元获取的图像中检测人体，基于人体的至少一部分被其他对象遮挡，确定指示人体的检测结果的边界框包括人体的头部区域，从头部区域的坐标值估计人体的脚尖坐标，计算人体的整个身体的长度。

37、处理器可以被配置为：估计将包括头部区域的边界框的中心坐标值中的y坐标值与边界框的垂直长度的整数倍相加的结果作为人体的脚尖坐标。

38、所述整数倍的整数值可以是将预定的基准纵横比与考虑了所述图像获取单元的灵敏度的值相加的值。

39、所述处理器被配置为：识别检测到的人体的性别，基于包括头部区域和根据性别预先确定的人体身高值的边界框的二维中心坐标值和基于所述图像获取单元的校准信息的人体的三维坐标值，配置二维中心坐标值，从三维坐标值获取脚尖的三维坐标值，并且通过基于所述监控相机的校准信息将脚尖的三维坐标值转换为二维中心坐标值来估计人体的脚尖坐标。

40、所述处理器可以被配置为：基于指示人体的检测结果的边界框的纵横比小于预定的基准纵横比，确定人体的至少一部分被另一对象隐藏。

41、根据本发明的另一实施例的监控相机包括：图像获取单元；以及处理器，被配置为从由图像获取单元获取的图像中检测人体，基于人体的至少一部分被其他对象遮挡，确定指示人体的检测结果的边界框仅包括人体的头部区域，并基于人体的头部区域的坐标来估计人体的整个身体的长度，其中，所述处理器配置由所述图像获取单元获取的图像作为输入数据，配置对象检测作为输出数据，并且通过应用深度学习神经网络模型来检测对象。

42、yolo算法可以应用于对象检测。

43、所述处理器可以被配置为：基于边界框的纵横比小于预定的基准纵横比，确定人体的至少一部分被另一对象隐藏，从头部区域的坐标值估计人体的脚尖坐标，并计算人体的整个身体的长度。

44、所述处理器可以被配置为：估计将包括头部区域的边界框的中心坐标值中的y坐标值与边界框的垂直长度的整数倍相加的结果作为人体的脚尖坐标，其中，所述整数倍的整数值是将预定的基准纵横比与考虑了所述图像获取单元的灵敏度的值相加的值。

45、所述处理器可以被配置为：识别检测到的人体的性别，基于包括头部区域和根据性别预先确定的人体身高值的边界框的二维中心坐标值和基于所述图像获取单元的校准信息的人体的三维坐标值，配置二维中心坐标值，从三维坐标值获取脚尖的三维坐标值，并且通过基于所述监控相机的校准信息将脚尖的三维坐标值转换为二维中心坐标值来估计人体的脚尖坐标。

46、本公开的一实施例可以在没有大量数据库的情况下增加遮挡检测结果的可靠性。

47、另外，本公开的实施例可以使用基于深度学习的遮挡检测结果，通过使用表示检测对象的边界框信息来有效地校正隐藏对象的坐标信息。

48、另外，根据本公开的实施例，在监控相机的图像中存在隐藏对象的情况下，确定对象的遮挡，并且估计隐藏对象的基准坐标，并且可以有效地获取隐藏对象的整个长度。

49、另外，本公开的实施例在监控相机的图像中存在隐藏的对象的情况下，可以通过利用未隐藏的对象信息来容易地推断对象之间的实际距离或对象的实际大小。

50、另外，本公开的实施例可以校正由于对象遮挡引起的不完美边界框，并生成精确深度学习对象检测算法的输入数据，因此提高深度学习对象检测的可靠性。

51、通过本公开实现的效果不限于上述效果，并且本领域技术人员可以从以下说明中清楚地理解未提及的其他效果。

52、作为详细说明的一部分被包括以帮助理解本公开的附图提供了本公开的实施例，并且与详细说明一起说明了本公开的技术特征。

53、图1是示出用于实现根据本公开的一实施例的监控相机控制方法的监控相机系统的图。

54、图2是示出根据本公开的一实施例的监控相机的框图。

55、图3是用于说明根据本公开的一实施例的应用于对象识别模型的训练的人工智能(ai：artificial intelligence)装置(模块)的图。

56、图4是根据本公开的一实施例的图像处理设备的控制方法的流程图。

57、图5是示出根据本公开的一实施例的根据对象的类型和属性不同地应用基准纵横比的一示例的流程图。

58、图6是根据本公开的一实施例的监控相机的图像处理方法的流程图。

59、图7示出了根据本公开的一实施例的由边界框表示对象检测结果的一示例。

60、图8是根据本公开的一实施例的通过使用边界框的纵横比来估计人的脚尖坐标的流程图。

61、图9是用于说明图8所示的流程图的图。

62、图10是根据本公开的一实施例的通过使用边界框的纵横比来估计人的脚尖坐标的另一示例的流程图。

63、图11a至图12b是示出根据本公开的一实施例的将图像处理设备的控制方法应用于车辆的实施例的图。

64、图13是示出将根据本公开的一实施例的图像处理设备的控制方法应用于确定监控区域的入口的实施例的流程图。

65、图14是用于详细说明图13所示的实施例的图。

66、图15是示出将根据本公开的一实施例的图像处理设备的控制方法应用于获取深度学习模型输入数据的实施例的流程图。

67、图16是用于详细说明图15所示的实施例的图。