一种图像处理方法及相关设备与流程

本技术实施例涉及终端，尤其涉及一种图像处理方法及相关设备。

背景技术：

1、视障人群最渴望的是能够向普通人一样拥有可以独立自主的正常日常生活。出行在他们的生活中占了很重要的部分。

2、目前，视障人群出行时主要依赖盲杖，通过盲杖判断道路上的障碍物。由于盲杖主要针对的是前方障碍物，在无障碍物或较少障碍物的人行横道等场景下，视障人群通常根据出行经验进行移动。

3、但是，由于视障人群普遍存在由于方向感较差导致的难以直线行走的问题。特别是在人行横道等场景下，道路情况复杂，各种机动车、非机动车窜行。视障人群根据出行经验通过人行横道等场景存在较大安全风险。

技术实现思路

1、本技术实施例提供了一种图像处理方法及相关设备。可以在用户移动过程中偏离人行横道的情况下，通过输出的第一指示信息提升用户通过人行横道的安全。

2、本技术实施例第一方面提供了一种图像处理方法，该方法应用于电子设备，该电子设备用于获取用户正前方视角的多帧图像，方法包括：若从多帧图像中检测到人行横道，确定第一路线，第一路线为人行横道上的安全行进路线；基于多帧图像获取用户实际行走的第二路线；若第一路线与第二路线在同一参考系的夹角大于或等于预设角度，向用户输出第一指示信息，第一指示信息用于指示第二路线异常。可选地，上述输出第一指示信息的条件，还可以是：第一路线与第二路线在同一参考系的夹角在一段时间内大于或等于预设角度。即防止由于某一帧的测量失误或晃动导致的判断不准确的情况，避免频繁输出第一指示信息。另外，上述方法可以适用于用户通过人行横道场景，例如盲人过街场景、失聪人员过街场景等等。上述所提的参考系可以是指虚拟的参考系、平面(例如地面)参考系、电子设备的相机参考系等等，具体此处不做限定。例如，若平面是或者人行横道所在的地面，第一路线与第二路线在同一参考系的夹角可以理解为是第一路线投影到地面与第二路线之间的夹角。另外，第一路线可以理解为是用户/电子设备在地面上的安全移动路线，第二路线可以理解为是用户/电子设备在地面上的实际移动路线。

3、本技术实施例中，通过确定安全行进路线与用户实际行进路线之间的夹角，在夹角大于或等于预设角度的情况下，向用户输出第一指示信息，以指示用户的实际行进方向异常，进而用户在移动过程中偏离人行横道的情况下，通过输出的第一指示信息提升用户通过人行横道的安全。

4、可选地，在第一方面的一种可能的实现方式中，上述电子设备获取多帧图像时的第一位姿包括第一俯仰角与第一倾斜角，第一俯仰角的取值范围为60至100度，第一倾斜角的取值范围在60至120度。

5、该种可能的实现方式中，第一位姿中的第一俯仰角的取值范围为60至100度，第一倾斜角的取值范围在60至120度。使得电子设备采集图像时的位姿满足条件，或者理解为在上述条件下，电子设备采集的图像才对确定第一路线和/或第二路线有参考价值。或者说在获取多帧图像之前，可以先判断电子设备的位姿是否满足条件，在电子设备的位姿满足条件的情况下，才获取多帧图像，以保证获取的多帧图像合理，第一路线与第二路线的判断更加准确。

6、可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：获取电子设备的第二位姿，第二位姿中的第二俯仰角与第一俯仰角不同，或者第二位姿中的第二倾斜角与第一倾斜角不同；输出第二指示信息，第二指示信息用于用户调整第二位姿至第一位姿。

7、该种可能的实现方式中，在电子设备的位姿不满足拍照条件的情况下，通过第二指示信息使得用户可以调整电子设备的位姿，以将电子设备的第二位姿调整至满足拍照条件的第一位姿或预设位姿区间，从而使得后续获取的图像更加合理，第一路线与第二路线的判断更加准确。

8、可选地，在第一方面的一种可能的实现方式中，上述的第一路线为人行横道两侧边缘延伸方向所形成的夹角所在的角平分线，或者第一路线平行于人行横道的边缘。进一步的，第一路线与人行横道中横线(或称为斑马线)中短边的边缘平行，或者斑马线两个短边的边缘延长线相交形成一个角，角平分线的指向交点的方向即为第一路线，又或者第一路线为垂直于斑马线的方向等等，可以根据实际需要设置，具体此处不做限定。

9、该种可能的实现方式中，提供了第一路线的多种确定方式，在图像含有全部或部分人行横道的情况下，可以确定第一路线。

10、可选地，在第一方面的一种可能的实现方式中，上述步骤：向用户输出第一指示信息之前，方法还包括：确定多帧图像中人行横道的面积逐渐减小。

11、该种可能的实现方式中，电子设备在发出第一指示信息之前，确定多帧图像中人行横道的面积逐渐减小，保证用户站在人行横道路口时，判断用户是否真正的需要通过人行横道，或走上斑马线。

12、可选地，在第一方面的一种可能的实现方式中，上述电子设备采集多帧图像时的移动路线为第二路线，移动路线平行于人行横道所在的地面。

13、该种可能的实现方式中，电子设备采集多帧图像时的平行地面的路线为第二路线，或者说电子设备在平行于地面的维度上的移动是第二路线，提供了第二路线的确定方式。

14、可选地，在第一方面的一种可能的实现方式中，上述步骤：向用户输出第一指示信息之后，方法还包括：若电子设备获取的新图像中不包括人行横道，向用户输出第三指示信息，第三指示信息用于指示用户已通过人行通道。

15、该种可能的实现方式中，在用户正常移动的过程中，通过新图像判断用户是否已通过人行横道，在新图像不包括人行横道的情况下，发出第三指示信息以提醒用户已通过人行横道，进而提升用户体验。

16、可选地，在第一方面的一种可能的实现方式中，上述的多帧图像还包括红绿灯信息、人行横道的长度以及与人行横道相关的机动车信息；红绿灯信息包括红绿灯的颜色与时长，机动车信息包括机动车相对于人行横道的行驶方向与距离；第一指示信息还用于指示用户在人行横道上的移动路径。

17、该种可能的实现方式中，多帧图像中还可以包括红绿灯信息、人行横道的长度以及与人行横道相关的机动车信息等，进而通过输出第一指示信息的方式保证用户安全。

18、可选地，在第一方面的一种可能的实现方式中，上述步骤：确定第一路线之前，方法还包括：基于用户的操作开启第一应用，第一应用用于电子设备获取用户正前方视角的多帧图像。

19、该种可能的实现方式中，可以通过用户的操作来启动获取用户前方视角的多帧图像，减少由于不通过人行横道场景下带来的能耗。

20、可选地，在第一方面的一种可能的实现方式中，上述的第一指示信息的表现形式包括语音和/或标记信息。

21、该种可能的实现方式中，在用户为盲人的情况下，第一指示信息可以是语音，即盲人可以通过第一指示信息的语音安全通过人行横道。在用户为失聪用户或低头看电子设备的用户的情况下，第一指示信息可以是标记信息，即失聪用户或低头看电子设备的用户可以通过第一指示信息的标记信息安全通过人行横道。

22、本技术实施例第二方面提供了一种电子设备，该电子设备用于获取用户正前方视角的多帧图像，电子设备包括：确定单元，用于若从多帧图像中检测到人行横道，确定第一路线，第一路线为人行横道上的安全行进路线；获取单元，用于基于多帧图像获取用户实际行走的第二路线；输出单元，用于若第一路线与第二路线在同一参考系的夹角大于或等于预设角度，向用户输出第一指示信息，第一指示信息用于指示第二路线异常。

23、可选地，在第二方面的一种可能的实现方式中，上述的电子设备获取多帧图像时的第一位姿包括第一俯仰角与第一倾斜角，第一俯仰角的取值范围为60至100度，第一倾斜角的取值范围在60至120度。

24、可选地，在第二方面的一种可能的实现方式中，上述的获取单元，还用于获取电子设备的第二位姿，第二位姿中的第二俯仰角与第一俯仰角不同，或者第二位姿中的第二倾斜角与第一倾斜角不同；输出单元，还用于输出第二指示信息，第二指示信息用于用户调整第二位姿至第一位姿。

25、可选地，在第二方面的一种可能的实现方式中，上述的第一路线为人行横道两侧边缘延伸方向所形成的夹角所在的角平分线，或者第一路线平行于人行横道的边缘。

26、可选地，在第二方面的一种可能的实现方式中，上述的确定单元，还用于确定多帧图像中人行横道的面积逐渐减小。

27、可选地，在第二方面的一种可能的实现方式中，上述的电子设备采集多帧图像时的移动路线为第二路线，移动路线平行于人行横道所在的地面。

28、可选地，在第二方面的一种可能的实现方式中，上述的输出单元，还用于若电子设备获取的新图像中不包括人行横道，向用户输出第三指示信息，第三指示信息用于指示用户已通过人行通道。

29、可选地，在第二方面的一种可能的实现方式中，上述的多帧图像还包括红绿灯信息、人行横道的长度以及与人行横道相关的机动车信息；红绿灯信息包括红绿灯的颜色与时长，机动车信息包括机动车相对于人行横道的行驶方向与距离；第一指示信息还用于指示用户在人行横道上的移动路径。

30、可选地，在第二方面的一种可能的实现方式中，上述的电子设备还包括：开启单元，用于基于用户的操作开启第一应用，第一应用用于电子设备获取用户正前方视角的多帧图像。

31、可选地，在第二方面的一种可能的实现方式中，上述的第一指示信息的表现形式包括语音和/或标记信息。

32、本技术实施例第三方面提供了一种电子设备，包括：处理器，处理器与存储器耦合，存储器用于存储程序或指令，当程序或指令被处理器执行时，使得该电子设备实现上述第一方面或第一方面的任意可能的实现方式中的方法。

33、本技术实施例第四方面提供了一种计算机可读介质，其上存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行前述第一方面或第一方面的任意可能的实现方式中的方法。

34、本技术实施例第五方面提供了一种计算机程序产品，该计算机程序产品在计算机上执行时，使得计算机执行前述第一方面或第一方面的任意可能的实现方式中的方法。

35、其中，第二、第三、第四、第五方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果，此处不再赘述。

36、从以上技术方案可以看出，本技术实施例具有以下优点：本技术实施例中，通过确定安全行进路线与用户实际行进路线之间的夹角，在夹角大于或等于预设角度的情况下，向用户输出第一指示信息，以指示用户的实际行进方向异常，进而用户在移动过程中偏离人行横道的情况下，通过输出的第一指示信息提升用户通过人行横道的安全。