终端的碎屏识别方法和相关设备与流程

1.本发明涉及图像识别技术领域，尤其涉及一种终端的碎屏识别方法和相关设备。


背景技术：

2.随着智能终端的发展以及普及，衍生出终端的碎屏险业务。碎屏险业务指的终端的屏幕意外损坏可进行赔偿或者屏幕更换的保险业务。
3.目前，终端的屏幕的损坏是通过人工对用户拍摄的屏幕图片进行审核鉴定的。但是屏幕的裂痕可能及其细微，用户拍摄的屏幕图片无法显示出屏幕上的裂痕。
4.可见，终端的碎屏识别的准确性较低。


技术实现要素：

5.本发明提供一种终端的碎屏识别方法和相关设备，用以解决终端的碎屏识别的准确性较低的问题。
6.一方面，本发明提供一种终端的碎屏识别方法，包括：
7.获取待检测的第一屏幕图片，并将所述第一屏幕图片切分为第一预设数量的待检测图片，所述第一屏幕图片包括第一终端的屏幕，且所述第一屏幕图片是在所述第一终端的屏幕点亮时拍摄的；
8.将各张所述待检测图片输入至识别模型得到每张待检测图片的裂痕像素的数量，其中，所述识别模型是根据标注裂痕像素的各张第二屏幕图片训练得到的；
9.在任一所述待检测图片的裂痕像素的数量大于或等于第二预设数量时，确定所述第一终端的屏幕发生碎屏；
10.在每张所述待检测图片的裂痕像素的数量均小于所述第二预设数量时，确定所述第一终端的屏幕未发生碎屏。
11.在一实施例中，所述将所述第一屏幕图片切分为第一预设数量的待检测图片的步骤包括：
12.去除所述第一屏幕图片中的背景画面得到第三屏幕图片；
13.将所述第三屏幕图片切分为第一预设数量的待检测图片。
14.在一实施例中，所述将所述第一屏幕图片切分为第一预设数量的待检测图片的步骤包括：
15.将所述第一屏幕图片转换为预设比例的第四屏幕图片，其中，所述预设比例是实际屏幕的长宽比例；
16.将所述第四屏幕图片切分为第一预设数量的待检测图片。
17.在一实施例中，所述将各张所述待检测图片输入至识别模型得到每张待检测图片的裂痕像素的数量的步骤之前，还包括：
18.获取标注裂痕像素的各张第二屏幕图片，所述第二屏幕图片包括第二终端的屏幕，且所述第二屏幕图片是在所述第二终端的屏幕点亮时拍摄的；
19.将每张所述第二屏幕图片切分为第一预设数量的待训练图片；
20.根据各张所述待训练图片对预设模型进行训练得到识别模型，并保存所述识别模型。
21.在一实施例中，所述将每张所述第二屏幕图片切分为第一预设数量的待训练图片的步骤包括：
22.对每张所述第二屏幕图片进行预设处理得到待切分图片，所述预设处理包括对所述第二屏幕图片进行预设比例的转换和/或去除所述第二屏幕图片中的背景画面；
23.将所述待切分图片切分为第一预设数量的待训练图片。
24.在一实施例中，所述获取待检测的第一终端的第一屏幕图片的步骤包括：
25.获取所述第一终端屏幕点亮时的图像；
26.在所述图像中进行关键点的提取，得到所述第一终端的屏幕的各个角点；
27.根据各个所述角点对所述图像进行切分得到所述第一屏幕图片。
28.另一方面，本发明还提供一种终端的碎屏识别装置，包括：
29.获取模块，用于获取待检测的第一屏幕图片，并将所述第一屏幕图片切分为第一预设数量的待检测图片，所述第一屏幕图片包括第一终端的屏幕，且所述第一屏幕图片是在所述第一终端的屏幕点亮时拍摄的；
30.输入模块，用于将各张所述待检测图片输入至识别模型得到每张待检测图片的裂痕像素的数量，其中，所述识别模型是根据标注裂痕像素的各张第二屏幕图片训练得到的；
31.确定模块，用于在任一所述待检测图片的裂痕像素的数量大于或等于第二预设数量时，确定所述第一终端的屏幕发生碎屏；
32.所述确定模块，还用于在每张所述待检测图片的裂痕像素的数量均小于所述第二预设数量时，确定所述第一终端的屏幕未发生碎屏。
33.另一方面，本发明还提供一种终端的碎屏识别设备，包括：存储器以及处理器；
34.所述存储器存储计算机执行指令；
35.所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上所述的终端的碎屏识别方法。
36.另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的终端的碎屏识别方法。
37.另一方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上所述的终端的碎屏识别方法。
38.本发明提供的终端的碎屏识别方法和相关设备，获取待检测终端的第一屏幕图片，并将第一屏幕图片切分为第一预设数量的待检测图片，将各张待检测图片输入至识别模型得到每张待检测图片的裂痕像素，在任一待检测图片的裂痕像素的数量大于第二预设数量时，确定终端的屏幕发生碎屏，若每张待检测图片的裂痕像素的数量小于第二预设数量，确定终端的屏幕未发生碎屏。本发明中，识别模型是根据标注裂痕像素的第二屏幕图片训练得到的，使得识别模型能够基于终端当前的屏幕图片准确的识别出屏幕的裂痕，提高了终端碎屏识别的准确性。
附图说明
39.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
40.图1为本发明终端的碎屏识别方法的场景示意图；
41.图2为本发明终端的碎屏识别方法第一实施例的流程示意图；
42.图3为本发明终端的碎屏识别方法第二实施例中步骤s10的细化流程示意图；
43.图4为本发明终端的碎屏识别方法第三实施例中步骤s10的细化流程示意图；
44.图5为本发明终端的碎屏识别方法第四实施例的流程示意图；
45.图6为本发明涉及的标注裂痕像素的屏幕图片的示意图；
46.图7为本发明终端的碎屏识别方法第五实施例中步骤s10的细化流程示意图；
47.图8为本发明终端的碎屏识别装置的模块示意图；
48.图9为本发明终端的碎屏识别设备的硬件结构示意图。
49.通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
50.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
51.本发明提供一种终端的碎屏识别方法。参照图1，屏幕图片是手机点亮屏幕所拍摄的，屏幕图片显示手机有两块区域出现了裂痕，具体为屏幕图片的裂痕区域。屏幕图片作为手机的待检测图片输入至终端设备中。终端设备可以是任意具备数据处理能力的设备，例如，终端设备可以是计算机。识别模型对待检测图片进行识别，从而可以输出手机上屏幕的裂痕像素的数量，终端设备基于该数量与预设数量即可输出手机的屏幕发生碎屏或者未发生碎屏的提示信息。例如，裂痕像素的数量大于预设数量，终端设备输出手机的屏幕发生碎屏的提示信息；裂痕像素的数量小于或等于预设数量，终端设备输出手机的屏幕未发生碎屏的提示信息。
52.下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
53.参照图2，图2为本发明终端的碎屏识别方法的第一实施例，终端的碎屏识别方法包括以下步骤：
54.步骤s10，获取待检测的第一屏幕图片，并将第一屏幕图片切分为第一预设数量的待检测图片，第一屏幕图片包括第一终端的屏幕，且第一屏幕图片是在第一终端的屏幕点亮时拍摄的。
55.在本实施例中，执行主体是终端的碎屏识别装置，为了便于描述，以下采用装置指代终端的水平识别装置。装置可以是任意具备数据处理能力的终端设备，例如，装置可以是
电脑、笔记本或者手机。
56.装置获取待检测的第一屏幕图片。第一屏幕图片中包括终端的屏幕，终端定义为第一终端，第一终端可以是手机、平板等移动终端。第一屏幕图片是第一终端的屏幕点亮时拍摄的，也即第一屏幕图片中包括第一终端点亮的屏幕，从而基于点亮的屏幕更容易的识别出第一终端的屏幕上是否有裂痕。
57.进一步，装置会将第一屏幕图片切分为第一预设数量的待检测图片。第一预设数量可以为任意合适的数值，例如，第一预设数量可以为8个。此外，各个待检测图片优选为尺寸相同的正方形图片，也即将第一屏幕图片均分为第一预设数量的待检测图片。
58.步骤s20，将各张待检测图片输入至识别模型得到每张待检测图片的裂痕像素的数量，其中，识别模型是根据标注裂痕像素的各张第二屏幕图片训练得到的。
59.装置中存储有识别模型。识别模型是根据标注裂痕像素的各个第二屏幕图片训练得到的。第二屏幕图片包括第二终端的屏幕，且第二屏幕图片是第二终端的屏幕点亮时拍摄的。裂痕像素指的是第二屏幕图片中裂痕所在的像素。
60.装置将各张待检测图片输入至识别模型。识别模型对每张待检测图片进行识别，从而输出每张待检测图片中的裂痕像素的数量。
61.步骤s30，在任一待检测图片的裂痕像素的数量大于或等于第二预设数量时，确定第一终端的屏幕发生碎屏。
62.裂痕一般是集中在屏幕的某个区域，而整个屏幕的像素的总数量较多，裂痕对应的裂痕像素与总数量的比值是比较小，使得装置会误判第一终端的屏幕未发生碎屏。故而，装置将第一屏幕图片进行切分，且将待检测图片中像素的总数量设置为第二预设数量设置，从而提高了裂痕像素数量的占比以合理确定第一终端的屏幕是否发生碎屏，也即避免装置产生误判。
63.装置在确定任一待检测图片的裂痕像素的数量大于或等于第二预设数量时，确定第一终端的屏幕发声碎屏。
64.步骤s40，在每张待检测图片的裂痕像素的数量均小于第二预设数量时，确定第一终端的屏幕未发生碎屏。
65.装置在检测每张待检测图片的裂痕像素的数量均小于第二预设数量，即可确定第一终端的屏幕未发生碎屏。
66.在本实施例提供的技术方案中，获取待检测终端的第一屏幕图片，并将第一屏幕图片切分为第一预设数量的待检测图片，将各张待检测图片输入至识别模型得到每张待检测图片的裂痕像素，在任一待检测图片的裂痕像素的数量大于第二预设数量时，确定终端的屏幕发生碎屏，若每张待检测图片的裂痕像素的数量小于第二预设数量，确定终端的屏幕未发生碎屏。本发明中，识别模型是根据标注裂痕像素的第二屏幕图片训练得到的，使得识别模型能够基于终端当前的屏幕图片准确的识别出屏幕的裂痕，提高了终端碎屏识别的准确性。
67.参照图3，图3是本发明终端的碎屏识别方法第二实施例，基于第一实施例，步骤s10包括：
68.步骤s11，去除第一屏幕图片中的背景画面得到第三屏幕图片。
69.步骤s12，将第三屏幕图片切分为第一预设数量的待检测图片。
70.在本实施例中，第一屏幕图片是第一终端的屏幕点亮时拍摄的。因而，第一屏幕图片中包括有屏幕显示的内容，显示内容可能会遮盖屏幕上的裂痕或者会造成裂痕不易被识别。
71.对此，装置在得到第一屏幕图片后，去除第一屏幕中的背景画面得到第三屏幕图片，也即第三屏幕图片是纯颜色的画面，例如，白场画面。
72.装置再将第三屏幕图片切分为第一预设数量的待检测图片，从而能够使得装置能够更加清晰的识别出终端的屏幕是否发生碎屏。
73.在本实施例提供的技术方案中，装置将第一屏幕图片中的背景画面去除得到第三屏幕图片，再将第三屏幕图片切分为第一预设数量的待检测图片，避免第一屏幕图片中屏幕的背景画面影响识别模型的识别精度。
74.参照图4，图4是本发明终端的碎屏识别方法第三实施例，基于第一或第二实施例，步骤s10包括：
75.步骤s13，将第一屏幕图片转换为预设比例的第四屏幕图片，其中，预设比例是实际屏幕的长宽比例。
76.步骤s14，将第四屏幕图片切分为第一预设数量的待检测图片。
77.在本实施例中，装置将第一屏幕转换为预设比例的第四屏幕图片。预设比例是实际屏幕的长宽比例。具体的，手机屏幕的长宽比例一般为2:1，若是第一屏幕图片包括的是手机屏幕，则装置将第一屏幕图片转换为2:1的第四屏幕图片。
78.装置将第四屏幕图片进行切分得到第一预设数量的待检测图片，例如，将第四屏幕图片进行2
×
4的均匀切分，得到八张待检测图片。
79.在本实施例提供的技术方案中，装置将第一屏幕图片转化为预设比例的第四屏幕图片，再将第四屏幕图片且分为第一预设数量的待检测图片，也即按照第一终端的屏幕实际长宽比例处理图片，对待识别的图片进行规范化，以统一屏幕是否发生碎屏的识别标准。
80.参照图5，图5为本发明终端的碎屏识别方法第四实施例，基于第一至第三中任一实施例，步骤s20之前，还包括：
81.步骤s50，获取标注裂痕像素的各张第二屏幕图片，第二屏幕图片包括第二终端的屏幕，且第二屏幕图片是在第二终端的屏幕点亮时拍摄的。
82.在本实施例中，装置需要训练得到识别模型。具体的，装置从数据库中选取用户上传的各个型号的手机的图片，手机即为第二终端，基于每张图片即可得到第二屏幕图片。第二屏幕图片包括第二终端的屏幕，且第二屏幕是第二终端屏幕点亮时拍摄的。每张第二屏幕图片会进行列冷像素的标记。具体参照图6，图6为标注后的第二屏幕图片，也即第二屏幕图片中白色的线条是屏幕上的裂痕像素所组成的。
83.步骤s60，将每张第二屏幕图片切分为第一预设数量的待训练图片。
84.装置将每张第二屏幕图片切分为第一预设数量的待训练图片，第二屏幕图片的切方方法与第一屏幕图片的切分方法相同，再次不再进行赘述。
85.步骤s70，根据各张待训练图片对预设模型进行训练得到识别模型，并保存识别模型。
86.装置基于各张待训练图片对预设模型进行训练即可得到识别模型，再保存识别模型。
87.需要说明的是，装置在得到第二屏幕图片后，对第二屏幕图片进行预设处理得到待切分图片，预设处理包括对第二屏幕图片进行预设比例的转换和/或去除第二屏幕图片中的背景画面。第二屏幕图片进行预设比例的转换与第一屏幕图片进行预设比例的转换相同，且去除第二屏幕图片中的背景画面与去除第一屏幕画面中背景画面相同，具体参照上述说明，再次不再进行赘述。
88.在本实施例提供的技术方案中，装置获取标注裂痕像素的各张第二屏幕画面，将每张第二屏幕画面切分为第一预设数量的待训练图片，从而根据各张待训练图片对预设模型进行训练得到识别模型，进而基于识别模型准确的识别终端的屏幕是否发生碎屏。
89.参照图7，图7是本发明终端的碎屏识别方法第五实施例，基于第一至第三中任一实施例，步骤s10包括：
90.步骤s15，获取第一终端屏幕点亮时的图像；
91.步骤s16，在图像中进行关键点的提取，得到第一终端的屏幕的各个角点；
92.步骤s17，根据各个角点对图像进行切分得到第一屏幕图片。
93.在本实施例中，在进行终端的碎屏识别时，终端的姿态不同，会对终端的碎屏识别精度造成影响。对此，装置可以从图像中提取仅包含终端的屏幕的图片。
94.具体的，装置先获取第一终端屏幕点亮时的图像，该图像由用户上传。装置采用关键点提取模型从图像中进行关键点的提取得到第一终端的屏幕在图像中的各个角点。关键点提取模型对手机边框的四条边的延长线的四个交点的位置按照左上，左下，右下，右上的顺序进行标注，并将这四个点定义为该手机的关键点。
95.装置基于各个角点对图像进行切分即可得到第一屏幕图片，也即装置用仅包含屏幕的图片进行碎屏的识别。
96.在本实施例提供的技术方案中，装置获取第一终端屏幕点亮时的图像，并从图像中确定屏幕的各个角点，从而根据各个角点从图像中切分出第一屏幕图片，避免终端的姿态对碎屏识别精度造成影响。
97.本发明还提供一种终端的碎屏识别装置，参照图8，终端的碎屏识别装置800包括：
98.获取模块810，用于获取待检测的第一屏幕图片，并将第一屏幕图片切分为第一预设数量的待检测图片，第一屏幕图片包括第一终端的屏幕，且第一屏幕图片是在第一终端的屏幕点亮时拍摄的；
99.输入模块820，用于将各张待检测图片输入至识别模型得到每张待检测图片的裂痕像素的数量，其中，识别模型是根据标注裂痕像素的各张第二屏幕图片训练得到的；
100.确定模块830，用于在任一待检测图片的裂痕像素的数量大于或等于第二预设数量时，确定第一终端的屏幕发生碎屏；
101.确定模块830，用于在每张待检测图片的裂痕像素的数量均小于第二预设数量时，确定第一终端的屏幕未发生碎屏。
102.在一实施例中，终端的碎屏识别装置800包括：
103.处理模块，用于去除第一屏幕图片中的背景画面得到第三屏幕图片；
104.切分模块，用于将第三屏幕图片切分为第一预设数量的待检测图片。
105.在一实施例中，终端的碎屏识别装置800包括：
106.转换模块，用于将第一屏幕图片转换为预设比例的第四屏幕图片，其中，预设比例
是实际屏幕的长宽比例；
107.切分模块，用于将第四屏幕图片切分为第一预设数量的待检测图片。
108.在一实施例中，终端的碎屏识别装置800包括：
109.获取模块810，用于获取标注裂痕像素的各张第二屏幕图片，第二屏幕图片包括第二终端的屏幕，且第二屏幕图片是在第二终端的屏幕点亮时拍摄的；
110.切分模块，用于将每张第二屏幕图片切分为第一预设数量的待训练图片；
111.训练模块，用于根据各张待训练图片对预设模型进行训练得到识别模型，并保存识别模型。
112.在一实施例中，终端的碎屏识别装置800包括：
113.处理模块，用于对每张第二屏幕图片进行预设处理得到待切分图片，预设处理包括对第二屏幕图片进行预设比例的转换和/或去除第二屏幕图片中的背景画面；
114.切分模块，用于将待切分图片切分为第一预设数量的待训练图片。
115.在一实施例中，终端的碎屏识别装置800包括：
116.获取模块810，用于获取第一终端屏幕点亮时的图像；
117.提取模块，用于在图像中进行关键点的提取，得到第一终端的屏幕的各个角点；
118.切分模块，用于根据各个角点对图像进行切分得到第一屏幕图片。
119.图9是根据一示例性实施例示出的一种终端的碎屏识别设备的硬件结构图。
120.终端的碎屏识别设备900可以包括：处理器901，例如cpu，存储器902以及收发器903。本领域技术人员可以理解，图9中示出的结构并不构成对终端的碎屏识别设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
121.处理器901可以调用存储器902内存储的计算机程序，以完成上述的终端的碎屏识别方法的全部或部分步骤。
122.收发器903用于接收外部设备发送的信息以及向外部设备发送信息。
123.一种非临时性计算机可读存储介质，当该存储介质中的指令由终端的碎屏识别设备的处理器执行时，使得终端的碎屏识别设备能够执行上述终端的碎屏识别方法。
124.一种计算机程序产品，包括计算机程序，当该计算机程序由终端的碎屏识别设备的处理器执行时，使得终端的碎屏识别设备能够执行上述终端的碎屏识别方法。
125.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
126.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。