一种显示屏上控件功能的检测方法、检测装置和电子设备与流程

1.本技术涉及工业自动化技术领域，具体而言，涉及一种显示屏上控件功能的检测方法、检测装置和电子设备。


背景技术：

2.随着车载终端技术的飞速发展，对车载终端的生产需求也越来越高。在生产车载终端显示屏的过程中，一般需要检测车载终端显示屏上控件的功能是否异常，在目前对车载终端的生产需求日益增长的情况下，需要一种能够快速地检测出车载终端显示屏上控件的功能是否异常的方法，从而增加检测的效率，提高生产率。
3.一般来说，在对车载终端显示屏上控件的功能进行检测时，通常是依据人工点触的方式检测显示屏上控件功能是否异常。然而，通过这种人工点触检测车载终端显示屏上控件功能的方法，检测的时间比较长，从而降低了检测的效率，使得生产率降低。


技术实现要素：

4.有鉴于此，本技术实施例的目的在于提供一种检测显示屏上控件功能的方法、装置和电子设备，通过控制机械臂在显示屏上点触的同时与预先获取的模板图片比对，从而快速地发现显示屏上控件功能的异常，节省检测时间，提高检测效率，从而提高生产率。
5.第一方面，本技术实施例提供了一种显示屏上控件功能的检测方法，所述检测方法包括：
6.按照预定的点触顺序以及所述点触顺序对应的点触位置，控制机械臂移动到显示屏上相应的检测点，并控制机械臂在所述显示屏上相应的检测点进行点触操作；所述检测点为显示屏上的目标控件所占用的显示屏区域内部的点；
7.针对每个点触操作，响应于该点触操作，对正在进行录像的所述摄像装置的视频图像进行截图，以得到在该点触操作后记录所述显示屏上的画面的原始截图；
8.根据所述原始截图以及在预先获取的模板图片库中与所述原始截图对应的目标模板图片，确定所述显示屏上的目标控件的功能是否异常。
9.可选地，所述根据所述原始截图以及在预先获取的模板图片库中与所述原始截图对应的目标模板图片，确定所述显示屏上控件功能是否异常，包括：
10.在预先获取的模板图片库中获取与所述原始截图对应的目标模板图片，并将所述原始截图与所述目标模板图片进行对比，确定所述原始截图与所述目标模板图片是否相同；
11.如果所述原始截图与所述目标模板图片不相同，则确定所述显示屏上的目标控件的功能异常，并停止控制机械臂移动到显示屏上的下一个检测点。
12.可选地，在确定所述显示屏上的目标控件的功能出现异常之后，所述检测方法还包括：
13.将当前原始截图与该当前原始截图相邻的上一个原始截图进行对比，确定当前原
始截图与该当前原始截图相邻的上一个原始截图是否相同；
14.如果当前原始截图与该当前原始截图相邻的上一个原始截图相同，则确定显示屏上的目标控件出现卡顿情况，并发出目标控件的异常为卡顿异常的预警；
15.如果当前原始截图与该当前原始截图相邻的上一个原始截图不相同，则确定显示屏上的目标控件出现程序逻辑错误的情况，并发出目标控件的异常为逻辑异常的预警。
16.可选地，所述检测方法还包括：
17.如果所述原始截图与所述目标模板图片相同，则确定所述显示屏上的目标控件的功能正常，并确定当前点触位置是否为预定的点触顺序中最后的序号对应的点触位置；
18.若当前点触位置不是预定的点触顺序中最后的序号对应的点触位置，则继续按照预定的点触顺序以及所述点触顺序对应的点触位置，控制机械臂移动到显示屏上相应的检测点；
19.若当前点触位置是预定的点触顺序中最后的序号对应的点触位置，则结束测试。
20.可选地，通过以下步骤确定与所述原始截图对应的目标模板图片：
21.获取所述原始截图对应的所述点触顺序的序号以及所述模板图片库中的模板图片的序号；
22.在模板图片库中查找与所述点触顺序的序号对应的模板图片的序号；
23.将所述模板图片的序号对应的模板图片作为与所述原始截图对应的目标模板图片。
24.可选地，在得到在该点触操作后记录所述显示屏上的画面的原始截图后，所述方法还包括：
25.针对每个点触操作，将得到的在该点触操作后记录所述显示屏上的画面的原始截图存储在数据库中。
26.第二方面，本技术实施例提供了一种显示屏上控件功能的检测装置，所述检测装置包括：
27.控制模块，用于按照预定的点触顺序以及所述点触顺序对应的点触位置，控制机械臂移动到显示屏上相应的检测点，并控制机械臂在所述显示屏上相应的检测点进行点触操作；所述检测点为显示屏上的目标控件所占用的显示屏区域内部的点；
28.截图模块，用于针对每个点触操作，响应于该点触操作，对正在进行录像的所述摄像装置的视频图像进行截图，以得到在该点触操作后记录所述显示屏上的画面的原始截图；
29.检测模块，用于根据所述原始截图以及在预先获取的模板图片库中与所述原始截图对应的目标模板图片，确定所述显示屏上的目标控件的功能是否异常。
30.可选地，所述检测模块具体用于：
31.在预先获取的模板图片库中获取与所述原始截图对应的目标模板图片，并将所述原始截图与所述目标模板图片进行对比，确定所述原始截图与所述目标模板图片是否相同；
32.如果所述原始截图与所述目标模板图片不相同，则确定所述显示屏上的目标控件的功能异常，并停止控制机械臂移动到显示屏上的下一个检测点。
33.第三方面，本技术实施例提供了一种电子设备，包括：处理器、存储器和总线，所述
存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的显示屏上控件功能的检测方法的步骤。
34.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行第一方面任一项所述的显示屏上控件功能的检测方法的步骤。
35.本技术实施例提供的一种显示屏上控件功能的检测方法、检测装置和电子设备，通过控制机械臂在显示屏上点触的同时与预先获取的模板图片比对，从而快速地发现显示屏上控件功能的异常，节省检测时间，提高检测效率，从而提高生产率。
附图说明
36.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
37.图1示出了本技术实施例提供的一种显示屏控件功能的检测系统。
38.图2示出了本技术实施例提供的一种显示屏上控件功能的检测方法的流程图；
39.图3示出了本技术实施例提供的一种确定显示屏上控件的功能异常的步骤的流程图；
40.图4示出了本技术实施例提供的一种显示屏上控件功能的检测装置的结构示意图之一；
41.图5示出了本技术实施例提供的一种显示屏上控件功能的检测装置的结构示意图之二；
42.图6示出了本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
43.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
44.值得注意的是，在本技术提出以前，在现有技术的检测显示屏上控件功能是否异常的方法，为了克服人工点触的方式造成的检测时间较长的问题，还提出了利用机械臂点触的方法检测显示屏上控件功能是否异常的方法，具体说来，利用机械臂点触的方法是通过摄像头录制机械臂依次点触显示屏上的每个控件的整个工艺过程，并在整个工艺过程结束后，将摄像头的录像截取为单个的视频帧，然后将单个的视频帧与预先建立的模板图片库中的模板图片比对，从而检测显示屏上控件功能是否异常。然而，这种检测方法，在整个
工艺过程结束后才会进行图片比对过程，这就导致了不能及时的发现显示屏上控件功能是否异常的情况，降低了检测的效率。而且，这种检测方法，在将摄像头的录像截取为单个的视频帧之后，需要大量的存储空间来存储这些视频帧，导致系统运行速率减慢，降低了检测的效率。综上，本技术实施例提供了一种显示屏上控件功能的检测方法、检测装置和电子设备。
45.在介绍本技术实施例的检测显示屏上控件功能的方法之前，将对本技术实施例的显示屏检测系统进行介绍。
46.请参见图1，图1为本技术实施例提供的一种显示屏上控件功能的检测系统。如图1所示，显示屏上控件功能的检测系统包括：机械臂100、上位机200、和摄像装置300。所述上位机200分别与所述机械臂100和摄像装置300通信连接。所述摄像装置300通过录像的方式监控对所述显示屏上控件功能进行检测的工艺过程，所述机械臂100用于接收上位机200发送的控制指令，从而在待检测的显示屏上进行点触操作。
47.基于上述显示屏上控件功能的检测系统，本技术实施例提供了一种显示屏上控件功能的检测方法。
48.参见图2所示，图2为本技术实施例提供的一种显示屏上控件功能的检测方法的流程图。如图2所示，本技术实施例提供的一种显示屏上控件功能的检测方法包括以下步骤：
49.s101、按照预定的点触顺序以及所述点触顺序对应的点触位置，控制机械臂移动到显示屏上相应的检测点，并控制机械臂在所述显示屏上相应的检测点进行点触操作；所述检测点为显示屏上的目标控件所占用的显示屏区域内部的点。
50.这里，在上位机中预先设置点触表，点触表中包括多个点触顺序和每个点触顺序对应的点触位置，其中，每个点触位置为待检测的显示屏上的一个检测点的位置。示例性的，待检测的显示屏可以是车载显示屏。这里，目标控件上包括多个可以触控的触控点，检测点为多个触控点中的其中一个点，该检测点是根据实际需要进行选取的，通过点触该检测点，就能检测目标控件的功能是否正常。
51.这里，目标控件为待检测控件功能的控件。示例性的，目标控件可以是软件应用的选项，例如音频软件、导航软件等，目标控件也可以是显示屏当前界面上的选项，例如添加选项、退出选项等。可以理解的是，在点触目标控件后，即触发该目标控件对应的功能，例如，在目标控件为音频软件时，通过点触音频软件，打开音频软件的界面，在目标控件为退出选项时，通过点触退出选项，实现退出功能。可以理解的是，在显示屏的当前界面，只会有一个目标控件，在点触该目标控件并且触发该目标控件对应的功能成功后，才会出现下一个目标控件，例如，在点触了音频软件，并且出现了音频软件的界面成功后，才会出现退出音频界面的选项。
52.s102、针对每个点触操作，响应于该点触操作，对正在进行录像的所述摄像装置的视频图像进行截图，以得到在该点触操作后记录所述显示屏上的画面的原始截图。
53.这里，点触操作为触发控件功能的操作方式，例如，单击和滑动等。每一种目标控件对应一种点触操作。例如，当目标控件为音频软件时，点触操作为单击；当目标控件为退出选项时，点触操作为滑动。
54.具体的，在该步骤中，在每次检测到点触操作后，立即对正在录像的视频图像进行截图，得到记录所述点触操作后显示屏上的画面的原始截图。
55.例如，若目标控件对应的点触操作的顺序为：先单击音频软件打开音频软件界面，然后单击添加歌曲选项添加歌曲，最后滑动退出选项退出音频软件，则在检测到单击音频软件的点触操作后，立即对正在录像的摄像装置的视频图像进行截图，得到原始截图，
56.在得到在该点触操作后记录所述显示屏上的画面的原始截图后，可以针对每个点触操作，将得到的在该点触操作后记录所述显示屏上的画面的原始截图存储在数据库中。
57.在该步骤中，由于是响应于点触操作，因此数据库中存储的图片是对显示屏的画面进行截图的图片，即数据库中只要存储少量的截图图片就可以进行图片对比过程。而现有技术中需要存储一帧一帧的图片，即存储了大量的单帧图片后才可以进行图片对比过程，因此本技术实施例提供的显示屏上控件功能的检测方法避免了现有技术中由于要将视频截取为帧的形式后才能存储导致的占用较大的存储空间的问题，使得显示屏上控件功能的检测系统的处理速度更快，提高了检测的效率。
58.s103、根据所述原始截图以及在预先获取的模板图片库中与所述原始截图对应的目标模板图片，确定所述显示屏上的目标控件的功能是否异常。
59.这里，预先获取的模板图片库中用于存放目标模板图片，目标模板图片为目标控件的功能正常时显示屏界面的图片。
60.具体的，可以通过以下步骤确定与所述原始截图对应的目标模板图片：
61.首先获取所述原始截图对应的所述点触顺序的序号以及所述模板图片库中的模板图片的序号，然后在模板图片库中查找与所述点触顺序的序号对应的模板图片的序号，然后将所述模板图片的序号对应的模板图片作为与所述原始截图对应的目标模板图片。
62.下面，将详细介绍如何根据所述原始截图以及在预先获取的模板图片库中与所述原始截图对应的目标模板图片，确定显示屏上控件的功能是否异常。
63.请参阅图3，图3示出了本技术实施例提供的一种确定显示屏上控件的功能异常的步骤的流程图。
64.如图3所示，在步骤s102，得到在该点触操作后记录所述显示屏上的画面的原始截图后，在步骤s1031，在预先获取的模板图片库中获取与所述原始截图对应的目标模板图片，并将所述原始截图与所述目标模板图片进行对比，确定所述原始截图与所述目标模板图片是否相同；如果所述原始截图与所述目标模板图片不相同，则在步骤s1032，确定所述显示屏上的目标控件的功能异常，并停止控制机械臂移动到显示屏上的下一个检测点；在停止控制机械臂移动到显示屏上的下一个检测点之后，在步骤s1033中，将当前原始截图与该当前原始截图相邻的上一个原始截图进行对比，确定当前原始截图与该当前原始截图相邻的上一个原始截图是否相同；如果当前原始截图与该当前原始截图相邻的上一个原始截图相同，则在步骤s1034，确定显示屏上的目标控件出现卡顿情况，并发出目标控件的异常为卡顿异常的预警；如果当前原始截图与该当前原始截图相邻的上一个原始截图不相同，则在步骤s1035，确定显示屏上的目标控件出现程序逻辑错误的情况，并发出目标控件的异常为逻辑异常的预警；如果所述原始截图与所述目标模板图片相同，则在步骤s1036，确定所述显示屏上的目标控件的功能正常；在确定显示屏上的目标控件的功能正常之后，在步骤s1037，确定当前点触位置是否为预定的点触顺序中最后的序号对应的点触位置；若当前点触位置不是预定的点触顺序中最后的序号对应的点触位置，则在步骤s101，继续按照预定的点触顺序以及所述点触顺序对应的点触位置，控制机械臂移动到显示屏上相应的检测
点；若当前点触位置是预定的点触顺序中最后的序号对应的点触位置，则结束测试。
65.本技术实施例提供的一种显示屏上控件功能的检测方法，通过控制机械臂在显示屏上点触的同时与预先获取的模板图片比对，从而快速地发现显示屏上控件功能的异常，节省检测时间，提高检测效率，从而提高生产率。
66.基于同一发明构思，本技术实施例中还提供了与上述显示屏上控件功能的检测方法对应的显示屏上控件功能的检测装置，
67.参见图4所示，图4为本技术一实施例提供的一种显示屏上控件功能的检测装置的结构示意图之一，该检测装置400包括：
68.控制模块401，用于按照预定的点触顺序以及所述点触顺序对应的点触位置，控制机械臂移动到显示屏上相应的检测点，并控制机械臂在所述显示屏上相应的检测点进行点触操作；所述检测点为显示屏上的目标控件所占用的显示屏区域内部的点；
69.截图模块402，用于针对每个点触操作，响应于该点触操作，对正在进行录像的所述摄像装置的视频图像进行截图，以得到在该点触操作后记录所述显示屏上的画面的原始截图；
70.检测模块403，用于根据所述原始截图以及在预先获取的模板图片库中与所述原始截图对应的目标模板图片，确定所述显示屏上的目标控件的功能是否异常。
71.在一种可能的实施方式中，截图模块402，在用于根据所述原始截图以及在预先获取的模板图片库中与所述原始截图对应的目标模板图片，确定所述显示屏上控件功能是否异常时，具体用于：
72.在预先获取的模板图片库中获取与所述原始截图对应的目标模板图片，并将所述原始截图与所述目标模板图片进行对比，确定所述原始截图与所述目标模板图片是否相同；
73.如果所述原始截图与所述目标模板图片不相同，则确定所述显示屏上的目标控件的功能异常，并停止控制机械臂移动到显示屏上的下一个检测点；
74.如果所述原始截图与所述目标模板图片相同，则确定所述显示屏上的目标控件的功能正常，并确定当前点触位置是否为预定的点触顺序中最后的序号对应的点触位置；
75.若当前点触位置不是预定的点触顺序中最后的序号对应的点触位置，则继续按照预定的点触顺序以及所述点触顺序对应的点触位置，控制机械臂移动到显示屏上相应的检测点；
76.若当前点触位置是预定的点触顺序中最后的序号对应的点触位置，则结束测试。
77.请参阅图5，图5为本技术实施例提供的一种显示屏上控件功能的检测装置的结构示意图之二，在一种可能的实施方式中，上述检测装置400还包括：异常种类检测模块404。该异常种类检测模块404，具体用于：
78.将当前原始截图与该当前原始截图相邻的上一个原始截图进行对比，确定当前原始截图与该当前原始截图相邻的上一个原始截图是否相同；
79.如果当前原始截图与该当前原始截图相邻的上一个原始截图相同，则确定显示屏上的目标控件出现卡顿情况，并发出目标控件的异常为卡顿异常的预警；
80.如果当前原始截图与该当前原始截图相邻的上一个原始截图不相同，则确定显示屏上的目标控件出现程序逻辑错误的情况，并发出目标控件的异常为逻辑异常的预警。
81.在一种可能的实施方式中，上述检测装置400还包括：模板图片确定模块405，该模板图片确定模块405具体用于：
82.获取所述原始截图对应的所述点触顺序的序号以及所述模板图片库中的模板图片的序号；
83.在模板图片库中查找与所述点触顺序的序号对应的模板图片的序号；
84.将所述模板图片的序号对应的模板图片作为与所述原始截图对应的目标模板图片。
85.在一种可能的实施方式中，上述检测装置400还包括：存储模块406，该存储模块406具体用于：
86.针对每个点触操作，将得到的在该点触操作后记录所述显示屏上的画面的原始截图存储在数据库中。
87.本技术实施例提供的一种显示屏上控件功能的检测装置，通过控制机械臂在显示屏上点触的同时与预先获取的模板图片比对，从而快速地发现显示屏上控件功能的异常，节省检测时间，提高检测效率，从而提高生产率。
88.参见图6所示，图6为本技术实施例提供的一种电子设备的示意图，该电子设备600包括：处理器601、存储器602和总线603，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线603通信，所述处理器601执行所述机器可读指令，以执行如上述显示屏上控件功能的检测方法的步骤。
89.具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述显示屏上控件功能的检测方法。
90.对应于上述显示屏上控件功能的检测方法，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述显示屏上控件功能的检测方法的步骤。
91.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
92.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
93.另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
94.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
95.最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。