一种现场协同作业服务支持方法及系统与流程

本发明涉及数据通信技术领域，具体而言，涉及一种现场协同作业服务支持方法及系统。

背景技术：

手机视频通话方便了我们的工作生活，为我们带来了新的工作方式，但在工业应用中，现场工作人员执行工作时通常需要遵守安全规程，无法手持手机工作，而将手机固定在帽子和衣服上的想法并不现实，因为手机大小不一，很难实现统一的支撑接口，并且手机这样会显得笨重。一些技术方案选择了独立的穿戴设备，内置独立的视频采集系统，可以很好地解决这个问题，但是成本高昂。

技术实现要素：

有鉴于此，本发明提供了一种现场协同作业服务支持方法及系统。

本发明提供的技术方案如下：

一种现场协同作业服务支持方法，应用于第一终端，所述第一终端用于与信令服务器通信连接，所述信令服务器预先记录有至少一个第二终端的第一网络标识信息，所述第一终端预先建立与图像拍摄设备的通信连接，所述第一终端还用于采集实时音频数据，所述方法包括：

响应用户操作，建立与所述信令服务器的通信连接，获取所述第二终端中目标终端的第一网络标识信息；

根据所述目标终端的第一网络标识信息，建立与所述目标终端的第一点对点连接链路；

获取所述图像拍摄设备拍摄的影像数据以及所述第一终端采集的实时音频数据；

将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述第一点对点连接链路发送至所述目标终端。

进一步地，所述信令服务器预先记录有所述第一终端的第一网络标识信息，该方法还包括：

若所述第一点对点连接链路建立失败，等待所述目标终端根据所述第一终端的第一网络标识信息，建立与所述第一终端之间的第二点对点连接链路；

若所述第二点对点连接链路建立成功，获取所述图像拍摄设备拍摄的影像数据以及所述第一终端采集的实时音频数据；

将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述第二点对点连接链路发送至所述目标终端。

进一步地，所述第一终端和目标终端预先建立与中继服务器的通信连接，该方法还包括：

若所述第一点对点连接链路建立失败，且所述第二点对点连接链路建立失败，建立与所述中继服务器的通信连接；

获取所述图像拍摄设备拍摄的影像数据以及所述第一终端采集的实时音频数据；

将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述中继服务器转发至所述目标终端。

进一步地，该方法还包括:

通过所述第一点对点连接链路或第二点对点连接链路接收所述目标终端发送的影像数据和实时音频数据，并播放所述目标终端发送的影像数据和实时音频数据。

进一步地，所述第一终端和目标终端与stun服务器通信连接，所述stun服务器配置有所述第一终端的第二网络标识信息和第二终端的第二网络标识信息，在根据所述目标终端的第一网络标识信息，建立与所述目标终端的第一点对点连接链路的步骤之前，该方法还包括：

根据所述目标终端的第一网络标识信息，确定所述第一终端和目标终端是否处于同一局域网；

若所述第一终端和目标终端处于同一局域网，建立与所述目标终端的第一点对点连接链路；

若所述第一终端和目标终端处于不同局域网，建立与所述stun服务器的通信连接，获取所述目标终端的第二网络标识信息；

根据所述目标终端的第二网络标识信息，建立与所述目标终端的第一点对点连接链路。

本发明还提供了一种现场协同作业服务支持系统，所述现场协同作业服务支持系统包括：通信连接的第一终端、第二终端、信令服务器，以及一图像拍摄设备；

所述信令服务器预先记录有至少一个所述第二终端的第一网络标识信息；

所述图像拍摄设备用于与所述第一终端预先建立通信连接，并拍摄获取影像数据；

所述第一终端用于：

响应用户操作，建立与所述信令服务器的通信连接；

获取所述第二终端中目标终端的第一网络标识信息，根据所述目标终端的第一网络标识信息，建立与所述目标终端的第一点对点连接链路；

获取所述图像拍摄设备拍摄的影像数据以及所述实时音频数据；

将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述第一点对点连接链路发送至所述目标终端。

进一步地，所述第一终端还用于：

若所述第一点对点连接链路建立失败，等待所述目标终端根据所述第一终端的第一网络标识信息，建立与所述第一终端之间的第二点对点连接链路；

若所述第二点对点连接链路建立成功，获取所述图像拍摄设备拍摄的影像数据以及所述第一终端采集的实时音频数据；

将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述第二点对点连接链路发送至所述目标终端。

进一步地，所述现场协同作业服务支持系统还包括中继服务器，用于当所述第一点对点连接链路建立失败，且所述第二点对点连接链路建立失败时，与所述第一终端与目标终端建立通信连接，并将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述中继服务器转发至所述目标终端。

进一步地，所述第一终端还用于：

通过所述第一点对点连接链路或第二点对点连接链路接收所述目标终端发送的影像数据和音频数据，并播放所述目标终端发送的影像数据和音频数据。

进一步地，所述现场协同作业服务支持系统还包括stun服务器，所述stun服务器配置有所述第一终端的第二网络标识信息和目标终端的第二网络标识信息，所述stun服务器用于：

根据所述目标终端的第一网络标识信息，确定所述第一终端和目标终端是否处于同一局域网；

若所述第一终端和目标终端处于同一局域网，所述第一终端建立与所述目标终端的第一点对点连接链路；

若所述第一终端和目标终端处于不同局域网，建立与所述第一终端与目标终端的通信连接，获取所述目标终端的第二网络标识信息；

根据所述目标终端的第二网络标识信息，建立与所述目标终端的第一点对点连接链路。

本申请实施例提供的现场协同作业服务支持方法及系统，第一终端可以建立与目标终端的点对点通信链路，并可以将与第一终端连接的图像采集设备采集到的影像和第一终端采集到的音频数据通过点对点通信链路发送至目标终端，从而实现第一终端和目标终端之间的实时影像通信，采用点对点通信可以实现延时小、高稳定性、流畅的实时通话效果。图像采集设备可以独立于第一终端设置，可以固定在帽子、衣服上，在视频通话的同时能方便地移动并使用双手工作。在一些狭小的工业应用场景，使用这样的现场协同支持方法方便远程协助和诊断。独立的图像采集设备成本低廉，可以为企业节约成本，提高工作效率。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的一种现场协同作业服务支持系统的示意图。

图2为本发明实施例提供的一种现场协同作业服务支持法的流程示意图。

图3为本发明实施例提供的一种现场协同作业服务支持方法的另一流程示意图。

图4为本发明实施例提供的一种现场协同作业服务支持方法的另一流程示意图。

图5为本发明实施例提供的一种现场协同作业服务支持方法的另一流程示意图。

图标：100-第一终端；200-第二终端；300-信令服务器。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在一些技术方案选择了独立的穿戴设备，内置独立的视频采集系统，可以很好地解决工业场景中难以视频通信的问题，但是成本高昂。而成本低廉地办法就是使用usb摄像头接入手机，摄像头非常轻便易于固定，手机就可以放在口袋里。目前使用usb摄像头的方案是使用直播协议与后台交换数据流，直播协议延时大，对网络稳定性要求高，在实际应用中往往使用效果不佳。由于直播需要对视频进行分片传输，分片完成前后端无法播放，造成了延时。当网络发生卡顿时，分片传输被延时，即使延时严重也不会被丢弃，可能会导致交流时间越长延时越严重。当进行语音交流或者远程指导/指挥时，语音也需要通过直播进行传输，指挥者的语音传递到现场时已经有了一个延时，而现场人员听到后回答的语音会通过和视频混合编码传输到后台，让后台人员/指导/指挥人员感觉说了一句话后对方很久才会有回应，无法形成有效的交流。

为解决上述问题，本申请实施例提供了一种现场协同作业服务支持方法，应用于第一终端100，如图1所示，所述第一终端100用于与信令服务器300通信连接，所述信令服务器300预先记录有至少一个第二终端200的第一网络标识信息，所述第一终端100预先建立与图像拍摄设备的通信连接，所述第一终端100还用于采集实时音频数据，如图2所示，所述方法包括以下步骤。

步骤s101，响应用户操作，建立与所述信令服务器300的通信连接，获取所述第二终端200中目标终端的第一网络标识信息。

本申请实施例中的第一终端100可以是智能手机、平板电脑等移动设备，用户使用这些移动终端可以先建立图像拍摄设备的通信连接。本申请实施例中的图像拍摄设备可以采用支持uvc视频协议的usb摄像头。用户可以先将usb摄像头的连接线插入移动终端的连接孔，使得第一终端100可以建立与该uwb摄像头的通信连接。可以理解的是，usb摄像头采集到的影像数据可以通过第一终端100发送至其他终端设备。用户使用第一终端100和usb摄像头是希望将采集到的影像发送至第二终端200，在本申请实施例中，第二终端200可以是移动终端、个人电脑或其他形式的终端设备。第二终端200的数量可以是多个，信令服务器300上可以保存有所有第一终端100和第二终端200的ip地址、路由信息等第一网络标识信息，第一终端100上可以展示出所有第二终端200的名称等信息，用户可以操作第一终端100选择需要与哪一个或哪几个第二终端200进行通信，将需要建立通信连接的第二终端200作为目标终端。

第一终端100在接收到用户选择的目标终端的信息后，就可以将需要建立通信连接的目标终端的信息发送至信令服务器300，信令服务器300将预先保存的各个目标终端的ip地址、路由信息发送至第一终端100，同时可以将第一终端100的ip地址、路由信息发送至第二终端200。

步骤s102，根据所述目标终端的第一网络标识信息，建立与所述目标终端的第一点对点连接链路。

第一终端100接收到目标终端的第一网络标识信息后，就可以根据这些第一网络标识信息建立与目标终端的第一点对点连接链路。

步骤s103，获取所述图像拍摄设备拍摄的影像数据以及所述第一终端100采集的实时音频数据。

步骤s104，将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述第一点对点连接链路发送至所述目标终端。

第一终端100在建立了与目标终端的点对点连接链路后，就可以与目标终端进行数据通信，第一终端100可以将usb摄像头拍摄到的影像数据以及采集到的音频数据发送至目标终端。

在本申请实施例中，第一终端100可以使用vp8编码算法将影像数据和音频数据混合编码为是和网络传输的格式，编码后的数据通过第一点对点连接链路直接发送至目标终端，目标终端在接收到这些数据后，可以直接进行播放。

在另一种实施方式中，通过信令服务器300建立第一终端100和目标终端的点对点连接链路时，可能存在连接失败的情况。因此，如图3所示，该方法还包括以下步骤，可以在第一点对点连接链路建立失败时，保证通信的正常。

步骤s105，若所述第一点对点连接链路建立失败，等待所述目标终端根据所述第一终端100的第一网络标识信息，建立与所述第一终端100之间的第二点对点连接链路。

在前述方法中，第一点对点连接链路的建立过程是由第一终端100发起的，在链路建立过程中，可能会由于各种原因使得点对点通信无法建立，此时，可以由第二终端200作为通信链路的发起端，再进行一次点对点通信的建立过程。第二终端200可以根据信令服务器300中保存的第一终端100的ip地址、路由信息等第一网络标识信息，尝试建立与第一终端100的点对点连接。

步骤s106，若所述第二点对点连接链路建立成功，获取所述图像拍摄设备拍摄的影像数据以及所述第一终端100采集的实时音频数据。

第一终端100如果没有成功建立第一点对点连接链路，或者在尝试建立多次后都没有成功建立，那么第一终端100就可以处于等待连接的状态，等待目标终端来进行点对点连接链路的建立。如果第二终端200发起的第二点对点连接链路建立成功，第一终端100就可以使用该链路进行影像数据和音频数据的传输。

步骤s107，将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述第二点对点连接链路发送至所述目标终端。

与使用第一点对点连接链路类似的，第一终端100仍然将编码后的影像数据和实时音频数据发送至目标终端，目标终端就可以通过影像数据实时了解第一终端100所处环境的影像，并通过音频数据听到第一终端100使用者的声音。

在另一种实施方式中，可能存在第一点对点连接链路和第二点对点连接链路均没有成功建立的情况，第一点对点连接链路和第二点对点连接链路实现了第一终端100和目标终端之间点对点的直连，可以实现更流畅的数据传输。如果两者都没有建立成功，为了保证影像数据和音频数据仍能成功传输，还可以通过中继服务器来进行数据的转发。所述第一终端100和目标终端预先建立与中继服务器的通信连接，详细的，如图4所示，通过以下步骤进行。

步骤s108，若所述第一点对点连接链路建立失败，且所述第二点对点连接链路建立失败，建立与所述中继服务器的通信连接。

步骤s109，获取所述图像拍摄设备拍摄的影像数据以及所述第一终端100采集的实时音频数据。

步骤s110，将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述中继服务器转发至所述目标终端。

第一终端100和第二终端200可以预先建立与中继服务器的连接，或者可以在第一点对点连接链路及第二点对点连接链路都建立失败后，再分别建立与中继服务器的连接。第一终端100将编码后的影像数据和实时音频数据发送至中继服务器，由中继服务器进行数据的转发。如此，虽然没有通过点对点连接链路进行点对点通信，但仍能保证在点对点连接链路建立失败的情况下，影像数据仍可以从第一终端100传输至目标终端。

可以理解的是，如果第一终端100与第二终端200在使用第一点对点连接链路或第二点对点连接链路进行通信过程中，点对点连接链路出现了故障，造成影像数据和实时音频数据无法使用原有的点对点连接链路继续进行传输，此时，也可以进行与中继服务器的通信连接，以保证数据传输不会出现中断。

在本申请实施例中，目标终端不仅可以播放所述第一终端100发送的影像数据和实时音频数据，目标终端还可以与第一终端100实时通话，目标终端配置有麦克风，目标终端的使用人员可以通过麦克风讲话，这些音频数据可以通过点对点连接链路或者中继服务器的转发被发送至第一终端100，第一终端100就可以通过扬声器播放目标终端发送的音频数据。可以理解的是，第二终端200还可以配备影像采集设备，将影像采集设备采集到的影像发送至第一终端100，实现第一终端100与第二终端200之间的实时影像传输和实时音频的传输。

在建立点对点通信链路时，如果终端处于某一局域网下，那么这一终端本身的ip地址与通过该局域网展示在广域网的ip地址是不同的。而如果其他终端希望使用展示在广域网的ip地址建立与该终端的点对点通信连接，那么是无法成功建立的，因为其他终端使用的ip地址实际上并不是该终端的真实ip。因此，在另一种实施方式中，所述第一终端100和目标终端预先建立与stun服务器通信连接，stun服务器可以实现用户数据报协议udp简单穿越网络地址转换器nat，stun服务器允许所有的nat客户终端与位于局区域网以外的voip服务商实现通信。

所述stun服务器配置有所述第一终端100的第二网络标识信息和第二终端200的第二网络标识信息，在根据所述目标终端的第一网络标识信息，建立与所述目标终端的第一点对点连接链路的步骤之前，如图5所示，该方法还包括以下步骤。

步骤s111，根据所述目标终端的第一网络标识信息，确定所述第一终端100和目标终端是否处于同一局域网。

第一终端100先使用从信令服务器300获取的目标终端的第一网络标识信息，并根据自身的网络标识信息，确认第一终端100和目标终端是否处于同一局域网内。

步骤s112，若所述第一终端100和目标终端处于同一局域网，建立与所述目标终端的第一点对点连接链路。

如果第一终端100和目标终端处于同一局域网内，那么信令服务器300存储的目标终端的ip地址等网络标识信息就是目标终端的真实ip地址，此时第一终端100就可以根据该第一网络标识信息建立与目标终端的点对点通信连接。

步骤s113，若所述第一终端100和目标终端处于不同局域网，从所述stun服务器获取所述目标终端的第二网络标识信息。

如果第一终端100通过第一网络标识信息确认第一终端100和目标终端处于不同局域网下，那么第一网络标识信息很可能就不是目标终端的真实网络标识，此时，第一终端100可以从stun服务器获取目标终端的第二网络标识信息。

步骤s114，根据所述目标终端的第二网络标识信息，建立与所述目标终端的第一点对点连接链路。

stun服务器可以通过穿透局域网的方式获取到终端的真实ip地址，第一终端100也就可以使用第二网络标识信息建立与目标终端的点对点通信连接，并使用点对点通信连接进行影像数据和实时音频数据的传输。

本发明还提供了一种现场协同作业服务支持系统，所述现场协同作业服务支持系统包括：通信连接的第一终端100、第二终端200、信令服务器300，以及一图像拍摄设备；

所述信令服务器300预先记录有至少一个所述第二终端200的第一网络标识信息；

所述图像拍摄设备用于与所述第一终端100预先建立通信连接，并拍摄获取影像数据；

所述第一终端100用于：

响应用户操作，建立与所述信令服务器300的通信连接；

获取所述第二终端200中目标终端的第一网络标识信息，根据所述目标终端的第一网络标识信息，建立与所述目标终端的第一点对点连接链路；

获取所述图像拍摄设备拍摄的影像数据以及所述实时音频数据；

将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述第一点对点连接链路发送至所述目标终端。

进一步地，所述第一终端100还用于：

若所述第一点对点连接链路建立失败，等待所述目标终端根据所述第一终端100的第一网络标识信息，建立与所述第一终端100之间的第二点对点连接链路；

若所述第二点对点连接链路建立成功，获取所述图像拍摄设备拍摄的影像数据以及所述第一终端100采集的实时音频数据；

将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述第二点对点连接链路发送至所述目标终端。

进一步地，所述现场协同作业服务支持系统还包括中继服务器，用于当所述第一点对点连接链路建立失败，且所述第二点对点连接链路建立失败时，与所述第一终端100与目标终端建立通信连接，并将所述影像数据和所述实时音频数据采用预设编码算法混合编码后，通过所述中继服务器转发至所述目标终端。

进一步地，所述第一终端100还用于：

通过所述第一点对点连接链路或第二点对点连接链路接收所述目标终端发送的影像数据和音频数据，并播放所述目标终端发送的影像数据和音频数据。

进一步地，所述现场协同作业服务支持系统还包括stun服务器，所述stun服务器配置有所述第一终端100的第二网络标识信息和目标终端的第二网络标识信息，所述stun服务器用于：

根据所述目标终端的第一网络标识信息，确定所述第一终端100和目标终端是否处于同一局域网；

若所述第一终端100和目标终端处于同一局域网，所述第一终端100建立与所述目标终端的第一点对点连接链路；

若所述第一终端100和目标终端处于不同局域网，建立与所述第一终端100与目标终端的通信连接，获取所述目标终端的第二网络标识信息；

根据所述目标终端的第二网络标识信息，建立与所述目标终端的第一点对点连接链路。

综上所述，本申请实施例提供的现场协同作业服务支持方法及系统，第一终端可以建立与目标终端的点对点通信链路，并可以将与第一终端连接的图像采集设备采集到的影像和第一终端采集到的音频数据通过点对点通信链路发送至目标终端，从而实现第一终端和目标终端之间的实时影像通信，采用点对点通信可以实现延时小、高稳定性、流畅的实时通话效果。图像采集设备可以独立于第一终端设置，可以固定在帽子、衣服上，在视频通话的同时能方便地移动并使用双手工作。在一些狭小的工业应用场景，使用这样的现场协同支持方法方便远程协助和诊断。独立的图像采集设备成本低廉，可以为企业节约成本，提高工作效率。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。