时码数据的处理方法、装置及实时视觉包装系统与流程

1.本发明涉及视频系统领域，具体涉及一种时码数据的处理方法、装置及实时视觉包装系统。


背景技术：

2.在广电媒体领域，摄像机在记录图像信号的时候，针对每一幅图像记录的唯一的时间编码(简称为时码、时间码)，其主要作用最早是为了后期工作，根据时间码精确找到视频片段和音频片段，高效同步视频音频文件，使经过编辑处理后的输出视频达到声画同步。
3.随着媒体行业发展丰富多样性，时码从后期使用，发展到直播晚会中，利用时码可以实时同步各项技术，达到视频、音频、灯光等技术接口同步触发执行，呈现演出最完美效果。作为直播技术的扩展，除了基础的视频、音频、灯光，其余的技术接口——大屏幕、动力装置、虚拟现实、在线图文包装等，都提出了精准同步触发的需求。通过时码接收装置，与其他技术接口进行时码同步，保障每一个环节都可以由机器时间控制同步，避免实时人为操作失误而造成的无法保证完全同步的问题，可以保障节目效果精确到每一帧触发所有技术效果。
4.目前，虚拟现实系统和在线图文系统(也称作在线包装)，并没有时码同步的先例，实时播出需要依靠人为卡点操作，有较大的不确定因素以及播出风险，就算再有经验的播控人员，也无法保证完全精准配合视音频时间同步触发。
5.现有直播系统中普遍使用的时码系统，对于虚拟现实系统和在线图文系统并不是完全兼容，需要通过第三方(国外收费)软件，可以读取到时码信息，但是因为系统不兼容(在线图文系统和虚拟现实系统为windows系统，而目前的时码接收设备为基于ios系统开发)，需要对时码信息进行针对性转换才能被虚拟现实系统和在线图文系统接收到。
6.另外，时码同步的发送和接收只是第一步，其最重要的作用是根据接收到的时码信息触发本系统软件的运行播放。在现有技术中，对于视频设备来说，仅仅同步开始触发即可达到播出要求，但是对于虚拟现实系统和在线图文系统来说，仅仅一个初始值触发，还不能完成一个任务，在执行过程中，需要根据时间的进行，实时同步各个动画关键帧的运行，涉及执行的命令较复杂，因此单纯接收时码同步起始之后，还需要控制更为复杂的动画播出，目前设备还无法执行。


技术实现要素：

7.有鉴于此，本发明提供一种时码数据的处理方法、装置及实时视觉包装系统，以解决上述提及的至少一个问题。
8.根据本发明的第一方面，提供一种时码数据的处理方法，所述方法包括：接收来自时码发送端的时码数据；对所述时码数据进行解码操作，以生成预定格式的多个时码信息；将所述多个时码信息分别与预先设置的多个触发时码进行匹配操作，所述多个触发时码分别对应于不同的控制命令；响应于匹配成功，将匹配成功的触发时码对应的控制命令发送
至对应控制端口，以执行与所述控制命令相应的操作。
9.具体地，对所述时码数据进行解码操作包括：对所述时码数据进行格式转换操作，以生成所述预定格式的的多个时码信息，所述时码信息包括：机器时间信息、以及与机器时间信息对应的播放帧位置。
10.接收来自时码发送端的时码数据包括：通过卡农头音频线接收来自所述时码发送端的不同格式的多个时码数据。
11.优选地，上述方法还包括：预先设置触发时码、控制命令、以及控制端口之间的关联关系，所述控制命令用于控制基于在线图文系统和/或虚拟现实系统的动画场景。
12.根据本发明的第二方面，提供一种时码数据的处理装置，所述装置包括：时码数据接收单元，用于接收来自时码发送端的时码数据；解码单元，用于对所述时码数据进行解码操作，以生成预定格式的多个时码信息；匹配单元，用于将所述多个时码信息分别与预先设置的多个触发时码进行匹配操作，所述多个触发时码分别对应于不同的控制命令；命令发送单元，用于响应于匹配成功，将匹配成功的触发时码对应的控制命令发送至对应控制端口，以执行与所述控制命令相应的操作。
13.上述解码单元具体用于：对所述时码数据进行格式转换操作，以生成所述预定格式的的多个时码信息，所述时码信息包括：机器时间信息、以及与机器时间信息对应的播放帧位置。
14.上述时码数据接收单元具体用于：通过卡农头音频线接收来自所述时码发送端的不同格式的多个时码数据。
15.优选地，上述装置还包括：关联关系设置单元，用于预先设置触发时码、控制命令、以及控制端口之间的关联关系，所述控制命令用于控制基于在线图文系统和/或虚拟现实系统的动画场景。
16.根据本发明的第三方面，提供一种实时视觉包装系统，所述系统包括：在线图文系统、虚拟现实系统、时码发送端、视频系统以及上述的时码数据的处理装置，其中，所述时码数据的处理装置将所述控制命令发送至所述在线图文系统和/或虚拟现实系统，以使所述在线图文系统和/或虚拟现实系统中的预定动画场景加载到所述视频系统中的预定播放帧位置。
17.根据本发明的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
18.根据本发明的第五方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
19.由上述技术方案可知，通过对接收的来自时码发送端的时码数据进行解码操作，生成预定格式的多个时码信息，并将生成的时码信息与预先设置的触发时码进行匹配操作，当匹配成功时，将匹配成功的触发时码对应的控制命令发送至在线图文系统或虚拟现实系统的控制端口，以执行与控制命令相应的操作，从而可以实现虚拟现实系统和在线图文系统设备可被时码触发来执行复杂动画播放。
附图说明
20.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1是根据本发明实施例的时码数据的处理方法的流程图；
22.图2是根据本发明实施例的实时视觉包装系统的结构框图；
23.图3是根据本发明实施例的时码数据处理装置1的结构框图；
24.图4是根据本发明实施例的时码数据处理装置1的详细结构框图；
25.图5是根据本发明实施例的时码数据处理装置1的硬件示例结构图；
26.图6是根据本发明实施例的时码数据处理装置1的软件实现示例结构图；
27.图7是根据本发明实施例的时码数据处理装置1的具体执行流程示意图；
28.图8是根据本发明实施例的触发时码和控制命令的设置界面截图；
29.图9是根据本发明实施例的电子设备的示意图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.在实现本发明的过程中，申请人发现了如下相关技术：
32.通过借鉴灯光或者切换台的时码同步板卡设备，可以采用国际标准格式通用性的时码收发装置来读取时码信息。时码接收后如何针对不同设备发挥作用，这个在于软件的兼容性。在相关技术中，不同时码接收设备，不能直接挪用到其他设备上，灯光的时码接收设备不能用于视频，音频的时码接收设备不能用于灯光，甚至视频切换台的时码同步设备，对于不同品牌的切换台产品之间都无法兼容。因此，不同的设备需要针对本设备专有的时码接收设备。
33.现有直播系统中普遍使用的时码系统，对于虚拟现实系统和在线图文系统并不是完全兼容，需要通过第三方软件才可以读取到时码信息，并且由于系统不兼容(在线图文系统和虚拟现实系统为windows系统，而时码接收设备为基于ios系统开发)，还需要对时码信息进行针对性的转换才能被虚拟现实系统和在线图文系统接收到。
34.另外，时码同步发送和接收只是第一步，其最重要的作用是根据接收到的时码信息触发本系统软件的运行播放。例如，对于视频设备来说，仅仅同步开始触发即可达到播出要求。但是，对于虚拟现实系统和在线图文系统来说，仅仅一个初始值触发，还不能完成一个任务，在执行过程中，需要根据时间的进行，实时同步各个动画关键帧的运行，涉及执行的命令较复杂，因此单纯接收时码同步起始之后，还需要人为控制更为复杂的动画播出。
35.也就是说，目前对于虚拟现实系统和在线图文系统的时码接收设备，存在如下问题：(1)由于系统不兼容，通过时码接收设备接收的时码信息需要转换才能被虚拟现实系统和在线图文系统接收；(2)在接收到时码同步起始之后，还需要人为控制更为复杂的动画播出。
36.基于此，本发明实施例在其他技术工种(比如灯光、视音频等)实现时码同步的基
础上，提供了一种针对虚拟现实系统和在线图文包装系统的时码同步方案，以实现在虚拟现实系统和在线图文系统设备上接收统一格式的时码，转化成软件可识别命令，并且，可以实现虚拟现实系统和在线图文系统设备可被时码触发的复杂动画加载到转播视频进行播放。以下结合附图来详细描述本发明实施例。
37.图1是根据本发明实施例的时码数据的处理方法的流程图，如图1所示，该方法包括：
38.步骤101，接收来自时码发送端的时码数据。
39.在实际操作中，可以通过卡农头(canon)音频线、或者双绞线、或者midi(musical instrument digital interface，乐器数字接口)线接收来自时码发送端的多个时码数据，这里的时码数据的格式可以不同，例如，ltc smpte(一种时间码)时间代码或mtc(midi time code，midi时间码)时间码。
40.步骤102，对所述时码数据进行解码操作，以生成预定格式的多个时码信息。
41.具体地，可以对时码数据进行格式转换操作，以生成预定格式的的多个时码信息，所述时码信息包括：机器时间信息、以及与机器时间信息对应的播放帧位置，例如，时码信息可以是“小时：分钟：秒：帧
……”
这样的格式。
42.如此，通过格式转换为预定格式的时码信息，可以方便后续的时码信息的匹配和识别操作。
43.步骤103，将所述多个时码信息分别与预先设置的多个触发时码进行匹配操作，所述多个触发时码分别对应于不同的控制命令。
44.在实际操作中，可以预先设置触发时码、控制命令、以及控制端口之间的关联关系，所述控制命令用于控制基于在线图文系统和/或虚拟现实系统的动画场景。
45.步骤104，响应于匹配成功，将匹配成功的触发时码对应的控制命令发送至对应控制端口，以执行与所述控制命令相应的操作。
46.通过对接收的来自时码发送端的时码数据进行解码操作，生成预定格式的多个时码信息，并将生成的时码信息与预先设置的触发时码进行匹配操作，当匹配成功时，将匹配成功的触发时码对应的控制命令发送至在线图文系统或虚拟现实系统的控制端口，以执行与控制命令相应的操作，从而可以实现虚拟现实系统和在线图文系统设备可被时码触发来执行复杂动画播放。
47.基于相似的发明构思，本发明实施例还提供一种实时视觉包装系统，如图2所示，所述系统包括：时码数据处理装置1、在线图文系统2、虚拟现实系统3、时码发送端4、视频系统5，其中，时码数据处理装置1接收来自时码发送端4发送的时码数据，将该时码数据解码后生成预定格式的时码信息，当时码信息与预先设置的触发时码匹配成功时，将匹配成功的触发时码对应的控制命令发送至在线图文系统和/或虚拟现实系统，该控制命令用于控制在线图文系统和/或虚拟现实系统的动画场景的播放，这样可以实现线图文系统和/或虚拟现实系统中的预定动画场景加载到所述视频系统5中的预定播放帧位置。
48.优选地，上述时码数据处理装置1可以实现上述方法实施例中的流程。图3是该时码数据处理装置1的结构框图，如图3所示，该时码数据处理装置1包括：时码数据接收单元11、解码单元12、匹配单元13和命令发送单元14，其中：
49.时码数据接收单元11，用于接收来自时码发送端的时码数据。
50.在实际操作中，时码数据接收单元11可以通过卡农头音频线、或者双绞线、或者midi线接收来自所述时码发送端的不同格式的多个时码数据(例如，ltc smpte时间代码或mtc时间码)。
51.解码单元12，用于对所述时码数据进行解码操作，以生成预定格式的多个时码信息。
52.具体而言，解码单元12对所述时码数据进行格式转换操作，生成所述预定格式的的多个时码信息，所述时码信息包括：机器时间信息、以及与机器时间信息对应的播放帧位置。
53.如此，通过格式转换为预定格式的时码信息，可以方便后续的时码信息的匹配和识别操作。
54.匹配单元13，用于将所述多个时码信息分别与预先设置的多个触发时码进行匹配操作，所述多个触发时码分别对应于不同的控制命令。
55.命令发送单元14，用于响应于匹配成功，将匹配成功的触发时码对应的控制命令发送至对应控制端口，以执行与所述控制命令相应的操作。
56.通过解码单元12对时码数据接收单元11接收的来自时码发送端的时码数据进行解码操作，生成预定格式的多个时码信息，匹配单元13将生成的时码信息与预先设置的触发时码进行匹配操作，当匹配成功时，命令发送单元14将匹配成功的触发时码对应的控制命令发送至在线图文系统或虚拟现实系统的控制端口，以执行与控制命令相应的操作，从而可以实现虚拟现实系统和在线图文系统设备能够可被时码触发来执行复杂动画播放。
57.在具体实施过程中，如图4所示，时码数据处理装置1还包括：关联关系设置单元15，用于预先设置触发时码、控制命令、以及控制端口之间的关联关系。
58.上述各单元的具体执行过程，可以参见上述方法实施例中的描述，此处不再赘述。
59.在实际操作中，上述各单元可以组合设置、也可以单一设置，本发明不限于此。
60.为了进一步理解本发明实施例，以下结合图5所示的硬件结构、以及图6所示的软件实现示例来详细描述时码数据处理装置1在直播中的工作原理。
61.如图5所示的硬件结构，时码发送端口发送时码，采用卡农头音频线接收时码，经过第三方硬件(例如，kissbox系列)将接收的时码通过计算机usb(universal serial bus，通用串行总线)口或者udp(user datagram protocol，用户数据报协议)传输至解码编单控制端，转换成预定格式的时间代码，并通过程序指令分发给虚拟现实系统或者在线图文系统的控制端，分别驱动不同系统执行不同指令。针对不同操作系统的计算机，配置标准不同，尽管通过ip网络连接，在pc或者mac上均可以视为本地midi接口，匹配相应的midi接收。
62.如图6所示，在虚拟现实系统或者在线图文系统上，时码接收硬件通过卡农头音频线等接收时码生成器发出的时间码，并通过网口udp(或者计算机usb口)传输至时码接收模块，时码接收模块将接收的时间码解析后进行时码编单操作，匹配到可实现触发的控制命令，以渲染引擎动画触发。
63.在实际操作中，可以通过编写程序，将接收到的时间码，以udp数据包形式进行识别处理，将时间码传达的信息，对应引擎上制作的动画参数，由c#制作控制面板，vb(一种编程语言)及引擎自定义语言编写控制动画命令。除了完成基本的触发动画以外，还可以定制化控制引擎动画更为复杂的命令，例如，脚本触发、参数传递、图片替换、文字更新、动画循
环、定帧替换、时间变速等；同时还可以定义引擎数量，达到一时码控制多引擎多进程命令，实现更为复杂的效果同步精准完成。
64.图7是根据本发明实施例的时码数据处理装置1的具体执行流程示意图，如图7所示，该流程主要包括：
65.步骤1，数据解析：解析第三方时码接收硬件通过usb口或udp协议传输过来的sampte ltc时间代码或者mtc midi时间代码。
66.步骤2，截取数据时码段：将解析得到的数据截取所需要的时码部分进行存储和展示。
67.步骤3，设置多个引擎ip(internet protocol，网际互连协议)地址和端口号：用户设置需要控制的所有引擎ip地址和端口号，以实现一时码控制多引擎多进程命令。
68.步骤4，设置触发时码：设置固定的时间代码(即，上述的触发时码)，当接收的时间代码与此时间代码一致时，触发步骤5和步骤6的一系列动作。
69.步骤5，设置引擎命令：设置集成在软件中的引擎接口命令，或者在软件引擎接口命令编辑区域中手动对命令的编写，参见图8所示的触发时码和控制命令的设置界面截图，如此可以实现定制化控制引擎动画更为复杂的命令。
70.在实际操作中，步骤3-步骤5可以预先设置，步骤4设置触发时码和步骤5设置引擎命令需要对应设置。
71.步骤6，发送匹配到的时码所对应的引擎命令：当步骤4设置的触发时码与接收的时间代码一致时，将对应的步骤5的引擎命令，通过udp协议发送至步骤3中设置的引擎中。
72.在一个实例中，引擎命令可以为如下所示：
73.1、rend*stage*director*a1 start；
74.释：找到引擎中的“stage”菜单中动画名为a1的动画并播放。
75.2、rend*stage*director*a1 show 0.21；
76.释：找到引擎中的“stage”菜单中动画名为a1的动画并将播放桢移动到0.21秒。
77.3、rend*stage*director*a1 continue reverse；
78.释：找到引擎中的“stage”菜单中动画名为a1的动画并倒放。
79.4、rend*front_layer*stage*director*a1 start；
80.释：找到引擎中前景层的“stage”菜单中动画名为a1的动画并播放。
81.5、rend*back_layer*stage*director*a1 start；
82.释：找到引擎中背景层的“stage”菜单中动画名为a1的动画并播放。
83.6、rend set_object c/scene1；
84.释：加载引擎中路径为“c/scene1”场景。
85.7、rend*tree get；
86.释：获取引擎中的场景树。
87.8、rend*script invoke script1；
88.释：执行引擎中名为“script1”的脚本方法。
89.9、clock 0*time set 200；
90.释：设置编号为“0”时钟时间为“200”秒。
91.10、clock 0cont；
92.释：继续播放时钟编号为“0”的动画。
93.在实际操作中，还可以设置专项命令实现特殊功能需求。
94.以下给出一个实例。
95.在大型晚会中，时码可以统一由音频系统发出，视频系统(包括切换台、摄像机时码监看)、灯光系统、大屏幕系统，加上在线包装系统，接收同一时码，每一首歌曲开始，同时统一触发各个技术部分实施预先设定好的效果。其中，在线包装系统采取双引擎、主备双备份系统搭建方式，接入8路摄像机信号，前期制作包装特效及动画，将本发明实施例的时码数据处理装置接入视频转播系统，通过时码数据处理装置将接收到的时码统一转换为预定格式的时码，并将该时码与触发时码相匹配，当匹配成功时，将匹配到的触发时码对应的控制命令精确融入针对不同机位的包装效果，在同一首歌曲中，可以实现通过时码控制动画效果4组，避免了人员实时操作的失误，呈现了完美的播出效果。
96.图9是根据本发明实施例的电子设备的示意图。图9所示的电子设备为通用数据处理装置，其包括通用的计算机硬件结构，其至少包括处理器901和存储器902。处理器901和存储器902通过总线903连接。存储器902适于存储处理器901可执行的一条或多条指令或程序。该一条或多条指令或程序被处理器901执行以实现上述时码数据的处理方法中的步骤。
97.上述处理器901可以是独立的微处理器，也可以是一个或者多个微处理器集合。由此，处理器901通过执行存储器902所存储的命令，从而执行如上所述的本发明实施例的方法流程实现对于数据的处理和对于其他装置的控制。总线903将上述多个组件连接在一起，同时将上述组件连接到显示控制器904和显示装置以及输入/输出(i/o)装置905。输入/输出(i/o)装置905可以是鼠标、键盘、调制解调器、网络接口、触控输入装置、体感输入装置、打印机以及本领域公知的其他装置。典型地，输入/输出(i/o)装置905通过输入/输出(i/o)控制器906与系统相连。
98.其中，存储器902可以存储软件组件，例如操作系统、通信模块、交互模块以及应用程序。以上所述的每个模块和应用程序都对应于完成一个或多个功能和在发明实施例中描述的方法的一组可执行程序指令。
99.本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现上述时码数据的处理方法的步骤。
100.综上所述，本发明实施例提供的时码数据处理方案，实现了在直播技术环节中，虚拟现实系统和在线包装系统的时码同步功能，并且，通过针对虚拟现实系统和在线图文系统的时码控制，可以实现通过时码触控复杂动画的效果；通过本发明实施例，使直播同步流程环节又多了一个技术同步实施，更精准地达到了播出效果，降低了直播实时人为操作的风险。
101.以上参照附图描述了本发明的优选实施方式。这些实施方式的许多特征和优点根据该详细的说明书是清楚的，因此权利要求旨在覆盖这些实施方式的落入其真实精神和范围内的所有这些特征和优点。此外，由于本领域的技术人员容易想到很多修改和改变，因此不是要将本发明的实施方式限于所例示和描述的精确结构和操作，而是可以涵盖落入其范围内的所有合适修改和等同物。
102.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
103.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
104.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
105.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
106.本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。