专利名称：即时通信录制中添加插入型数据的方法、客户端及系统的制作方法
技术领域：
本发明属于通信、软件技术领域。
背景技术：
即时通信工具是人们应用非常广泛的通讯工具，利用即时通信工具能够便利地进行文本、图片、语音、视频、多媒体等多种数据格式的交互操作，以及对已有文档的传输操作。在当前常用的即时通信工具中，利用片段式的语音或者视频信息进行交互操作的形式应用日益普遍。比如，在中国市场中，已广泛应用的米聊以及微信等即时通信工具，通过录制一段声音的方式进行交互操作。另外，也可以通过录制视频的方式进行交互操作。
在进行语音或者视频的录制操作过程中，典型的操作方式是对应着发起方与接收方之间已经开启的即时通信交互界面，由其中一方通过触摸屏触压所在交互界面中的录制控件，或利用光标点击录制控件，使其进入到录制状态后，录制用户的音频和/或视频数据，进而在停止对录制控件进行录制触发的情况下，将所录制的音频和/或视频内容以流媒体交互框的形式向对方进行发送操作。在当前的技术条件下，如果即时通信用户希望添加表情图标，或者文字说明信息，或者传输图片的话，需要独立于前述的流媒体交互框，重新以一条新即时通信消息的形式载入数据，单独进行推送操作。目前在流媒体交互框之外进行数据插入的方式，不仅操作繁琐，而且无法在流媒体交互框内插入数据。
发明内容
本发明的目的在于，提供一种即时通信录制中添加插入型数据的方法，以及配套的客户端及系统，利用本发明，能够在即时通信以音频和/或视频数据录制所实现的流媒体交互框中,便利地添加插入型数据,如表情图标等。本发明所提供的一种即时通信录制中添加插入型数据的方法，包括有如下步骤步骤1，在即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态；步骤2，在录制进程中触发插入型控件后，载入插入型数据；步骤3，再次进入到录制状态，直到录制结束后转入下一步骤，或者，再次进入到录制状态，重复前述的步骤2和步骤3，直到录制结束后转入下
一步骤，或者，直接转入下ー步骤；步骤4，在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用以触发后输出插入型数据的插入标识；步骤5，在发起方与接收方之间，传输及输出前述具有插入型数据的流媒体交互框。进ー步，所述的插入型数据，为表情图标，和/或图片，和/或文本，和/或音频，和/或视频，和/或多媒体，和/或动画，和/或已有文档。进ー步，所述录制进程中添加插入型数据的位置，计算方式是获取整个流媒体交互框中所录制数据的持续总时间量；获取触发插入型控件时已录制数据的时间段；获取前述的时间段与前述的总时间量之间的比值；依据前一歩骤所获得的比值，与用以代表流媒体播放时间量的流媒体交互框总尺度相乘，依据获得的尺度在流媒体数据中取对应位置，作为添加插入型控件的位置。
进ー步，对于前述的添加插入型数据中的部分内容的情况，在触发所在的流媒体交互框或插入型数据后，输出插入型数据的全部内容。进ー步，对应着添加有插入型数据的流媒体交互框，与该流媒体交互框邻近位置设置有用以输出插入型数据的输出窗ロ，该输出窗ロ从所述流媒体交互框中的插入型数据所在位置引出。进ー步，所述流媒体交互框中的插入型数据的所在位置，通过条形的位置标识进行表达。进ー步，在触发了流媒体交互框或插入型数据之后，生成输出窗ロ，通过该输出窗ロ输出插入型数据。进ー步，所述的插入型数据为尺寸大于所在流媒体交互框允许尺寸的图像数据的情况下，获取该图像数据的缩略图，将其限制在流媒体交互框内插入。进ー步，在流媒体交互框处于播放状态的情况下，播放进程到插入型数据后，暂停播放操作，输出插入型数据后，继续进行播放操作。进ー步，所述插入型数据的输出操作，若插入型数据是图像或者字符内容的话，设置该插入型数据的输出时间阈值，超过该阈值之后，继续播放流媒体数据。进ー步，所述的插入型数据在流媒体交互框中，只有播放至插入型数据在流媒体交互框中的对应位置时，才进行输出。进ー步，所述插入型控件是用以插入表情图标的表情控件，对应着录制控件设置。进ー步，所述的录制控件和表情控件，通过将录制控件或表情控件进行位置移动，实现这两种控件之间的转换。进ー步，通过将录制控件或表情控件在滑槽中进行位置移动的方式，触发表情控件和录制控件两者之间进行转换。进一歩，对应着所述的录制控件和表情控件，在保持触压状态的情况下通过将录制控件向外拨动的方式，生成表情控件。进ー步，对应着所生成的表情控件，在保持触压状态的情况下回拨至录制控件所在的位置，恢复对录制控件的触发操作。进ー步，对应着表情控件在保持触压状态的情况下，采集获得向除了录制控件之外的位置进行拨动操作的消息后，生成具有表情项的表情窗ロ。进ー步，在对表情控件保持触压状态的情况下，采集获得触摸点在目标表情项位置处的停留消息，将目标表情项所对应的表情图标进行采集操作。
进ー步，在通过触发表情控件生成具有表情项的表情窗ロ吋，生成临近表情窗ロ，用以输出临近使用记录的临近表情项，以及生成综合表情窗ロ，用以输出预存的各表情项。进ー步，在采集获得由录制控件的触发状态向插入型控件的触发状态进行转换的操作消息时，停止录制控件对音频和/或视频数据的录制操作。本发明还提供一种即时通信录制中添加插入型数据的客户端，该客户端包括录制触发单元，用以在即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态；数据插入単元，用以在录制进程中触发插入型控件后，载入插入型数据；交互框插入単元，用以在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用 以触发后输出插入型数据的插入标识；交互框输出単元，用以在发起方与接收方之间，传输及输出前述具有插入型数据的流媒体交互框。本发明还提供一种即时通信录制中添加插入型数据的系统，该系统包括发起方客户端，它包括，录制触发单元，用以在发起方与接收方之间的即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态；数据插入単元，用以在发起方的录制进程中触发插入型控件后，载入插入型数据；交互框插入単元，用以在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用以触发后输出插入型数据的插入标识；交互框推送単元，用以将添加有插入型数据的流媒体交互框的数据内容推送至下述的接收方客户端；发起方交互框输出単元，用以在发起方与接收方对应的即时通信交互界面中，输出前述具有插入型数据的流媒体交互框，以及根据输出条件输出其中的插入型数据；接收方客户端，它包括，交互框接收単元，用以接收前述发起方客户端所发送的具有插入型数据的流媒体交互框；接收方交互框输出単元，用以将交互框接收単元所接收的具有插入型数据的流媒体交互框输出，以及根据输出条件输出其中的插入型数据。
图I是本发明所述即时通信录制中添加插入型数据的方法的流程图，为实施例I。图Ia是本发明所述的ー种实例的示意图。图2是本发明所述即时通信录制中添加插入型数据的方法的流程图，为实施例2。图3是本发明所述即时通信录制中添加插入型数据的方法的流程图，为实施例3。图4是本发明所述即时通信录制中添加插入型数据的客户端的结构框图，为实施例4。
图5是本发明所述即时通信录制中添加插入型数据的系统的结构框图，为实施例5。
具体实施例方式实施例I本发明能够在录 制音频或者视频等形式的流媒体数据的过程中，插入其它数据信息，对该数据信息的类型是不限定的。为实现该功能，參图I所示，本实施例所提供的ー种即时通信录制中添加插入型数据的方法，包括如下步骤步骤S110，在即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态；步骤S120，在录制进程中触发插入型控件后，载入插入型数据；步骤S130，再次进入到录制状态，直到录制结束后转入下一步骤，或者，再次进入到录制状态，重复前述的步骤S120和步骤S130，直到录制结束后转入下一步骤，或者，直接转入下ー步骤；步骤S140，在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用以触发后输出插入型数据的插入标识；步骤S150，在发起方与接收方之间，传输及输出前述具有插入型数据的流媒体交互框。这儿所述的即时通信交互，指的是能够通过录制独立的音频和/或视频数据的形式进行交互，将录制的数据通过流媒体交互框的形式进行展现。在本实施例中，用户通过触发音频或者视频数据的录制操作，比如触发录制控件，进入到对音频和/或视频数据的录制状态。在录制的过程中，用户可能会有插入其它数据信息的需求。在本发明中，所插入数据信息的类型是不做任何限定的。作为常见的实施例，用户很可能希望插入表情图标。在即时通信中，表情图标是非常常见的信息表达形式，可以将各种常见的表情、物品图像、风景图像等用尺寸很小的图标进行表达。这些图标可以表达用户的喜怒哀乐，或者其它的含义。这类图标形式，为了说明上的方便，统称为表情图标。比如，在用户录制音频数据的过程中，如果希望添加表情图标的话，则可以直接触发用以添加图标操作的表情控件。在触发了表情控件之后，就可以暂停对音频数据的录制操作，直到表情图标添加完毕；或者，也可以一直保持对音频数据的录制操作，并在此期间完成对表情图标的添加操作。在完成了表情图标的添加操作之后，可以结束本次流媒体数据的录制操作；当然，也可以继续恢复到录制流媒体数据的状态，作为举例，可以继续录制音频数据。进ー步，在录制音频数据的过程中，还可以重新载入其它插入型数据。在完成了插入型数据的插入操作以及流媒体数据的录制操作之后，就可以生成用以代表流媒体数据的流媒体交互框。该流媒体交互框，常见的形式为条形，需要指出的是，也可以采用其它的各种外形。无论哪一种类型的流媒体交互框，都具有相应的尺度。于是，就可以将该长度尺度作为总长度，然后判定添加插入型数据在该总长度中的位置，将相应的数据插入到所在的流媒体交互框中。
需要指出的是，在将数据插入到对应的流媒体交互框中吋，对于长度较短的插入型数据来说，比如表情图标，直接増加相应位置的空间就可以了 ；对于较长的数据，比如一长段字符，或尺寸较大的图片，等等，则可以在邻近位置生成插入型数据输出窗ロ，且该窗ロ对应着插入位置进行标注。參图Ia所示，在本图展示的即时通信交互界面10中，用户A和用户B之间采用录制音频和/或视频的方式进行交互通信。所录制的流媒体数据，通过流媒体交互框20的形式进行呈现。所述的流媒体交互框20均为条形结构。对应着用户A所发出的下面一条流媒体交互框20，其中有用户A在录制流媒体数据过程中所添加的插入型数据40，该插入型数据40为ー个笑脸图标。对应着用户B所发出的流媒体交互框20中，也设置有插入型数据40。该处的插入型数据40通过输出窗ロ 30的方式进行单独输出，其内容为一幅照片。对应着该输出窗ロ30，设置有窗ロ延伸尖端形式，代表着从所在流媒体交互框20中特定引出的含义。进一歩，还设置有条形的位置标识31，用以标识所述的输出窗ロ 30从该位置标识31处引出。应用本发明的終端设备，是能够安装即时通信工具，并且能够进行音频或者视频·数据录制的終端设备。典型的终端设备为个人电脑、智能手机、个人数字助理等，具体并不限定。对流媒体数据的录制触发操作，以及对插入型数据的触发操作，其具体的触发形式是不限定的。作为常见的实现形式，是设置相应的触发控件，比如，设置录制控件和插入型控件，通过触发录制控件启动流媒体数据的录制功能，通过触发插入型控件触发插入型数据的插入操作。另外，也可以通过设置相应的快捷键实现前述的触发功能，或者通过语音识别的方式进行触发，或者通过动作识别的方式进行触发，具体是不限定的。另外，目前常用的終端中，很多设置有触摸屏。在对前述控件进行触发时，通过触摸屏进行操作是便利的；当然，也可以通过鼠标光标进行操作，等等。本发明所描述的插入型数据，可以是各种数据形式，具体不做限定。作为典型的实施例，所述的插入型数据，为表情图标，和/或图片，和/或文本，和/或音频，和/或视频，和/或多媒体，和/或动画，和/或已有文档。其中，在进行即时通信交互的过程中，表情图标是最为常见的插入型数据。接下来还会通过具体的实施例，描述表情图标作为插入型数据的实现方式。进ー步，在所述的插入型数据为尺寸大于所在流媒体交互框允许尺寸的图像数据的情况下，比如，所在的流媒体交互框为条形结构，上下边框之间的距离为40像素，而所需要插入的图像像素为400*600，该图像的尺寸明显大于需要插入的流媒体交互框的尺寸。于是，就可以获取该图像数据的缩略图，使得缩略图的尺寸能够完整限制在流媒体交互框的尺寸范围内，并根据在录制进程中添加插入型数据的对应位置插入。进一歩，对于插入型数据的每种数据形式，还可以分别设置相应的载入控件。所述的载入控件，可以用以上传已有的数据，比如已有的图标、图片、视频数据、音频数据、文本数据、动画数据，等等；另外，还可以独立于前述的录制控件之外，设置专门录制插入型数据的控件结构，以录制用户所发出的文本数据，或图片数据，或音频数据，或视频数据等各种数据。在用户完成了流媒体数据的录制进程之后，就可以将所获得的插入型数据添加到对应的流媒体交互框中。在本发明中，是将插入型数据添加到对应的流媒体录制进程中。为了在流媒体交互框中获取适当的添加位置，可通过如下步骤实施获取整个流媒体交互框中所录制数据的持续总时间量；获取触发插入型控件时已录制数据的时间段；获取前述的时间段与前述的总时间量之间的比值；依据前一歩骤所获得的比值，与用以代表流媒体播放时间量的流媒体交互框总尺度相乘，依据获得的尺度在流媒体数据中取对应位置，作为添加插入型控件的位置。作为举例，将前述流媒体交互框中所录制的数据取为音频数据，所持续的总时间为10秒钟。在进行音频数据录制的过程中，用户插入了ー个代表笑脸的表情图标。该笑脸 表情图标的录制操作，是通过触发用以添加表情图标的表情控件实现的。其中，触发该表情控件的时刻，对应着为录制进程的第3. 5秒。另外，触发表情图标后的时间直到再次进行音频数据录制的时间段，暂停进行音频数据的录制操作。利用该暂停的方式，可让用户有充足的时间进行表情图标的选择操作，而不用担心这ー时间段内没有进行音频数据的录制操作。将前述的3. 5秒和10秒相比，获得时间比值为35%。取所在的流媒体交互框中用以代表音频数据播放长度的区域总尺寸为し于是，就可以在该尺寸的35%L长度处，増加一个空格，利用该空格插入前述的笑脸表情图标。若插入型数据为表情图标ー类的简单数据的话，直接将流媒体交互框空出少量空格，再进行插入就可以了。如果所添加的插入型数据为长度较短的字符的话，也可以用类似的形式，在流媒体交互框中留出空间进行插入操作；而对于长度较大的数据来说，比如数据量达到500个字符的话，还可以只显示其中的一部分字符数据，比如，显示前5个字符，而其它的字符，在触发了插入型数据所在的区域，或者触发了所在的流媒体交互框之后，生成插入型数据的输出窗ロ，通过该输出窗ロ输出完整的字符内容。又比如，若所载入的数据是ー个PDF文档的话，还可以通过其它的形式进行表达，比如，设置插入标识。作为举例，该插入标识是包含有“PDF”这三个字符的图标。所述的插入标识，预先与所对应的插入型数据之间建立有链接关系，在触发了该插入标识之后，即可调取对应的插入型数据，生成输出窗ロ后将其输出。进ー步，还可以将插入型数据的输出操作和流媒体交互框的播放状态对应起来。这是因为所述的插入型数据与流媒体播放进程之间有着时间上的对应关系。在具体实施时，采集流媒体交互框所对应的流媒体数据播放的时间进程，判定所对应的时间进程是否到了插入型数据添加的时刻，如果到达该时刻的话，则可以暂停播放进程，输出插入型数据。在进行插入型数据的输出操作吋，既可以在流媒体交互框中进行输出，这种方式适合尺寸较小的插入型数据，也可以生成插入型数据的输出窗ロ，在该输出窗ロ中进行数据输出。所述的输出操作，如果插入型数据是单纯的图像或者字符内容的话，可以设置输出时间阈值，比如3秒钟，在达到或超过该阈值之后，就可以继续播放流媒体数据；另外，如果插入型数据是音频或者视频等流媒体数据的话，则需要在插入型数据播放完毕之后，再继续播放原有的流媒体内容，当然，也可以采集用户对插入型数据播放中止的消息，用以继续播放原有的流媒体内容。对应着前面的实施方式，还可以将设置在流媒体交互框中的插入型数据，只有播放至插入型数据在流媒体交互框中的对应位置时才进行输出，其它情况则不输出。本发明所描述的插入型数据，尤其适用于对表情图标的插入操作。在触发表情图标的插入操作时，可以对应着即时通信交互界面，将插入型控件设置为表情控件，该表情控件对应着用以录制流媒体数据的录制控件进行设置。用户可以通过简便的操作，在录制操作的进程中对录制控件和表情控件两者之间的状态进行转化。作为举例，可以将所述的录制控件和表情控件，通过录制控件或表情控件的位置移动操作，实现这两种控件之间的转换。在进行位置移动时，作为举例，可以对应着录制控件和表情控件设置滑槽，当录制控件向滑槽的另一侧进行移动时，就启动向表情控件的转换操作，当移动到预设的位置处时，就由录制控件的操作状态转变为表情控件的操作状态。
进一歩，还可以采集将录制控件向周围任意方向拨动或拖动的操作消息，将其预设为触发表情控件的操作形式。当采集到这类操作消息时，即可启动表情控件。进一歩，还可以在表情控件处于触发状态下，通过将表情控件的位置重新回拨至录制控件的初始位置，触发对录制控件工作状态的恢复操作。前面所述的拨动操作，或者拖动操作等操作信息，尤其适合通过触摸屏进行操作；当然，通过鼠标光标ー类的操作工具也同样可以。在表情控件受到触发的状态下，生成具有表情项的表情窗ロ。作为优选的实施例，所述的表情项通过各个具有图像的图标进行表达，这些表情项组成阵列形式供用户选择。当用户触发了相应的表情项之后，就可以通过回调函数的形式，在调取所在表情项对应的图标内容之后，添加到流媒体录制的进程之中。作为举例，在利用触摸屏进行触摸操作吋，设置对目标表情项进行选择时的触摸停留时间阈值，采集用户在该特定目标表情项位置处的停留消息，判定停留时间是否达到了预设阈值，在达到的情况下，则对所触发的表情项进行米集。进ー步，为了选择的方便，还可以在通过触发表情控件生成具有表情项的表情窗ロ吋，生成临近表情窗ロ，用以输出具有临近使用记录的临近表情项；以及生成综合表情窗ロ，用以输出预存的各种表情项。为了更好地描述表情图标这一插入型数据的典型实施例，将在接下来的实施例2和实施例3中做进ー步说明。实施例2在本实施例中，将插入型数据取为表情图标。为了描述的方便，设定登录即时通信工具的終端具有触摸屏，对通信内容的录制操作是经由触摸屏的途径实现的。所录制的通イ目内容是发起方的语首イ目息。具体来说，參图2所示，本实施例所提供的一种即时通信录制中添加插入型数据的方法，其实施步骤如下步骤S210，在发起方和接收方的即时通信交互操作中，通过触摸屏采集发起方触压用以实现录音功能的录制控件的触发消息，其中该录制控件配套设置有滑槽结构，通过滑动位置触发用以添加表情图标的表情控件，或通过返回所滑动的位置恢复对录制控件的触发；步骤S220，发起方所对应的发起方客户端进入到语音数据的录制状态，录制发起方的语音信息；步骤S230，在通过触摸屏对录制控件保持触压状态的情况下，将录制控件向所在滑槽结构的另ー侧拖动，在拖动过程中将前述录制控件转为表情控件，且在采集获得录制控件拖动消息的情况下停止录音操作；步骤S240，在录制控件转为表情控件的情况下，触发表情控件输出包括有表情项的表情窗ロ，该表情窗ロ分为左右两侧的表情区域，其中左侧表情区域为临近表情窗ロ，右侧表情区域为综合表情窗ロ；步骤S250，在对所在触摸屏保持触压状态的情况下，采集触摸点对临近表情窗ロ或者综合表情窗口中表情项所在位置的停留消息；步骤S260，在前述的停留消息达到触发阈值的情况下，选择所停留位置的表情项，将其对应的表情图标载入到录制进程的停顿位置；
步骤S270，在对表情控件保持触压状态的情况下，通过前述的滑槽拖动表情控件向录制控件的初始位置移动，在移动到初始位置的情况下转变为录制控件，继续采集用户的语首"[目息；或者，在采集获得触压点从录制控件移离所在触摸屏的消息时，将其判定为录制完成后进行录制内容发送的触发消息，将所录制的语音信息和采集的表情图标向对应的接收方进行发送；或者，完成表情图标在录制进程中的载入操作后，采集获得触压点从所在屏幕离开的消息，将录制的语音信息和表情图标向对应的联系人对象进行发送操作；步骤S280，在发起方客户端和/或接收方客户端，将前述录制的音频数据通过流媒体交互框输出，将表情图标对应前述流媒体交互框载入到录制进程的停顿位置处。实施例3在本实施例中，将插入型数据同样取为表情图标。为了描述的方便，设定登录即时通信工具的終端具有触摸屏，对通信内容的录制操作是经由触摸屏的途径实现的。所录制的通信内容是发起方的语音信息。具体来说，參图3所示，本实施例所提供的一种即时通信录制中添加插入型数据的方法，其实施步骤如下步骤S310，通过触摸屏采集对用以实现录音功能的录制控件的触压消息；步骤S320，在保持对前述录制控件触压状态的情况下，进入语音数据的录制状态，录制发起方的语音信息；步骤S330，在保持对前述录制控件触压状态的情况下，采集获得将录制控件的触压点位置向周边进行拨动的消息，暂停对语音信息的录制操作，并转入到下一步骤；步骤S340，生成三个表情控件，分别是静态表情控件、动态表情控件和流行表情控件；步骤S350，采集对其中之一的表情控件的触发消息，生成与该表情控件所对应的静态图标窗ロ或动态图标窗ロ或流行图标窗ロ ；步骤S360，获取对特定图标窗ロ中的特定图标项的选择消息，将所选择图标项所对应的图标连同着语音数据生成具有表情图标内容的流媒体交互框，且将所选择的图标载入到前述进行触摸点位置拨动操作时的录音进程位置；
步骤S370，将前述的流媒体交互框所对应的数据内容传送至联系人对象所在的客户端；步骤S380，在发起方客户端和/或接收方客户端，将前述录制的音频数据通过流媒体交互框输出，将表情图标对应前述流媒体交互框中触摸点位置拨动操作时的录音进程处进行设置。实施例4參图4所示，本发明还提供一种即时通信录制中添加插入型数据的客户端100，该客户端100是ー种即时通信客户端，能够完成和即时通信相关的各种预设功能，特别是能够通过录制音频和/或视频数据的形式，生成流媒体交互框，在触发该流媒体交互框之后，能够播放预先录制的音频和/或视频信息，在即时通信交互界面中作为交互信息形式进行呈现。该流媒体交互框通常为条框结构，当然也不限定。进ー步，所述的客户端100还能够在流媒体交互框中，添加插入型数据，该插入型数据可以是各种数据形式，具体并不限定。为实现该目的，所述的客户端100还包括 录制触发单元110，用以在即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态；数据插入単元120，用以在录制进程中触发插入型控件后，载入插入型数据；交互框插入単元130，用以在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用以触发后输出插入型数据的插入标识；交互框输出単元140，用以在发起方与接收方之间，传输及输出前述具有插入型数据的流媒体交互框。在所述的客户端100处于启动状态下，通过录制触发单元110，在发起方与接收方之间的即时通信交互操作中，能够启动所在終端上的音频和/或视频数据的录制结构，从而采集发起方或接收方的音频和/或视频数据，将采集的数据在即时通信交互界面中，通过流媒体交互框的形式进行呈现。发起方或者接收方可以相互之间传送流媒体交互框。通过这种流媒体交互框直接进行交互操作的形式，是这类即时通信交互操作的主要形式。进ー步，在发起方或者接收方录制流媒体数据时，还可以通过本发明所描述的数据插入単元120，触发用以实现添加插入型数据的插入型控件。在启动该插入型控件之后，能够根据预设的条件暂停或者继续进行流媒体数据的录制操作。对应着需要添加的插入型数据，不同的数据类型所对应的插入型控件也各有区別。比如，能够用以添加表情图标，这种情况下，设置表情控件就可以；在用以添加文本内容时，也可以设置相应的控件，等等。当然，还可以设置能够开启综合性的插入型数据录制工具的界面，用以对各种需要进行添加的插入型数据，根据发起方或者接收方的需要，选择或者上传已有的数据，或者录制新的数据内容。在完成了包括音频和/或视频数据在内的流媒体数据的录制操作之后，以及完成了插入型数据的添加操作之后，就可以通过交互框插入単元130，根据所录制的流媒体数据形成流媒体交互框，以及根据所添加的插入型数据在流媒体数据录制进程中的位置，进行添加操作。所添加的插入型数据，在数据较短或者易于插入到流媒体交互框的情况下，可以在对应流媒体交互框中进行添加，当数据长度较大时，可以仅添加部分插入型数据，在触发了该部分插入型数据或者触发了对应的流媒体交互框之后，再输出其它部分的数据内容；或者，若插入型数据对应的是独立文档的话，也可以通过插入标识的形式代表特定文档，在触发该插入标识之后，调取所对应的文档并将其转变为开启状态。需要指出的是，还可以生成独立的输出窗ロ输出插入型数据。该插入型数据所对应的输出窗ロ，优选和对应的流媒体交互框相邻近，并且适合进行标记，代表该输出窗ロ是对应着流媒体交互框中与播放进程相对应的位置进行插入的。在获得了具有插入型数据的流媒体交互框之后，能够通过交互框输出単元140，在发起方与接收方之间传送及输出该具有插入型数据的流媒体交互框。利用这种类型的流媒体交互框，可以让发起方或者接收方更便捷地插入包括表情图标或者其它类型的数据信息，更利于进行信息表达。实施例5
參图5所示，本发明还提供一种即时通信录制中添加插入型数据的系统200，该系统200包括有发起方客户端210、接收方客户端220，以及系统服务器。利用所述的发起方客户端210和接收方客户端220，配合着系统服务器，能够完成即时通信的各种预设功能。特别是能够通过录制音频和/或视频数据的形式，由发起方客户端210或者接收方客户端220生成流媒体交互框。在触发该流媒体交互框之后，能够播放预先录制的音频和/或视频信息，在即时通信交互界面中作为交互信息形式进行呈现。该流媒体交互框通常为条框结构，当然也不限定。进ー步，通过前述的发起方客户端210或者接收方客户端220，还能够在所录制的流媒体交互框中，添加插入型数据，该插入型数据可以是各种数据形式，具体并不限定。为实现该目的，所述的系统200还包括发起方客户端210，它包括，录制触发单元211，用以在发起方与接收方之间的即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态；数据插入単元212，用以在发起方的录制进程中触发插入型控件后，载入插入型数据；交互框插入単元213，用以在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用以触发后输出插入型数据的插入标识； 交互框推送単元214，用以将添加有插入型数据的流媒体交互框的数据内容推送至下述的接收方客户端220 ；发起方交互框输出単元215，用以在发起方与接收方对应的即时通信交互界面中，输出前述具有插入型数据的流媒体交互框，以及根据输出条件输出其中的插入型数据；接收方客户端220，它包括，交互框接收単元221，用以接收前述发起方客户端210所发送的具有插入型数据的流媒体交互框；接收方交互框输出単元222，用以将交互框接收単元221所接收的具有插入型数据的流媒体交互框输出，以及根据输出条件输出其中的插入型数据。在具体实施时，通过发起方客户端210中的录制触发单元211，在发起方与接收方之间进行交互通信的过程中，采集发起方录制包括音频和/或视频数据在内的流媒体信息的触发消息，进入到对流媒体数据的录制状态。在这种情况下，作为举例，发起方可以口述一段话，对这段话进行录制操作。所述的数据插入単元212，在发起方进行流媒体数据的录制操作进程中，启动插入型控件，选择需要插入的数据信息，或者重新录制需要插入的数据信息，完成插入型数据的添加操作。比如，在发起方口述一段话的过程中，由发起方触发表情图标的添加操作，根据发起方的选择，插入了一个笑脸表情。在发起方完成了流媒体数据的录制进程之后，以及完成了插入型数据的添加操作之后，就可以通过前述的交互框插入単元213，将用户所录制的流媒体数据形成流媒体交互框，以及在该流媒体交互框中对应着添加插入型数据时的进程，选择流媒体交互框中与该进程相对应的位置，添加插入型数据，所添加的插入型数据，可以是数据的全部内容，也可以是数据的部分内容，或者是添加插入标识。其中，在添加部分插入型数据的情况下，触发所在的流媒体交互框或者插入型数据之后，可以输出其它的数据部分；以及在添加插入标识的情况下，在触发了插入标识后，调取与该插入标识相对应的数据信息并进行输出。
在完成了具有插入型数据的流媒体交互框的生成操作之后，即可将所对应的数据通过交互框推送単元214，将添加有插入型数据的流媒体交互框的数据内容推送至前述的接收方客户端220。同时，通过发起方交互框输出单元215，在发起方与接收方所对应的即时通信交互界面中，输出前面所述具有插入型数据的流媒体交互框。其中的插入型数据，可以直接对应着流媒体交互框进行输出，包括在流媒体交互框中进行输出，也可以生成输出窗ロ，邻近着流媒体交互框进行输出；另外，还可以设置输出条件，比如，在触发所在的插入型数据的区域或者触发流媒体交互框的情况下，再进行输出。通过发起方客户端210所推送的具有插入型数据的流媒体交互框，由接收方客户端220中的交互框接收单元221进行接收，进而转至接收方交互框输出单元222，输出具有插入型数据的流媒体交互框，和前面发起方客户端210所输出的具有插入型数据的流媒体交互框的方式类似，能够直接将插入型数据对应着流媒体交互框进行输出，或者设置输出条件，比如，该输出条件可以是对插入型数据所在区域的触发消息，或者是对所在流媒体交互框的触发消息，在获取该触发消息的情况下，再输出预设的插入型数据。或者在触发了流媒体交互框的播放操作之后，当播放的进程到达添加插入型数据的时刻的情况下，再输出预设的插入型数据。以上是对本发明的描述而非限定，基于本发明思想的其它实施例，亦均在本发明的保护范围之中。
权利要求
1.一种即时通信录制中添加插入型数据的方法，其特征在于该方法包括有如下步骤 步骤1，在即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态； 步骤2，在录制进程中触发插入型控件后，载入插入型数据； 步骤3，再次进入到录制状态，直到录制结束后转入下一步骤， 或者，再次进入到录制状态，重复前述的步骤2和步骤3，直到录制结束后转入下一歩骤， 或者，直接转入下ー步骤； 步骤4，在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用以触发后输出插入型数据的插入标识； 步骤5，在发起方与接收方之间，传输及输出前述具有插入型数据的流媒体交互框。
2.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于所述的插入型数据，为表情图标，和/或图片，和/或文本，和/或音频，和/或视频，和/或多媒体，和/或动画，和/或已有文档。
3.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于所述录制进程中添加插入型数据的位置，计算方式是， 获取整个流媒体交互框中所录制数据的持续总时间量； 获取触发插入型控件时已录制数据的时间段； 获取前述的时间段与前述的总时间量之间的比值； 依据前一歩骤所获得的比值，与用以代表流媒体播放时间量的流媒体交互框总尺度相乘，依据获得的尺度在流媒体数据中取对应位置，作为添加插入型控件的位置。
4.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于对于前述的添加插入型数据中的部分内容的情况，在触发所在的流媒体交互框或插入型数据后，输出插入型数据的全部内容。
5.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于对应着添加有插入型数据的流媒体交互框，与该流媒体交互框邻近位置设置有用以输出插入型数据的输出窗ロ，该输出窗ロ从所述流媒体交互框中的插入型数据所在位置引出。
6.根据权利要求5所述的ー种即时通信录制中添加插入型数据的方法，其特征在于所述流媒体交互框中的插入型数据的所在位置，通过条形的位置标识进行表达。
7.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于在触发了流媒体交互框或插入型数据之后，生成输出窗ロ，通过该输出窗ロ输出插入型数据。
8.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于所述的插入型数据为尺寸大于所在流媒体交互框允许尺寸的图像数据的情况下，获取该图像数据的缩略图，将其限制在流媒体交互框内插入。
9.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于在流媒体交互框处于播放状态的情况下，播放进程到插入型数据后，暂停播放操作，输出插入型数据后，继续进行播放操作。
10.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于所述插入型数据的输出操作，若插入型数据是图像或者字符内容的话，设置该插入型数据的输出时间阈值，超过该阈值之后，继续播放流媒体数据。
11.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于所述的插入型数据在流媒体交互框中，只有播放至插入型数据在流媒体交互框中的对应位置时，才进行输出。
12.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于所述插入型控件是用以插入表情图标的表情控件，对应着录制控件设置。
13.根据权利要求12所述的ー种即时通信录制中添加插入型数据的方法，其特征在于所述的录制控件和表情控件，通过将录制控件或表情控件进行位置移动，实现这两种控件之间的转换。
14.根据权利要求13所述的ー种即时通信录制中添加插入型数据的方法，其特征在干通过将录制控件或表情控件在滑槽中进行位置移动的方式，触发表情控件和录制控件两者之间进行转换。
15.根据权利要求13所述的ー种即时通信录制中添加插入型数据的方法，其特征在干对应着所述的录制控件和表情控件，在保持触压状态的情况下通过将录制控件向外拨动的方式，生成表情控件。
16.根据权利要求15所述的ー种即时通信录制中添加插入型数据的方法，其特征在干对应着所生成的表情控件，在保持触压状态的情况下回拨至录制控件所在的位置，恢复对录制控件的触发操作。
17.根据权利要求16所述的ー种即时通信录制中添加插入型数据的方法，其特征在干对应着表情控件在保持触压状态的情况下，采集获得向除了录制控件之外的位置进行拨动操作的消息后，生成具有表情项的表情窗ロ。
18.根据权利要求17所述的ー种即时通信录制中添加插入型数据的方法，其特征在于在对表情控件保持触压状态的情况下，采集获得触摸点在目标表情项位置处的停留消息，将目标表情项所对应的表情图标进行采集操作。
19.根据权利要求17所述的ー种即时通信录制中添加插入型数据的方法，其特征在于在通过触发表情控件生成具有表情项的表情窗ロ吋，生成临近表情窗ロ，用以输出临近使用记录的临近表情项，以及生成综合表情窗ロ，用以输出预存的各表情项。
20.根据权利要求I所述的ー种即时通信录制中添加插入型数据的方法，其特征在于在采集获得由录制控件的触发状态向插入型控件的触发状态进行转换的操作消息吋，停止录制控件对音频和/或视频数据的录制操作。
21.—种即时通信录制中添加插入型数据的客户端，其特征在于该客户端包括 录制触发单元，用以在即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态； 数据插入単元，用以在录制进程中触发插入型控件后，载入插入型数据； 交互框插入単元，用以在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用以触发后输出插入型数据的插入标识；交互框输出単元，用以在发起方与接收方之间，传输及输出前述具有插入型数据的流媒体交互框。
22.—种即时通信录制中添加插入型数据的系统，其特征在于该系统包括 发起方客户端，它包括， 录制触发单元，用以在发起方与接收方之间的即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态； 数据插入単元，用以在发起方的录制进程中触发插入型控件后，载入插入型数据； 交互框插入単元，用以在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用以触发后输出插入型数据的插入标识； 交互框推送単元，用以将添加有插入型数据的流媒体交互框的数据内容推送至下述的接收方客户端； 发起方交互框输出単元，用以在发起方与接收方对应的即时通信交互界面中，输出前述具有插入型数据的流媒体交互框，以及根据输出条件输出其中的插入型数据； 接收方客户端，它包括， 交互框接收単元，用以接收前述发起方客户端所发送的具有插入型数据的流媒体交互框； 接收方交互框输出単元，用以将交互框接收単元所接收的具有插入型数据的流媒体交互框输出，以及根据输出条件输出其中的插入型数据。
全文摘要
本发明提供了一种即时通信录制中添加插入型数据的方法、客户端及系统，属于通信、软件技术领域。所述的方法包括在即时通信交互中采集录制操作的触发消息，进入用以录制音频和/或视频数据的录制状态；在录制进程中触发插入型控件后，载入插入型数据；在通过录制音频和/或视频数据所形成的流媒体交互框中，对应着前述录制进程中添加插入型数据的位置，添加全部或部分插入型数据，或添加用以触发后输出插入型数据的插入标识；在发起方与接收方之间，传输及输出前述具有插入型数据的流媒体交互框。利用本发明，能够在即时通信以音频和/或视频数据录制所实现的流媒体交互框中，便利地添加插入型数据，如表情图标等。
文档编号G06F9/44GK102830977SQ20121029949
公开日2012年12月19日 申请日期2012年8月21日 优先权日2012年8月21日
发明者马宇尘 申请人:上海量明科技发展有限公司