多媒体信息剪辑方法和系统与流程

本发明涉及信息处理技术领域，尤其涉及一种多媒体信息剪辑方法和系统。

背景技术：

随着互联网技术的进步，计算机设备为用户的生产和生活提供的服务愈发的多样化，比如，计算机设备可以为用户播放视频等多媒体信息，并且为了推广多媒体信息等，选择多媒体信息的一些片段为用户生成片花，以调动用户的观看热情等。

相关技术中，由制片方主观判断出较为精彩的多媒体信息片段生成片花，为用户提供的片花是统一的，比如，为多个用户播放影片a时，每个用户播放的片花内容完全一样，难以针对用户的个体化差异性提供片花相关服务，不会考虑到不同的用户的感受，导致为用户的提供观看体验不高。

技术实现要素：

本发明提供一种多媒体信息剪辑方法和系统，以解决现有技术中，推荐的片花较为固定，观看用户的观看体验不高的技术问题。

本发明实施例提供一种多媒体信息剪辑方法，包括以下步骤：在多媒体信息播放过程中，获取观看用户的实时生理反应信号；根据所述观看用户的实时生理反应信号确定所述观看用户的实时专注度；根据所述观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻；将与所述多个感兴趣时刻对应的多个多媒体信息片段进行剪辑生成目标信息片花。

本发明另一实施例提供一种多媒体信息剪辑系统，包括：生理反应信号采集设备和处理器，其中，所述生理反应信号采集设备和所述处理器连接，其中，所述生理反应信号采集设备，用于在多媒体信息播放过程中，获取观看用户的实时生理反应信号；所述处理器，用于根据所述观看用户的实时生理反应信号确定所述观看用户的实时专注度，根据所述观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻，将与所述多个感兴趣时刻对应的多个多媒体信息片段进行剪辑生成目标信息片花。

本发明又一实施例提供一种非临时性计算机可读存储介质，所述计算机程序被处理器执行时实现如上述实施例所述的多媒体信息剪辑方法。

本发明还一实施例提供一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如上述实施例所述的多媒体信息剪辑方法。

本发明实施例提供的技术方案可以包括以下有益效果：

在多媒体信息播放过程中，获取观看用户的实时生理反应信号，根据观看用户的实时生理反应信号确定观看用户的实时专注度，根据观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻，进而，将与多个感兴趣时刻对应的多个多媒体信息片段进行剪辑生成目标信息片花。由此，以观看用户难以自主更改的实时生理反应信号为依据，进行多媒体信息的剪辑生成片花，保证了观看用户对生成的片花的满意度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明第一个实施例的多媒体信息剪辑方法的流程图；

图2是根据本发明第二个实施例的多媒体信息剪辑方法的流程图；

图3是根据本发明一个实施例的多媒体信息剪辑方法的应用场景示意图；

图4是根据本发明一个实施例的多媒体信息剪辑系统的结构示意图；以及

图5是根据本发明另一个实施例的多媒体信息剪辑系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的多媒体信息剪辑方法和系统。

基于以上分析可知，相关技术中，为用户提供的多媒体信息对应的片花统一，难以满足多个用户的不同的喜好，而在实际应用中，用户的喜好无论是多媒体视频的商业推广效果，还是对用户和产品的粘性等方面，都具有十分重要的参考价值。

为了解决上述技术问题，本发明提出了多媒体信息剪辑方法，将多媒体信息的片花确定和用户的个人主观情绪结合起来，使得多媒体信息对应的片花更加符合用户的个人喜好，提升用户的观看体验。

图1是根据本发明第一个实施例的多媒体信息剪辑方法的流程图，如图1所示，该方法包括：

步骤101，在多媒体信息播放过程中，获取观看用户的实时生理反应信号。

其中，生理反应信号可以包括皮肤电导信号、心率信号、心电信号、眼动信号、脑电信号中的一种或者多种信号组合，在此不作限制，另外上述多媒体信息包括音视频播放信息等，比如，电影、电视剧、舞台剧等。

具体地，在本发明的实施例中，可通过生理反应信号采集设备采集观看用户的生理反应信号，其中，根据应用场景的不同，生理反应信号采集设备可以为不同的设备，比如，可以为包含生理反应信号传感器的腕带、帽子、手套、项链、脸部贴纸等能直接接触到的观看用户皮肤进而检测到观看用户的生理反应信号的设备。

需要强调的是，本发明实施例中获取观看用户的实时生理反应信号持续整个多媒体信息的播放过程，从而，采集到的观看用户的实时生理反应信号与多媒体信息的视频流始终对齐，比如，采集到的a时刻的观看用户的实时生理反应信号与a时刻的多媒体信息的视频流对应。

步骤102，根据观看用户的实时生理反应信号确定观看用户的实时专注度。

其中，在不同的应用场景下，观看用户的专注度可以以具体的数值表示，比如以百分制中的数字表示，数值越大代表观看用户越专注，比如以等级制度中的等级表示，等级越大代表观看用户越专注，又比如以具体的符号标志(星星符号、花朵符号、心形符号等)的数量来表示，符号数量越多代表观看用户越专注。

可以理解，观看用户的生理反应信号会真实的反应多媒体信息的播放效果，比如，当生理反应信号包括皮肤电导信号时，皮肤会对电流或者电压呈现一定的电阻，而电阻的大小会随着情绪变化而变化，通常，在较为轻松的状态下，观看用户可能当前在走神，多媒体信息并不能引起观看用户的兴趣，人体皮肤的电阻较大，从而皮肤电导信号较低，在精神紧张时，观看用户可能当前正在专注的观看多媒体信息，人体皮肤的电阻较小，从而人体皮肤电导信号较高，这是由于交感和副交感神经根据大脑的认知状态的变化进行拮抗式的调节，而交感和副交感神经的活动会影响皮肤电阻。

又比如，当生理反应信号包括心率信号时，如果观看用户的心率波动较小，则表明观看用户越是专注于当前播放的多媒体信息，如果观看用户的心率变化比较大，则表明对当前播放的多媒体信息越是不专注。

需要说明的是，在不同的应用场景下，可采用不同的方式实现根据观看用户的生理反应信号确定观看用户的实时专注度，示例说明如下：

第一种示例：

在本示例中，预先根据大量实验数据，获取并存储专注度和生理反应信号的对应关系，从而，在获取生理反应信号后，查询上述对应关系，以获取匹配的观看用户的实时专注度。

第二种示例：

预先根据大量实验数据，构造生理反应信号的深层网络模型，该模型的输入为生理反应信号，输出为观看用户的专注度，从而，将获取的观看用户的生理反应信号输入该深层网络模型，得到输出的观看用户的实时专注度。

第三种示例：

在本示例中，如图2所示，上述步骤102包括：

步骤201，根据预设策略分析观看用户的实时生理反应信号，并提取与观看用户的实时专注特征信息。

应当理解的是，在不同的应用场景下，上述分析观看用户的实时生理反应信号的预设策略不同，从而提取到的观看用户的实时专注特征信息不同：

作为一种可能的实现方式，专注特征信息为专注次数，则可以检测生理反应信号大于预设阈值的次数提取专注次数。

举例而言，当生理反应信号为皮肤电导信号时，由于在实际应用中，观看用户对当前播放的多媒体信息越专注，则观看用户的脑神经活动越丰富,受到多媒体内容的刺激以及交感神经活动的影响，会使得皮肤表面的导电度改变(其成因与交感神经和汗腺活动度有关)，精神状态越专注，皮肤电导越大，根据此原理从而检测获知的皮肤电导信号越大。

举例而言，当生理反应信号为眼动信号时，由于在实际应用中，比如，在观看电影时，观看用户对当前播放的多媒体信息越专注，则观看用户的眼睛越是会随着电影画面而移动，从而检测到的眼动信号变化率较高，观看用户对当前播放的多媒体信息越不专注，则观看用户的眼睛不会随着电影画面而移动或者视线没有集中在屏幕上，从而检测到的眼动信号变化率较低或者注视点超出屏幕以外。

因而，在本示例中，预先根据大量实验数据设置生理反应信号对应的预设阈值，提取生理反应信号大于预设阈值的次数提取专注次数。

作为另一种可能的实现方式，检测实时生理反应信号大于预设阈值的时间提取专注时间。

由于在实际应用中，观看用户对当前播放的多媒体信息越专注，则会体现在观看用户的生理反应信号上，比如，当生理反应信号为皮肤电导信号时，观看用户对当前播放的多媒体信息越专注，则观看用户的脑神经活动越丰富,受到多媒体内容的刺激以及交感神经活动的影响，会使得皮肤表面的导电度改变(其成因与交感神经和汗腺活动度有关)，精神状态越专注，皮肤电导越大，根据此原理从而检测获知的皮肤电导信号越大。

因而，在本示例中，还可以检测实时生理反应信号大于预设阈值的时间提取专注时间。

作为又一种可能的实现方式，可以检测实时生理反应信号大于预设阈值的幅度提取专注强度。

由于在实际应用中，观看用户对当前播放的多媒体信息的专注强度可以反映在生理反应信号中，因而，可以根据生理反应信号的大小来提取观看用户的专注强度，比如，当生理反应信号包括皮肤导电信号时，则观看用户的脑神经活动越丰富,受到多媒体内容的刺激以及交感神经活动的影响，会使得皮肤表面的导电度改变(其成因与交感神经和汗腺活动度有关)，精神状态越专注，皮肤电导越大，根据此原理从而检测获知的皮肤电导信号越大。

因而，在本示例中，还可以检测生理反应信号大于预设阈值的幅度提取专注强度，比如，检测皮肤电导信号大于预设阈值的幅度提取专注强度，如预设阈值为a,当前的皮肤电导信号为大于a的b，则可以将b-a作为专注强度。

其中，在不同的应用场景下，上述三种示例采集的观看用户的专注特征信息可以作为单独的参考因素，用于进一步确定观看用户的专注度，也可以将上述三种示例采集的观看用户的专注特征信息的任意两种的组合作为参考因素，用于进一步确定观看用户的专注度，也可以将上述三种示例采集的观看用户的专注特征信息作为参考因素，用于进一步确定观看用户的专注度。

另外，为了保证进一步确定观看用户的专注度的准确度，在本发明的一个实施例中，上述与生理反应信号进行比较的预设阈值还可以根据观看用户的体质类型设置，比如，当生理反应信号包括皮肤电导信号时，对于女性观看用户和男性观看用户、或者不同年龄段的观看用户来讲，其皮肤表面的角质和干燥度等不同，因而，在同样的专注度下测量得到的皮肤电导信号是不同，为了补偿这种观看用户体质上的差别，还可以根据大量实验数据获取这种差别数据，针对不同体质观看用户设置不同的预设阈值，比如，由于男性汗腺更加发达，皮肤更加湿润、导电性更强，因而设置的预设阈值相对高一些等。

步骤202，应用预设算法对观看用户的专注特征信息进行计算，获取观看用户的实时专注度。

具体地，为了判断观看用户对当前播放的多媒体信息的专注度，以便于进一步根据观看用户的实时专注度进行片花生成，应用预设算法对实时专注特征信息进行计算，获取当前观看用户的实时专注度。

具体而言，根据应用场景的不同，应用预设算法对观看用户的专注特征信息进行计算，获取观看用户的实时专注度的方式不同，下面结合不同的应用场景进行举例：

场景一：

在该场景下，观看用户的实时专注特征信息为单一的特征信息，比如仅仅为专注次数，或者，专注时间，或者，专注强度。

由于观看用户的专注特征信息对应的数据值越大，比如专注次数越大，表示观看用户越专注于当前多媒体信息，因此，本场景下的预设算法为与专注特征信息对应的线性运算算法，比如，该算法可以为y＝a*x，其中，y为观看用户的专注度，x为专注特征信息对应的数据值，a可以为任意大于0的数。

其中，可以考虑专注特征信息包含不同的内容时与观看用户专注度的相关性的不同，比如，在确定观看用户的专注度时，通常观看用户的专注时间相比于专注次数的参考意义更大，因为有的时候，观看用户虽然多次专注于当前多媒体信息，但是持续时间较短，还是认为观看用户没有专注于当前多媒体信息，因此，上述a还可以对应于不同的专注特征信息的权重值，比如，当专注特征信息为专注次数时，对应的a为0.6，当专注特征信息为专注时间时，对应的a为0.8。

场景二：

在该场景下，观看用户的专注特征信息为多个特征信息，比如包括专注次数和专注时间，或者，专注时间和专注强度，或者，专注次数、专注时间和专注强度等。

由于观看用户的专注特征信息对应的数据值越大，比如专注次数越大，表示用户越专注于当前多媒体信息，因此，对应的预设算法与观看用户的专注特征信息对应的数据值正相关，比如，y＝a1*x1+…+an*xn，其中，n为大于等于2的正整数，a1到an为正数，a1到an可以相等，也可以不相等，当a1到an不相等时，可以用于表示不同的观看用户的专注特征信息对专注度的不同的参考意义的权重值，x1到xn表示不同的观看用户特征信息对应的数据值。

当然，在实际操作过程中，该场景中的预设算还可以是任意体现观看用户的专注特征信息对应的数据值正相关的算法表达，在此不一一列举。

步骤103，根据观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻。

步骤104，将与多个感兴趣时刻对应的多个多媒体信息片段进行剪辑生成目标信息片花。

可以理解，在实际应用中，如果根据用户的个人喜好或者当前比较受欢迎的热点元素进行多媒体信息对应的片花的生成，显然会大大提高多媒体信息对应的片花的推广效果等，因此，在本发明的实施例中，预先设置预设的目标对象，该目标对象可包括用户感兴趣的多媒体元素，比如某个明星、某类型的商品等，或者，也可以包括当前比较受欢迎的热点元素，比例如流量明星等，或者，也可以是商家想要推广的商品元素，比如植入广告等，进而，根据观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻，并将与多个感兴趣时刻对应的多个多媒体信息片段进行剪辑生成目标信息片花，其中，生成目标信息片花后，观看用户可以对目标信息片花进行存储、分享等操作，在此不作限制。

由此，一方面，保证了当前目标信息片花中的多媒体信息片段均为用户感兴趣的片段，另一方面，保证了当前目标信息片花中的多媒体信息片段中包括了预先设置的目标对象，便于商家进行相关信息推广，或者，流量明星的宣传，或者，进一步提高与用户的个人喜好的吻合度。

在本发明的一个实施例中，当预设的目标对象包括根据用户的个人喜好或者当前比较受欢迎的热点元素时，在根据观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻之前，可以获取用户的个人喜好信息，以便于根据用户的个人喜好信息进行目标对象的确定。

其中，根据应用场景的不同，根据获取观看用户的个人喜好信息，以便于根据观看用户的个人喜好信息进行目标对象的确定方式，包括但不限于以下几种：

第一种示例：

提示观看用户预先输入的个人喜好，根据大数据分析的方式，根据观看用户的个人喜好计算出其感兴趣的目标对象，比如，用户预先输入的个人喜好为化妆，则根据观看用户的个人喜好计算出其感兴趣的目标对象为化妆品。

第二种示例：

在本示例中，在根据观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻之前，获取观看用户的用户画像，并确定与用户画像匹配的目标对象。其中，观看用户的画像信息包括用户身份信息、职业信息、性别信息等，观看用户的画像信息与感兴趣的目标对象较相关，比如，年轻女性观看用户感兴趣的目标对象为流量明星、运动员观看用户感兴趣的目标对象为运动设备等。

在本示例中，考虑在在实际应用中，拥有相似画像信息的观看用户感兴趣的目标对象较为一致，因此，为了提高目标信息片花的推送效率，还可以预先根据用户画像进行用户群组的划分，从而，在将与多个感兴趣时刻对应的多个多媒体信息片段进行剪辑生成目标信息片花之后，获取与观看用户的用户画像匹配的用户群组，并将目标信息片花推送给用户群组，显然对应用用户群组中的观看用户对推送的目标信息片花较为满意。

为了更加直观的说明本发明实施例的多媒体信息剪辑方法的实施过程，下面结合其在具体场景中的应用进行举例：

在本示例中，多媒体信息为电影，观看用户a预先设置的目标对象为明星b，则如图3所示，观看用户a在使用家里的笔记本观看电影，则可以在电影的播放过程中，获取观看用户a的实时生理反应信号，根据观看用户a的实时生理反应信号确定观看用户a的实时专注度，根据观看用户a的实时专注度提取多个感兴趣时刻后，筛选出包含明星b出场的时刻，进而，将与多个感兴趣时刻对应的包含明星b出场的时刻的多个多媒体信息片段1、2和3，将多媒体信息片段1、2和3编辑后生成目标信息片花推送给观看用户a，由此，对观看用户a而言，此时推送的目标信息片花不但与其个人喜好相符，而且其较为感兴趣。

综上所述，本发明实施例的多媒体信息剪辑方法，在多媒体信息播放过程中，获取观看用户的实时生理反应信号，根据观看用户的实时生理反应信号确定观看用户的实时专注度，根据观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻，进而，将与多个感兴趣时刻对应的多个多媒体信息片段进行剪辑生成目标信息片花。由此，以观看用户难以自主更改的实时生理反应信号为依据，进行多媒体信息的剪辑生成片花，保证了观看用户对生成的片花的满意度。

为了实现上述实施例，本发明还提出了一种多媒体信息剪辑系统，图4是根据本发明一个实施例的多媒体信息剪辑系统的结构示意图，如图4所示，该多媒体信息剪辑系统包括生理反应信号采集设备100和处理器200，其中，生理反应信号采集设备100和处理器200连接，

生理反应信号采集设备100，用于在多媒体信息播放过程中，获取观看用户的实时生理反应信号。

处理器200，用于根据观看用户的实时生理反应信号确定观看用户的实时专注度，根据观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻，将与多个感兴趣时刻对应的多个多媒体信息片段进行剪辑生成目标信息片花。

在本发明的一个实施例中，如图5所示，处理器200包括提取单元210和获取单元220。

其中，提取单元210，用于根据预设策略分析观看用户的实时生理反应信号，并提取与观看用户的实时专注特征信息。

获取单元220，用于应用预设算法对观看用户的专注特征信息进行计算，获取观看用户的实时专注度。

需要说明的是，前述对多媒体信息剪辑方法实施例的解释说明也适用于该实施例的多媒体信息剪辑系统，本发明多媒体信息剪辑系统实施例中未公布的细节，此处不再赘述。

综上所述，本发明实施例的多媒体信息剪辑系统，在多媒体信息播放过程中，获取观看用户的实时生理反应信号，根据观看用户的实时生理反应信号确定观看用户的实时专注度，根据观看用户的实时专注度提取与预设的目标对象对应的多个感兴趣时刻，进而，将与多个感兴趣时刻对应的多个多媒体信息片段进行剪辑生成目标信息片花。由此，以观看用户难以自主更改的实时生理反应信号为依据，进行多媒体信息的剪辑生成片花，保证了观看用户对生成的片花的满意度。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器被执行时，使得能够执行如上述实施例所述的多媒体信息剪辑方法。

为了实现上述实施例，本发明还提出一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如上述实施例所述的多媒体信息剪辑方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。