基于拍摄的图像生成表情符的设备和方法
【专利摘要】提供一种基于拍摄的图像生成表情符的设备和方法，所述设备包括：图像获取单元，用于获取由拍摄装置拍摄的图像；预览单元，用于基于获取的图像来生成用于预览的表情效果图，并向用户显示表情效果图；表情符生成单元，用于基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
【专利说明】基于拍摄的图像生成表情符的设备和方法
【技术领域】
[0001]本申请涉及表情符输入技术，尤其涉及一种在用户输入消息期间基于拍摄的图像来实时地生成并输入表情符的设备和方法。
【背景技术】
[0002]在现有技术中，当用户想要在输入的消息(例如，在聊天软件或社交媒体的界面中输入的消息)中插入表情符时，该用户只能从预定的表情符库中选取希望插入的表情符。这里，表情符库是应用软件中预设或通过网络下载的表情符集合，其中的表情符为软件发布者或表情符制作者设计好的静止或动态图形。
[0003]虽然目前已经有专门的软件用来制作个性化的表情符，但这些表情符需要提前制作好，然后以图片的形式复制到输入的消息中，本质上还是已有图片的复制和粘贴处理。此夕卜，虽然某些聊天软件支持视频通话中的图像捕捉，但这仅限于拍摄图像以获取相应的图片文件，这些图片无法与文字一起编辑，而且传输起来要耗费较大的数据流量，也需要较长的时间。
【发明内容】
[0004]本发明示例性实施例的目的在于提供一种能够在用户输入消息期间基于拍摄的图像生成表情符，并输入所述表情符的设备和方法。
[0005]根据本发明的一方面，提供一种用于在用户输入消息时基于拍摄的图像生成表情符的设备，包括:图像获取单元，用于获取由拍摄装置拍摄的图像；预览单元，用于基于获取的图像来生成用于预览的表情效果图，并向用户显示表情效果图；表情符生成单元，用于基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
[0006]所述设备可还包括:拍摄装置，用于拍摄图像。
[0007]在所述设备中，所述拍摄装置可根据用户的表情拍摄指示而开启以开始拍摄图像。
[0008]在所述设备中，所述用户的表情拍摄指示可包括以下项中的至少一个:以触摸方式或通过鼠标来双击用于输入消息的输入框中的任意位置、以触摸方式或通过鼠标来点击所述输入框中的拍摄菜单项或拍摄按钮、在所述输入框的区域进行滑动操作、以语音方式输入表情拍摄命令。
[0009]在所述设备中，所述拍摄装置可在用户进入用于输入消息的界面时或在用户开始输入消息时开启以开始拍摄图像。
[0010]在所述设备中，所述拍摄装置可包括前置摄像头或后置摄像头，并且，图像获取单元可获取由前置摄像头或后置摄像头拍摄的图像；或者，所述拍摄装置可包括前置摄像头和后置摄像头两者，并且，图像获取单元可获取由前置摄像头和后置摄像头各自拍摄的图像合成后的图像。
[0011 ] 在所述设备中，预览单元可通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，并将表情效果图显示在屏幕上的预定区域。
[0012]在所述设备中，所述预定区域可位于用于输入消息的输入框中，或位于独立于所述输入框而单独设置的预览窗口中。
[0013]在所述设备中，所述预定表情框可为空心圆。
[0014]在所述设备中，预览单元可通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，将表情效果图显示在光标所在的位置以代替光标的显示。
[0015]在所述设备中，预览单元可通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，将表情效果图额外显示在光标的周围。
[0016]在所述设备中，当光标位于已输入消息的末尾时，预览单元可将表情效果图显示在光标的后面，当光标没有位于已输入消息的末尾时，预览单元可直接将表情效果图显示在光标的下一行或根据用户的预览指示将表情效果图显示在光标的下一行。
[0017]在所述设备中，表情符生成单元可获取用户确认的表情效果图，基于获取的表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
[0018]在所述设备中，表情符生成单元可获取用户通过以下操作中的至少一项确认的表情效果图:以触摸方式或通过鼠标来点击表情效果图；点击设置在屏幕中的确认菜单项或确认按钮；按下确认键或侧键；以语音方式输入确认命令；以触摸方式或通过鼠标来点击屏幕中的任意位置。
[0019]在所述设备中，在预览单元向用户显示表情效果图之后，当用户以触摸方式或通过鼠标来点击屏幕中的任意位置时，表情符生成单元可将此时的表情效果图进行转换以生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
[0020]在所述设备中，在生成的表情符被添加到用户输入的消息中之后，或者，当用户输入放弃表情符指示时，拍摄装置可关闭，光标可被重新显示。
[0021]所述设备可还包括:表情符存储单元，用于存储预先基于拍摄的图像而生成的至少一个标准表情符。
[0022]在所述设备中，表情符生成单元可将表情效果图与所述至少一个标准表情符进行比较，当表情符生成单元确定表情效果图与所述至少一个标准表情符中的一个或多个标准表情符之间的相似度超过阈值时，表情符生成单元将最为相似的一个标准表情符作为用于输出的表情符添加到用户输入的消息中。
[0023]在所述设备中，表情符生成单元可根据用户的表情添加指示将生成的表情符添加为标准表情符。
[0024]在所述设备中，获取的图像可指用户的静态或动态表情图像。
[0025]所述设备可还包括:提示单元，用于分析用户输入的消息，并根据分析的结果来提示用户作出相应的表情。
[0026]在所述设备中，拍摄装置可根据表情追踪方法来拍摄用户的表情。
[0027]根据本发明的另一方面，提供一种用于在用户输入消息时基于拍摄的图像生成表情符的方法，包括:获取拍摄的图像；基于获取的图像来生成用于预览的表情效果图，并向用户显示表情效果图；基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
[0028]在所述方法中，在获取拍摄的图像之前，可还包括:拍摄图像。
[0029]在所述方法中，拍摄图像的步骤可包括:根据用户的表情拍摄指示来开启拍摄装置以开始拍摄图像。
[0030]在所述方法中，所述用户的表情拍摄指示可包括以下项中的至少一个:以触摸方式或通过鼠标来双击用于输入消息的输入框中的任意位置、以触摸方式或通过鼠标来点击所述输入框中的拍摄菜单项或拍摄按钮、在所述输入框的区域进行滑动操作、以语音方式输入表情拍摄命令。
[0031]在所述方法中，拍摄图像的步骤可包括:在用户进入用于输入消息的界面时或在用户开始输入消息时开启拍摄装置以开始拍摄图像。
[0032]在所述方法中，拍摄图像的步骤可包括:由所述拍摄装置包括的前置摄像头或后置摄像头来拍摄图像，并且，获取拍摄的图像的步骤包括:获取由前置摄像头或后置摄像头拍摄的图像；或者，拍摄图像的步骤包括:由所述拍摄装置包括的前置摄像头和后置摄像头两者来拍摄图像，并且，获取拍摄的图像的步骤包括:获取由前置摄像头和后置摄像头各自拍摄的图像合成后的图像。
[0033]在所述方法中，可通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，并将表情效果图显示在屏幕上的预定区域。
[0034]在所述方法中，所述预定区域可位于用于输入消息的输入框中，或位于独立于所述输入框而单独设置的预览窗口中。
[0035]在所述方法中，所述预定表情框可为空心圆。
[0036]在所述方法中，可通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，将表情效果图显示在光标所在的位置以代替光标的显示。
[0037]在所述方法中，可通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，将表情效果图额外显不在光标的周围。
[0038]在所述方法中，当光标位于已输入消息的末尾时，可将表情效果图显示在光标的后面，当光标没有位于已输入消息的末尾时，可直接将表情效果图显示在光标的下一行或根据用户的预览指示将表情效果图显示在光标的下一行。
[0039]在所述方法中，生成用于输出的表情符的步骤可包括:获取用户确认的表情效果图，基于获取的表情效果图来生成用于输出的表情符。
[0040]在所述方法中，在获取用户确认的表情效果图的步骤中，可获取用户通过以下操作中的至少一项确认的表情效果图:以触摸方式或通过鼠标来点击表情效果图；点击设置在屏幕中的确认菜单项或确认按钮；按下确认键或侧键；以语音方式输入确认命令；以触摸方式或通过鼠标来点击屏幕中的任意位置。
[0041]在所述方法中，在向用户显示表情效果图之后，当用户以触摸方式或通过鼠标来点击屏幕中的任意位置时，可将此时的表情效果图进行转换以生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
[0042]所述方法可还包括:在生成的表情符被添加到用户输入的消息中之后，或者，当用户输入放弃表情符指示时，关闭拍摄装置，并重新显示光标。
[0043]所述方法可还包括:存储预先基于拍摄的图像而生成的至少一个标准表情符。
[0044]在所述方法中，基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中的步骤可包括:将表情效果图与所述至少一个标准表情符进行比较，当确定表情效果图与所述至少一个标准表情符中的一个或多个标准表情符之间的相似度超过阈值时，将最为相似的一个标准表情符作为用于输出的表情符添加到用户输入的消息中。
[0045]所述方法可还包括:根据用户的表情添加指示将生成的表情符添加为标准表情符。
[0046]在所述方法中，获取的图像可指用户的静态或动态表情图像。
[0047]所述方法可还包括:分析用户输入的消息，并根据分析的结果来提示用户作出相应的表情。
[0048]在所述方法中，拍摄图像的步骤可包括:根据表情追踪方法来拍摄用户的表情。
[0049]在根据本发明示例性实施例的设备和方法中，能够在用户输入消息的过程中，实时地插入基于拍摄图像生成的表情符，这样不仅丰富了表情符的内容，而且使得拍摄的图像在转换为表情符之后能够与消息中的文字一起编排，传输方面也节省了流量和时间。
【专利附图】
【附图说明】
[0050]通过下面结合示例性地示出实施例的附图进行的描述，本发明示例性实施例的上述和其它目的和特点将会变得更加清楚，其中:
[0051]图1示出根据本发明示例性实施例的用于在用户输入消息时基于拍摄的图像生成表情符的设备的框图；
[0052]图2示出根据本发明示例性实施例的由图像获取单元获取的合成图像的示例；
[0053]图3示出根据本发明示例性实施例的将拍摄的图像嵌入预定表情框的示例；
[0054]图4示出根据本发明示例性实施例的用于在用户输入消息时基于拍摄的图像生成表情符的方法的流程图；
[0055]图5示出根据本发明示例性实施例的由表情符生成设备来生成表情符的处理的流程图；
[0056]图6示出根据本发明另一示例性实施例的由表情符生成设备来生成表情符的处理的流程图；
[0057]图7示出根据本发明另一示例性实施例的由表情符生成设备来生成表情符的处理的流程图；
[0058]图8示出根据本发明示例性实施例的用于预览的表情效果图的示例；
[0059]图9示出根据本发明另一示例性实施例的用于预览的表情效果图的示例；
[0060]图10示出根据本发明另一示例性实施例的用于预览的表情效果图的示例；
[0061]图11示出根据本发明另一示例性实施例的用于预览的表情效果图的示例；
[0062]图12示出根据本发明示例性实施例的标准表情符的示例。
【具体实施方式】
[0063]以下，将参照附图来详细说明本发明的示例性实施例，在附图中，相同的标号始终指的是相同的部件。
[0064]图1示出根据本发明示例性实施例的用于在用户输入消息时基于拍摄的图像生成表情符的设备的框图。作为示例，在用户在诸如个人计算机、智能手机、平板电脑等各种电子产品中输入消息的期间，图1所示的表情符生成设备可用于基于拍摄的图像来生成表情符。
[0065]如图1所示，表情符生成设备包括:图像获取单元10，用于获取由拍摄装置5拍摄的图像；预览单元20，用于基于获取的图像来生成用于预览的表情效果图，并向用户显示表情效果图；表情符生成单元30，用于基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。这里，所述拍摄装置5可包括在表情符生成设备中，也可作为连接到所述表情符生成设备的外围设备。上述图像获取单元10、预览单元20和表情符生成单元30可由数字信号处理器、现场可编程门阵列等通用硬件处理器来实现，也可通过专用芯片等专用硬件处理器来实现，还可完全通过计算机程序以软件方式实现，例如，被实现为安装在电子产品中的聊天软件或社交媒体类软件中的各个模块。
[0066]图1所示的表情符生成设备能够在用户输入消息的过程中，将拍摄的图像转换为表情符格式，并插入输入的消息中，从而实现与文字一同编排，且节省了传输流量和时间。
[0067]具体说来，图像获取单元10用于获取由拍摄装置5拍摄的图像。这里，作为优选方式，获取的图像在内容上可以是用户的表情，在形式上可以是静态图像或动态图像。在拍摄装置5开启以开始拍摄图像置之后，图像获取单元10可自动地实时获取由拍摄装置5拍摄的图像，或根据用户的控制来获取由拍摄装置5拍摄的图像。例如，拍摄装置5可拍摄连续运动图像(即，视频)，相应地，图像获取单元10可自动地或根据用户的控制来获取拍摄到的视频，或可按照预定间隔截取拍摄到的静态单幅图像，或可通过在预定时间内连续截取数张静态图像后将其合成为诸如gif格式的动态图像。拍摄装置5本身也可被设置为按照预定间隔拍摄静态单幅图像或在预定时间内连续拍摄数张静态图像以合成动态图像。
[0068]作为附加部件的拍摄装置5在拍摄用户的表情图像时可采用表情跟踪方法，以便准确地捕捉到用户的表情。这里，作为另一附加部件，图1所示的表情符生成设备可还包括:提示单元(未示出)，用于分析用户输入的消息，并根据分析的结果来提示用户作出相应的表情。具体说来，提示单元可根据语义分析技术来分析出输入消息的意思，并在拍摄装置5开启之后来提示用户作出与分析结果相应的表情。例如，当用户输入的消息是“乐死我了”时，提示单元可分析出输入消息的情绪是欢乐，并随后通过例如语音等形式提示用户作出欢乐的表情，例如，以语音输出“笑一个”。或者，当用户输入的消息是“我很伤心”时，提示单元可分析出输入消息的情绪是悲伤，并随后通过例如语音等形式提示用户作出悲伤的表情，例如，以语音输出“请作出悲伤的表情”。此外，所述提示单元也可不具备语义分析功能，而仅在拍摄装置5开启之后向用户语音提示即将进行表情拍摄。
[0069]拍摄装置5可包括前置摄像头或后置摄像头，在这种情况下，图像获取单元10将获取由前置摄像头拍摄的图像或由后置摄像头拍摄的图像。此外，拍摄装置5可包括前置摄像头和后置摄像头两者，在这种情况下，图像获取单元10将获取由前置摄像头和后置摄像头各自拍摄的图像合成后的图像。图2示出根据本发明示例性实施例由图像获取单元10获取的合成图像的示例。如图2所示，由前置摄像头拍摄的女士头像与由后置摄像头拍摄的孩童图像经由图像获取单元10而被合成在单个图像中。
[0070]作为示例，拍摄装置5可根据用户的表情拍摄指示而开启以开始拍摄图像。具体说来，在用户输入消息的过程中，当用户想要插入基于拍摄图像的表情符时，用户可输入表情拍摄指示，例如，用户可通过以下操作中的至少一项来输入表情拍摄指示:以触摸方式或通过鼠标来双击用于输入消息的输入框中的任意位置、以触摸方式或通过鼠标来点击所述输入框中的拍摄菜单项或拍摄按钮、在所述输入框的区域进行滑动操作(例如，通过手指或触摸笔等)、以语音方式输入表情拍摄命令。在这种情况下，图像获取单元10可自动地实时获取由拍摄装置5拍摄的图像。在基于拍摄图像的表情符被生成并添加到输入的消息中之后，或者，当用户输入放弃表情符指示时，拍摄装置5可关闭。
[0071]作为另一示例，拍摄装置5可在用户进入用于输入消息的界面时或在用户开始输入消息时开启以开始拍摄图像。在这种情况下，拍摄装置5可在用户输入消息期间(例如，在使用聊天软件期间)持续开启。此时，图像获取单元10可自动地实时获取由拍摄装置5拍摄的图像，或根据用户的控制来获取由拍摄装置5拍摄的图像。
[0072]此外，预览单元20用于基于获取的图像来生成用于预览的表情效果图，并向用户显示表情效果图。例如，预览单元20可通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，并将表情效果图显示在屏幕上的预定区域。作为示例，所述预定表情框可以是空心圆，然而，应理解，空心圆并非用于限制本发明的范围。图3示出根据本发明示例性实施例将拍摄的图像嵌入预定表情框的示例。如图3所示，可采用各种不同形状的表情框来生成表情效果图。这里，表情框的规格(如，大小、长度、宽度等)可作为获取的图像转换为表情符的约束条件。此外，所述预定区域可位于用于输入消息的输入框中，例如，光标所在的位置或者光标周围，或者，所述预定区域可位于独立于用于输入消息的输入框而单独设置的预览窗口中，作为优选方式，预览窗口的大小和位置可由用户设置并调整。
[0073]此外，表情符生成单元30用于基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
[0074]作为示例，表情符生成单元30可获取用户确认的表情效果图，基于获取的表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息(例如，光标当前所在的位置)中。这里，表情符生成单元30将用户确认的表情效果图转换为表情符的格式(符合预定的长度和宽度)，从而转换后的表情符可插入用户输入的消息中以实现与文字一起编排，并且与传输图片本身相比需要较少的数据流量和时间。
[0075]例如，表情符生成单元30可获取用户通过以下操作中的至少一项确认的表情效果图:以触摸方式或通过鼠标来点击表情效果图；点击设置在屏幕中的确认菜单项或确认按钮；按下确认键或侧键；以语音方式输入确认命令；以触摸方式或通过鼠标来点击屏幕中的任意位置。通过在不同情况下设置适当的确认操作，用户可在被拍摄表情的同时，方便地确认最终生成的表情符所依据的表情预览效果。
[0076]作为另一示例，在拍摄装置5根据用户的表情拍摄指示而开启以开始拍摄图像的情况下，表情符生成单元30可不需要从用户接收其确认的表情效果图，而是基于表情效果图与预先存储的标准表情符之间的近似程度来直接挑选出作为输出表情符的标准表情符。
[0077]具体说来，在这种情况下，图1所示的表情符生成设备还可包括表情符存储单元(未示出)，用于存储预先基于拍摄的图像而生成的至少一个标准表情符。作为示例，所述标准表情符可以是代表不同情绪的典型表情、用户中意的表情等，并可不断更新，即，将后续生成的表情符作为标准表情添加到表情符存储单元中，或更新表情符存储单元中的原有标准表情。例如，可通过对拍摄的图像进行处理(提取图像中的面部表情部分、对提取的部分执行缩放等处理)以生成符合表情符格式的标准表情符，这些标准表情符可被存储在专门的标准表情符库中，也可被存储在默认的表情符库中。图12示出将生成的标准表情符添加到已有的默认表情符库的示例。从图12中可以看出，最后两个表情符为通过自定义方式新添加的标准表情符。
[0078]相应地，表情符生成单元30可将预览的表情效果图与表情符存储单元中的至少一个标准表情符进行比较，当表情符生成单元30确定表情效果图与所述至少一个标准表情符中的一个或多个标准表情符之间的相似度超过阈值(例如，相似度在80%以上)时，表情符生成单元30可将最为相似的一个标准表情符作为用于输出的表情符添加到用户输入的消息中。这里，表情符生成单元30可基于纹理特征、色彩特征或亮度特征等来比较表情效果图与标准表情符之间的相似性，并得到反映相似性程度的相似度数值。
[0079]通过上述方式，不需要用户进行确认操作即可生成相应的表情符，不仅反映了拍摄到的具体表情，而且加快了生成表情符的速度，并简化了用户操作。
[0080]以下，将结合图4到图11来描述根据本发明示例性实施例的用于在用户输入消息时基于拍摄的图像生成表情符的方法。所述方法可以由图1所示的表情符生成设备来完成，也可通过计算机程序来实现。例如，所述方法可通过安装在电子产品中的用于输入消息的应用来执行。
[0081]图4示出根据本发明示例性实施例的用于在用户输入消息时基于拍摄的图像生成表情符的方法的流程图。作为示例，根据图4所示的方法，在用户在诸如个人计算机、智能手机、平板电脑等各种电子产品中输入消息期间，可基于拍摄的图像来生成表情符。
[0082]参照图4，在步骤S10，获取拍摄的图像。这里，作为优选方式，获取的图像在内容上可以是用户的表情，在形式上可以是静态图像或动态图像。具体说来，在拍摄装置开启以开始拍摄图像置之后，可自动地实时获取由拍摄装置拍摄的图像，或根据用户的控制来获取由拍摄装置拍摄的图像。例如，拍摄装置可拍摄连续运动图像(即，视频)，相应地，在步骤S10，可自动地或根据用户的控制来获取拍摄到的视频，或可按照预定间隔截取拍摄到的静态单幅图像，或可通过在预定时间内连续截取数张静态图像后将其合成为诸如gif格式的动态图像。此外，也可将拍摄装置本身设置为按照预定间隔拍摄静态单幅图像或在预定时间内连续拍摄数张静态图像以合成动态图像。
[0083]作为附加步骤，在步骤SlO之前，图4所述的方法可还包括:拍摄图像。这里，可使用作为内置单元或外围设备的拍摄装置来拍摄图像(诸如，用户的静态或动态表情图像)。作为示例，在拍摄用户的表情图像时，可采用表情跟踪方法，以便准确地捕捉到用户的表情。
[0084]这里，作为另一附加步骤，图4所示的表情符生成方法可还包括:分析用户输入的消息，并根据分析的结果来提示用户作出相应的表情。具体说来，可根据语义分析技术来分析出输入消息的意思，并在拍摄装置开启之后来提示用户作出与分析结果相应的表情。例如，当用户输入的消息是“乐死我了”时，可分析出输入消息的情绪是欢乐，并随后通过例如语音等形式提示用户作出欢乐的表情，例如，以语音输出“笑一个”。或者，当用户输入的消息是“我很伤心”时，可分析出输入消息的情绪是悲伤，并随后通过例如语音等形式提示用户作出悲伤的表情，例如，以语音输出“请作出悲伤的表情”。此外，所述提示步骤也可不包括语义分析处理，而仅在拍摄装置开启之后向用户语音提示即将进行表情拍摄。
[0085]根据本发明的示例性实施例，拍摄装置可包括前置摄像头或后置摄像头，在这种情况下，在步骤S10，将获取由前置摄像头拍摄的图像或由后置摄像头拍摄的图像。此外，拍摄装置可包括前置摄像头和后置摄像头两者，在这种情况下，在步骤S10，将获取由前置摄像头和后置摄像头各自拍摄的图像合成后的图像。
[0086]作为示例，在步骤S10，可根据用户的表情拍摄指示来开启拍摄装置以开始拍摄图像。具体说来，在用户输入消息的过程中，当用户想要插入基于拍摄图像的表情符时，用户可输入表情拍摄指示，例如，用户可通过以下操作中的至少一项来输入表情拍摄指示:以触摸方式或通过鼠标来双击用于输入消息的输入框中的任意位置、以触摸方式或通过鼠标来点击所述输入框中的拍摄菜单项或拍摄按钮、在所述输入框的区域进行滑动操作、以语音方式输入表情拍摄命令。在这种情况下，可自动地实时获取由拍摄装置拍摄的图像。相应地，在基于拍摄图像的表情符被生成并添加到输入的消息中之后，或者，当用户输入放弃表情符指示时，可关闭拍摄装置。
[0087]作为另一示例，在步骤S10，可在用户进入用于输入消息的界面时或在用户开始输入消息时开启拍摄装置以开始拍摄图像。在这种情况下，拍摄装置可在用户输入消息期间(例如，在使用聊天软件期间)持续开启。此时，可自动地实时获取由拍摄装置拍摄的图像，或根据用户的控制来获取由拍摄装置拍摄的图像。
[0088]接下来，在步骤S20，基于获取的图像来生成用于预览的表情效果图，并向用户显示表情效果图。例如，可通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，并将表情效果图显示在屏幕上的预定区域。作为示例，所述预定表情框可以是空心圆，然而，应理解，空心圆并非用于限制本发明的范围，可采用各种不同形状的表情框来生成表情效果图。这里，表情框的规格(如，大小、长度、宽度等)可作为获取的图像转换为表情符的约束条件。此外，所述预定区域可位于用于输入消息的输入框中，例如，光标所在的位置或者光标周围，或者，所述预定区域可位于独立于用于输入消息的输入框而单独设置的预览窗口中，作为优选方式，预览窗口的大小和位置可由用户设置并调整。
[0089]然后，在步骤S30，基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
[0090]作为示例，在步骤S30，可获取用户确认的表情效果图，基于获取的表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息(例如，光标当前所在的位置)中。这里，将用户确认的表情效果图转换为表情符的格式(符合预定的长度和宽度)，从而转换后的表情符可插入用户输入的消息中以实现与文字一起编排，并且与传输图片本身相比需要较少的数据流量和时间。
[0091]例如，可获取用户通过以下操作中的至少一项确认的表情效果图:以触摸方式或通过鼠标来点击表情效果图；点击设置在屏幕中的确认菜单项或确认按钮；按下确认键或侧键；以语音方式输入确认命令；以触摸方式或通过鼠标来点击屏幕中的任意位置。通过在不同情况下设置适当的确认操作，用户可在被拍摄表情的同时，方便地确认最终生成的表情符所依据的表情预览效果。
[0092]作为另一示例，在拍摄装置根据用户的表情拍摄指示而开启以开始拍摄图像的情况下，可不需要从用户接收其确认的表情效果图，而是基于表情效果图与预先存储的标准表情符之间的近似程度来直接挑选出作为输出表情符的标准表情符。
[0093]具体说来，在这种情况下，图4所示的表情符生成方法还可包括以下步骤:存储预先基于拍摄的图像而生成的至少一个标准表情符。作为示例，所述标准表情符可以是代表不同情绪的典型表情、用户中意的表情等，并可不断更新，即，将后续生成的表情符作为标准表情进行存储，或更新原有的标准表情。
[0094]相应地，在步骤S30，可将预览的表情效果图与表情符存储单元中的至少一个标准表情符进行比较，当确定表情效果图与所述至少一个标准表情符中的一个或多个标准表情符之间的相似度超过阈值(例如，相似度在80%以上)时，可将最为相似的一个标准表情符作为用于输出的表情符添加到用户输入的消息中。这里，可基于纹理特征、色彩特征或亮度特征等来比较表情效果图与标准表情符之间的相似性，并得到反映相似性程度的相似度数值。
[0095]通过上述方式，不需要用户进行确认操作即可生成相应的表情符，不仅反映了拍摄到的具体表情，而且加快了生成表情符的速度，并简化了用户操作。
[0096]在图4所示的表情符生成方法中，能够在用户输入消息的过程中，将拍摄的图像转换为表情符格式，并插入输入的消息中，从而实现与文字一同编排，且节省了传输流量和时间。
[0097]图5示出根据本发明示例性实施例的由表情符生成设备来生成表情符的处理的流程图。
[0098]参照图5，在步骤S101，在用户输入消息期间，由拍摄装置5接收到用户的表情拍摄指示。作为示例，所述用户的表情拍摄指示可包括以下项中的至少一个:以触摸方式或通过鼠标来双击用于输入消息的输入框中的任意位置、以触摸方式或通过鼠标来点击所述输入框中的拍摄菜单项或拍摄按钮、在所述输入框的区域进行滑动操作、以语音方式输入表情拍摄命令。
[0099]在拍摄装置5接收到用户的表情拍摄指示之后，在步骤S102，拍摄装置5开启以开始拍摄图像。作为示例，拍摄装置5可拍摄用户的表情图像。
[0100]然后，在步骤S103，由图像获取单元10获取由拍摄装置5拍摄的图像，这里，获取的图像可以是用户表情的视频、单幅静态图像或多幅图像合成后的动态图像。
[0101]在步骤S104，由预览单元20基于获取的图像来生成用于预览的表情效果图，例如，预览单元20可通过将获取的图像嵌入预定表情框(例如，空心圆)来生成用于预览的表情效果图。在步骤S105，由预览单元20用生成的表情效果图代替光标在输入消息中的显示。作为示例，这里的空心圆可由当前(即，用户输入表情拍摄指示时)的光标转换而来，即，当前的光标变为空心圆，而获取的图像被预览单元20嵌入所述空心圆中，从而表情效果图的显示代替了光标的显示。表情效果图的示例如图8所示，图8分别示出了光标在消息末尾和消息中间这两种情况下生成的表情效果图。
[0102]接下来，在步骤S105，由表情符生成单元30基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息(即，用户输入表情拍摄指示时光标在输入消息中的位置)中。这里，作为示例，表情符生成单元30可获取用户确认的表情效果图，基于获取的表情效果图来生成用于输出的表情符。具体说来，在预览单元20向用户显示表情效果图之后，当用户以触摸方式或通过鼠标来点击屏幕中的任意位置时，表情符生成单元30将此时的表情效果图转换为用于输出的表情符，并将生成的表情符添加到用户输入的消息中，即，光标转换为空心圆前所在的位置。作为另一示例，表情符生成单元30可将表情效果图与存储的至少一个标准表情符进行比较，当表情符生成单元30确定表情效果图与所述至少一个标准表情符中的一个或多个标准表情符之间的相似度超过阈值时，表情符生成单元30将最为相似的一个标准表情符作为用于输出的表情符添加到用户输入的消息中。
[0103]在表情符被生成并添加到消息之后，在步骤S107，拍摄装置5关闭，然后，在步骤S108，光标被重新显示到用户输入表情拍摄指示时的位置。
[0104]在图5所示的处理中，只有当用户希望输入表情符时，拍摄装置5才会开启，在表情符生成并添加到消息之后，拍摄装置5关闭。此外，在图5所示的处理中，在拍摄装置5开启之后，每当用户输入放弃表情符指示时，拍摄装置5均立即关闭，生成表情符的处理也会相应地终止，光标恢复显示。
[0105]图6示出根据本发明另一示例性实施例的由表情符生成设备来生成表情符的处理的流程图。
[0106]参照图6，在步骤S111，用户进入用于输入消息的界面或用户开始输入消息。
[0107]接下来，在步骤SI 12,拍摄装直5开启以开始拍摄图像。作为不例，拍摄装直5可拍摄用户的表情图像。
[0108]然后，在步骤S113，由图像获取单元10获取由拍摄装置5拍摄的图像，这里，获取的图像可以是用户表情的视频、单幅静态图像或多幅图像合成后的动态图像。
[0109]在步骤S114，由预览单元20基于获取的图像来生成用于预览的表情效果图，例如，预览单元20可通过将获取的图像嵌入预定表情框(例如，空心圆)来生成用于预览的表情效果图。
[0110]在步骤S115，由预览单元20确定光标是否处于输入消息的末尾。如果在步骤S115确定光标处于输入消息的末尾，则在步骤S116，由预览单元20将生成的表情效果图显示在光标的后面。如果在步骤S115确定光标没有处于输入消息的末尾，则在步骤S117，由预览单元20将生成的表情效果图显示在光标的下一行。表情效果图的示例如图9所示，图9分另Ij示出了光标在消息末尾和消息中间这两种情况下生成的表情效果图。
[0111]接下来，在步骤S118，由表情符生成单元30基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息(即，光标当前在输入消息中的位置)中。这里，作为示例，表情符生成单元30可获取用户确认的表情效果图，基于获取的表情效果图来生成用于输出的表情符。具体说来，在预览单元20向用户显示表情效果图之后，当用户以触摸方式或通过鼠标来点击屏幕中的任意位置时，表情符生成单元30将此时的表情效果图转换为用于输出的表情符，并将生成的表情符添加到用户输入的消息中，即，光标当前所在的位置。
[0112]在图6所示的处理中，只要用户进入消息输入界面或开始输入消息，拍摄装置5就会开启并持续拍摄。当光标未处于输入消息的末尾时，则将表情预览图显示在光标下一行的位置。
[0113]然而，实际上，如果用户将光标从末尾移动到消息中间的位置，很多时候并非为了插入表情符，而是为了修改文本。在这种情况下，可以不显示表情预览图。
[0114]为此，图7示出根据本发明另一示例性实施例的由表情符生成设备来生成表情符的处理的流程图。
[0115]图7示出根据本发明另一示例性实施例的由表情符生成设备来生成表情符的处理的流程图。
[0116]参照图7，在步骤S121，用户进入用于输入消息的界面或用户开始输入消息。
[0117]接下来，在步骤S122，拍摄装置5开启以开始拍摄图像。作为示例，拍摄装置5可拍摄用户的表情图像。
[0118]然后，在步骤S123，由图像获取单元10获取由拍摄装置5拍摄的图像，这里，获取的图像可以是用户表情的视频、单幅静态图像或多幅图像合成后的动态图像。
[0119]在步骤S124，由预览单元20基于获取的图像来生成用于预览的表情效果图，例如，预览单元20可通过将获取的图像嵌入预定表情框(例如，空心圆)来生成用于预览的表情效果图。
[0120]在步骤S125，由预览单元20确定光标是否处于输入消息的末尾。如果在步骤S125确定光标处于输入消息的末尾，则在步骤S126，由预览单元20将生成的表情效果图显示在光标的后面。如果在步骤S125确定光标没有处于输入消息的末尾，则在步骤S127，由预览单元20确定用户是否输入了预览指示。当预览单元20在步骤S127确定用户输入了预览指示时，在步骤S128，由预览单元20将生成的表情效果图显示在光标的下一行。表情效果图的示例如图10所示，图10分别示出了光标在消息末尾的情况下生成表情效果图的示例以及光标在消息中间而用户未输入浏览指示的情况下未生成表情效果图的示例。
[0121]接下来，在步骤S129，由表情符生成单元30基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息(即，光标当前在输入消息中的位置)中。这里，作为示例，表情符生成单元30可获取用户确认的表情效果图，基于获取的表情效果图来生成用于输出的表情符。具体说来，在预览单元20向用户显示表情效果图之后，当用户以触摸方式或通过鼠标来点击屏幕中的任意位置时，表情符生成单元30将此时的表情效果图转换为用于输出的表情符，并将生成的表情符添加到用户输入的消息中，即，光标当前所在的位置。
[0122]在图7所示的处理中，只要用户进入消息输入界面或开始输入消息，拍摄装置5就会开启并持续拍摄。当光标未处于输入消息的末尾时，则需要接收到用户的浏览指示才将表情预览图显示在光标下一行的位置。
[0123]上述示例仅仅是为了解释根据本发明示例性实施例的表情符生成设备和方法，并不构成对本发明的限制。如之前所述，本领域技术人员可采用各种不同的指示输入方式、图像确认方式等来实施本发明。例如，除了如图8到图10所示来显示表情效果图之外，还可不考虑光标的位置而将表情效果图显示在独立于消息输入框而单独设置的预览窗口中。如图11所示，表情效果图被显示在预览窗口中，其中，预览窗口的大小和位置可由用户来设置或调整。此外，在用户通过点击预览窗口中的任意位置而确认了某个表情效果图之后，表情符生成单元30可按照符合表情符格式的参数(如，大小和形状等)来转换表情效果图，从而生成用于输出的表情符，并将生成的表情符添加到光标最后在消息中的位置。
[0124]根据上述参照图1到图12对本发明的描述可以看出，在根据本发明示例性实施例的表情符生成设备和方法中，可根据用户的需要实时拍摄图像(例如，用户的表情图像)，并且将所述图像转换为表情符，从而作为用户输入内容的一部分与文字一起编排和发送，这使得用户不仅可实时添加个性化德尔表情，还节省了传输表情符的时间和流量，提高了用户的聊天体验。此外，还设置了独特的拍摄处理、预览处理、确认处理(如通过点击任意位置来确认拍摄的预览效果图)和表情符生成处理等，能够进一步丰富用户的体验，便于用户的操作。
[0125]需要指出，根据实施的需要，可将本申请中描述的各个步骤拆分为更多步骤，也可将两个或多个步骤或者步骤的部分操作组合成新的步骤，以实现本发明的目的。
[0126]上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD R0M、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
[0127]尽管已参照优选实施例表示和描述了本发明，但本领域技术人员应该理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可以对这些实施例进行各种修改和变换。
【权利要求】
1.一种用于在用户输入消息时基于拍摄的图像生成表情符的设备，包括: 图像获取单元，用于获取由拍摄装置拍摄的图像； 预览单元，用于基于获取的图像来生成用于预览的表情效果图，并向用户显示表情效果图； 表情符生成单元，用于基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
2.如权利要求1所述的设备，还包括: 拍摄装置，用于拍摄图像。
3.如权利要求2所述的设备，其中，所述拍摄装置根据用户的表情拍摄指示而开启以开始拍摄图像。
4.如权利要求3所述的设备，其中，所述用户的表情拍摄指示包括以下项中的至少一个:以触摸方式或通过鼠标来双击用于输入消息的输入框中的任意位置、以触摸方式或通过鼠标来点击所述输入框中的拍摄菜单项或拍摄按钮、在所述输入框的区域进行滑动操作、以语音方式输入表情拍摄命令。
5.如权利要求2所述的设备，其中，所述拍摄装置在用户进入用于输入消息的界面时或在用户开始输入消息时开启以开始拍摄图像。
6.如权利要求2所述的设备，其中，所述拍摄装置包括前置摄像头或后置摄像头，并且，图像获取单元获取由前置摄像头或后置摄像头拍摄的图像；或者，所述拍摄装置包括前置摄像头和后置摄像头两者，并且，图像获取单元获取由前置摄像头和后置摄像头各自拍摄的图像合成后的图像。
7.如权利要求1所述的设备，其中，预览单元通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，并将表情效果图显示在屏幕上的预定区域。
8.如权利要求7所述的设备，其中，所述预定区域位于用于输入消息的输入框中，或位于独立于所述输入框而单独设置的预览窗口中。
9.如权利要求7所述的设备，其中，所述预定表情框为空心圆。
10.如权利要求3所述的设备，其中，预览单元通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，将表情效果图显示在光标所在的位置以代替光标的显示。
11.如权利要求5所述的设备，其中，预览单元通过将获取的图像嵌入预定表情框来生成用于预览的表情效果图，将表情效果图额外显示在光标的周围。
12.如权利要求11所述的设备，其中，当光标位于已输入消息的末尾时，预览单元将表情效果图显示在光标的后面，当光标没有位于已输入消息的末尾时，预览单元直接将表情效果图显示在光标的下一行或根据用户的预览指示将表情效果图显示在光标的下一行。
13.如权利要求1所述的设备，其中，表情符生成单元获取用户确认的表情效果图，基于获取的表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
14.如权利要求13所述的设备，其中，表情符生成单元获取用户通过以下操作中的至少一项确认的表情效果图:以触摸方式或通过鼠标来点击表情效果图；点击设置在屏幕中的确认菜单项或确认按钮；按下确认键或侧键；以语音方式输入确认命令；以触摸方式或通过鼠标来点击屏幕中的任意位置。
15.如权利要求10所述的设备，其中，在预览单元向用户显示表情效果图之后，当用户以触摸方式或通过鼠标来点击屏幕中的任意位置时，表情符生成单元将此时的表情效果图进行转换以生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
16.如权利要求15所述的设备，其中，在生成的表情符被添加到用户输入的消息中之后，或者，当用户输入放弃表情符指示时，拍摄装置关闭，光标被重新显示。
17.如权利要求3所述的设备，还包括:表情符存储单元，用于存储预先基于拍摄的图像而生成的至少一个标准表情符。
18.如权利要求17所述的设备，其中，表情符生成单元将表情效果图与所述至少一个标准表情符进行比较，当表情符生成单元确定表情效果图与所述至少一个标准表情符中的一个或多个标准表情符之间的相似度超过阈值时，表情符生成单元将最为相似的一个标准表情符作为用于输出的表情符添加到用户输入的消息中。
19.如权利要求18所述的设备，其中，表情符生成单元根据用户的表情添加指示将生成的表情符添加为标准表情符。
20.如权利要求2所述的设备，其中，获取的图像是指用户的静态或动态表情图像。
21.如权利要求20所述的设备，还包括:提示单元，用于分析用户输入的消息，并根据分析的结果来提示用户作出相应的表情。
22.如权利要求20所述的设备，其中，拍摄装置根据表情追踪方法来拍摄用户的表情。
23.一种用于在用户输入消息时基于拍摄的图像生成表情符的方法，包括: 获取拍摄的图像； 基于获取的图像来生成用于预览的表情效果图，并向用户显示表情效果图； 基于表情效果图来生成用于输出的表情符，并将生成的表情符添加到用户输入的消息中。
【文档编号】H04N5/232GK104333688SQ201310645748
【公开日】2015年2月4日 申请日期:2013年12月3日 优先权日:2013年12月3日
【发明者】张柏卉 申请人:广州三星通信技术研究有限公司, 三星电子株式会社