使用参考区域的分割的图像修补装置和方法
【专利摘要】公开了一种使用参考区域的分割的图像修补装置和方法。根据本发明的使用参考区域的分割的图像修补装置包括：区域确定单元，用于确定视频图像内容内的要被图像修补的区域以及参考区域；图像修补组设置单元，用于通过使用参考区域内的像素值来设置图像修补组；图像修补单元，用于执行分割图像修补和非分割图像修补，分割图像修补通过使用由图像修补组的单位分割的参考区域来对要被分割的区域执行图像修补，非分割图像修补通过使用参考区域来对要被图像修补的区域执行图像修补；以及信息提供单元，用于将分割图像修补的结果、非分割图像修补的结果以及与分割图像修补的结果和非分割图像修补的结果之间的差异有关的信息以视觉的形式提供给用户。
【专利说明】
使用参考区域的分割的图像修补装置和方法
技术领域
[0001]本发明涉及使用参考区域的分割的图像修补装置和方法，并且更具体地，涉及下述使用参考区域的分割的图像修补装置和方法，所述图像修补装置和方法可以在不对图像修补区域进行分割的情况下以及在将图像修补区域分割成多个段(multiple stages)之后进行图像修补，并且可以将与相应的类型的图像修补的结果之间的差异有关的信息提供给用户。
[0002]本发明要求于2014年I月24日提交的韩国专利申请N0.10-2014-0009197的归档数据的权益，其全部内容通过引用并入本文中。
【背景技术】
[0003]随着数字信号处理技术的发展，在视频中插入虚拟图像的虚拟广告受到了欢迎，并且间接的广告自身已经成为有效的广告手段。因此，对虚拟间接广告的兴趣急剧增大，虚拟间接广告将虚拟广告与间接广告合并并且将广告图像自然地插入至先前生成的视频中。
[0004]结合虚拟间接广告，图像修补技术是十分重要的，图像修补技术将虚拟图像自然地插入至先前生成的视频中，或者清除先前生成的视频的图像的一部分并且进行自然恢复以实现与背景的协调。
[0005]在图像修补技术中，需要供修复使用的参考区域来修复目标区域。当以非限制的方式指定参考区域时，如在参考区域被指定为整体视频帧的情况下那样，产生了计算负载急剧增大的问题。当即使在参考区域受限的情况下也进行整体图像修补而不考虑参考区域与要修复的区域之间的校正时，会产生发生不期望的图像修补结果的问题。
[0006]因此，存在对下述新图像修补技术的不断增大的需求，该新图像修补技术在不对图像修补区域进行分割的情况下以及在将图像修补区域分割成多个段之后进行图像修补，并且将与相应的类型的图像修补的结果之间的差异有关的信息提供给用户，从而克服当在单个模式下进行图像修补时发生难以应付的图像修补结果的问题。
[0007]现有技术包括于2013年5月30日公开的韩国专利申请公开N0.10-2013-0056407(题目为 “Inpainting System and Method for H.264for Error Concealment Image(用于针对错误隐藏图像的H.264的图像修补系统和方法)”)。
【发明内容】
[0008]技术问题
[0009]本发明的目的是在不对图像修补区域进行分割的情况下以及在将图像修补区域分割成多个段之后进行图像修补，并且将与相应的类型的图像修补的结果之间的差异有关的信息提供给用户，从而克服当在单个模式下进行图像修补时发生难以应付的结果的问题。
[0010]另外，本发明的目的是将各种类型的图像修补结果信息提供给用户，接收来自用户的反馈，以及将反馈结合至最终的图像修补结果中，从而进行更自然的图像修补。
[0011]技术解决方案
[0012]为了实现以上目的，本发明提供了一种使用参考区域的分割的图像修补装置，该图像修补装置包括:区域确定单元，该区域确定单元被配置成确定存在于视频图像内容内的图像修补目标区域以及包括存在于距图像修补目标区域的边界像素的预设距离内的像素的参考区域；图像修补组设置单元，该图像修补组设置单元被配置成设置包括分割的参考区域和分割的目标区域的相应的对的图像修补组，分割的参考区域通过使用参考区域内的像素值对参考区域进行分割来获得，分割的目标区域通过将目标区域分割成与分割的参考区域对应来获得；图像修补单元，该图像修补单元被配置成进行分割图像修补和非分割图像修补，分割图像修补适于以图像修补组为单位使用分割的参考区域来对分割的目标区域进行图像修补，非分割图像修补适于使用参考区域对目标区域进行图像修补；以及信息提供单元，该信息提供单元被配置成将分割图像修补的结果、非分割图像修补的结果以及与分割图像修补的结果和非分割图像修补的结果之间的差异有关的信息以视觉的形式提供给用户。
[0013]在这种情况下，图像修补组设置单元还可以包括组设置生成单元，该组设置生成单元被配置成基于图像修补组的数目以不同的方式生成组设置;并且组设置生成单元可以生成第一组设置以及生成第二组设置，在第一组设置中，图像修补组的数目已经被设置成分割的第一数目，在第二组设置中，图像修补组的数目已经被设置成分割的第二数目，分割的第二数目与分割的第一数目不同。
[0014]在这种情况下，分割图像修补可以包括适于对第一组设置进行的第一分割图像修补以及适于对第二组设置进行的第二分割图像修补。
[0015]在这种情况下，分割图像修补的结果可以包括第一分割图像修补的结果和第二分割图像修补的结果。
[0016]在这种情况下，信息提供单元还可以以视觉的形式显示与第一分割图像修补的结果和第二分割图像修补的结果之间的差异有关的信息。
[0017]在这种情况下，当第一组设置的图像修补组的数目超过组的预设参考数目时，组设置生成单元还可以生成其中图像修补组的数目等于或小于组的参考数目的第二组设置。
[0018]在这种情况下，当分割的第一数目超过分割的预设参考数目时，组设置生成单元可以通过对第一组设置的图像修补组中的任何两个或更多个图像修补组进行合并来生成第二分割设置。
[0019]在这种情况下，图像修补组设置单元:可以计算参考区域内的像素的边缘值;可以确定边缘值的变化是否低于预设参考变化；以及可以基于确定的结果对参考区域内的像素进行分组并且将所分组的像素设置为分割的参考区域。
[0020]在这种情况下，图像修补组设置单元:可以确定边缘值的变化是否低于预设参考变化；以及可以基于确定的结果将参考区域内的像素进行分组并且将所分组的像素设置为分割的参考区域。
[0021]在这种情况下，图像修补组设置单元可以确定参考区域内的像素值是否落入与参考像素值相似的值的预设范围内，并且可以将落入相似的范围内的像素设置为相同的图像修补组。
[0022]在这种情况下，图像修补组设置单元可以使用参考区域的分割边界线的图案对目标区域进行分割。
[0023]另外，本发明提供了一种使用参考区域的分割的图像修补方法，该图像修补方法包括:确定存在于视频图像内容内的图像修补目标区域以及包括存在于距图像目标区域的边界像素的预设距离内的像素的参考区域;设置包括分割的参考区域和分割的目标区域的相应的对的图像修补组，分割的参考区域通过使用参考区域内的像素值对参考区域进行分割来获得，分割的目标区域通过将目标区域分割成与分割的参考区域对应来获得;进行分割图像修补和非分割图像修补，分割图像修补适于以图像修补组为单位使用分割的参考区域来对分割的目标区域进行图像修补，非分割图像修补适于使用参考区域来对目标区域进行图像修补；以及将分割图像修补的结果、非分割图像修补的结果以及与分割图像修补的结果和非分割图像修补的结果之间的差异有关的信息以视觉的形式提供给用户。
[0024]在这种情况下，设置图像修补组还可以包括基于图像修补组的数目以不同的方式生成组设置;生成组设置可以包括生成第一组设置以及生成第二组设置，在第一组设置中，图像修补组的数目已经被设置成分割的第一数目，在第二组设置中，图像修补组的数目已经被设置成分割的第二数目，分割的第二数目与分割的第一数目不同。
[0025]在这种情况下，分割图像修补可以包括适于对第一组设置进行的第一分割图像修补以及适于对第二组设置进行的第二分割图像修补。
[0026]在这种情况下，分割图像修补的结果可以包括第一分割图像修补的结果和第二分割图像修补的结果。
[0027]在这种情况下，提供与差异有关的信息可以包括还以视觉的形式显示与第一分割图像修补的结果和第二分割图像修补的结果之间的差异有关的信息。
[0028]在这种情况下，生成组设置可以包括:当第一组设置的图像修补组的数目超过组的预设参考数目时，还生成其中图像修补组的数目等于或小于组的参考数目的第二组设置。
[0029]在这种情况下，生成组设置可以包括:当分割的第一数目超过分割的预设参考数目时，通过对第一组设置的图像修补组中的任何两个或更多个图像修补组进行合并来生成第二分割设置。
[0030]有益效果
[0031]根据本发明，在不对图像修补区域进行分割的情况下以及在将图像修补区域分割成多个段之后进行图像修补，并且将与相应的类型的图像修补的结果之间的差异有关的信息提供给用户，从而克服当在单个模式下进行图像修补时发生难以应付的图像修补结果的问题。
[0032]另外，根据本发明，将各种类型的图像修补结果信息提供给用户，接收来自用户的反馈以及将反馈结合至最终的图像修补结果中，从而进行更自然的图像修补。
【附图说明】
[0033]图1是示出了根据本发明的实施方式的使用参考区域的分割的图像修补装置的框图；
[0034]图2是示出了根据本发明的用于确定目标区域和参考区域的步骤的示例的图；
[0035]图3至图6是示出了根据本发明的用于设置图像修补组的步骤的示例的图；
[0036]图7和图8是示出了根据本发明的用于生成组设置的步骤的示例的图；以及
[0037]图9是示出了根据本发明的实施方式的使用参考区域的分割的图像修补方法的操作流程图。
【具体实施方式】
[0038]以下将参照附图来详细描述本发明的优选实施方式。然而，在以下描述和附图中将省略对可能导致本发明的主旨不必要地费解的公知的功能和配置的详细描述。另外，应当注意，贯穿附图，尽可能用相同的附图标记来指示相同的部件。
[0039]以下说明书和所附权利要求书中使用的术语和词语不应当严格理解为具有常用意思和词典意思，而是应当理解为基于发明人可以适当地限定术语的概念以便以最佳方式描述他的或她的发明的原理而具有与本发明的教导精神一致的意思和概念。因此，由于本说明书中所描述的实施方式以及附图中所示出的配置仅仅对应于本发明的优选实施方式并且不是涵盖本发明的所有的教导精神，所以应当理解，在提出本申请时，可以存在可以替换所述配置的各种等同方式和变型。另外，术语“第一”、“第二”等用于描述各种部件，并且意在对部件进行区分，但是不意在限制这些部件。
[0040]以下描述根据本发明的实施方式的使用参考区域的分割的图像修补装置。
[0041]图1是示出了根据本发明的实施方式的使用参考区域的分割的图像修补装置的框图。
[0042]参照图1，根据本发明的实施方式的使用参考区域的分割的图像修补装置包括区域确定单元110、图像修补组设置单元120、图像修补单元130以及信息提供单元140。
[0043]区域确定单元110确定存在于视频图像内容内的图像修补目标区域以及包括存在于距图像修补目标区域的边界像素的预设距离内的像素的参考区域。
[0044]在这种情况下，图像修补目标区域是指视频图像内容内要被进行图像修补的区域。
[0045]在这种情况下，图像修补目标区域可以由用户的输入来确定。
[0046]图像修补组设置单元120设置包括分割的参考区域和分割的目标区域的相应的对的图像修补组，分割的参考区域通过使用参考区域内的像素值对参考区域进行分割来获得，分割的目标区域通过将目标区域分割成与分割的参考区域对应来获得。
[0047]在这种情况下，图像修补组设置单元120:可以计算参考区域内的像素的边缘值；可以确定边缘值的变化是否低于预设参考变化；以及可以基于确定的结果将参考区域内的像素进行分组并且将所分组的像素设置为分割的参考区域。
[0048]在这种情况下，图像修补组设置单元120:可以确定边缘值的变化是否低于预设参考变化；以及可以基于确定的结果将参考区域内的像素进行分组并且将所分组的像素设置为分割的参考区域。
[0049]在这种情况下，参考变化可以为下述参考值，该参考值被预设成确定参考区域内的像素中的具有大的边缘值变化的像素。
[0050]在这种情况下，图像修补组设置单元120:可以确定参考区域内的像素值是否落入与参考像素值相似的值的预设范围内；以及可以将落入相似的范围内的像素设置为相同的图像修补组。
[0051]在这种情况下，参考像素值可以为下述参考值，该参考值被预设成确定参考区域内的像素中的具有相似的像素值的像素。
[0052]在这种情况下，参考像素值可以为下述参考值，该参考值使用像素值的分布直方图被预设成具有预定分布或较高的分布的像素值。
[0053]在这种情况下，图像修补组设置单元120可以使用参考区域的分割边界线的图案来对目标区域进行分割。
[0054]例如，当参考区域的分割边界线为直线图案时，图像修补组设置单元120可以将目标区域分割成直线图案，以及当参考区域的分割边界线为锯齿形(zigzag)图案时，图像修补组设置单元120还可以将目标区域分割成锯齿形图案。
[0055]在这种情况下，图像修补组设置单元120可以包括组设置生成单元，该组设置生成单元被配置成基于图像修补组的数目以不同的方式生成组设置。
[0056]在这种情况下，组设置是其中已经以各种方式设置用于分割相同的目标区域和参考区域的方法的设置。
[0057]在这种情况下，组设置生成单元可以生成第一组设置以及可以生成第二组设置，在第一组设置中，图像修补组的数目已经被设置成分割的第一数目，在第二组设置中，图像修补组的数目已经被设置成分割的第二数目，分割的第二数目与分割的第一数目不同。
[0058]例如，组设置生成单元可以生成第一组设置和第二组设置，在第一组设置中，图像修补组的数目已经被设置成2个分割，在第二组设置中，图像修补组的数目已经被设置成3个分割。
[0059]在这种情况下，当第一组设置的图像修补组的数目超过组的预设参考数目时，组设置生成单元还可以生成其中图像修补组的数目等于或小于组的参考数目的第二组设置。
[0060]在这种情况下，组的参考数目可以为图像修补组的数目的上限值，该上限值被预设成限制分割成过大的数目的图像修补组。
[0061 ] 例如，当第一组设置的图像修补组的数目超过6即组的预设参考数目时，组设置生成单元还可以生成其中图像修补组的数目等于或小于6的第二组设置。
[0062]在这种情况下，当分割的第一数目超过分割的预设参考数目时，组设置生成单元可以通过对第一组设置的图像修补组中的任何两个或更多个图像修补组进行合并，生成第二分割设置。
[0063]例如，当组的参考数目为6并且第一组设置的图像修补组的数目为7时，组设置生成单元可以通过对第一组设置的图像修补组中的任何两个图像修补组进行合并来生成具有总共6个图像修补组的第二组设置。
[0064]在这种情况下，组设置生成单元可以对其中相应的图像修补组的代表像素值相似的组进行合并。
[0065]图像修补单元130进行分割图像修补和非分割图像修补，分割图像修补适于以图像修补组为单位使用分割的参考区域对分割的目标区域进行图像修补，非分割图像修补适于使用参考区域对目标区域进行图像修补。
[0066]在这种情况下，非分割图像修补是在不对参考区域和目标区域进行分割的情况下进行的图像修补。
[0067]在这种情况下，分割图像修补可以包括适于对第一组设置进行的第一分割图像修补以及适于对第二组设置进行的第二分割图像修补。
[0068]在这种情况下，分割图像修补的结果可以包括第一分割图像修补的结果和第二分割图像修补的结果。
[0069]信息提供单元140将分割图像修补的结果、非分割图像修补的结果以及与分割图像修补的结果和非分割图像修补的结果之间的差异有关的信息以视觉的形式提供给用户。
[0070]在这种情况下，信息提供单元还可以以视觉的形式显示与第一分割图像修补的结果和第二分割图像修补的结果之间的差异有关的信息。
[0071]如上所述，根据本发明的实施方式的使用参考区域的分割的图像修补装置可以在不对图像修补区域进行分割的情况下以及在将图像修补区域分割成多个段之后进行图像修补，并且可以将与相应的类型的图像修补的结果之间的差异有关的信息提供给用户。另夕卜，可以通过将各种类型的图像修补结果信息提供给用户、接收来自用户的反馈以及将反馈结合至最终的图像修补结果来进行更自然的图像修补。
[0072]以下描述根据本发明的实施方式的对区域的确定。
[0073]图2是示出了根据本发明的用于确定目标区域和参考区域的步骤的示例的图。
[0074]参照图2，在根据本发明的用于确定目标区域和参考区域的步骤处，确定视频图像帧200内与要被进行图像修补的目标对应的像素的区域以及在图像修补期间被参考的像素的区域。
[0075]可以看出的是，与要被进行图像修补的目标对应的像素是目标区域内的像素以及目标区域边界线210内部的像素。
[0076]可以看出的是，在图像修补期间参考的像素是目标区域边界线210与沿向外的方向距目标区域边界线210预设距离的参考区域边界线220之间的像素。
[0077]在这种情况下，图像修补目标区域或目标区域边界线210可以由用户的输入来确定。
[0078]以下描述根据本发明的实施方式的对图像修补组的设置。
[0079]图3至图6是示出了根据本发明的用于设置图像修补组的步骤的示例的图。
[0080]图3至图6仅示出了图2中的目标区域和参考区域。从图3至图6按顺序设置图像修补组。
[0081]参照图3，可以看出的是，根据本发明的用于设置图像修补组的步骤仅涉及目标区域310和参考区域320。
[0082]参照图4，在根据本发明的用于设置图像修补组的步骤处，使用参考区域320内的像素值对参考区域320进行分割。
[0083]也就是说，在根据本发明的用于设置图像修补组的步骤处，将图2中与桌子外部的部分对应的区域设置为第一分割的参考区域421，并且使用参考区域320内的像素值将与桌子内部的部分对应的区域设置为第二分割的参考区域422。
[0084]在这种情况下，在根据本发明的用于设置图像修补组的步骤处，可以确定参考区域320内的像素值是否落入与参考像素值相似的值的预设范围内，以及可以将落入相似的值的范围内的像素设置为相同的分割的参考区域。
[0085]在这种情况下，参考像素值可以为下述参考值，该参考值被预设成确定参考区域内的像素中的具有相似的像素值的像素。
[0086]例如，当图4中与桌子外部的部分对应的像素落入与针对桌子外部的部分的参考像素值相似的值的范围内时，可以将与桌子外部的部分对应的区域设置为第一分割的参考区域421。
[0087]在这种情况下，参考像素值可以为下述参考值，该参考值使用像素值的分布直方图被预设成具有预定分布或较高的分布的像素值。
[0088]例如，在图4中，当被预设成具有预定分布或较高的分布的像素值的值使用像素值的分布直方图被确定成参考像素值时，参考像素值可以包括桌子外部的部分的像素值中的任一像素值以及桌子内部的部分的像素值中的任一像素值。
[0089]在这种情况下，在根据本发明的用于设置图像修补组的步骤处，可以计算参考区域320内的像素的边缘值，这可以确定边缘值的变化是否低于预设参考变化，并且可以基于确定的结果对参考区域进行分割。
[0090]在这种情况下，参考变化可以为下述参考值，该参考值被预设成确定参考区域内的像素中的具有大的边缘值变化的像素。
[0091]例如，在图4中，当桌子外部的部分以及桌子以下的部分的边界线的边缘值大于参考变化时，与桌子外部的部分对应的区域可以被设置为第一分割的参考区域421，并且与桌子内部的部分对应的区域可以被设置为第二分割的参考区域422。
[0092]参照图5，在根据本发明的用于设置图像修补组的步骤处，将目标区域310分割成与分割的参考区域421和422对应。
[0093]在这种情况下，在根据本发明的用于设置图像修补组的步骤处，可以使用分割的参考区域421和422之间的边界线的图案来对目标区域310进行分割。
[0094]例如，在根据本发明的用于设置图像修补组的步骤处，当分割的参考区域421和422之间的边界线为直线图案时，可以将目标区域310分割成具有基于直线图案的边界线的分割的目标区域511和512。
[0095]也就是说，在根据本发明的用于设置图像修补组的步骤处，当分割的参考区域421和422之间的边界线具有锯齿形图案时，可以将目标区域310分割成具有基于锯齿形图案的边界线的分割的目标区域511和512。
[0096]参照图6，在根据本发明的用于设置图像修补组的步骤处，分别设置包括分割的参考区域421和422以及与分割的参考区域421和422对应的分割的目标区域511和512的相应的对的图像修补组601和602。
[0097]例如，在根据本发明的用于设置图像修补组的步骤处，当分割的参考区域421与分割的目标区域511彼此对应时，可以设置包括分割的参考区域421和分割的目标区域511的对的图像修补组601。
[0098]也就是说，如在图3至图6的一系列描述中所描述的，在根据本发明的用于设置图像修补组的步骤处，可以看出的是，对参考区域320进行分割，对目标区域310相应地进行分害Ij，并且分别设置分割的参考区域421和422以及与分割的参考区域421和422对应的分割的目标区域511和512的相应的对的图像修补组601和602
[0099]以下描述根据本发明的实施方式的对组设置的生成。
[0100]图7和图8是示出了根据本发明的用于生成组设置的步骤的示例的图。
[0101]图7示出了其中已经设置总共2个图像修补组的第一组设置，以及图8示出了其中已经设置总共4个图像修补组的第二组设置。
[0102]在根据本发明的用于生成组设置的步骤处，可以基于图像修补组的数目以不同的方式生成组设置。
[0103]在这种情况下，组设置是其中已经以各种方式设置用于分割相同的目标区域和参考区域的方法的设置。
[0104]参照图7，可以看出的是，与桌子外部的部分对应的第一图像修补组701和与桌子内部的部分对应的第二图像修补组702已经被设置为第一组设置。
[0105]参照图8，可以看出的是，基于桌子外部的部分中的背景的颜色的图像修补组801至803以及桌子内部的部分中的第四图像修补组804已经被设置为第二组设置。
[0106]如上所述，可以看出的是，在根据本发明的用于生成组设置的步骤处，当参考值例如相似的参考值范围在用于设置图像修补组的步骤处变化时生成的各种图像修补组设置可以被生成为相应的组设置。
[0107]以下描述根据本发明的实施方式的使用参考区域的分割的图像修补方法。
[0108]图9是示出了根据本发明的实施方式的使用参考区域的分割的图像修补方法的操作流程图。
[0109]参照图9，在根据本发明的实施方式的使用参考区域的分割的图像修补方法中，在步骤S910中确定存在于视频图像内容内的图像修补目标区域以及包括在距图像修补目标区域的边界像素的预设距离内的像素的参考区域。
[0110]在这种情况下，图像修补目标区域是指视频图像内容内要被进行图像修补的区域。
[0111]在这种情况下，可以由用户的输入来确定图像修补目标区域。
[0112]另外，在根据本发明的实施方式的使用参考区域的分割的图像修补方法中，在步骤S920中设置包括分割的参考区域和分割的目标区域的相应的对的图像修补组，分割的参考区域通过使用参考区域内的像素值对参考区域进行分割来获得，分割的目标区域通过将目标区域分割成与分割的参考区域对应来获得。
[0113]在这种情况下，在步骤S920中，可以计算参考区域内的像素的边缘值，这可以确定边缘值的变化是否低于预设参考变化，并且可以基于确定的结果对参考区域内的像素进行分组并且将所分组的像素设置为分割的参考区域。
[0114]在这种情况下，在步骤S920处，可以确定边缘值的变化是否低于预设参考变化，并且可以基于确定的结果对参考区域内的像素进行分组并且将所分组的像素设置为分割的参考区域。
[0115]在这种情况下，参考变化可以是下述参考值，该参考值被预设成确定参考区域内的像素中的具有大的边缘值变化的像素。
[0116]在这种情况下，在步骤S920中，可以确定参考区域内的像素值是否落入与参考像素值相似的值的预设范围内，并且可以将落入相似的范围内的像素设置为相同的图像修补组。
[0117]在这种情况下，参考像素值可以为下述参考值，该参考值被预设成确定参考区域内的像素中具有相似的像素值的像素。
[0118]在这种情况下，参考像素值可以为下述参考值，该参考值使用像素值的分布直方图被预设成具有预定分布或较高的分布的像素值。
[0119]在这种情况下，在步骤S920中，可以使用参考区域的分割边界线的图案来对目标区域进行分割。
[0120]例如，在步骤S920中，当参考区域的分割边界线为直线图案时，可以将目标区域分割成直线图案，并且当参考区域的分割边界线为锯齿形图案时，还可以将目标区域分割成锯齿形图案。
[0121]在这种情况下，步骤S920还可以包括基于图像修补组的数目以不同的方式生成组设置的步骤。
[0122]在这种情况下，组设置是其中已经以各种方式设置用于分割相同的目标区域和参考区域的方法的设置。
[0123]在这种情况下，在用于生成组设置的步骤处，可以生成第一组设置以及可以生成第二组设置，在第一组设置中，图像修补组的数目已经被设置成分割的第一数目，在第二组设置中，图像修补组的数目已经被设置成分割的第二数目，分割的第二数目与分割的第一数目不同。
[0124]例如，在用于生成组设置的步骤处，可以生成第一组设置以及可以生成第二组设置，在第一组设置中，图像修补组的数目已经被设置成2个分割，在第二组设置中，图像修补组的数目已经被设置成3个分割。
[0125]在这种情况下，在用于生成组设置的步骤处，当第一组设置的图像修补组的数目超过组的预设参考数目时，还可以生成其中图像修补组的数目等于或小于组的参考数目的第二组设置。
[0126]在这种情况下，组的参考数目可以为图像修补组的数目的上限值，该上限值被预设成限制分割成过大的数目的图像修补组。
[0127]例如，在用于生成组设置的步骤处，当第一组设置的图像修补组的数目超过6即组的预设参考数目时，还可以生成其中图像修补组的数目等于或小于6的第二组设置。
[0128]在这种情况下，在用于生成组设置的步骤处，当分割的第一数目超过分割的预设参考数目时，可以通过对第一组设置的图像修补组中的任何两个或更多个图像修补组进行合并来生成第二分割设置。
[0129]例如，在用于生成组设置的步骤处，当组的参考数目为6并且第一组设置的图像修补组的数目为7时，可以通过对第一组设置的图像修补组中的任何两个图像修补组进行合并来生成具有总共6个图像修补组的第二组设置。
[0130]在这种情况下，在用于生成组设置的步骤处，可以对其中相应的图像修补组的代表像素值相似的组进行合并。
[0131]另外，在根据本发明的实施方式的使用参考区域的分割的图像修补方法中，在步骤S930中，进行分割图像修补以及进行非分割图像修补，分割图像修补适于以图像修补组为单位使用分割的参考区域对分割的目标区域进行图像修补，非分割图像修补适于使用参考区域对目标区域进行图像修补。
[0132]在这种情况下，非分割图像修补是在不对参考区域和目标区域进行分割的情况下进行的图像修补。
[0133]在这种情况下，分割图像修补可以包括适于对第一组设置进行的第一分割图像修补以及适于对第二组设置进行的第二分割图像修补。
[0134]在这种情况下，分割图像修补的结果可以包括第一分割图像修补的结果和第二分割图像修补的结果。
[0135]另外，在根据本发明的实施方式的使用参考区域的分割的图像修补方法中，将分割图像修补的结果、非分割图像修补的结果以及与分割图像修补的结果和非分割图像修补的结果之间的差异有关的信息以视觉的形式提供给用户。
[0136]在这种情况下，在步骤S540中，还可以以视觉的形式显示与第一分割图像修补的结果和第二分割图像修补的结果之间的差异有关的信息。
[0137]如上所述，在根据本发明的实施方式的使用参考区域的分割的图像修补方法中，可以在不对图像修补区域进行分割的情况下以及在将图像修补区域分割成多个段之后进行图像修补，并且可以将与相应的类型的图像修补的结果之间的差异有关的信息提供给用户。另外，可以通过将各种类型的图像修补结果信息提供给用户、接收来自用户的反馈以及将反馈结合至最终的图像修补结果中来进行更自然的图像修补。
[0138]可以按照图9中所示的顺序、按照与图9中所示的顺序相反的顺序或者同时地进行图9中所示的步骤。
[0139]根据本发明的使用参考区域的分割的图像修补方法可以被实现为可以由各种计算机装置执行的程序或智能电话应用(app)。在这种情况下，程序或智能电话应用可以记录在计算机可读存储介质上。计算机可读存储介质可以包括程序指令、数据文件以及单独地或组合的数据结构。记录在存储介质上的程序指令可以已经被具体设计并且被配置用于本发明，或者可以是由具有计算机软件领域的普通知识的技术人员已知或可获得。计算机可读存储介质的示例包括具体被配置用于记录和执行程序指令的所有类型的硬件装置，例如磁介质(例如，硬盘、软盘和磁带)、光介质(例如，压缩盘(CD)-只读存储器(ROM)和数字多功能盘(DVD))、磁光介质(例如，软光盘)、R0M、随机存取存储器(RAM)和闪存存储器。程序指令的示例包括机器代码例如由编译器创建的代码以及由计算机使用解析器可执行的高级语言代码。这些硬件装置可以被配置成操作为一个或更多个软件模块以进行本发明的操作，并且反之亦然。
[0140]根据本发明的使用参考区域的分割的图像修补装置和方法不限于上述实施方式的配置和方法，而且实施方式中的一些实施方式或所有实施方式可以被配置成选择性地被组合，使得可以以各种方式来修改各实施方式。
[0141]工业应用
[0142]根据本发明，在不对图像修补区域进行分割的情况下以及在将图像修补区域分割成多个段之后进行图像修补，并且可以将与相应的类型的图像修补的结果之间的差异有关的信息提供给用户，从而克服其中当在单个模式下进行图像修补时发生难以应付的图像修补结果的问题。具体地，当将其中虚拟间接广告的兴趣随着广告市场的规模的近期增长而线性地增大的趋势以及图像修补技术是非常重要的事实考虑在内时，根据本发明的使用参考区域的分割的图像修补装置和方法的利用率将会更高，虚拟间接广告通过在戏剧或体育广播中插入广告项目的图像来增大广告效应，图像修补技术将虚拟图像自然地插入至先前生成的视频中或者清除先前生成的视频的图像中的一部分并且进行自然恢复以实现与背景的协调。
【主权项】
1.一种使用参考区域的分割的图像修补装置，包括: 区域确定单元，所述区域确定单元被配置成确定存在于视频图像内容内的图像修补目标区域以及包括存在于距所述图像修补目标区域的边界像素的预设范围内的像素的参考区域； 图像修补组设置单元，所述图像修补组设置单元被配置成设置包括分割的参考区域和分割的目标区域的相应的对的图像修补组，所述分割的参考区域通过使用所述参考区域内的像素值对所述参考区域进行分割来获得，所述分割的目标区域通过将所述目标区域分割成与所述分割的参考区域对应来获得； 图像修补单元，所述图像修补单元被配置成进行分割图像修补和非分割图像修补，所述分割图像修补适于以图像修补组为单位、使用所述分割的参考区域来对分割的目标区域进行图像修补，所述非分割图像修补适于使用所述参考区域来对所述目标区域进行图像修补；以及 信息提供单元，所述信息提供单元被配置成将所述分割图像修补的结果、所述非分割图像修补的结果、以及与所述分割图像修补的结果和所述非分割图像修补的结果之间的差异有关的信息以视觉的形式提供给用户。2.根据权利要求1所述的图像修补装置，其中，所述图像修补组设置单元还包括组设置生成单元，所述组设置生成单元被配置成基于图像修补组的数目以不同的方式生成组设置； 其中，所述组设置生成单元生成第一组设置以及生成第二组设置，在所述第一组设置中，图像修补组的数目已经被设置成分割的第一数目，在所述第二组设置中，图像修补组的数目已经被设置成分割的第二数目，分割的所述第二数目与分割的所述第一数目不同。3.根据权利要求2所述的图像修补装置，其中，所述分割图像修补包括适于对所述第一组设置进行的第一分割图像修补以及适于对所述第二组设置进行的第二分割图像修补。4.根据权利要求3所述的图像修补装置，其中，所述分割图像修补的结果包括所述第一分割图像修补的结果和所述第二分割图像修补的结果。5.根据权利要求4所述的图像修补装置，其中，所述信息提供单元还以视觉的形式显示与所述第一分割图像修补的结果和所述第二分割图像修补的结果之间的差异有关的信息。6.根据权利要求5所述的图像修补装置，其中，当所述第一组设置的图像修补组的数目超过组的预设参考数目时，所述组设置生成单元还生成其中图像修补组的数目等于或小于组的参考数目的第二组设置。7.根据权利要求6所述的图像修补装置，其中，当分割的所述第一数目超过分割的预设参考数目时，所述组设置生成单元通过对所述第一组设置的图像修补组中的任何两个或更多个图像修补组进行合并来生成所述第二分割设置。8.根据权利要求7所述的图像修补装置，其中，所述图像修补组设置单元:计算所述参考区域内的像素的边缘值;确定所述边缘值的变化是否低于预设参考变化；以及基于确定的结果对所述参考区域内的像素进行分组并且将所分组的像素设置为所述分割的参考区域。9.根据权利要求8所述的图像修补装置，其中，所述图像修补组设置单元:确定边缘值的所述变化是否低于所述预设参考变化；以及基于确定的结果将所述参考区域内的像素进行分组并且将所分组的像素设置为所述分割的参考区域。10.根据权利要求7所述的图像修补装置，其中，所述图像修补组设置单元确定所述参考区域内的像素值是否落入与参考像素值相似的值的预设范围内，并且将落入相似的范围内的像素设置为相同的图像修补组。11.根据权利要求7所述的图像修补装置，其中，所述图像修补组设置单元使用所述参考区域的分割边界线的图案对所述目标区域进行分割。12.—种使用参考区域的分割的图像修补方法，包括: 确定存在于视频图像内容内的图像修补目标区域以及包括存在于距所述图像修补目标区域的边界像素的预设范围内的像素的参考区域； 设置包括分割的参考区域和分割的目标区域的相应的对的图像修补组，所述分割的参考区域通过使用所述参考区域内的像素值对所述参考区域进行分割来获得，所述分割的目标区域通过将所述目标区域分割成与所述分割的参考区域对应来获得； 进行分割图像修补和非分割图像修补，所述分割图像修补适于以图像修补组为单位、使用所述分割的参考区域来对分割的目标区域进行图像修补，所述非分割图像修补适于使用所述参考区域来对所述目标区域进行图像修补；以及 将所述分割图像修补的结果、所述非分割图像修补的结果、以及与所述分割图像修补的结果和所述非分割图像修补的结果之间的差异有关的信息以视觉的形式提供给用户。13.根据权利要求12所述的图像修补方法，其中，设置所述图像修补组还包括基于图像修补组的数目以不同的方式生成组设置； 其中，生成所述组设置包括生成第一组设置以及生成第二组设置，在所述第一组设置中，图像修补组的数目已经被设置成分割的第一数目，在所述第二组设置中，图像修补组的数目已经被设置成分割的第二数目，分割的所述第二数目与分割的所述第一数目不同。14.根据权利要求13所述的图像修补方法，其中，所述分割图像修补包括适于对所述第一组设置进行的第一分割图像修补以及适于对所述第二组设置进行的第二分割图像修补。15.根据权利要求14所述的图像修补方法，其中，所述分割图像修补的结果包括所述第一分割图像修补的结果和所述第二分割图像修补的结果。16.根据权利要求15所述的图像修补方法，其中，提供与所述差异有关的信息包括还以视觉的形式显示与所述第一分割图像修补的结果和所述第二分割图像修补的结果之间的差异有关的信息。17.根据权利要求16所述的图像修补方法，其中，生成所述组设置包括:当所述第一组设置的图像修补组的数目超过组的预设参考数目时，还生成其中图像修补组的数目等于或小于组的参考数目的所述第二组设置。18.根据权利要求17所述的图像修补方法，其中，生成所述组设置包括:当分割的所述第一数目超过分割的预设参考数目时，通过对所述第一组设置的图像修补组中的任何两个或更多个图像修补组进行合并来生成所述第二分割设置。19.一种存储有程序的存储介质，所述程序用于执行根据权利要求12至18中任一项所述的方法。
【文档编号】G06T1/00GK105874504SQ201480072211
【公开日】2016年8月17日
【申请日】2014年10月22日
【发明人】李秀瑸, 申亨哲, 韩柱贤, 全柄玑
【申请人】Sk普兰尼特有限公司