爱企查App显示,近日,阿里巴巴(中国)有限公司一项名为“视频生成方法、视频生成模型的训练方法及任务平台”的发明专利公开。 专利摘要显示,该专利提供了一种视频生成方法、视频生成模型的训练方法及任务平台。
其中,视频生成方法包括:获取参考图像和参考音频,其中,参考图像至少包含参考对象的视觉信息;针对参考图像中的所述视觉信息提取参考对象的视觉特征,且针对参考音频提取音频特征;基于视觉特征与音频特征之间的交互特性,预测在音频特征的影响下目标对象的参考动作信息,其中,目标对象为基于参考对象得到的;基于参考动作信息和参考音频,生成目标对象对应的视频。利用该方法可以提升视频中目标对象的视觉信息与对应的音频的匹配程度,相应地提升视频呈现效果。
