当前位置:智能 > 正文

AI自动剪裁视频:13分钟完成剪辑师7小时创作

2019-11-28 16:18:18  来源:量子位

镜头切换自然,节奏有急有缓,创作这样高质量的视频,需要怎样的专业剪辑技巧?

答案是,不用剪,会写就行。

比如要剪辑一个有关长颈鹿的片段,你只需要告诉AI:

The giraffe is the world’s tallest animal, and well known for its long legs and neck.

长颈鹿是世界上最高的动物,以其长腿和长脖子闻名于世。

It has a brown mane on the neck, and its head has two hairy horns.

它的脖子上有棕色的鬃毛,头上长了两只毛茸茸的角。

AI就能自动剪辑完成这样的画面:

先展示一下长颈鹿群的全貌。接着镜头切给一只奔跑中的长颈鹿,展示一下它的长腿长脖子。按照指示,再给鬃毛和犄角来个特写,齐活!

是的,不再需要费劲挑选素材,一帧一帧地来回倒腾:

△剪辑真是体力活

只需要把你脑海中的创意转化成简短的文字,这个名叫Write-A-Video的AI就能读懂你的心,从选材到剪辑,一站式完成创作。

这就是北航、清华、哈佛和以色列赫兹利亚跨学科研究中心的科学家联手打造的最新AI神器,只需主题脚本,就能生成视频。

用文字创作视频

现在,准备好素材,我们一起来看看,Write-A-Video到底是怎样“写”出一个视频来的。

整个过程分为三步。

第一步,用户以文本的形式提供输入。Write-A-Video会挑选出句子中的关键词。

第二步,Write-A-Video会利用关键词,把素材库里与之相匹配的候选片段挑出来。

文本和镜头之间的视觉语义匹配主要包括两个步骤:关键字匹配和视觉语义嵌入。

首先,AI会根据脚本从素材库中检索所有带有关键字标签的视频镜头。

素材库中的所有视频均被分割为快照,便于语义匹配,还能在下一步正式剪辑视频时,让用户用电影术语来指导AI创作。

Write-A-Video的作者,北京航空航天大学的汪淼老师介绍说,Write-A-Video允许用户在输入文本中使用电影术语,以探索每个场景不同的视觉风格,比如调整电影的节奏,画面的调动等。

此外,采用基于直方图的分割算法,如果帧与帧之间在HSV色域中的直方图相差超过80%,并且追踪的SURF关键点80%以上不匹配,那么算法就会以这两帧为界,切分镜头。

太长(>30s)或太短(<2s)的镜头也会被舍弃,因为短镜头观感不好,而长镜头会降低效率和可变性

而后,视觉语义嵌入技术会为每个检索到的镜头计算匹配分数,排名最高的镜头就会被选为候选镜头。

这里采用的方法是 VSE++ (论文地址见文末)。该方法能将跨模型内容编码到联合特征空间中,比如把文本和镜头联系起来。

在嵌入空间中,从镜头中每十帧抽取一帧,计算其与文本之间的余弦相似度,最后取平均值,即为判断镜头能否入选的最终得分。

第三步,就是将这些镜头组合在一起,完成视频的剪辑。

这一步,其实是Write-A-Video对镜头的混合优化。而它也有自己的审美标准。

首先,画面应该是明亮而生动的。

其次,镜头不能晃动得太厉害。

最后,要避免不连贯的跳接(jump cut)和相反的相机运动。

值得一提的是,Write-A-Video对用户非常友好。

△加上新的文本,对应素材就自动续上了

查找对应镜头,剪切,重新排列,都可以用添加、删除文本及移动句子等文本编辑的形式进行。不用掌握剪辑技巧,更不用会敲代码。

不仅如此,在下面这个视频中,你会发现,敲进去的文字可以转成配音旁白,渲染影片气氛。

并且,旁白和视频完全同步,对应得十分自然。提到白金汉宫时,镜头就自然地转到了白金汉宫门前。而提到皇家护卫队时,画面便给到了表演中的皇家护卫队。

研究团队表示,跟商用的逐帧处理视频编辑器比起来,用上Write-A-Video,创作起来快多了。

有了Write-A-Video,甚至新手,都能以快得多的速度(13分钟:7小时),完成质量与职业剪辑师差距不大的视频剪辑任务。

△剪辑师用Pr,新手用Write-A-Video

在刚刚结束的SIGGRAPH Asia 2019会议上,研究团队报告并展示了Write-A-Video这一成果,得到了国际同行的广泛认可。

推荐阅读

叫停盈利的品骏快递 唯品会为何选择与顺丰合作?

近期传闻不断的唯品会与顺丰合作,终于在今日官宣。11月25日,唯品会对外宣布,自2019年11月下旬起终止旗下自营快递品骏的快递业务,同时宣 【详细】

运营商改名使用多年后突然改名 原因居然是这个

知情人士向运营商财经网独家透露,中国电信集团核心要害部门之一的办公厅已更名为办公室,原因据称为去机关化。这也是中国电信成立以来这个 【详细】

黄锋:网咖行业正面临机遇挑战

11月27日晚间消息,首届全球网咖创新峰会近日举行。玩出梦想董事长、网鱼网咖创始人黄锋指出,网咖的发展正面临新的机遇与挑战,应对策略是 【详细】

著名经济学称:把iPhone供应链搬回美国是天方夜谭

11月28日报道 台媒称,著名经济学家斯蒂芬·罗奇(Stephen S Roach)表示,美国企业不大可能将制造业务完全迁回美国本土。据台湾《经济日 【详细】

繁荣表象!中国液晶面板上游材料设备受制于人

中国液晶面板产能已问鼎全球、柔性AMOLED面板产能也直追韩企,但是材料和设备仍然是阿喀琉斯之踵。国家工信部最近聚焦一块屏,推动显示面板 【详细】



科技新闻网版权