原标题:视频换脸新境界:CMU不仅给人类变脸,还是能给花草、天气变脸 | ECCV
2018

(一)获取数据(人脸)

正文申请区块链研习社优质内容扶助安插

近些年某个 Reddit 用户将“神奇女侠” 盖尔·加朵(Gal Gadot)
的脸,P到了成材摄像上,效果一定不错,而且她使用的是眼下火爆的机械学习技能。

圆栗子 发自 凹非寺

内需预备图片数据:五个例外的人脸,各类表情,数量更多越好,约1万张以上会有比较好的更迭效果。

正文由币乎社区(bihu.com)内容接济安排帮衬

这一技艺的关键在于,替换的脸要和原摄像上的脸表情同步。大约原理是通过算法识别出人脸的一定协会——不仅仅是眼睛、鼻子、嘴巴的岗位,也包涵颧骨、下巴、脸颊的样子,然后根据那些特征点做替换。近来这一技能并没有完成以假乱真的程度。

亚洲成ca88网页版 1

貌似选取的艺术是从摄像中截取,操作如下:


亚洲成ca88网页版 2左:P得看不出破绽,右:破绽鲜明

把一段视频里的脸部动作,移植到另一段摄像的支柱脸孔。

先是下载视频(本例用风行播放器下载)。

前段时间大热的Oben PAI项目,仅凭一张照片就能生成三维头像。

其实类似的人脸替换技术,早就被周边选用在大片里了。例如半兽人、咕噜、阿凡达,它们都用了动作捕捉(Motion
Capture)技术。动作捕捉技术常用于电影工业,游戏产业,比如:

我们或许早就习惯诸如此类的操作了。

亚洲成ca88网页版 3

亚洲成ca88网页版 4

亚洲成ca88网页版 5《阿蒙森海盗》中的大卫·Jones(Davy
Jones)图片源于:gamedev.stackexchange.com

亚洲成ca88网页版 6

划分视频片段(本例用爱剪辑)。

昨天介绍的Deepfakes亚洲成ca88网页版,,是经过人为智能落成了视频换脸普通人使用高端娱乐显卡就能不负众望
《速度与感情7》中的换脸技术
。(因为主角意外谢世《速度与心理7》剧组被迫选用过换脸技术。)

亚洲成ca88网页版 7小岛秀夫的《身故搁浅》,曾几何时发售啊?(打岔)图片源于:dualshockers.com

即使目的主演并不是人类,大致也算不上精粹。眼睛鼻子嘴,至少组件齐全

因为目标是为了截取人脸部,所以剪切的视频片段很依赖。

亚洲成ca88网页版 8

亚洲成ca88网页版 9装扮深井冰,哦不,史矛革的卷福
图片源于:businessinsider.com.au

那就是说,如何的搬迁才可走出那么些范畴,让那个星球上的万物,都有时机领取视频改造的恩惠?

视频分辨率要高清(否则截取的人脸像素太低);片段中目标人脸相比较大、杰出、最好就是唯有她自己一个人画面特写的摄像片段。

眼见不为实,CMU不仅给人类变脸。进度与情绪7的换脸技术

凶恶说,这一技艺属于动作捕捉技术的一个小类,叫面部捕捉(face
capture)。那几个脸上的黄点,是神色变化中的关键点,就像脸的“关节”一样,总括机只须求这个新闻就能合成表情。而在脸部识别技术中,它被喻为面部追踪(face
tracking)。

亚洲成ca88网页版 10

亚洲成ca88网页版 11

亚洲成ca88网页版 12

亚洲成ca88网页版 13脸部的点是“关节”,连上线成为骨骼.图片来源于:petapixel.com

按着你想要的旋律开花:中老年神情包利器

从视频中截取图片(本例用Ffmpeg软件)。

Deepfakes技术显示

大部经贸文章只是用那种技能营造奇幻生物,但是工业光魔集团(Industrial
Light & Magic)更进一步,在银幕上复活了早已故影星。

起源卡耐基梅隆大学的社团,开发了电动变身技能,不论是花花草草,仍然万千气象,都能自如转换。

此时获取有目标人脸的一张张图纸。

亚洲成ca88网页版 14

亚洲成ca88网页版 15左:合成的(Synthetic)Peter·库欣扮演的Will霍夫·塔金,右:影星盖·亨利图片来源于:nytimes.com

亚洲成ca88网页版 16

下一场,必要删除不需求的图形(如有非目的人脸的,那就是数码清洗)。

顶级:钢铁之躯

恐怖片影星Peter·库欣逝世于1994年。二〇一六年在影片《星球大战外传:侠盗一号》中,技术人士将她拉进现代的巨幕。那位“现代”影星的背后是此外一位影星盖·Henley,技术人士捕捉了盖·亨利的神采,然后合成了数字版的Peter·库欣。尽管两位影星的脸挺相似的,不过技术人士依然要拍卖很多细节难点,比如Peter·库欣发“啊”那几个音的时候是不动上嘴唇的。

云,也变得急切了

亚洲成ca88网页版 17

亚洲成ca88网页版 18

这一技艺引发了广大争持不休,一些人表示无法承受。纵然影视赢得了画像授权,仍然有局地伦理难题要求回答,大家理应在荧幕上复活故去的表演者么?

也许是满怀当先大前辈Cycle-GAN(来自朱俊彦公司)
的象征,团队给我的GAN起了个很是环保的名字,叫Recycle-GAN

下一场写几行代码检测图片中的人脸并截取(利用OpenCV)。

尼古拉斯·凯奇

深度学习,另辟蹊径

动作捕捉技术的关键在于识别人的神色,尤其是脸蛋那一个首要的位点。而深度学习技术也能满足这一渴求,一些商讨组织照旧演示了冒充U.S.前总统小布什,前美利坚联邦合众国总统,现任总理特朗普,以及俄罗丝总统普金的摄像。

亚洲成ca88网页版 19Face2Face
算法演示,上边的人提供表情新闻,下边的人提供脸的新闻 图片来源于:QUARTZ

纵深学习技能和这一个专门的电影工业技术比较,得到的结果要粗糙很多,更易于辨别出来,然则它也要有益于很多。谷歌(谷歌)、微软、亚马逊(Amazon)这个大商家的软件技术和平台都是公然的,深度学习技能急迅发展,很多杂文都在探究者之间共享,而且家用级其余显卡就能处理深度学习算法,不自然要用到云计算和特级总括机等技巧。

但这还没完,面部捕捉技术早已能手机上用了,比如 酷派 X 的 Animoji
技术。可以用于识别面部表情的技术就能用来伪造表情。

亚洲成ca88网页版 20苹果的
Animoji 图片源于:businessinsider.com

亚洲成ca88网页版 21苹果官方的言传身教
图片来自:medium.com

有的技艺爱好者也正在将这一技术移植到安卓手机上,我提议谨慎运用那一个app。其它也目的在于手机的软硬件厂商尤其专注新闻的平安,大家在获取便利的还要,手机也蕴藏了更加多的私密消息,手机和电脑系统本身的安全性也值得花越来越多的马力去尊重,而不是无论打个补丁然后又让补丁失效。

好呢,已经能以假乱真录像了,但声音依旧造不了假的?吧?

并不是,Adobe 公司在二〇一六年示范了 Voco
技术,他能让您简简单单输入文字就能伪造人的动静。到近年来停止那项技能都并未观望商业化的一望可见,技术示范进度中Adobe表示,他们会在技术上做类似水印的东西,协助人识别假冒的音响。

不足为奇,加拿大的AI创业公司 Lyrebird
在前年二月份表明,只要有1分钟的样本,他们就能模仿出你的音响。那听起来比
Adobe 的技艺还要夸张,因为 Adobe 声称它们需求20分钟的范本。

看样子那里,可能你已经懵了。所以。。。如何做?

实际利用特效技术伪造视频很已经有了,Zach King
就是各样翘楚。有些只是一日游,有些东西却是别有用心。可想而知,无须盲目相信网上看看的视频

亚洲成ca88网页版 22住户只是玩玩一下啦
图片来自:pinterest.com

后来,随意放在网上的相片、视频、声音、文字都亟待认真去对待,因为它们会被人用来冒充我们友好。我们固然不是权贵富豪,但也经不起损失。

我想已经有人发现到假冒摄像的损伤,开端做那类识别了,很快创业公司就会如比比皆是般冒出。本文作者将从技术和影响力两地点跟踪那几个事情的拓展。

那位选手,入选了ECCV 2018

亚洲成ca88网页版 23

亚洲成ca88网页版 24

Recycle之道,时间精晓

检测并截取的人脸(用于输入到神经互联网中磨练提取特征)。

夺宝奇兵

Recycle-GAN,是一只无监控学习的AI。

人脸替换的功用尤其器重于这么些截取到的人脸图片的成色:

亚洲成ca88网页版 25

不成对的二维图像数据,来陶冶摄像重定向(Video Retargeting)
并不易于:

万一截取的人脸带有了过多的苦恼部分,那么替换效果就很差。


一是,即使没有成对数据,那在视频变身的优化上,给的限制就不够,简单爆发不佳局地极小值
(Bad Local Minima) 而影响生功效果。

直白重复后面的步骤,直到获取丰富多的人脸(五个必要交流的人脸)。

Oben PAI 让明星们富有虚拟分身,在粉丝的无绳电话机里唱歌跳舞。

二是,只依靠二维图像的空间音讯,要学习视频的风格就很狼狈。

亚洲成ca88网页版 26

Deepfakes 则更索性,未来拍影片全程用替身,明星都绝不加入了

亚洲成ca88网页版 27

下一场再写几行代码修改人脸图片的宽高为统一大小,如256×256;

当然,即使不想拍的情节,也拦不住网友们恶搞。被恶搞最多是川普、
尼古拉斯·凯奇。很快,会有更两个人以投机意外的格局面世在屏幕上,真假难辨。所以眼见也不肯定为实。

网站地图xml地图