FB 发明 AI 专治「拍照闭眼症」,效果拔群我大推!

FB 发明 AI 专治「拍照闭眼症」,效果拔群我大推!

作者/量子位 郭一璞

本文经 AI 新媒体量子位(公众号 ID:QbitAI)授权转载,转载请联繫出处

端午的三天假期,你们是不是都穿得帅帅美美的出去浪了?

既然出门了,一定要拍照发朋友圈(尤其是拍女朋友,要修图,划重点)。

想像一下,当你带着貌若天仙的女友在海边,她穿着飘逸的波西米亚大摆长裙,海风吹着裙子飞舞,蓦然回首的一刻,露出新垣结衣般的笑​​容。

你抓拍下了这一刻,然后发现: 哎呀,眨眼了 。

可是,那一刻的姿势和美感再也无法复刻。

这下瞎了,等着回去打开 PS 把眼睛放上去吧。拍照 5 秒钟,P 图两小时。

毕竟,P 一双眼睛上去,这是多幺不自然的一件事情。虽然 Adobe 也提供了算法来帮你 P 眼睛,但是似乎还不如手动抠图来的真实。

Facebook 帮你开灵魂之窗

所以,Facebook 帮你做了一个开眼 AI,专治眨眼照片。

首先,找到一个 GAN,由 GAN 来负责找一双眼睛,抠图抠出来放到你女朋友闭眼的照片上。 系统中的一部分需要找到人脸,以及识别面部表情;另一部分根据表情的反馈,重複创建有眼睛的图像 。

但是,此时生成的照片过于不自然了。

于是,Facebook 的研究人员灵机一动:我们的用户不是会在 Facebook 上发很多自己的照片吗?拿没 P 过的睁眼照片来当例子试试。

现在,看过「标準答案」的 AI 越发聪明了,它已经可以生成一些毫无 PS 痕蹟的照片。

FB 发明 AI 专治「拍照闭眼症」,效果拔群我大推!

第一列是「标準答案」,日常睁眼照片;
第二列是眨眼图原图;
第三列是 Adobe 算法抠图贴上去的效果;
第四列是学习了标準答案之后 GAN 的作品。

效果惊人,第四列中没有出现颜色不匹配的情况,也没有不自然的过渡痕迹,就好像照片中的人物睁眼了一样。

这个 AI 在测试中效果拔群。超过一半的测试中,人类测试员搞错了照片的真假。

FB 发明 AI 专治「拍照闭眼症」,效果拔群我大推!效果好是有前提的

一个照片的开眼效果,既要考虑 AI 奋斗,也要考虑数据的质量。

比如说,如果刘海挡住了眼睛,或者飞扬的头髮遮住了眼睛的一部分:

FB 发明 AI 专治「拍照闭眼症」,效果拔群我大推!

那对不住,总会产生一些阴影之类的效果,影响「开眼」质量。

另外,还需要你的其他睁着眼睛的照片,Facebook 做这件事就有一个天生的好处:很多用户都会在 Facebook 上传一些自己的照片,这些照片一方面可以拿来给 AI 做範例,另一方面还可以与贴完眼睛的照片对比,检验生成的质量和效果。

他们的这项研究,就叫做 ExGANs。别想歪了,不是用了这个 GAN 就变 Ex,这里的 Ex 是 Exemplar,範例的意思。

从此以后,闭着眼睛也能自拍发 Facebook 了。

哦对了,这个社交网站并不存在,不是幺?

最后,附论文传送门~
Eye In-Painting with Exemplar Generative Adversarial Networks
作者:Brian Dolhansky, Cristian Canton Ferrer
发表于 CVPR 2018
arXiv
代码

─ ─