Deep Nostalgia: " 把过去赋予生命" ,解锁Deepfake让老照片动起来的奥秘

将门创投2021-04-09
Deepfake掀起一股忧郁风

编者按:本文来自微信公众号“将门创投”(ID:thejiangmen),36氪经授权发布。

Deep Nostalgia— “深度怀旧”使用机器学习来动画静态图像,人工智能可以通过“看”单个面部图像来使图像动画化,动画包括眨眼、微笑和头部倾斜等动作。

本文精采深度怀旧大火的照片一览,在Deep Nostalgia独特的忧郁氛围中感受Deepfake的神秘力量。

爆款Wombo app致力于让视频动起来,以其鬼畜的特效吸粉无数。

今天要介绍的Deep Nostalgia则是主打“把过去赋予生命”让老照片动起来,风格倾向于高端大气。把亲属的静态图像制作动画,它的一些早期成果让人印象深刻。

今年2月,以色列公司My Heritage推出了一款基于 Deepfake 技术的工具——Deep Nostalgia。

My Heritage专注于研究使用深度学习进行视频重现,可以对静态照片中的面孔进行动画处理,并创建高质量,逼真的视频片段。

系统通过预先确定的一系列动作和手势,如眨眼、微笑和转头,来激活面部图像。即整个过程是完全自动化的,My Heritage预先录制几个模型视频,以 AI 训练过程中示例人物的动作摆姿势。

Deep Nostalgia根据脸部的朝向自动为面孔选择首选的驱动程序,然后将其无缝地应用于照片。产出结果是一个简短,高质量的视频动画,动画可以微笑,眨眼和移动等等。

My Heritage Photo Enhancer对照片进行动画处理之前先对其进行了增强,该模糊器使模糊和低分辨率的面部成为焦点,并提高了它们的分辨率。

但这并不是说动画臻于完美了,与大多数Deepfake技术一样,这些图像仍然自带一种神秘的氛围,一些面部动作看起来不自然。除此之外,Deep Nostalgia也有其局限性,它只能制造出一个人脖子以上的动态伪造,所以如果想让集体照片动起来,或做任何形式的身体活动,该技术就会失灵。

但对于一个免费的Deepfake服务来说,深度怀旧还是相当给力的,尤其是考虑到你可以用它来制造任何Deepfake的面孔,不管是不是人脸。

“动起来的梵高看起来真的很绝望。”

“太棒了”

“艺术博物馆的巅峰。”

那么,制作离开的人的Deepfake是不是有点令人毛骨悚然呢?有些人似乎是这么认为的。

“有些人喜欢Deep Nostalgia的功能,认为它很神奇,而另一些人认为它很可怕不喜欢它。”My Heritage在其网站上写道,“事实上结果有争议,但我们很难对这项神奇的技术无动于衷,所以,我们邀请大家使用这个功能创建影片,并在社交媒体上分享它们看看您的朋友和亲人的想法。这个功能是为了怀旧,也就是说,把生命还给我们所爱的祖先。”

在Deepfake持续火爆的市场中,Deep Nostalgia并不是第一个利用单一图片进行Deepfake的项目。

2019年,莫斯科三星人工智能中心的研究人员发表了一篇论文,描述了机器学习技术如何在“看”了一幅或几幅图像后就能制作Deepfake。研究人员使用生成式对抗网络(generative adversarial network)的框架,训练一对计算机模型相互竞争,以创造出令人信服的Deepfake作品。

最后,来看看怀旧老照片动图效果的操作步骤吧:

1、登录https://www.myheritage.cn/deep-nostalgia,在My Heritage上注册一个免费帐户。

2、点击上传照片,或者将您选择的照片拖放到相框中。

3、传照片后,AI会从图像中检测到的各个面孔中选择要进行动画处理的面孔。

4、My Heritage对照片中的一张脸进行动画处理需要10到20秒,具体取决于AI将其应用于视频的长度,如包含复杂手势动作需要更长的时间进行处理。

6、动画视频准备就绪后,会自动开始播放,将鼠标悬停在它上方可以随时暂停视频。

7、如果照片中的人物不止一个,AI会通过从照片下方的栏中进行选择来选择要进行动画处理的脸部,该栏中显示了图像中检测到的所有个人面孔。

From: Bigthink: 编译:Shelly

Illustrastion by Natasha Remarchuk from Icons8

+1
5

好文章,需要你的鼓励

参与评论
登录后才能参与讨论哦...
后参与讨论
提交评论0/1000

请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。

文章提及的项目

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

为你推送和解读最前沿、最有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚集全球最优秀的创业者,项目融资率接近97%,领跑行业