今年AI论文8大领域突破：视频博主最利好，跨界输出很潮流

杨净 发自 凹非寺

量子位 报道 | 公众号 QbitAI

自动驾驶、图像生成、2D转3D……

2021年，哪些AI论文最火？又是哪些论文最具突破性？

最近一位ÉTS研究生、YouTube博主总结了今年AI最新突破列表，视频、文章和代码一应俱全。

我们从中梳理出八大类，就跟大家一起来康康～

视频博主看过来

从中梳理最多的，当属一些利好视频博主的技术了。

比如，这个TimeLens，它可以制作慢动作视频，最大范围可从原有的30帧扩展成900帧。

再比如，这个编辑神器VGPNN——单个视频几秒内多样化生成。

像删除或添加某人、改变背景、时间拉长、改变长宽比、分辨率等功能在它面前，都是基本操作。

还有像在不影响背景或其他对象情况下，移动图像中的对象；使用AI分离真实世界中的声音，语音、音乐和音效之类……

具体在画质处理上，今年英特尔就用英伟达显卡做了画质增强补丁。今年6月，这个Demo在全网火了一把。

为了在GTA上效果更真实，研究人员改变了视频中3点特征：增加汽车的光泽、改善植被的整体外观、让沥青路面看起来更光滑。

对此，有网友表示，这比路径追踪便宜多了。

如果说肆掠的疫情让视频会议火了一把，那么视频会议软件让背景替换技术搬到了台前。

谷歌研究员就提出了一种重新光照的方法Total Relighting，来给人像做背景替换。

它能根据新添加的场景光线，重新点亮任何肖像，以此看起来更加真实。

这一方法还可进一步延伸至电影、专业视频制作中，up主可以用起来。

此外，除了背景替换，还有文字替换，风格还保留的那种。

今年，Facebook提出了一种AI模型，它可以直接翻译或编辑图像中的文本，并且遵照同样的风格。

类似这样～

DALL·E领衔的图像生成

图像生成领域，最具突破性的当属DALL·E——OpenAI在新年推出的“AI设计师”，吴恩达点赞的那种。

简单来说就是，提出你的文本需求， 它来生成图像。从原理上看，类似于GPT-3在文本合成图像方向上的扩展版。

比如输入“OpenAI公司门面”，它就能给出十几张设计图供你选择。

还有像根据手绘草图来生成图像、使用随机微分方程进行图像合成和编辑等进展。

2D图像生成3D模型

这是除图像生成外，另一个2021 AI领域热度极高的研究方向。

试想一下，如果只在现实生活中拍摄一张对象照片，就可创建3D格式将其插入视频或者游戏中，会有多酷。

谷歌研究院提出的ShaRF就可以做到，比如随意拍的一个椅子。

英伟达也提出了类似的解决方案GANverse3D，只需一张图像，就可创建可自定义的3D动画。

还有前段时间火爆外网的假3D场景，也是通过一组照片渲染出来的。

以及LASR模型——从短视频中单拎出一个对象来，创建人类或动物的3D模型……类似的方法还有很多。

万物皆可与Transformer结合

你是否想过把CNN与Transformer结合起来？

2021年，“跨界输出”在AI领域掀起潮流。

基于CNN效率和Transformer的表达能力，德国海德堡大学的研究人员提出一种高分辨率图像生成的方法——Tl;DR。

还不只是CNN和Transformer。

斯坦福和Facebook的研究人员提出GANsformers——基于StyleGAN2架构中Transformer的注意力机制，来生成场景图片。

应用层：试衣间、天气预报

除此之外，还有原有模型基础上应用层面的延伸。

就如谷歌提出了基于StyleGAN2架构的改进版，创建了一个AI在线试衣间。

只需要提供一张你的图像，就能自动试穿任何衣服。

还有像巴塞罗那大学的研究人员开发了一种基于深度学习，能从航拍图像中自动检测漂浮的垃圾，并计算数量。

为此，他们还制作了一个APP，用户可在海面图像中识别这些垃圾。

还有Apple提出应用在相册的ML算法，在iOS 15上自动识别私人照片中的人；DeepMind提出了一个使用雷达深度生成模型，来更准确的预报天气。

AI驱动的赛博朋克手臂

明尼苏达大学的研究人员打造了一款赛博朋克手臂——AI驱动的神经接口。

据介绍，截肢者可以像寻常人一样灵巧的控制手臂。

编程神器：GitHub Copilot

对于开发者而言，今年最具突破性的进展莫过于编程神器——GitHub Copilot，由GitHub与openAI联合开发。

只需描述出你想要执行的命令，就能生成相应的代码。

甚至程序员只要写下一段注释，Github Copilot就可以补全剩下的代码、提出改进的建议，为程序员省去大量查找的时间。

特斯拉的自动驾驶

值得一提的是，这次还有特斯拉的自动驾驶入选。

在特斯拉的AI day上，人工智能总监Andrej Karpathy展示了特斯拉如何通过8个摄像头来获取图像到道路导航的过程。

这当中包括压缩数据、二维转变为三维输出等操作。

……

除此之外，还有像面对第三次人工智能浪潮，研究人员对AI中快与慢思考；AI伪造类似“探探”个人档案，来探讨人类会不会向右滑动；Transformer是如何在CV领域取代CNN的？

感兴趣的旁友，可戳下方链接了解更多详情哦～

目前仍在更新当中。

GitHub链接：
https://github.com/louisfb01/best_AI_papers_2021

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态