英伟达|「资讯」NV最强AI黑科技？能将文字描述一键转为逼真画像黑科技

文章图片

一直以来， Nvidia除了投入大量的人力物力用于图形显卡/高性能计算的研发外，还积极地在发展 AI ，在过去也出过不少作品，比如将涂鸦转变成风景图的Nvidia Canvas、影像降噪工具Noise2Noise等，现在Nvidia又有新作，能够将你输入的文字判读后直接生成图片。
近日， Nvidia最新的AI模型GauGAN2展示了黑科技，这项新技术不仅可以将用户输入的文字描述以及色块涂鸦转换成拟真图片，还能实时用文字P图！
从下列演示中就能看出图像的变化过程：
无论是输入阴云密布还是阴雨等，立即生成相应图像
输入海浪击打岸边石，立刻生成一张逼真照片
据悉，用户凭借文字和草图就可以更快速、更精细的控制创建和自定义各种场景。由语言构造图像可直接在电脑上表现出来。
正如前文中的截图和动图所示，只要在文本框里输入文字，就会立即生成相应的图像，在短语中添加一个形容词或替换一个名词，图像即会相应改变。
【英伟达|「资讯」NV最强AI黑科技？能将文字描述一键转为逼真画像】
打个比方，原本输入短语“海滩上的日落” ， AI 就会生成这个场景。而如果用户添加诸如“岩石海滩上的日落”之类的形容词或将“日落”替换为“下雨天” ，模型则将立即改变画面。
同时还有个性化的玩法，用户可以结合文字和画成图像的功能，通过使用书写的文字来生成基础、用绘画来细化图像，用户可以改变图像中任何物体的形状、大小和纹理。
从单词到短语，这支AI全都能get 。
对此，调皮的网友又开始冒出“大胆的想法”了。
不过很遗憾，由于目前训练图库只有景物绘图素材，构造人物的想法暂无法实现。因此部分网友期待的某些视频以及“五彩斑斓的黑”自然是没法实现了。
实际上，英伟达早在2019年就首次展示了其GauGAN技术，当时可基于简单的草图来转换为风景画。而发展至今已到了2.0版本，在技术上则更进了一步，可通过文字描述来生成风景图。
官方解释， GauGAN2在单个模型中，结合了分割映射、图像修复和文本到图像生成功能，使其能够根据文本和手绘来创建逼真的艺术，而且这个最新发布的范例展示，是第一个在单个对抗网络框架中，结合文本、语义分割、草稿图和样式等多个模式，这样的方法让艺术家，能够以更丰富的方法，指引人工智能快速生成图像。
英伟达还提到， GauGAN2背后所使用的人工智能模型，应用了Nvidia Selene超级计算机，并且使用1000万张高品质景观图进行了学习和训练，研究人员利用神经网络的特性，让人工智能学习单词和视觉效果间的关联。
用户现在就可以在Nvidia AI Demo上体验这个功能，不过要想尝试这项功能必须首先要同意英伟达的条款和条件。对此你有什么想法？
·END·