厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验

会画画的AI有多可怕?
你是否想象过把蚂蚁和猪、螃蟹和鲸鱼 , 或者100种生物的任意两个组合起来会是什么神奇的亚子?
现在 , AI可以把这些天马行空的想象全部变成现实!
而只需要我们点点鼠标随便涂个鸦 , 像这样:
厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验文章插图
犀牛的犄角 , 老鹰的翅膀 , 恐龙的尾巴 , 组合起来就可以变成这样:
厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验文章插图
【厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验】妥妥地一幅专业创意作品 , 对绘画小白简直不要太友好 。
更重要的是 , 它或许还能激发你的创意灵感 , 而这也是Google研究团队推出这款工具的目的之一 。
这款AI绘画神器名为Chimera Painter , 它是一个Web工具 , 其功能是基于动物简图生成高度逼真的“小怪兽” 。
厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验文章插图
完成涂鸦后 , 只要点击「转换」按钮 , 它就会自动生成3D效果的「怪兽」 。
有意思的是 , Googel研究团队还把Chimera Painter创作的怪兽形象用来搭建了一个数字纸牌游戏 。
图中每张纸牌的攻击值由上面的怪兽决定 , 这些怪兽的技能由他们所组合的两种物种决定 。
厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验文章插图
据了解 , 这款AI工具的研发灵感就来自我们平时在游戏中看到的「怪兽」 。 Googel研究人员认为 , 这些怪兽的创作往往需要游戏美术师有高度的艺术创造力和技术知识 , 而AI可以充当画笔 , 帮助他们节省艺术创作的时间 , 比如一键完成3D渲染 , 甚至还可以增强他们的创造力 。
假如游戏中有100种动物 , 每种动物都可以相互融合 , 那么它会给任何艺术家带来很大的工作量 , 但这对于机器学习来说 , 是很轻松的事 。
那么 , 它是如何做到的呢?
基于GAN的生成模型Chimera Painter , 是一种机器学习(ML)模型 。 为了可以生成高质量且任意组合的怪兽形象 , 研究团队向模型提供数千张生物图像 , 并标记了如爪 , 腿 , 腿 , 眼睛等特殊部位 , 以供模型进行训练 。
该模型的训练过程利用的仍然是生成式对抗网络(GAN),GAN我们已经非常熟悉 , 它可以基于两个卷积神经网络:生成器和判别器生成高清且逼真的新图像 。 其工作原理是 , 生成器用来创建新图像 , 鉴别器用来确定这些图像是否来自训练数据集 。
厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验文章插图
不过 , 在这里研究人员提出了一种被称为条件GAN的变体 , 其中生成器采用单独的输入来指导图像生成过程 。 有趣的是 , 这种方法与其他GAN的工作完全不同 , 因为后者通常侧重于照片真实性 , 而该工具的目的是融合不同的物种生成一种嵌合体 。
为了训练 GAN , 研究团队创建了一个全彩色图像数据集 , 其中包含单种生物的轮廓 , 这些轮廓改编自3D 生物模型 。 这种生物的轮廓描述了每种生物的形状和大小 , 并提供了一张分割地图来识别身体的各个部分 。
厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验文章插图
训练后的模型 , 可以基于艺术家提供的轮廓 , 生成表现最好的多物种嵌合体并嵌入到 Chimera Painter中 。
创建有结构的生物数据集使用GAN生成新物种时会遇到一个问题 , 即在绘制图像细节或低对比度部分时 , 可能会失去空间的连贯性 , 包括眼睛、手指 , 甚至是具有相似纹理的重叠身体部位之间的区分 。
厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验文章插图
因此 , 它对训练数据集提出了一定的要求 。 现有的插图库不适合用作训练ML模型的数据集 , 原因是它们可能具有冲突样式 , 或者缺少多样性 。 生成嵌合体的数据集需要具备独特性 , 如戏剧性的视角、构图和灯光等 。
为了解决这个问题 , 研究人员开发了一种用户主导的半自动方法 , 即从3D生物模型中创建ML训练数据集 。 在这个过程中 , 用户们将创建并获得一组3D生物模型 。
具体来说 , 他们将用虚幻引擎制作两组纹理 , 并叠加在3D模型上——一组具有全彩色纹理(左图) , 另一组显示身体每个部位(如头 , 耳朵 , 脖子等) , 称为分割图(右图) 。
厉害了!谷歌AI一键生成定制版3D游戏神兽,可在线体验文章插图