英伟达和UC Berkeley的研究者最近公开一个名为pix2pixHD的“用条件GAN进行2048x1024分辨率的图像合成和处理”项目，并公开了论文和代码。pix2pixHD能够利用语义标注图还原接近真实的现实世界图像，例如街景图、人脸图像等，并且只需简单的操作即可修改和搭配图像。

作者发布的视频介绍中，可以看到，你可以选择更换街景中车辆的颜色和型号，给街景图增加一些树木，或者改变街道类型（例如将水泥路变成十字路）。类似地，利用语义标注图合成人脸时，给定语义标注的人脸图像，你可以选择组合人的五官，调整大小肤色，添加胡子等。

本文提出了一种利用条件生成对抗网络（conditional GANs）来合成高分辨率、照片级真实的图像的新方法。条件GAN已经实现了各种各样的应用，但是结果往往是低分辨率的，而且也缺乏真实感。在这项工作中，我们的方法生成了2048x1024分辨率的视觉上非常棒的效果，利用新的对抗损失，以及新的多尺度生成器和判别器架构。此外，我们还将我们的框架扩展到具有两个附加特征的交互式可视化操作。首先，我们合并了对象实例分割信息，这些信息支持对象操作，例如删除/添加某个对象或更改对象类别。其次，我们提出了一种方法，可以在给定相同输入条件下生成不同的结果，允许用户交互式地编辑对象的外观。人类意见研究（human opinion study）表明，我们的方法显著优于现有的方法，既提高了图像的质量，也提高了图像合成和编辑的分辨率。

我们提出了一个利用语义标注图（上图（a）的左下角）合成2048×1024分辨率图像的生成对抗框架。与以前的工作相比，我们的结果表现出更自然的纹理和细节。（b）我们可以在原始标签地图上改变标签来创建新的场景，例如用建筑物替换树木。（c）我们的框架还允许用户编辑场景中单个对象的外观，例如改变汽车的颜色或道路的纹理。请访问网站进行更多的对比和交互式编辑演示。

本研究的结果表明，条件GAN（conditional GAN）能够合成高分辨率、照片级逼真的图像，而不需要任何手工损失或预训练的网络。我们已经观察到，引入perceptual loss可以稍微改善结果。我们的方法可以实现许多应用，并且可能对需要高分辨率结果，但是预训练的网络不可用的领域有潜在的用处，例如医学成像和生物学领域。

本研究还表明，可以扩展图像-图像的合成流程以产生不同的输出，并且在给定适当的训练输入 - 输出对（例如本例中的实例图）的情况下实现交互式图像处理。我们的模型从未被告知什么是“纹理”，但能学习将不同的对象风格化，这也可以推广到其他数据集（即，使用一个数据集中的纹理来合成另一个数据集中的图像）。我们相信这些贡献拓宽了图像合成的领域，并可以应用于许多其他相关的研究领域。

https://v.qq.com/iframe/player.h ... p;tiny=0&auto=0

简单的说，在游戏开发中，开发者定义了一个语义环境AI自动填充各种纹理和效果，看起来就跟人做的差不多

可以极大降低沙盘游戏开发成本

posted by wap, platform: iPhone
早就幻想有这种大大节约成本的科技了，那些自然填充物全部计算机自动生成，人类只要设计结构即可，这样就会倒逼那些欧美白皮们重视游戏性！画面就没啥可以吹得了！想想荒吹真实环境版，好激动啊！

引用:

原帖由 u571 于 2017-12-4 10:15 发表
简单的说，在游戏开发中，开发者定义了一个语义环境AI自动填充各种纹理和效果，看起来就跟人做的差不多

可以极大降低沙盘游戏开发成本

现在的贴图都是怎么做的？

puter，帮我造个华盛顿
GTA6即将上市

都是静态的，而且只可远观。