背景
在生成式AI兴起之前，市场上的AI产品主要是分析式AI。
从功能上看，过去的分析式AI的应用主要是帮助人们进行预测，进而提升决策效率。尽管如此，这类AI可以独立完成的任务并不多，也不能生成新的内容，在大多数时候，它充其量只能充当一个辅助角色。
而生成式AI则不同，除了拥有和分析式AI类似的预测功能外，它们还能根据决策独立作出判断、生成内容。
因此，它们的应用潜力和经济影响要比分析式AI大得多。
昨晚看东方卫视，已经用虚拟新闻主播担任主持人。
生成式AI的几个模型
目前，生成式AI主要有这五大模型：vaes、GANs、Diffusion、Transformers、NeRFs。
1、VAEs
使用编码器-解码器架构来生成新数据，通常用于图像和视频生成，例如生成用于隐私保护的合成人脸。
2、GANs
使用生成器和鉴别器来生成新数据，通常用于视频游戏开发中以创建逼真的游戏角色。
3、Diffusion
添加然后消除噪声以生成具有高细节水平的高质量图像，从而创建近乎逼真的自然场景图像。
4、Transformers
可以有效地并行处理顺序数据，以进行机器翻译、文本摘要和图像创建。
5、NeRFs
提供了一种使用神经表示的3D场景重建的新方法。
实际场景中，经常会将以上结合使用。比如OpenAI Sora就集成了Diffusion模型和Transformer模型。
什么是Stable Diffusion？
Stable Diffusion是一种潜在扩散模型，2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像，尽管它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产生图生图的转变。
源代码和模型权重已分别公开发布在GitHub和Hugging Face，可以在我们有GPU的电脑硬件上本地运行。
以前的专有文生图模型（如DALL-E和Midjourney）只能通过云计算服务访问。
它是一种使用扩散过程逐步细化噪声源来生成合成数据的方法。该方法涉及将潜在噪声向量迭代地转换为目标信号。
由3个部分组成：变分自编码器（VAE）、U-Net和一个文本编码器。
Stable Diffusion建议在10GB以上的显存（GDDR或HBM）下运行。
扩散模型所用的去噪过程如下所示：
什么是GAN？
生成对抗网络（Generative Adversarial Network）是非监督式学习的一种方法，通过两个神经网络相互博弈的方式进行学习。
该方法由伊恩·古德费洛等人于2014年提出。GAN背后的基本思想是它们涉及两个神经网络：生成器和判别器。
生成网络从潜在空间（latentspace）中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。
判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。
而生成网络则要尽可能地欺骗判别网络。
两个网络相互对抗、不断调整参数，最终目的是使判别网络无法判断生成网络的输出结果是否真实。
GAN 工作原理如下图所示：
Diffusion与GAN的不同点
虽然Stable Diffusion和GAN之间有一些相似之处，例如它们都专注于生成合成数据，但也存在一些关键差异，使这两种方法彼此不同。
1、稳定扩散是一种自监督方法，可以从自身的迭代细化过程中学习，而GAN则涉及生成器和判别器。
2、稳定扩散被设计为在连续的潜在空间中运行，而GAN在离散的像素空间中运行。
Diffusion试用
from diffusers import DiffusionPipeline
import torch
#加载base&refiner
base = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
)
base.to("cuda")
refiner = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-refiner-1.0",
text_encoder_2=base.text_encoder_2,
vae=base.vae,
torch_dtype=torch.float16,
use_safetensors=True,
variant="fp16",
)
refiner.to("cuda")
#定义步骤数和百分比(80/20)
n_steps = 40
high_noise_frac = 0.8
# 生成一个梵高风格的西安钟楼照片
prompt = "Generate a photo of the Xi'an Bell Tower in the style of Van Gogh"
# 运行
image = base(
prompt=prompt,
num_inference_steps=n_steps,
denoising_end=high_noise_frac,
output_type="latent",
).images
image = refiner(
prompt=prompt,
num_inference_steps=n_steps,
denoising_start=high_noise_frac,
image=image,
).images[0]
生成效果
