背景
在生成式AI興起之前，市場上的AI產品主要是分析式AI。
從功能上看，過去的分析式AI的應用主要是幫助人們進行預測，進而提升決策效率。儘管如此，這類AI可以獨立完成的任務並不多，也不能生成新的內容，在大多數時候，它充其量只能充當一個輔助角色。
而生成式AI則不同，除了擁有和分析式AI類似的預測功能外，它們還能根據決策獨立作出判斷、生成內容。
因此，它們的應用潛力和經濟影響要比分析式AI大得多。
昨晚看東方衛視，已經用虛擬新聞主播擔任主持人。
生成式AI的幾個模型
目前，生成式AI主要有這五大模型：vaes、GANs、Diffusion、Transformers、NeRFs。
1、VAEs
使用編碼器-解碼器架構來生成新數據，通常用於圖像和視頻生成，例如生成用於隱私保護的合成人臉。
2、GANs
使用生成器和鑒別器來生成新數據，通常用於視頻遊戲開發中以創建逼真的遊戲角色。
3、Diffusion
添加然後消除噪聲以生成具有高細節水平的高質量圖像，從而創建近乎逼真的自然場景圖像。
4、Transformers
可以有效地並行處理順序數據，以進行機器翻譯、文本摘要和圖像創建。
5、NeRFs
提供了一種使用神經表示的3D場景重建的新方法。
實際場景中，經常會將以上結合使用。比如OpenAI Sora就集成了Diffusion模型和Transformer模型。
什麼是Stable Diffusion？
Stable Diffusion是一種潛在擴散模型，2022年發佈的深度學習文本到圖像生成模型。它主要用於根據文本的描述產生詳細圖像，儘管它也可以應用於其他任務，如內補繪製、外補繪製，以及在提示詞指導下產生圖生圖的轉變。
源代碼和模型權重已分別公開發佈在GitHub和Hugging Face，可以在我們有GPU的電腦硬件上本地運行。
以前的專有文生圖模型（如DALL-E和Midjourney）只能通過雲計算服務訪問。
它是一種使用擴散過程逐步細化噪聲源來生成合成數據的方法。該方法涉及將潛在噪聲向量迭代地轉換為目標信號。
由3個部分組成：變分自編碼器（VAE）、U-Net和一個文本編碼器。
Stable Diffusion建議在10GB以上的顯存（GDDR或HBM）下運行。
擴散模型所用的去噪過程如下所示：
什麼是GAN？
生成對抗網絡（Generative Adversarial Network）是非監督式學習的一種方法，通過兩個神經網絡相互博弈的方式進行學習。
該方法由伊恩·古德費洛等人於2014年提出。GAN背後的基本思想是它們涉及兩個神經網絡：生成器和判別器。
生成網絡從潛在空間（latentspace）中隨機取樣作為輸入，其輸出結果需要盡量模仿訓練集中的真實樣本。
判別網絡的輸入則為真實樣本或生成網絡的輸出，其目的是將生成網絡的輸出從真實樣本中儘可能分辨出來。
而生成網絡則要儘可能地欺騙判別網絡。
兩個網絡相互對抗、不斷調整參數，最終目的是使判別網絡無法判斷生成網絡的輸出結果是否真實。
GAN 工作原理如下圖所示：
Diffusion與GAN的不同點
雖然Stable Diffusion和GAN之間有一些相似之處，例如它們都專註於生成合成數據，但也存在一些關鍵差異，使這兩種方法彼此不同。
1、穩定擴散是一種自監督方法，可以從自身的迭代細化過程中學習，而GAN則涉及生成器和判別器。
2、穩定擴散被設計為在連續的潛在空間中運行，而GAN在離散的像素空間中運行。
Diffusion試用
from diffusers import DiffusionPipeline
import torch
#加載base&refiner
base = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
)
base.to("cuda")
refiner = DiffusionPipeline.from_pretrained(
"stabilityai/stable-diffusion-xl-refiner-1.0",
text_encoder_2=base.text_encoder_2,
vae=base.vae,
torch_dtype=torch.float16,
use_safetensors=True,
variant="fp16",
)
refiner.to("cuda")
#定義步驟數和百分比(80/20)
n_steps = 40
high_noise_frac = 0.8
# 生成一個梵高風格的西安鐘樓照片
prompt = "Generate a photo of the Xi'an Bell Tower in the style of Van Gogh"
# 運行
image = base(
prompt=prompt,
num_inference_steps=n_steps,
denoising_end=high_noise_frac,
output_type="latent",
).images
image = refiner(
prompt=prompt,
num_inference_steps=n_steps,
denoising_start=high_noise_frac,
image=image,
).images[0]
生成效果
