Stable Diffusion && GAN

2024年03月10日23:25:20 科技 1409

背景

生成式AI興起之前,市場上的AI產品主要是分析式AI

從功能上看,過去的分析式AI的應用主要是幫助人們進行預測,進而提升決策效率。儘管如此,這類AI可以獨立完成的任務並不多,也不能生成新的內容,在大多數時候,它充其量只能充當一個輔助角色。

而生成式AI則不同,除了擁有和分析式AI類似的預測功能外,它們還能根據決策獨立作出判斷、生成內容

因此,它們的應用潛力和經濟影響要比分析式AI大得多。

昨晚看東方衛視,已經用虛擬新聞主播擔任主持人。

Stable Diffusion && GAN - 天天要聞

生成式AI的幾個模型

目前,生成式AI主要有這五大模型:vaes、GANs、Diffusion、Transformers、NeRFs。

1、VAEs

使用編碼器-解碼器架構來生成新數據,通常用於圖像和視頻生成,例如生成用於隱私保護的合成人臉。

2、GANs

使用生成器和鑒別器來生成新數據,通常用於視頻遊戲開發中以創建逼真的遊戲角色。

3、Diffusion

添加然後消除噪聲以生成具有高細節水平的高質量圖像,從而創建近乎逼真的自然場景圖像。

4、Transformers

可以有效地並行處理順序數據,以進行機器翻譯、文本摘要和圖像創建。

5、NeRFs

提供了一種使用神經表示的3D場景重建的新方法。

實際場景中,經常會將以上結合使用。比如OpenAI Sora就集成了Diffusion模型和Transformer模型。

什麼是Stable Diffusion

Stable Diffusion是一種潛在擴散模型,2022年發布的深度學習文本到圖像生成模型。它主要用於根據文本的描述產生詳細圖像,儘管它也可以應用於其他任務,如內補繪製、外補繪製,以及在提示詞指導下產生圖生圖的轉變。

源代碼和模型權重已分別公開發布在GitHub和Hugging Face,可以在我們有GPU的電腦硬件上本地運行。

以前的專有文生圖模型(如DALL-E和Midjourney)只能通過雲計算服務訪問。

它是一種使用擴散過程逐步細化噪聲源來生成合成數據的方法。該方法涉及將潛在噪聲向量迭代地轉換為目標信號。

由3個部分組成:變分自編碼器(VAE)、U-Net和一個文本編碼器。

Stable Diffusion && GAN - 天天要聞

Stable Diffusion建議在10GB以上的顯存(GDDR或HBM)下運行。

擴散模型所用的去噪過程如下所示:

Stable Diffusion && GAN - 天天要聞

什麼是GAN

生成對抗網絡(Generative Adversarial Network)是非監督式學習的一種方法,通過兩個神經網絡相互博弈的方式進行學習。

該方法由伊恩·古德費洛等人於2014年提出。GAN背後的基本思想是它們涉及兩個神經網絡:生成器判別器

生成網絡從潛在空間(latentspace)中隨機取樣作為輸入,其輸出結果需要盡量模仿訓練集中的真實樣本。

判別網絡的輸入則為真實樣本或生成網絡的輸出,其目的是將生成網絡的輸出從真實樣本中儘可能分辨出來。

而生成網絡則要儘可能地欺騙判別網絡。

兩個網絡相互對抗、不斷調整參數,最終目的是使判別網絡無法判斷生成網絡的輸出結果是否真實。

GAN 工作原理如下圖所示:

Stable Diffusion && GAN - 天天要聞

Diffusion與GAN的不同點

雖然Stable Diffusion和GAN之間有一些相似之處,例如它們都專註於生成合成數據,但也存在一些關鍵差異,使這兩種方法彼此不同。

1、穩定擴散是一種自監督方法,可以從自身的迭代細化過程中學習,而GAN則涉及生成器和判別器

2、穩定擴散被設計為在連續的潛在空間中運行,而GAN在離散的像素空間中運行。

Diffusion試用

from diffusers import DiffusionPipeline
import torch

#加載base&refiner
base = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
)
base.to("cuda")
refiner = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    text_encoder_2=base.text_encoder_2,
    vae=base.vae,
    torch_dtype=torch.float16,
    use_safetensors=True,
    variant="fp16",
)
refiner.to("cuda")

#定義步驟數和百分比(80/20)
n_steps = 40
high_noise_frac = 0.8

# 生成一個梵高風格的西安鐘樓照片
prompt = "Generate a photo of the Xi'an Bell Tower in the style of Van Gogh"

# 運行
image = base(
    prompt=prompt,
    num_inference_steps=n_steps,
    denoising_end=high_noise_frac,
    output_type="latent",
).images
image = refiner(
    prompt=prompt,
    num_inference_steps=n_steps,
    denoising_start=high_noise_frac,
    image=image,
).images[0]

生成效果

Stable Diffusion && GAN - 天天要聞

科技分類資訊推薦

Pura80Pro與Mate70Pro,誰是華為旗艦更優解?一文看懂 - 天天要聞

Pura80Pro與Mate70Pro,誰是華為旗艦更優解?一文看懂

每當華為旗艦新機臨近發布節點,科技圈的焦點就會轉移到“新舊旗艦”之間的對比上,這也是許多消費者最關注的問題之一,比如即將在6月11日發布的「Pura80 Pro」以及已經上市半年的「Mate70 Pro」,一款是華為在影像領域進一步突破的全
周鴻禕:準備幹掉360整個市場部,每年能省幾千萬 - 天天要聞

周鴻禕:準備幹掉360整個市場部,每年能省幾千萬

6月6日晚,360集團創始人、董事長周鴻禕在其個人自媒體賬號發文稱,“我準備幹掉360整個市場部,這樣一年可以給公司省下幾千萬。”他表示從當天起,要做一個挑戰,一個人完成一場完整的新產品發布會。“聽起來像天方夜譚,但這次我準備動真格的了。”周鴻禕稱,過去做一個產品發布會,需要市場部幾十號人,忙活大半個月,費...
新疆低空經濟加力擴容 - 天天要聞

新疆低空經濟加力擴容

天山網/新疆日報記者 馬伊寧不久前,“阿勒泰低空飛行服務保障中心”及“布爾津、富蘊低空飛行服務保障站”投入運營。作為擁有世界級旅遊資源的區域,阿勒泰地區正構建覆蓋北疆的低空飛行服務網絡,為通用航空、無人機物流、低空旅遊等業態提供全鏈條服務保
特斯拉“擎天柱”人形機器人項目負責人宣布離職 - 天天要聞

特斯拉“擎天柱”人形機器人項目負責人宣布離職

中新網6月7日電(吳家駒)綜合外媒報道,特斯拉“擎天柱”(Optimus)人形機器人項目負責人米蘭·科瓦奇(Milan Kovac)周五表示,他將離開公司。 科瓦奇在X平台上發文稱,“我不得不做出一生中最艱難的決定,我將離開我的職位。我離家太久了,需要花更多的時間和國外的家人在一起。”科瓦奇稱,這是“唯一的原因,與其他任何事情...
512GB售價2039元!3840HZ+7550mAh+極窄直屏,紅米手機價格親民了 - 天天要聞

512GB售價2039元!3840HZ+7550mAh+極窄直屏,紅米手機價格親民了

卡頓可以說是很多消費者使用手機時遇到的最為頭疼的情況,好在就如今新發布的機型就算是在長時間的使用之下,也並不會讓你出現如此的情況,這就比如說紅米Turbo 4 Pro這款機型就是如此,這款機型不僅性能狂飆、續航超長,更有旗艦級配置和貼心細節