Stable Diffusion && GAN

2024年03月10日23:25:20 科技 1409

背景

生成式AI兴起之前,市场上的AI产品主要是分析式AI

从功能上看,过去的分析式AI的应用主要是帮助人们进行预测,进而提升决策效率。尽管如此,这类AI可以独立完成的任务并不多,也不能生成新的内容,在大多数时候,它充其量只能充当一个辅助角色。

而生成式AI则不同,除了拥有和分析式AI类似的预测功能外,它们还能根据决策独立作出判断、生成内容

因此,它们的应用潜力和经济影响要比分析式AI大得多。

昨晚看东方卫视,已经用虚拟新闻主播担任主持人。

Stable Diffusion && GAN - 天天要闻

生成式AI的几个模型

目前,生成式AI主要有这五大模型:vaes、GANs、Diffusion、Transformers、NeRFs。

1、VAEs

使用编码器-解码器架构来生成新数据,通常用于图像和视频生成,例如生成用于隐私保护的合成人脸。

2、GANs

使用生成器和鉴别器来生成新数据,通常用于视频游戏开发中以创建逼真的游戏角色。

3、Diffusion

添加然后消除噪声以生成具有高细节水平的高质量图像,从而创建近乎逼真的自然场景图像。

4、Transformers

可以有效地并行处理顺序数据,以进行机器翻译、文本摘要和图像创建。

5、NeRFs

提供了一种使用神经表示的3D场景重建的新方法。

实际场景中,经常会将以上结合使用。比如OpenAI Sora就集成了Diffusion模型和Transformer模型。

什么是Stable Diffusion

Stable Diffusion是一种潜在扩散模型,2022年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像,尽管它也可以应用于其他任务,如内补绘制、外补绘制,以及在提示词指导下产生图生图的转变。

源代码和模型权重已分别公开发布在GitHub和Hugging Face,可以在我们有GPU的电脑硬件上本地运行。

以前的专有文生图模型(如DALL-E和Midjourney)只能通过云计算服务访问。

它是一种使用扩散过程逐步细化噪声源来生成合成数据的方法。该方法涉及将潜在噪声向量迭代地转换为目标信号。

由3个部分组成:变分自编码器(VAE)、U-Net和一个文本编码器。

Stable Diffusion && GAN - 天天要闻

Stable Diffusion建议在10GB以上的显存(GDDR或HBM)下运行。

扩散模型所用的去噪过程如下所示:

Stable Diffusion && GAN - 天天要闻

什么是GAN

生成对抗网络(Generative Adversarial Network)是非监督式学习的一种方法,通过两个神经网络相互博弈的方式进行学习。

该方法由伊恩·古德费洛等人于2014年提出。GAN背后的基本思想是它们涉及两个神经网络:生成器判别器

生成网络从潜在空间(latentspace)中随机取样作为输入,其输出结果需要尽量模仿训练集中的真实样本。

判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽可能分辨出来。

而生成网络则要尽可能地欺骗判别网络。

两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。

GAN 工作原理如下图所示:

Stable Diffusion && GAN - 天天要闻

Diffusion与GAN的不同点

虽然Stable Diffusion和GAN之间有一些相似之处,例如它们都专注于生成合成数据,但也存在一些关键差异,使这两种方法彼此不同。

1、稳定扩散是一种自监督方法,可以从自身的迭代细化过程中学习,而GAN则涉及生成器和判别器

2、稳定扩散被设计为在连续的潜在空间中运行,而GAN在离散的像素空间中运行。

Diffusion试用

from diffusers import DiffusionPipeline
import torch

#加载base&refiner
base = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16, variant="fp16", use_safetensors=True
)
base.to("cuda")
refiner = DiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-refiner-1.0",
    text_encoder_2=base.text_encoder_2,
    vae=base.vae,
    torch_dtype=torch.float16,
    use_safetensors=True,
    variant="fp16",
)
refiner.to("cuda")

#定义步骤数和百分比(80/20)
n_steps = 40
high_noise_frac = 0.8

# 生成一个梵高风格的西安钟楼照片
prompt = "Generate a photo of the Xi'an Bell Tower in the style of Van Gogh"

# 运行
image = base(
    prompt=prompt,
    num_inference_steps=n_steps,
    denoising_end=high_noise_frac,
    output_type="latent",
).images
image = refiner(
    prompt=prompt,
    num_inference_steps=n_steps,
    denoising_start=high_noise_frac,
    image=image,
).images[0]

生成效果

Stable Diffusion && GAN - 天天要闻

科技分类资讯推荐

万元手机跑腿配送丢失引纠纷,律师:消费者可要求平台先行赔付 - 天天要闻

万元手机跑腿配送丢失引纠纷,律师:消费者可要求平台先行赔付

近日,北京的师先生向新京报记者反映,今年5月底,他通过某外卖平台“跑腿一对一直送”服务,配送一部价值12400元的手机,此后却遭遇手机丢失、配送员失联、平台仅愿赔付180元的维权难题。新京报记者查询公开资料发现,类似的配送纠纷并非个例。在黑猫投诉平台上,同类的投诉多达数十起。京都律师事务所常莎律师表示,若配...
未按规定及时披露重大交易事项,龙辰科技被监管出具警示函 - 天天要闻

未按规定及时披露重大交易事项,龙辰科技被监管出具警示函

极目新闻记者 刘闪因未按规定及时披露重大交易事项,近日,湖北证监局对湖北龙辰科技股份有限公司、林美云、林娜采取出具警示函措施。经查,2022年6月23日,湖北龙辰科技股份有限公司子公司安徽龙辰电子科技有限公司购买了一条BOPP电容薄膜生产线,交易价格为852万欧元。公司未及时履行董事会审议程序,未及时进行信息披露,...
订单激增致发货延迟,泡泡玛特公告致歉 - 天天要闻

订单激增致发货延迟,泡泡玛特公告致歉

近日,在社交平台上有消费者表示,此前在泡泡玛特官方渠道购买的潮玩产品,未能如订单所显示的最晚发货时间进行发货。在泡泡玛特官方抽盒机小程序直播间中,亦有网友留言表示,希望直播间主播帮忙跟进延迟发货等情况。直播间主播以直播间为售前部门为由,建议
小米汽车App显示YU7订车需等一年 雷军:全力以赴抓紧生产 争取早日交付 - 天天要闻

小米汽车App显示YU7订车需等一年 雷军:全力以赴抓紧生产 争取早日交付

快科技6月29消息,小米YU7恐怖的订单量背后,是最长大约一年的提车等待时间。小米汽车App显示了小米YU7三个版本的预估交付时间。其中,标准版最长,锁定订单后最快55-58周交付。Pro版最快49-52周。顶配小米YU7 Max最快,但也需要35-38周才能交付。那小米汽车APP上显示的小米YU7预计交付时间,未来还有可能提前吗?对此,小...
充电宝3C标识成热门商品,电商平台仍有售卖 - 天天要闻

充电宝3C标识成热门商品,电商平台仍有售卖

从6月28日起,按照民航局发布的通知,禁止旅客携带没有3C标识、3C标识不清晰、被召回型号或批次的充电宝乘坐境内航班。记者发现,截至发稿时,仍有部分电商平台在售卖3C认证标签贴纸等相关产品。首都国际机场和大兴国际机场相关工作人员表示,自行张贴认证的充电宝不能带上飞机。律师则表示,随意张贴相关认证标识,可能会...
特朗普T1手机被曝由中国公司生产,官网撤下美国制造标签 - 天天要闻

特朗普T1手机被曝由中国公司生产,官网撤下美国制造标签

土豪金的外壳、星条旗标志、开机就是“让美国再次伟大”(MAGA)的壁纸,这款名为 T1 的智能手机设计上充满了特朗普元素。特朗普资料图 来源:新华社最近,特朗普集团高调进军手机市场,推出一款售价499美元(将近3600元人民币)的智能手机,宣称这款手机由“美国制造”。特朗普的二儿子埃里克还对外宣称,这款手机和移动服...
史上首次!特斯拉,大消息! - 天天要闻

史上首次!特斯拉,大消息!

6月28日,特斯拉完成了Model Y首次全自动驾驶交付。特斯拉CEO马斯克在社交媒体上表示,“一辆汽车首次自动交付给主人”。根据他的描述,一辆特斯拉Model Y通过自动驾驶,从工厂到城市各处的客户家中完成交付,并比计划提前一天完成。他还赞扬了公司的软件和AI芯片团队。马斯克强调,本次交付的Model Y的车内完全无人,也没...
全无人驾驶!特斯拉实现史上首次车辆自己交付给车主 - 天天要闻

全无人驾驶!特斯拉实现史上首次车辆自己交付给车主

澎湃新闻 特斯拉又宣布了在自动驾驶运营上的新进展。6月28日,特斯拉官方微博发了一段视频称,一台Model Y从特斯拉得州超级工厂出发,全程30分钟车程,最终平安来到客户家门口把自己交付给新车主。全程没有驾驶员、没有远程操控,最高时速达到1