【天天热闻】GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型
发布时间:2023-04-21 15:44:36 文章来源:程序员客栈
点蓝色字关注“机器学习算法工程师”设为星标,干货直达!自从DALL·E2之后,在图像生成方面扩散模型替代GA


(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。

GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/
关键词:

最近更新

热门推荐HOT

  • 40年自主向上,东风商用车技术研发的原点从东风EQ153说起
    40年自主向上,东风商用车技术研

    2023年4月22日,东风商用车研发40年暨2023东风商用车研发文化节将在武汉举行。1983年,东风汽车技术中心的前身——二汽技术中心正式成立,

  • 一切源于可靠 东风天龙KC换电渣土车助力城市绿色发展
    一切源于可靠 东风天龙KC换电渣

    2023年4月10-16日,2023东风汽车品牌春季发布会暨第七届科技创新周在武汉举行。东风商用车作为东风汽车核心事业板块,在科技周期间向社会大

  • 超前布局助力武汉环卫设备能源升级,东风商用车争做新能源规则的制定者
    超前布局助力武汉环卫设备能源升

    2023年4月12日,由武汉市城市管理执法委员会主办的武汉市 2023 年度环卫设备应用场景观摩会在武汉全民健身中心举办,旨在推进武汉市环卫

  • 东风商用车以创新领跑市场 以绿色驱动未来
    东风商用车以创新领跑市场 以绿

    春风送暖万物新。4月10日,东风汽车集团有限公司2023东风汽车品牌春季发布会暨第七届科技创新周在武汉举行。活动规模庞大、亮点纷呈,有新

  • 首届希望教育集团创新创业大赛暨中国唱片百年经典希望教育校园行
    首届希望教育集团创新创业大赛暨

    走进银川科技职业学校站为深入学习贯彻党的二十大精神,全面落实党中央、国务院对高校毕业生就业创业工作的决策部署,落实《教育部关于做好20

  • 首届希望教育集团创新创业大赛暨中国唱片,百年经典希望教育校园行
    首届希望教育集团创新创业大赛暨

    走进银川能源学院站为深入学习贯彻党的二十大精神,全面落实党中央、国务院对高校毕业生就业创业工作的决策部署,落实《教育部关于做好2023届

  • 北汽重卡数字孪生智慧工厂落成投产 北京重卡首台车下线即交付
    北汽重卡数字孪生智慧工厂落成投

    3月28日,中国首个重卡数字孪生智慧工厂落成投产暨北京重卡首台车下线仪式在北汽重型汽车有限公司举行。常州市委常委、市委秘书长杭勇,副市

  • 以客户为中心,东风商用车“客户价值之旅”结硕果,签约50台危险品牵引车
    以客户为中心,东风商用车“客户

    2023年3月24日,东风商用车在湖北十堰组织客户价值之旅系列活动,岳阳市道路运输协会、岳阳危化行业标杆客户一行在东风商用车品牌体验中心

  • 倾力品牌向上 东风商用车打造商用车产业高质量发展标杆
    倾力品牌向上 东风商用车打造商

    2023年全国两会期间,加快建设现代化产业体系首次被写入政府工作报告中,这标志着现代化产业高质量发展将迎来大提速,包括商用车在内的产业

  • 龙擎天下 锦程万里 搭载龙擎DDi47的东风随专平板运输车新品重磅发布
    龙擎天下 锦程万里 搭载龙擎DD

    2023年3月16日,借助重卡市场回暖的春风,龙擎DDi47东风随专平板运输车新品发布暨商品推介会在炎帝故里——湖北随州隆重举办,东风龙擎动力

猜你喜欢LOVE