新闻中心

DragGAN开源三天Star量23k,这又来一个DragDiffusion

2023-06-28
浏览次数:
返回列表

在 AIGC 的神奇世界里,我们可以在图像上通过「拖曳」的方式,改变并合成自己想要的图像。比如让一头狮子转头并张嘴:

DragGAN开源三天Star量23k,这又来一个DragDiffusion

实现这一效果的研究出自华人一作领衔的「Drag Your GAN」论文,于上个月放出并已被 SIGGRAPH 2025 会议接收。

一个多月过去了,该研究团队于近日放出了官方代码。短短三天时间,Star 量便已突破了 23k,足可见其火爆程度。

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

github 地址:https://github.com/xingangpan/draggan

无独有偶,今日又一项类似的研究 —— DragDiffusion 进入了人们的视线。此前的 DragGAN 实现了基于点的交互式图像编辑,并取得像素级精度的编辑效果。但是也有不足,DragGAN 是基于生成对抗网络(GAN),通用性会受到预训练 GAN 模型容量的限制。

在新研究中,新加坡国立大学和字节跳动的几位研究者将这类编辑框架扩展到了扩散模型,提出了 DragDiffusion。他们利用大规模预训练扩散模型,极大提升了基于点的交互式编辑在现实世界场景中的适用性。

虽然现在大多数基于扩散的图像编辑方法都适用于文本嵌入,但 DragDiffusion 优化了扩散潜在表示,实现了精确的空间控制。

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

  • 论文地址:https://arxiv.org/pdf/2306.14435.pdf
  • 项目地址:https://yujun-shi.github.io/projects/dragdiffusion.html

研究者表示,扩散模型以迭代方式生成图像,而「一步」优化扩散潜在表示足以生成连贯结果,使 DragDiffusion 高效完成了高质量编辑。

他们在各种具有挑战性的场景(如多对象、不同对象类别)下进行了广泛实验,验证了 DragDiffusion 的可塑性和通用性。相关代码也将很快放出、

下面我们看看 DragDiffusion 效果如何。

首先,我们想让下图中的小猫咪的头再抬高一点,用户只需将红色的点拖拽至蓝色的点就可以了:

DragGAN开源三天Star量23k,这又来一个DragDiffusion

接下来,我们想让山峰变得再高一点,也没有问题,拖拽红色关键点就可以了:

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

DragGAN开源三天Star量23k,这又来一个DragDiffusion还想让雕塑的头像转个头,拖拽一下就能办到:

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

DragGAN开源三天Star量23k,这又来一个DragDiffusion让岸边的花,开的范围更广一点:

Pippit AI Pippit AI

CapCut推出的AI创意内容生成工具

Pippit AI 133 查看详情 Pippit AI

DragGAN开源三天Star量23k,这又来一个DragDiffusion

方法介绍

本文提出的 DRAGDIFFUSION 旨在优化特定的扩散潜变量,以实现可交互的、基于点的图像编辑。

为了实现这一目标,该研究首先在扩散模型的基础上微调 LoRA,以重建用户输入图像。这样做可以保证输入、输出图像的风格保持一致。

接下来,研究者对输入图像采用 DDIM inversion(这是一种探索扩散模型的逆变换和潜在空间操作的方法),以获得特定步骤的扩散潜变量。

在编辑过程中,研究者反复运用动作监督和点跟踪,以优化先前获得的第 t 步扩散潜变量,从而将处理点的内容「拖拽(drag)」到目标位置。编辑过程还应用了正则化项,以确保图像的未掩码区域保持不变。

最后,通过 DDIM 对优化后的第 t 步潜变量进行去噪,得到编辑后的结果。总体概览图如下所示:

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

实验结果

给定一张输入图像,DRAGDIFFUSION 将关键点(红色)的内容「拖拽」到相应的目标点(蓝色)。例如在图(1)中,将小狗的头转过来,图(7)将老虎的嘴巴合上等等。

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

下面是更多示例演示。如图(4)将山峰变高,图(7)将笔头变大等等。

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

DragGAN开源三天Star量23k,这又来一个DragDiffusion

以上就是DragGAN开源三天Star量23k,这又来一个DragDiffusion的详细内容,更多请关注其它相关文章!


# 开源  # 关键词  # 这又  # 拖拽  # 想让  # 色图  # 就可以  # 图片  # 四川专业网站优化推广  # 新网站做推广赚钱吗  # 果泥市场营销推广文案  # 傲鸿网站建设  # 怎样营销推广抖音产品呢  # 外卖营销推广活动方案模板  # 惠州快速seo推广  # 利用网站积极推广产品的方法  # 手机网站推广厂家  # 开封市网站优化  # 实现了  # 参数设置  # 合上 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 单片机for循环怎么用  公司的tm市盈率为负是什么意思  如何通过命令行聊天  反向春运抢票方式  冰柜power是什么意思这个黄灯怎么不亮  db2命令中如何去到指定的副本  苹果16将会带来哪些升级  酷狗音乐pc版的每日推荐在哪 酷狗音乐PC版每日推荐查找指南  j*a怎么存放数组中  typescript什么意思  8k是多少钱  小屏折叠屏手机有哪些  华为5g手机掉了怎么定位找回  360n6锁屏壁纸怎么设置  typescript怎么判断单选按钮  广东春运几点抢票  苹果16改掉了哪些  typescript怎么加号  苹果16有哪些变化尺寸  什么是泛域名解析  问一下市盈率是什么意思  春运抢票何时开始抢票的  夸克用的什么服务器  笔记本如何使用固态硬盘  折叠屏手机哪个牌子性价比高  爱奇艺fun会员可以几个人用?  early什么意思  如何查找固态硬盘  固态硬盘坏了如何换硬盘  typescript学多久可以学会  美食音乐每日推荐怎么写  课程伴侣电脑怎么登录  哪些编程软件需要typescript  如何给电脑加装固态硬盘  市盈率估值1stdv是什么意思  如何测试固态硬盘速度  typescript性能如何  怎么用typescript 写js  如何知道固态硬盘  如何退出数据库命令行  壁挂炉power常亮是什么意思  5g手机怎么没视频通话功能  手机nfc功能功能是什么意思  固态硬盘如何打开软件  1tb等于多少mb  苹果16粉色还有哪些机型  得物怎样不扣手续费 如何通过得物不支付手续费  如何进入cmd命令行  春运什么时候开始抢票  固态硬盘如何保存 

搜索