新闻中心

DragGAN开源三天Star量23k,这又来一个DragDiffusion

2023-06-28
浏览次数:
返回列表

在 AIGC 的神奇世界里,我们可以在图像上通过「拖曳」的方式,改变并合成自己想要的图像。比如让一头狮子转头并张嘴:

DragGAN开源三天Star量23k,这又来一个DragDiffusion

实现这一效果的研究出自华人一作领衔的「Drag Your GAN」论文,于上个月放出并已被 SIGGRAPH 2025 会议接收。

一个多月过去了,该研究团队于近日放出了官方代码。短短三天时间,Star 量便已突破了 23k,足可见其火爆程度。

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

github 地址:https://github.com/xingangpan/draggan

无独有偶,今日又一项类似的研究 —— DragDiffusion 进入了人们的视线。此前的 DragGAN 实现了基于点的交互式图像编辑,并取得像素级精度的编辑效果。但是也有不足,DragGAN 是基于生成对抗网络(GAN),通用性会受到预训练 GAN 模型容量的限制。

在新研究中,新加坡国立大学和字节跳动的几位研究者将这类编辑框架扩展到了扩散模型,提出了 DragDiffusion。他们利用大规模预训练扩散模型,极大提升了基于点的交互式编辑在现实世界场景中的适用性。

虽然现在大多数基于扩散的图像编辑方法都适用于文本嵌入,但 DragDiffusion 优化了扩散潜在表示,实现了精确的空间控制。

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

  • 论文地址:https://arxiv.org/pdf/2306.14435.pdf
  • 项目地址:https://yujun-shi.github.io/projects/dragdiffusion.html

研究者表示,扩散模型以迭代方式生成图像,而「一步」优化扩散潜在表示足以生成连贯结果,使 DragDiffusion 高效完成了高质量编辑。

他们在各种具有挑战性的场景(如多对象、不同对象类别)下进行了广泛实验,验证了 DragDiffusion 的可塑性和通用性。相关代码也将很快放出、

下面我们看看 DragDiffusion 效果如何。

首先,我们想让下图中的小猫咪的头再抬高一点,用户只需将红色的点拖拽至蓝色的点就可以了:

DragGAN开源三天Star量23k,这又来一个DragDiffusion

接下来,我们想让山峰变得再高一点,也没有问题,拖拽红色关键点就可以了:

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

DragGAN开源三天Star量23k,这又来一个DragDiffusion还想让雕塑的头像转个头,拖拽一下就能办到:

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

DragGAN开源三天Star量23k,这又来一个DragDiffusion让岸边的花,开的范围更广一点:

Pippit AI Pippit AI

CapCut推出的AI创意内容生成工具

Pippit AI 133 查看详情 Pippit AI

DragGAN开源三天Star量23k,这又来一个DragDiffusion

方法介绍

本文提出的 DRAGDIFFUSION 旨在优化特定的扩散潜变量,以实现可交互的、基于点的图像编辑。

为了实现这一目标,该研究首先在扩散模型的基础上微调 LoRA,以重建用户输入图像。这样做可以保证输入、输出图像的风格保持一致。

接下来,研究者对输入图像采用 DDIM inversion(这是一种探索扩散模型的逆变换和潜在空间操作的方法),以获得特定步骤的扩散潜变量。

在编辑过程中,研究者反复运用动作监督和点跟踪,以优化先前获得的第 t 步扩散潜变量,从而将处理点的内容「拖拽(drag)」到目标位置。编辑过程还应用了正则化项,以确保图像的未掩码区域保持不变。

最后,通过 DDIM 对优化后的第 t 步潜变量进行去噪,得到编辑后的结果。总体概览图如下所示:

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

实验结果

给定一张输入图像,DRAGDIFFUSION 将关键点(红色)的内容「拖拽」到相应的目标点(蓝色)。例如在图(1)中,将小狗的头转过来,图(7)将老虎的嘴巴合上等等。

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

下面是更多示例演示。如图(4)将山峰变高,图(7)将笔头变大等等。

DragGAN开源三天Star量23k,这又来一个DragDiffusion图片

DragGAN开源三天Star量23k,这又来一个DragDiffusion

以上就是DragGAN开源三天Star量23k,这又来一个DragDiffusion的详细内容,更多请关注其它相关文章!


# 开源  # 关键词  # 这又  # 拖拽  # 想让  # 色图  # 就可以  # 图片  # 四川专业网站优化推广  # 新网站做推广赚钱吗  # 果泥市场营销推广文案  # 傲鸿网站建设  # 怎样营销推广抖音产品呢  # 外卖营销推广活动方案模板  # 惠州快速seo推广  # 利用网站积极推广产品的方法  # 手机网站推广厂家  # 开封市网站优化  # 实现了  # 参数设置  # 合上 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: drawing是什么意思  苹果16更新了哪些软件  8800日元等于多少人民币  typescript干什么的  5r是多少钱  电瓶车的power是什么意思  vue怎么连接typescript  进口超级维特拉三门版power是什么意思  苹果16送哪些配件  雅迪电动车上的power是什么意思  苹果16系统有哪些改变  如何通过命令行聊天  如何编写一个linux命令  市盈率当中17A 18E是什么意思  如何退出数据库命令行  课程伴侣登不上怎么办  皓影混动仪表盘上power是什么意思  折叠手机屏易坏吗为什么  市盈率底下 18A 19E 是什么意思  什么软件能下载夸克视频  迅达热水器显示power是什么意思  如何查看硬盘是固态硬盘  j*a数组对象怎么取  J*a数组静态怎么打  如何进入安卓命令行  春运抢票可以抢几张  typescript入门要多久  如何引用typescript中的方法  a股等权平均市盈率是什么意思  跑步机power键是什么意思  春运抢票极速版怎么抢票  硬件如何执行命令  j*a怎么用数组缓存  夸克加载什么要会员  如何用ftp连接命令行  mysql的datediff函数怎么用  solo交友软件怎么恢复聊天记录  python如何命令行换行  typescript和哪个语音很像  manager是什么意思  命令行如何打开文件  如何激活固态硬盘  什么是域名解析地址  交管12123协议头不完整怎么解决  春运抢票准备什么  三星固态硬盘如何保修  dos命令如何复制目录结构  xdm是什么意思  市盈率估值1stdv是什么意思  市盈率回落是什么意思 

搜索