扩散模型相关论文阅读，扩散模型和知识蒸馏的结合提升预测速度：Progressive Distillation for Fast Sampling of Diffusion Models

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

推荐使用：PyTorch实现的"渐进式蒸馏快速采样扩散模型(v-diffusion)" 去发现同类优质开源项目:https://gitcode.com/ 在深度学习领域，v-diffusion 是一种利用进步蒸馏方法提升扩散模型采样效率的技术。这款开源的 PyTorch 实现不仅提供了对原论文算法的详细复现，还添加了一些实用的功能以简化模型优化和应用。 1、项目介绍 这个项目名...

AI综述（大模型驱动）：本文结合了传统模型的迭代重塑和现代传播模型,提出了一种高度有效的方法来解决3D医疗图像重构任务,如密集视觉成像、有限视角成像、压缩反射核磁共振雷达。AI综述（大模型驱动）：大规模文本到图的传播模型在人工智能的进步中取得了令人惊叹的飞跃,允许从给定的文本 prompt中产生高品质和多样化的图像。作者：Binxin Yang,Shuyang Gu,Bo Zhang,Ting Zhang,Xuejin Chen,Xiaoyan Sun,Dong Chen,Fang Wen。

这些论文不仅对扩散模型的发展做出了重要贡献，还为该领域的后续研究提供了坚实的理论基础和技术路线。如果你有更多具体的研究兴趣或问题，可以详细阅读这些论文。在扩散模型领域，有几篇论文被认为是经典和奠基性的。

【Paper】【Code】能够蒸馏无分类器引导的扩散模型。分为两阶段蒸馏，第一阶段用一个学生模型匹配无分类器扩散模型的输出xθwzt1wxcθzt−wxθztxθw​zt​1wxcθ​zt​−wxθ​zt​；为了引入制导权重www，这里提出了一个www-conditioned model其中www作为学生模型的输入。为了更好地捕获特征，将傅立叶嵌入应用于www。

在 AI 画图的领域，人们一直关注的是扩散模型，人们一直在尝试不断改进，推出了 Stable Diffusion、Midjourney、DALL-E 等技术，并在其基础上构建应用。不过最近，OpenAI 提出的全新生成模型看起来要让这一领域经历一场革命。作者阵容也非常强大，有本科毕业于清华大学数理基础科学班、目前在 OpenAI 担任研究员的宋飏。

我们考虑在一个由先验p(x)和辅助可微约束c(x,y)组成的模型中推断高维数据的问题。在本文中，先验是一个独立训练的去噪扩散生成模型。辅助约束预计具有可微形式，但可以来自不同的来源。这种推断的可能性将扩散模型转化为即插即用模型，从而允许在适应模型的领域和任务（如条件生成或图像分割）方面的一系列潜在应用。

扩散模型将生成高维分布数据的困难任务分解为许多去噪任务，每个任务都相对容易得多。我们训练它们一次解决其中一个任务。为了抽样，我们顺序进行多次预测。这种迭代细化是它们强大能力的来源。……真的是这样吗？近期关于扩散模型的很多论文都集中在减少所需的抽样步骤上；一些工作甚至旨在实现单步抽样。当将任务分解为许多更简单的步骤被认为是这些模型首先能够如此良好工作的原因时，这似乎有点违反直觉！在这篇博客文章中，让我们更仔细地看看减少扩散模型获取好结果所需的抽样步骤的各种方法。

©作者 |邢宇杰单位 |北京邮电大学来源 |北邮 GAMMA Lab前言随着 Stable Diffusion 在 AI 绘图领域取得巨大成功，扩散模型（Diffusion Model）作为当下最强大的一类生成模型，引起了 AI 研究者广泛的兴趣。扩散模型最早可追溯到 ICML'15 的一篇论文《Deep Unsupervised Learning using Nonequilibrium ...

斯坦福大神让扩散模型玩转自然语言生成

【计算机视觉 | 扩散模型】新论文 | DragGAN论文：如果甲方想把大象 P 转身，你只需要拖动 GAN 就好了

DDMP 中把正向扩散和逆扩散以及生成（采样）过程都看成是一个马尔科夫链，每一步扩散都与上一步产生的数据有关。因为是在近似拟扩散过程，所以每一步的扩散率必须要取值很小，故扩散步数取值必须要大（比如T=1000），而导致模型执行耗时过大。DDIM则通过观察优化目标中的特性，在满足和DDPM 同样的边缘分布下，提出了非马尔科夫过程来进行生成（采样），从而大幅度加速了模型，并且还具有生成一致性。

为了解决采样（推理）速度慢，模型计算量大的问题，本文提出了ResShift方法，该方法将扩散模型最终步由白噪声转变为LR图像，同时是在Latent Space空间进行该操作，两个操作都有效降低了计算量，加快了推理速度，同时该方法提出了一个噪声表（schedule），能够有效控制扩散过程中的噪声强度和转换速度，也可有效控制保真度-真实性trade-off。引入了一个可控的特征包装(CFW)模块，给定LR特征的信息Fe和来自固定解码器的特征Fd，以残差的方式获得一个调优的特征Fm。论文地址：（V2版）

我们提出了一种方法，将复杂的多步扩散模型蒸馏为单步条件 GAN 学生模型，从而显著加快推理速度，同时保持图像质量。我们的方法将扩散蒸馏解释为成对的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了高效计算回归损失，我们提出了 E-LatentLPIPS，这是一种直接在扩散模型的潜在空间中运行的感知损失，利用一组增强。此外，我们调整了扩散模型来构建具有文本对齐损失的多尺度鉴别器，以构建有效的基于条件 GAN 的公式。

diffusion模型详解

Understanding Diffusion Models: A Unified Perspective，论文阅读笔记