最近 midjourney 用的比较多，很好奇，这背后的技术大概是怎样的。好了，那就去做一些了解吧（补充注：后来我才发现这个坑有多大…）。
除了大语言模型之外，另一个非常活跃的领域就是图片处理技术，例如文生图（Text-to-Image）、多模态模型等。除了在原有的 CNN 技术架构上，也出现了很多新的突破。虽然同样使用的是深度神经网络，但图像生成技术与大语言模型技术（LLM）是非常不同的。其模型架构不同 ，底层的数学、物理原理也非常不一样。在对大语言模型有一个框架性的了解 之后，现在打算开一个新的“坑”，当然，也就没有打算爬出来，可能就“浅尝辄止”做个最为基础的了解。一般学东西，都是从 “Why/How/What” 的顺序，但在尝试了一下，无法理解“Why”后，于是就打算绕道，看看 How 和 What 了。那么，“What”打算就从“Foward Diffusion Process”开始吧。
整个文生图（Text-to-Image）的架构是比较复杂的，其中较为“简单”、基础 的一步即位“Forward Diffusion Process”，本文从“Denoising Diffusion Probabilistic Models”论文中为例，说明这个过程。
目录
1. 概述：“FDP” 是一个加随机噪声的过程
很多地方都会说：“Forward Diffusion Process” 就是一个添加随机噪声的过程。这话对、也不对。首先，“FDP” 确实是一个添加随机噪声的过程，但是这个随机噪声添加得非常有“讲究”。我们就从“添加随机噪声”和“讲究”两个角度去介绍。
“Forward Diffusion Process” 过程的数据是用于训练神经网络（通常是一个U-Net架构）的参数的，从而最终实现其逆过程（即“Reverse Diffusion Process”），而生成图片。
1.1 添加随机噪声
“FDP” 做如下的事情：
- 先读取一张图片（这里使用的一张博客图片）
- 将图片的每个像素点取值，随机“迭代加上”一个随机值 \(N(0,1) \)
例如，我们使用论文 DDPM 中的设定对如下图片添加噪声，就可以观察到如下过程：
更为详细的：
- 1. 先读取一张图片，并将其 RGB 通道的数据读取出来
- 2. 将像素值从 [0, 255] 的整数缩放到 [0.0, 1.0] 的浮点数
- 3. 每个通道每个点随机“迭代加上”一个随机值，按照 \(N(0,1) \) 分布生成该随机值
2. “线性”添加噪声
在 Denoising Diffusion Probabilistic Models 论文中使用了“线性调度”的方式添加噪声。即添加噪声的强度“线性”的逐渐增强，这里的“线性”是指增加的噪声的“方差”线性增加。
先用更加形式化的数学语言描述上述的噪声添加，即：
$$ x_t = A x_{t-1} + B \epsilon \quad \text{where} \quad \epsilon \sim \mathcal{N}(0,1) $$
2.1 调整权重系数
直觉上，可以这样理解，在添加噪声的过程中，刚开始是清晰图片，所以噪声添加的较少，而后，随着图片变得模糊，也逐步增加了添加噪声的强度（方差）。
论文中 “线性调度” 模式做了如下设计：
$$
x_t = \sqrt{1 – \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, \mathbf{I}) \tag{1}
$$
这里的 \(\beta_t \) 是一个随着时间序列推进逐渐增大的值，从而在迭代过程中（或者说这个马尔科夫链中），逐步增加噪声在图片中的影响。论文中，\(\beta_t \) 是一个线性变换的序列，从 \(10^{-4} \)，通过1000步迭代，增加到\(0.02 \)。
2.2 计算的“简化”
上述的“公式(1)”是一个迭代计算的“数列”（或者说是“马尔科夫链”），在实际的计算中，会经常使用如下的“通项公式”计算上述的迭代“数列”：
$$
x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon \quad \epsilon \sim \mathcal{N}(0,1) \\
\text{Where} \quad \alpha_t := 1-\beta_t ,\, \bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s \tag{2}
$$
关于详细的如何从“公式(1)”严格的推导到上述表达式(2)，参考本文小结“4.5 “调度公式”的推导”。
上述的表达式，在论文中出现的形式则是：
$$
q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}}x_0,(1-\bar{\alpha_t}\mathbf{I}) ) \tag{3}
$$
这里的“公式(2)、(3)”所表达的意思是等价的。简单的说明：
- (a) \(\mathcal{N}(x; \mu \, , \sigma^2) \) 表示正态分布的随机变量 \(x \)，均值为\(\mu \) 方差为 \(\sigma^2 \)
- (b) 上述的表达式中的 \(I \) 表示单位矩阵。这是因为公式中的 \(x_t \) 是一个表示所有像素值的向量（例如，128×128的向量，即可能有16384个随机变量），\(I \) 表示协方差矩阵是一个对角矩阵，即所有随机变量都是完全独立的。
3. 代码实现
完整的代码参考：Forward-Diffusion-Process.ipynb.ipynb
3.1 读取并预处理图片
该函数输入原始图片、迭代次数、初始噪声，即 (x_0, t,noise) 。原始图片在读取后，需要做几个处理：
- 统一 Resize 到 128 x 128 像素来出来
- 按 RGB 三通道转成一个 1 x 3 x 128 x 128 的张量/数组
- 像素值从 [0, 255] 的整数缩放到 [0.0, 1.0] 的浮点数
对应代码：
# 3. 加载测试图片
url = "https://www.orczhou.com/wp-content/uploads/2025/12/IMG_1710-scaled.jpg"
img = Image.open(requests.get(url, stream=True).raw).convert("RGB")
transform = transforms.Compose([transforms.Resize((128, 128)), transforms.ToTensor()])
x_0 = transform(img).unsqueeze(0) # 变为 (1, 3, 128, 128)3.2 生成随机噪声
生成一个随机按 \(N(0,1) \) 分布的对象，与上述图片相同，即：1 x 3 x 128 x 128
noise = torch.randn_like(x_0) # 采样纯噪声 epsilon3.3 原始图片叠加噪声
噪声的叠加并不是简单的直接相加（ \(x_0 + \text{noise} \) ），而是一个迭代式的，并考虑原始图片影响的方式（线性采样考虑）：
$$
\begin{aligned}
x_t &= \sqrt{1 – \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, \mathbf{I}) \\[0.5em]
x_t &= \sqrt{\bar{\alpha}} x_0 + \sqrt{1-\bar{\alpha}}\epsilon
\end{aligned}
$$
4. 公式(1)的说明
我们再来看看 “公式(1)” 的设计：
$$
x_t = \sqrt{1 – \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, \mathbf{I}) \tag{1}
$$
为什么不用最为直观、自然的 \(1-\beta_t \) 与 \(\beta_t \) 作为上述表达式中的系数，而是使用了他们的平方根？
这个“设计”思路的根源是因为：高斯分布乘以一个常数后，其方差则为该常数的平方再乘以原来的方差。即： \(X \sim \mathcal{N}(\mu,\sigma^2) \)，那么 \(aX \sim \mathcal{N}(a\mu,a^2\sigma^2) \)。
整体上，考虑是希望在传播过程中，方差不要偏离太大。并且随着时间的推进，最终的数值是一个标准正态分布的，如果来看推迟到出来的“公式3”：
$$
q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}}x_0,(1-\bar{\alpha_t})\mathbf{I}) \tag{3}
$$
可以看到在这样的“设计”（即使用“根号”）下，最终迭代的\(x_t \) 的均值是 \(\sqrt{\bar{\alpha}}x_0 \)，方差为 \(1-\bar{\alpha_t} \)，随着\(t \)的增加，就逐步趋向于 \(\mathcal{N}(0,1) \)了。
5. 一些数学公式与推导
Diffusion 相关的数学基础还是非常、非常复杂的，而这里的公式推导看起来虽然有点复杂，但可能是整个Diffusion模型的数学基础中最为简单的部分了。这里，勉强祭出右边的图片。
我们这里还是来做一些尝试吧。
5.1 Forward Diffusion Process 公式
$$x_t = \sqrt{1 – \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, \mathbf{I}) \tag{1} $$
这个公式本身已经有一定的复杂度了，要搞清楚大概需要关注如下点：
- 这里的 \(\epsilon \) 是什么意思
- \(\beta_t \) 的计算设计
- 从“迭代公式(1)”到“通项公式(2)”
5.2 唬人的 \(\epsilon \)
多维变量的概率已经忘得差不多了…，好在这里是一些完全“独立”的随机变量，还比较好理解。我们先看看这里的： \(\epsilon \sim \mathcal{N}(0, \mathbf{I}) \)。
第一次看到这些个符号的时候，也是被“怔”了一下的，仔细一看还好。
首先，这里公式中的 \(x_t \) 是一张图片所有的像素信息，例如，如果是一张 128×128 的图片，那么所有的像素信息则是一个长度为 1 x 3 x 128 x 128 的向量。即，\(x_t \) 是一个 3 x 128 x 128 的向量。
对应的，这里的 \(\epsilon \) 也是一个这样的向量（例如， 3 x 128 x 128 的向量，而不是数学中常见的表示一个很小的值），可以这样理解，这个向量的每一个取值都是一个随机变量（例如一共 3 x 128 x 128 个随机变量），每一个随机变量都是独立的，即协方差矩阵为单位矩阵（这里的 \(\mathbf{I} \)），并且每个随机变量符合标准正态分布，即 \(\mathcal{N}(0, 1) \)。
再回头看看原公式，是不是简单了很多：
$$x_t = \sqrt{1 – \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, \mathbf{I}) $$
5.3 线性调度
再来看公式中的 \(\beta_{t} \)：
$$x_t = \sqrt{1 – \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, \mathbf{I}) $$
在原始的 Denoising Diffusion Probabilistic Models 论文中，取值如下：\( \beta_1 = 10^{-4} ,\, \beta_{T} = 0.02 \)，即均匀线性的在1000次噪声添加中，\(\beta \)均匀的从\(0.0001 \) 增长到 \(0.02 \)，即：
$$ \beta_1 = 0.0001, \beta_2 = 0.0001199, \beta_3 = 0.0001398 , … , \beta_{1000} = 0.02 $$
在 Python 中就是如下代码：
T = 1000 # 总步数
betas = torch.linspace(0.0001, 0.02, T) # 线性调度：噪声方差逐渐增大5.4 “线性调度”的真实计算式
但是，在实际的运算不会用上面的公式。而是，使用了这个版本的推导，从而更加高效，更加直觉，同时，看起来更加“抽象”，即在论文中的如下公式：
$$ q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}}x_0,(1-\bar{\alpha_t}\mathbf{I}) ) \tag{3}$$
这个版本看起来就很“唬人” ，但理解了其意思还是感觉比较“简洁”的，再理解之后，就觉得也还比较“简单”。
本质上，这公式是前面“公式(1)”的推导与快速计算版本，该公式提供了一个无需迭代计算，而直接根据\(x_0 \) 计算 \(x_t \) 的方法。其中的 \(\alpha_t := 1-\beta_t ,\, \bar{\alpha}_t = \prod_{s=1}^{t}\alpha_s \) 。
5.5 “调度公式”的推导
这里来尝试做一下“公式(1)”到“公式(2)”的推导，尝试理解以下研究者们这部分工作（也可以参考这里：Diffusion Models: A Mathematical Introduction的第14页）。
$$
\begin{aligned}
x_t &= \sqrt{1 – \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon \\[0.5em]
x_{t-1} &= \sqrt{1 – \beta_{t-1}} x_{t-2} + \sqrt{\beta_{t-1}} \epsilon \\[0.5em]
x_{t-2} &= \sqrt{1 – \beta_{t-2}} x_{t-3} + \sqrt{\beta_{t-2}} \epsilon \\[0.5em]
\quad &\vdots & \\[0.5em]
x_{1} &= \sqrt{1 – \beta_{1}} x_{0} + \sqrt{\beta_{1}} \epsilon \\[0.5em]
\end{aligned}
$$
所以：
$$
\begin{aligned}
x_t &= \sqrt{1 – \beta_t} (\sqrt{1 – \beta_{t-1}} x_{t-2} + \sqrt{\beta_{t-1}} \epsilon) + \sqrt{\beta_t} \epsilon \\[0.5em]
&= ( \sqrt{1 – \beta_t}\sqrt{1 – \beta_{t-1}} )x_{t-2} + ( \sqrt{1 – \beta_t}\sqrt{\beta_{t-1}} )\epsilon + \sqrt{\beta_t} \epsilon
\end{aligned} \tag{4}
$$
接下去看看上面等式的后面两部分：
$$ ( \sqrt{1 – \beta_t}\sqrt{\beta_{t-1}} )\epsilon + \sqrt{\beta_t} \epsilon \tag{5}$$
这里并不是简单的加法，而是两个独立概率分布的加法：如果概率基础还在的话，就有如下的公式，两个独立的高斯分布（例如：\(X \sim \mathcal{N} (\mu_X ,\sigma^2_X ) \quad Y \sim \mathcal{N} (\mu_Y ,\sigma^2_Y ) \)）的随机变量之和，其结果依旧是高斯分布，并且均值依据是两个均值的和、方差也是两个方差的和（ \(X+Y \sim \mathcal{N} (\mu_X + \mu_Y ,\sigma^2_X + \sigma^2_Y ) \) ）。
注意上面的表示 \(\sqrt{\beta_t}\epsilon \) 中，\(\sqrt{\beta_t} \) 是标准差，方差即 \(\beta_t \)。
所以上面“公式(5)”两个分布的和，依旧是高斯分布，且均值依旧是 0，方差则为 \((1-\beta_t)\beta_{t-1}+\beta_t \)，即有了如下看似错误的，但是却是正确的推导：
$$
( \sqrt{1 – \beta_t}\sqrt{\beta_{t-1}} )\epsilon + \sqrt{\beta_t} \epsilon = \sqrt{(1-\beta_t)\beta_{t-1}+\beta_t} \epsilon
$$
其实上面并不是一个一般意义的“等式”，而是表达了如下的含义：
$$
( \sqrt{1 – \beta_t}\sqrt{\beta_{t-1}} )\epsilon + \sqrt{\beta_t} \epsilon \sim \mathcal{N}(0,(1-\beta_t)\beta_{t-1}+\beta_t)
$$
有了这里的理解，就以继续上面公式(4)的推导就非常容易有如下的结论了：
$$
\begin{aligned}
x_t &= \sqrt{1 – \beta_t} (\sqrt{1 – \beta_{t-1}} x_{t-2} + \sqrt{\beta_{t-1}} \epsilon) + \sqrt{\beta_t} \epsilon \\[0.5em]
&= ( \sqrt{1 – \beta_t}\sqrt{1 – \beta_{t-1}} )x_{t-2} + ( \sqrt{1 – \beta_t}\sqrt{\beta_{t-1}} )\epsilon + \sqrt{\beta_t} \epsilon \\[0.5em]
&= \sqrt{\alpha_t\alpha_{t-1}}x_{t-2} + \sqrt{1-\alpha_t\alpha_{t-1}} \epsilon \\[0.5em]
&\vdots \\[0.5em]
&=\sqrt{\alpha_t\alpha_{t-1}\cdots\alpha_1}x_{0} + \sqrt{1-\alpha_t\alpha_{t-1}\cdots\alpha_{1}} \epsilon \\[0.5em]
&= \sqrt{\bar{\alpha_t}}x_0 + \sqrt{1-\bar{\alpha_t}} \epsilon \\[0.5em]
\text{where}\, \alpha_t &:= 1-\beta_t ,\, \bar{\alpha_t} = \prod_{s=1}^{t}\alpha_s
\end{aligned}
$$
即有了最终的公式：
$$
x_t = \sqrt{\bar{\alpha_t}}x_0 + \sqrt{1-\bar{\alpha_t}} \epsilon \\
\text{where}\, \alpha_t := 1-\beta_t ,\, \bar{\alpha_t} = \prod_{s=1}^{t}\alpha_s
$$
5.6 在Python中的实现
了解了上面这些，再看这些代码就很简单了：
T = 1000 # 总步数
betas = torch.linspace(0.0001, 0.02, T) # 线性调度：噪声方差逐渐增大
# 计算中间变量
alphas = 1. - betas
alphas_cumprod = torch.cumprod(alphas, axis=0) # 对应公式中的 alpha_bar以及最后的 Forward Diffusion Process 计算：
sqrt_alphas_cumprod_t = torch.sqrt(alphas_cumprod[t]) # 信号系数
sqrt_one_minus_alphas_cumprod_t = torch.sqrt(1. - alphas_cumprod[t]) # 噪声系数
# 核心公式实现
return sqrt_alphas_cumprod_t * x_0 + sqrt_one_minus_alphas_cumprod_t * noise, noise6. 微分方程角度的考虑
从随机微分方程的角度考虑 “DDPM” 模型是该模型发布之后的事情了，我们这里先看看这个随机微分方程的“漂移/Drift”部分与上述迭代式子的关系。
先不考虑“随机项”的增加，那么在设计时，希望随着时间步骤的迭代，变化的速率逐渐增加，即迁移变化慢，后期变化快，即考虑在微分方程的右侧增加一下 \(\beta(t) \)，该函数随着时间增加而增加，最为常见的即为线性增长（对应于“线性调度”）。此外，该变化率应该与当前值有关，当前值越大，则变化率应该越大；并且期望最终迭代结果趋向于零（即均值最终为零的正态分布），就有最终的微分方程设计：
$$ \frac{dx}{dt} = -\frac{1}{2}\beta(t)x \tag{5} $$
说明：
- 方程右侧的负号，表示总是朝着x取值相反的方向移动，即总是朝着原点方向移动
- \(\beta(t)x \)则表达了上述的两个关于“变化率”大小的意图
该微分方程的迭代解就有如下的迭代表达式：
$$
\begin{aligned}
&x_{t} – x_{t-1} = -\frac{1}{2}\beta(t)x_{t-1} \\[0.5em]
&x_{t} = x_{t-1} -\frac{1}{2}\beta(t)x_{t-1} \\[0.5em]
&x_{t} = (1 -\frac{1}{2}\beta(t))x_{t-1} \\[0.5em]
\end{aligned}
$$
很神奇的是，在\(\beta \)很小的时候，根据泰勒展开有：
$$
\sqrt{1-\beta} = 1 – \frac{1}{2}\beta – \frac{1}{8}\beta^2 + \cdots
$$
最终就有：
$$
x_{t} = \sqrt{1-\beta_t}x_{t-1}
$$
这里就可以从“微分方程”的角度去理解上述的 stable diffusion 中 Forward Diffusion Process 中前半部分了。
7. 小结 FDP
在了解 What 中，也在慢慢理解 How 以及Why 。这里再次从宏观上概述 FDP 的过程，从而跳出上述的 What 细节，再次审视这个过程。
7.1 首先，为什么需要 “Forward Diffusion Process” ？
简单回答：给样本添加噪声，构建训练数据。
“Forward Diffusion Process” 过程的数据主要用于训练，对于一个给定的图片，逐步添加噪声，最后让其变成一张纯粹的、高斯分布的噪声。而这个过程的数据，则可以用于训练 U-Net 的神经网络，让该U-Net具备一个神奇的能力：即给出一张图片（带有噪声的），该 U-Net 可以预测出这张图片中有哪些是噪声。
7.2 “Forward Diffusion Process” 操作的数学计算
其核心公式如下：
$$
x_t = \sqrt{1 – \beta_t} x_{t-1} + \sqrt{\beta_t} \epsilon, \quad \epsilon \sim \mathcal{N}(0, \mathbf{I})
$$
经过推导，等价与如下公式（关于公式的推导：Forward Diffusion Process）：
$$
x_t = \sqrt{\bar{\alpha_t}} x_0 + \sqrt{1-\bar{\alpha_t}}\epsilon \quad \epsilon \sim \mathcal{N}(0,1) \\
\text{Where} \quad \alpha_t := 1-\beta_t ,\, \bar{\alpha_t} = \prod_{s=1}^{t}\alpha_s \tag{a}
$$
在论文中可能看到的形式：
$$
q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}}x_0,(1-\bar{\alpha_t}\mathbf{I}) )
$$
对于一张照片实际做上述操作则有如下效果：
关于上述公式的一些重要特性：
- 经过若干次迭代后，一张清晰的图片最终变成一张“随机”噪声图片，这里的“随机”是指的正态分布
- 从“公式(a)”可以看到，逐步迭代和多步合并迭代有一样的效果。当然，为了获得训练数据，总是逐步迭代
