如果要理解大模型内部是如何工作的，良好的数学基础是必须的，而线性代数又是所有这些的基础。例如我们来看 \(\text{Attention} \) 机制中的如下问题。

1. 为什么要重温线性代数

考虑第 \(j \) 个 \( \text{Layer} \) 中的第 \( i \) 个 \( \text{Head} \) ，则有如下的计算（为了简化，下述的角标省略了 \( \text{Layer} \) 部分）：

$$
\begin{aligned}
Q_i &= XW_i^Q \\[0.3em]
K_i &= XW_i^K \\[0.3em]
\text{Therefore:} \\[0.3em]
\text{Attention Score}_i &= Q_iK_i^T \\[0.3em]
&= XW_i^Q(XW_i^K)^T \\[0.3em]
&= XW_i^Q\big((W_i^K)^T X^T\big) \\[0.3em]
&= XW_i^Q(W_i^K)^T X^T \\[0.3em]
&= X\big(W_i^Q (W_i^K)^T\big) X^T \\[0.3em]
\text{Let:} \quad \\[0.3em]
W_i^{QK} &= W_i^Q (W_i^K)^T \\[0.3em]
\text{Therefore:} \\[0.3em]
\text{Attention Score}_i &= XW_i^{QK} X^T \\[0.3em]
\end{aligned}
$$

注：上述的推导使用矩阵的一些简单特性，包括转置计算、结合律等。其中，在开源的GPT2模型中，\(W_i^Q \,, W_i^K \) 都是 \(64 \times 768 \)的矩阵。

这里一个简单、又不太简单的问题是：那为什么每一个 \( \text{Head} \) 中不使用一个权重 \( W_i^{QK} \) 就可以了？这个问题从我第一次看明白 \( \text{Attention} \) 的计算后，困扰了我一会儿，直到重温了线性代数，才算是理解了上述的计算。

大学时学习线性代数学得非常痛苦，而现在带着问题再去看这本书，竟然花了两个晚上就看完了。这里对里面的基本概念和结论做个梳理，以更好的理解什么是“线性变换”、与矩阵的关系是什么、如何研究一个线性变换或矩阵的性质等。

本系列主要以介绍线性代数的“直觉”为主，不会做任何证明，为了更好的阐述“直觉”，甚至牺牲了很多的数学严谨，看客也需要从构建“直觉”与“联系”的角度阅读。本文的阅读前提是已经有一定的线性代数的基础、也对神经网络/LLM技术有一定了解，那么本文则尝试通过较小的篇幅去构建两者的联系，看看如何使用线性代数的技术去研究神经网络的中的问题。

2. 线性代数讨论的主要问题

通常“线性代数”课程会从 \(n\) 元一次线性方程组引入，并使用行列式理论，去较为彻底的回答如何解决 \(n\) 元一次线性方程组。更进一步的，为了更好/更完整的研究 \(n\) 元一次线性方程组的“解空间”，则需要引入一个新的研究对象：“向量空间”。而向量空间本身所具备的普遍性，已经远超出 \(n\) 元一次线性方程组本身。而后，“向量空间”、“线性变换”就变成了新的研究对象，因为现实问题中，我们经常会尝试通过“线性变换”来洞察向量空间中向量的关系。

是不是感觉上面描述漏了什么？是的，漏了“矩阵”。无论是讨论 \(n\) 元一次线性方程组还是“向量空间”或“线性变换”，矩阵都是“核心”工具。这个工具“核心”或者说重要到什么程度呢？甚至很多问题，只需要研究清楚对应“矩阵”的特性，原来的问题就研究清楚了。所以，你会注意到，线性代数的书中，几乎全都在介绍“矩阵”的各种特性。

而各种 \( \text{Embedding} \) 就可以理解为是在最为典型的欧氏空间中的向量。

3. \(n \) 元一次方程组的解

线性代数通常都会以解“\( n \)元一次方程组”为切入点，这个问题看似很简单，但是最终要完全讨论清楚，则需要很多篇幅。这也是“线性代数”前半部分比较枯燥的原因。整体上来看，关于“\( n \)元一次方程组”的解需要讨论清楚几个问题：

• (a) \( n \)元一次方程组的解是否存在？
• (b) 如果存在，如何求解
• (c) 如果解不存在，充要条件是什么
• (d) 如果有解，那么所有的解如何表达

在探讨上述问题的时候，先是引入了“行列式”、“矩阵”的概念与理论，并通过矩阵的“初等变换”实现对上述问题的求解。这里涉及到的概念延伸出了：

• (a) 矩阵的初等变换
• (b) 矩阵的秩等

这里我们列举一些主要的结论（并不做推倒，推倒过程还是非常复杂的，这也正是线性代数书比较枯燥的原因之一）。这里考虑如下的线性方程组：

$$
a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n = b_1, \\
a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n = b_2, \\
\quad\vdots \\
a_{m1}x_1 + a_{m2}x_2 + \cdots + a_{mn}x_n = b_m.
$$

结论： 线性方程组有解的充分必要条件是：它的系数矩阵与增广矩阵有相同的秩。

结论： 线性方程组系数矩阵和增广矩阵的秩都是\( r \)，方程组的未知数的个数是\( n \)，如果：

• \( r = n \) 则线性方程组有唯一解
• \( r < n \) 则线性方程组有无穷组解

上述两个定理较为彻底的回答了解存在性的问题。那么，解的公式化表达是怎样的呢？为了略微简化问题，这里考虑仅考虑\( n \)个方程、\( n \)个未知数，且解唯一的情况：

$$
\begin{cases}
a_{11}x_1 + a_{12}x_2 + \cdots + a_{1n}x_n = b_1, \\
a_{21}x_1 + a_{22}x_2 + \cdots + a_{2n}x_n = b_2, \\
\quad\vdots \\
a_{n1}x_1 + a_{n2}x_2 + \cdots + a_{nn}x_n = b_n
\end{cases}
\quad\Longleftrightarrow\quad
\begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n} \\
a_{21} & a_{22} & \cdots & a_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
a_{n1} & a_{n2} & \cdots & a_{nn}
\end{bmatrix}
\begin{bmatrix}
x_1 \\ x_2 \\ \vdots \\ x_n
\end{bmatrix}
=
\begin{bmatrix}
b_1 \\ b_2 \\ \vdots \\ b_n
\end{bmatrix}
$$

形式化的解，则可以由两种方式给出：

注意：上述的两种表达，无论哪种，限制条件都非常苛刻，即要求：矩阵\( A \)可逆或者行列列式\(D \neq 0\)，当然，这两个条件式等价的。并且，这里的\(D\)也经常写作：\( det(A) \)。

4. 矩阵基础与部分结论

虽然是为了求解线性方程组才引入矩阵的，但很快就会意识到，对矩阵本身特性的研究有着更为广泛的应用。

首先，在定义了矩阵的运算之后，很快就会有一些矩阵的运算律。例如，加法的结合律、交换律、分配律等。这里，矩阵的乘法是重点，且略微复杂一些：

• 首先，首先矩阵的乘法是不满足交换律的
• 很幸运，结合律和分配律都是满足的
• 再次，对于转置运算，是满足如下形式的：\( (AB)^T = B^TA^T \)

结论： 线性方程组的初等变换，对应着三个初等变换矩阵：\( P_{ij} \)、\( D_i(k) \)、\( T_{ij}(k) \)，且这三个初等变换矩阵都是可逆的。

结论： 一个\( m \times n\)的矩阵\( A \)总是可以通过初等变换化为以下形式的矩阵：

$$ \bar{A} = \begin{bmatrix}
I_r & O_{r,\,n-r} \\
O_{m-r,\,r} & O_{m-r,\,n-r}
\end{bmatrix} $$

这里，\(I_r\)是\( r \)阶单位矩阵，\(O_{st}\)表示\( s\times t\)的零矩阵，\( r \)等于矩阵\(A\)的秩。

结论：\(n \) 阶矩阵\( A \)可逆，当且仅当\( A \)的秩等于\( n \)。

如何求解矩阵的逆：有了这些结论，那么对于一个可逆矩阵要求其逆矩阵，则可以有些办法：即对一个矩阵实施一系列的初等变换，将其变为单位矩阵。而同时，在开始的时候，就将所有的这些初等变换作用在一个单位矩阵上。最后，当原矩阵变为单位矩阵的时候，后面的单位矩阵就变成原矩阵的逆了。

结论： 两个矩阵乘积的秩，不大于任何一个矩阵的秩。特别的，如果有一个矩阵是可逆的，则乘积的秩则等于另一个矩阵的秩。

结论： 一个矩阵的行空间的维数等于列空间的维数，等于这个矩阵的秩。

5. 再看看前面的问题

$$
\begin{aligned}
\text{Attention Score}_i = XW_i^{QK} X^T \quad \text{where} \,,W_i^{QK} = W_i^Q (W_i^K)^T
\end{aligned}\tag{1}
$$

$$
\text{Attention Score}_i = Q_iK_i^T = XW_i^Q(XW_i^K)^T \tag{2}
$$

在上面的计算(1) 和 计算(2)，那么在模型中训练 \(W_i^{QK} \) 和 在模型中训练单独训练 \(W_i^Q \,,W_i^K \) 是否是等价的？

答案是否定的。

这里以 GTP2 模型为例，原因在于如果单独训练 \(W_i^{QK} \) ，那么这个矩阵的秩，则很可能是 768 ；而单独训练 \(W_i^Q \,,W_i^K \)，这两个矩阵的秩则一定小于 64，这两个矩阵的乘积的秩也一定是 64 （严格来说是小于等于）。所以最终训练获得的效果一定是不同的。当然，哪个更好，这倒不一定，但他们并不是等价的。

一般意义来说，使用 \(W_i^{QK} \) 可能有着更强的表达能力，只是意义没有那么明确，并且训练的参数要更多。