LLM 强大的语言、知识与推理能力在改变很多领域，也将持续、深入的改变更多领域。在软件领域，“Agent” 的编程模型已经是一种新的编程模式，通过这种“模式”可以将 LLM 的能力，软件提供商的领域知识，以及外部工具的能力很好的结合起来，形成“新的”软件产品。

概述

GAIA Benchmark 是 Agent 方向的一个标准测试，用于对 Agent 的通用能力进行测试，回答该 Benchmark 的问题通常需要具备一定的推理能力、Web搜索能力以及语音、图片识别，或者是这些能力的混合。这里实现一个能够解决其中60%的Level 1级别问题的 Agent 作为实践，看看 Agent 构建中的一些挑战和应对。

本文完整的代码发布并运行在 🤗 Hugging Face 上：Agent Answering Questions。

使用LangGraph构建Agent

这里选择了工具体系更加完善的 LangGraph 作为实现框架。该框架通过构建一个“图”的方式来实现流程的推进。在实际的问题解决过程中，程序按照 LLM 的推理来在不同的“Node”之间推进，从而最终找到问题的答案。解决 Gaia 的 Level 1 的问题，大部分情况，只需要通过工具调用和LLM的推理，就可以完成。所以这里使用经典的工具模型：

这里的工具包含了常见的：网页访问、搜索工具。此外，在最初实现 GAIA Benchmark 中还会涉及部分语音识别的部分，为了简化，这里做了删减。所以，基于这个程序，还可以进一步添加“语音识别”能力、“图片识别”、“实时数据获取”等功能。

构建LangGraph的“图”

首先，在开始之前，需要设计一个解决问题的上述的“图”。“图”中需要定义各个点“Nodes”；然后构建“Nodes”之间的“边”（即流转方向）；最后，需要设计好“状态”（State），用于在各个“Nodes”之间传递数据（或运行状态）。

构建“节点”

“节点”通常是定义的某种功能，或者是一个自定义的函数或者工具。

这里向大模型提供了三个工具：搜索、网页访问（此外，还可以有语音转文本、图片识别等）。在这里，主节点“analysis”是问题处理的主逻辑部分，会根据工具调用结果，再次调用大模型，并获得大模型的反馈。大模型会根据这个反馈，去继续调用工具或者返回最终的结果。

#######  tools and tools node  #######
from z_http_request import get_http_request
from z_search import tool_google_search,search_information_from_web
from z_extract_audio import extract_audio_from_url

tools = [tool_google_search,get_http_request,extract_audio_from_url]

builder.add_node("tools", ToolNode(tools))

def analysis(state: AgentState):
    ...
    return {"messages": [response]}

builder.add_node("analysis", analysis)

构建“边”

“边”代表了节点之间的流转。例如，获得了搜索结果之后该怎么做后续处理？这里定义三条边：

• builder.add_edge(START, "analysis") 表示总是从“analysis”开始任务的处理。START可以理解为零号节点
• 第二个“边”，则表示 “analysis” 则需要根据条件进行判断，进入哪个工具节点；或者进入END节点，即结束调用
• 第三个“边”，表示工具调用后，总会回到 “analysis” 节点

############  edges   ################
builder.add_edge(START, "analysis")
builder.add_conditional_edges(
    "analysis",
    # If the latest message requires a tool, route to tools
    # Otherwise, provide a direct response
    tools_condition,
)
builder.add_edge("tools", "analysis")

状态保存与流转

节点之间的运行状态与数据可以通过“AgentState”进行流转，这里的“messages”则用于保存历史消息，主要是大模型的输入与输出数据：

#############   state    #############
class AgentState(TypedDict):
    task_id : str
    question: str
    file_name: str
    file_url: str
    messages: Annotated[list[AnyMessage], add_messages]

编译并“实例化”该Agent

如下的builder.compile()则会创建并实例化该 Agent 。还可以通过函数get_graph来生成一个由mermaid表示的“图”（如果你需要打印这个图的话）：

######### compile the agent ##########
zex_vs_gaia_graph = builder.compile()

######### print the graph   ##########
display(Image(zex_vs_gaia_graph.get_graph(xray=True).draw_mermaid_png()))

解决问题的过程分析

当构建了上述的“Agent”之后，我们看看它是如何解决一个实际的问题的。这里给出的问题是：

推理过程

在这里为了看看“Agent”内部的推理过程，我们将其过程展示如下，如下为消息流：

Agent 构建过程中的一些经验

Token 数量控制

对于此类通用“Agent”，有过实践经验的都知道，真的非常消耗“Token”。一个网页访问、一个搜索结果可能都需要数千甚至数万的“Token”，有时候，获得一个问题的答案需要数次搜索和页面访问，那么一个问题就可能消耗数万“Token”，这大概也是“Manus”定价有一定门槛的重要原因，所以，在构建“Agent”需要在过程中监控“Token”的数量使用。

包括，监控每次与LLM交互过程中的“Token”使用，以及工具调用中诸如图片、语音分析时等工具涉及的“Token”使用等。必要的时候，则需要进行“截断”处理，一方面是的“Token”数量不超过窗口上限，另一方面也可以适当节省“Token”，但这时候，也需要注意，截断后的内容可能会损失重要信息，导致推理失败，也需要做好这方面的异常处理。

多模模型还是多个模型

当同时需要处理文本、语音、图片等多种数据时，是选择一个多模模型处理，还是选择多个不同的专有模型处理？这里给出的经验是：可以选择多个模型处理。

不同的模型在训练的时候，尤其是微调阶段，都是面向特定类型任务的，这就很大程度上决定了模型适合的场景。在当前阶段，由于各个专有模型通常都有更好的准确度，更强的垂直场景适配能力等。各个模型平台都提供了非常方便的模型接口和接入能力，所以，推荐使用多个模型处理。

这里没有单独去做测试，但专有模型处理速度更快、效果更好是有直观感受的。

这里需要注意的是，基础的文本生成、推理模型最好还是使用“OpenAI”的模型，在开发中注意到，LangGraph对于“OpenAI”或其兼容接口的模型有着最好的兼容性。例如，如果使用HuggingFace Hub的Endpoint模式，则可能会无法简单的实现工具绑定（参考：LangGraph fails to make tool calls with models hosted via TGI.）。而对于独立的语音、图片等专有的场景的推理，则可以独立的使用HuggingFace的Endpoint模式。

Google 搜索还是 DuckDuckGo

DuckDuckGo 提供了非常低的搜索上手门槛，但经过一些实践，还是发现Google有着更好的搜索质量。这种好的搜索质量，可以再某些情况下，非常快速的帮助Agent找到目标答案。

但是，Google使用起来要稍微麻烦一些，需要一个Google的搜索API KEY，还需要一个Google Cloud的API KEY，好在都是一次性配置的工作。

所以，在初次实现时可以先试用DuckDuckGo，再后续改进的时候再更换搜索工具。

其他说明

因为这里会使用大模型去调用网页，那么在设计时，是需要注意一些安全问题的。例如，有的网站的服务或者说“Action”可能都是通过“http”服务的方式提供的，那么，这里的“网页访问”可能具备潜在的“操作”能力。

此外，要完成一个更具实践价值的功能，则通常还需要更多能力，例如提供多轮对话、记忆能力等功能，依据此则可以构建成一个更为企业化能力的“Agent”。

在 \( \text{Attention} \) 机制（或 \( \text{Multi-Head Attention} \) ）中我们会看到这样的变换：\( \text{Attention} = softmax(\frac{Q_iK_i^{T}}{\sqrt{d}}) \)，其中这里 \( Q_i = XW_i^Q \) 那么如何理解这里的 \( XW_i^Q \) 呢？ 该变换是向量空间内一个典型的线性变换，而这里的 \( W_i^Q \) 就是对应的线性变换矩阵，在早期 GPT 模型中该矩阵是一个\( 768 \times 64\) 的矩阵，研究该矩阵的典型方法就可以使用 \( \text{SVD} \) 分解，本文展示了简单的二维空间中 \( \text{SVD} \) 分解以及对应的几何意义，从而可以较好的帮助理解上述计算的深层次含义。

关于奇异值分解（\( \text{SVD} \)）能够解决的问题这里不再详述。本文通过展示对于平面空间中的线性变换进行奇异值分解，从而观察该分解如何通过“几何”的方式描述一个线性变换，从而建立对线性变换的直观理解。本文的示例是一个\( 2 \times 2\)的矩阵，所以还补充了对该矩阵的特征值/特征向量的计算，从而对比这两种方法在处理“方阵”时的异同。

1. 概述

本文通过对二维空间中的一个线性变换（满秩方阵） \( A = \begin{bmatrix} 1 & 2 \\ 2 & 1 \end{bmatrix} \) 进行 \( \text{SVD} \) 分析、特征值/特征向量分析，从而建立在平面空间中对于线性变换的直觉理解，更进一步的理解\( \text{SVD} \)和特征值/特征向量分别是如何描述一个线性变换的。具体的，这里观察了在该线性变换的作用下，一个点 \( (1,0) \) 是如何在两种矩阵变换下，映射到目标点的。

2. 奇异值分解

2.1 矩阵A的两种 SVD 分解

奇异值分解并不是唯一的。从几何的角度理解，一个二维空间的线性变换，是由旋转、反射、缩放组成，而先旋转、或先反射都是可以的，而这对应的就是不同的奇异值分解。考虑上述的矩阵 \( A = \begin{bmatrix} 1 & 2 \\ 2 & 1 \end{bmatrix} \) 进行 \( \text{SVD} \)，我们有如下两种分解（关于具体的分解方法，本文并不详述）。

第一种分解：

$$ A = \begin{bmatrix}
1 & 2 \\
2 & 1
\end{bmatrix} = UΣV^T =\begin{bmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{bmatrix}\begin{bmatrix}
3 & 0 \\
0 & 1
\end{bmatrix}\begin{bmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}
\end{bmatrix}
$$

第二种分解如下：

$$ A = \begin{bmatrix}
1 & 2 \\
2 & 1
\end{bmatrix} = UΣV^T =\begin{bmatrix}
-\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
-\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{bmatrix}\begin{bmatrix}
3 & 0 \\
0 & 1
\end{bmatrix}\begin{bmatrix}
-\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}
\end{bmatrix} $$

2.2 分解1的几何意义与图示

$$ A = \begin{bmatrix}
1 & 2 \\
2 & 1
\end{bmatrix} = U\Sigma V^T = \begin{bmatrix}
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{bmatrix}\begin{bmatrix}
3 & 0 \\
0 & 1
\end{bmatrix}\begin{bmatrix}
\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}
\end{bmatrix}
$$

考虑：

\( V^T = \begin{bmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}\end{bmatrix} \) 形式与 \( \begin{bmatrix} \cos \varphi & \sin\varphi \\ \sin\varphi & -\cos \varphi \end{bmatrix} \) 相同，故，此为关于直线 \( y = (\tan\frac{\varphi}{2})x \) 的反射^[附录1]。

\( \Sigma = \begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix} \) 表示将点、向量的坐标进行缩放。

\( U = \begin{bmatrix} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix} \) 形式与 \( \begin{bmatrix} \cos \varphi & -\sin\varphi \\ \sin\varphi & \cos \varphi \end{bmatrix} \) 相同，故，此为一个逆时针 \( \varphi \) 度的旋转^[附录1]。

即，上述的线性变换可以做这样的理解：

• 先将点以\( y=\tan\frac{45}{2}x = (\sqrt{2}-1)x \)为轴进行反射
• 然后将坐标第一个分量放大3倍
• 最后再逆时针旋转\( 45^{\circ} \)

考虑坐标上的点\( \alpha = \begin{pmatrix} 1 \\ 0 \end{pmatrix} \)，我们看看如何经过该线性变换，映射到目标点：

2.3 分解2的几何意义与图示

$$ A = \begin{bmatrix}
1 & 2 \\
2 & 1
\end{bmatrix} = UΣV^T =\begin{bmatrix}
-\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
-\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}
\end{bmatrix}\begin{bmatrix}
3 & 0 \\
0 & 1
\end{bmatrix}\begin{bmatrix}
-\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}}
\end{bmatrix} $$

考虑：

\( V^T = \begin{bmatrix}-\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{bmatrix} \) 形式与 \( \begin{bmatrix} \cos \varphi & -\sin\varphi \\ \sin\varphi & \cos \varphi \end{bmatrix} \)相同，故，此为一个逆时针 \( \varphi = 135^{\circ} \) 度的旋转^[附录1]。

\( \Sigma = \begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix} \) 表示将点、向量的坐标进行缩放。

\( U = \begin{bmatrix} -\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \end{bmatrix} \) 形式与 \( \begin{bmatrix} \cos \varphi & \sin\varphi \\ \sin\varphi & -\cos \varphi \end{bmatrix} \) 相同，故，此为关于直线 \( y = (\tan\frac{\varphi}{2})x \) 的反射^[附录1]。

即，上述的线性变换可以做这样的理解：

3. 特征值与特征向量

因为这里的\( A \)是一个 \( 2 \times 2 \) 的方阵，故可以使用特征值与特征向量来洞察这个线性变换的本质。

对于该矩阵的特征值、对应的特征向量计算结果如下：

• 对于特征值 \( \lambda_1 = 3 \) 时，特征向量为 \( (\frac{1}{\sqrt{2}}, \frac{1}{\sqrt{2}}) \)
• 对于特征值 \( \lambda_2 = -1 \) 时，特征向量为 \( (\frac{1}{\sqrt{2}}, -\frac{1}{\sqrt{2}}) \)

依旧，这里我们来考虑向量 \( \alpha = \begin{pmatrix} 1 \\ 0 \end{pmatrix} \) 在这两个特征向量方向上作用后的效果。

4. 小结

在这种情况下（注：线性变换矩阵为一个 \( 2 \times 2 \)的满秩矩阵）， 我们可以使用奇异值分解\( \text{SVD} \)、特征值计算的方式来洞察这个线性变换的“本质”。两种方法各有一些优缺点，大家可以自己去体会，这里小结一下我的理解。

奇异值分解\( \text{SVD} \)是一种“动态”的展示线性变换的方法，可以让你很清晰的了解这个线性变换是如何将空间中的“一个点”映射到“另一个点”的。例如在上述的例子中，则是先进行旋转、然后进行缩放、最后进行反射。

特征值/特征向量计算则是对线性变换的“静态”解释，使用静态的方式展现了线性变换如何将“一个点”映射到“另一个点”的。

5. 补充说明

• 实际应用中的奇异值分解通常是用于处理更高维的向量空间，所以通常没有这么直观的几何意义，但是依旧可以使用类比的“反射”、“旋转”、“拉伸/压缩”等概念去扩展的理解。
• 特征值/特征向量仅适用于处理方阵的场景，所以场景比较受限。
• 关于特特征值/特征向量计算，在实际中可能会更加复杂，例如，重根、复数根等情况，要想进一步理解，则需要做更深入的研究。
• 要进一步加深理解，则可以考虑，观察一个三维空间中变换的实例，有一些相同，也有一些不同：
  • 反射，通常是基于某个平面（两个基张成的平面）的
  • 选择，则是绕着某个直线（某个向量的方向上）

附录1 二维空间的正交变换

二维空间中，有两种正交变换，即旋转或反射。其对应的线性变换矩阵分别有如下的形式：\( \begin{bmatrix} \cos \varphi & \sin\varphi \\ \sin\varphi & -\cos \varphi \end{bmatrix} \) 与 \( \begin{bmatrix} \cos \varphi & -\sin\varphi \\ \sin\varphi & \cos \varphi \end{bmatrix} \) 。

附录2 三维空间的正交变换

在三维空间内，对于一组规范正交基 \( \{ \alpha_1,\alpha_2,\alpha_3 \} \) ，该空间下的正交变换矩阵总有如下形式：

$$
\begin{bmatrix}
\pm 1 & 0 & 0 \\
0 & a & b \\
0 & c & c
\end{bmatrix}
$$

更为具体的为如下三种形态之一：

$$
A = \begin{bmatrix}
1 & 0 & 0 \\
0 & \cos\varphi & -\sin\varphi \\
0 & \sin\varphi & \cos\varphi
\end{bmatrix}
\quad
B = \begin{bmatrix}
-1 & 0 & 0 \\
0 & 1 & 0 \\
0 & 0 & 1
\end{bmatrix}
\\
\begin{aligned}
C & = \begin{bmatrix}
-1 & 0 & 0 \\
0 & \cos\varphi & -\sin\varphi \\
0 & \sin\varphi & \cos\varphi
\end{bmatrix} \\
& =
\begin{bmatrix}
1 & 0 & 0 \\
0 & \cos\varphi & -\sin\varphi \\
0 & \sin\varphi & \cos\varphi
\end{bmatrix}
\begin{bmatrix}
-1 & 0 & 0 \\
0 & 1 & 0 \\
0 & 0 & 1
\end{bmatrix}
\end{aligned}
$$

这里的：

• 变换 \( A \) 为一个旋转，旋转轴为 \( \alpha_1 \) 所在的直线
• 变换 \( B \) 是一个反射，反射轴平面为 \( \mathscr{L}(\alpha_2,\alpha_3) \)
• 变换 \( C \) 是上述两个变换的组合

这大概是一个有趣、也略深刻的发现。

Word Embedding是比较抽象的，但是这些抽象背后是一些“具象”的含义的，本文通过一些简单的计算（变换）来将Embedding的某些维度/属性具象化。具体的，本文展示了在Embedding空间中，找到一个代表“动物”属性的方向。感兴趣的话，可以通过这个简单的方法，找到你感兴趣的属性方向。

TL;DR

通常，在某个具体的Word Embedding实现中，先给出一组具有“共同属性”的词语，然后计算这组词语Embedding向量的平均方向，就可以代表这个“共同属性”。

例如，找到一组“动物”，然后对这些词语的Embedding向量计算平均方向，那么这个方向就是“动物”这个属性的方向。

概述

如果你也尝试过去理解 Embedding 各个维度的含义的话，大概都听过这样一种说法：Embedding每个维度可以理解为这个词语的某种属性，例如，“性别属性”、“皇室相关度”等，这是最为经典的man - woman = king - queue的例子中的一些解释。

当你真的拿到一个词语的 Embedding 的时候，它可能有768维，但是，似乎没有一个维度有上述的清晰的属性含义。而实际上，这些属性含义是确实存在的，只是这些属性方向并不存在于“标准基”的方向上。

那如果存在，我们应该如何找到这个方向呢？本文展示并验证了一个非常简单的方法，让你快速找到某种属性的方向，并且进行一些验证。从而可以大大加深对于 Embedding 的理解。

寻找某个关心的方向

这里展示了以寻找“动物”属性方向为例，展示如何寻找并验证该方向。

列出最具代表性的词语

我们这样考虑这个问题，如果有一个方向表示一个词语的“动物”属性，那么这个方向会是哪个方向？这里以all-MiniLM-L6-v2模型提供的Sentence Embedding为例，我看看如何找到该Embedding所处的向量空间中最可能代表“动物”属性的方向是哪个？具体的方法描述如下：

• 首先，找到被认为最典型的与“动物”属性相关的词语\( n \)个，这里取\( n=50 \)
• 然后计算上述\( n \)个词语的平均方向 avg_vector，该方向则认为要寻找的方向

这里，给出的50个动物如下：

animals = [
    "tiger", "lion", "elephant", "giraffe", "zebra",
    "rhinoceros", "hippopotamus","crocodile", "monkey",
    "panda", "koala", "kangaroo","whale", "dolphin",
    "seal", "penguin", "shark", "snake", "lizard",
    "turtle", "frog", "butterfly", "bee", "ant", "eagle",
    "sparrow", "pigeon", "parrot", "owl", "duck", "chicken",
    "dog", "cat", "pig", "cow", "sheep", "horse", "donkey",
    "rabbit", "squirrel", "fox", "wolf", "bear", "deer",
    "hedgehog", "bat", "mouse", "chameleon", "snail", "jellyfish"
]

计算Embedding的平均方向

该平均方向，即为我们要寻找的“动物”属性方向。

animals_embeddings = model.encode(animals)
avg_animals_embeddings = np.mean(animals_embeddings, axis=0)

验证该方向

再选取两组词，一组认为是与“动物”非常相关的词，另一组则是与动物无关的词语。然后分别计算这两组词语在上述方向avg_vector的投影值。观察投影值，是否符合预期。

这里选择的两组词语分别是：

• 与动物非常相关的：”Camel”, “Gorilla”, “Cheetah”
• 与动物无关的：”Dream”, “Chair”, “Mathematics”

计算投影并可视化

具体的程序如下：

animals_words    = ["Camel", "Gorilla", "Cheetah"]
un_animals_words = ["Dream", "Chair", "Mathematics"]

for word_list in (animals_words,un_animals_words):
    projection_scores = np.dot(model.encode(word_list),
                              avg_animals_embeddings)
    results.update({word: score for word,
                    score in zip(word_list, projection_scores)})

for word, score in results.items():
    print(f"'{word}': {score:.4f}")
print(np.round(avg_animals_embeddings[:10], 4))

投影结果为：

'Camel': 0.3887
'Gorilla': 0.4186
'Cheetah': 0.3797
'Dream': 0.2450
'Chair': 0.2823
'Mathematics': 0.1972

在实数轴上绘制上述两组词语的投影：

非常明显的可以看到，上述的avg_vector方向某种程度上代表了一个词语的“动物”属性：即与动物属性相关的词语在该方向的投影大，无关的词语在该方向的投影小。

原理解释

概述

事实上，一组词语Embedding的“平均向量”（centroids of word embeddings），则某种程度的代表这组词语的“语义中心”。如果这组词有某些共性，那么这个平均向量，则可能就是这个共性的代表。

在上述的例子中，刻意地给出的一组词语都是“动物”名称。那么，这个“平均向量”则比较有可能代表了这个向量空间中的“动物”属性。

数学推导

这样考虑这个问题：现在给出的 \( n \) 个向量 \( \alpha_1, \dots , \alpha_n \)，找出一个单位向量 \( \xi \) 使得 \( n \) 个向量在 \( \xi \) 向量方向上的投影值的和最大。

这里取 \( \bar{\alpha} = \frac{\sum\limits_{i=1}^{n}\alpha_i}{n} \)

目标函数 \( S = \sum\limits_{i=1}^{n}(\alpha_i \cdot \xi ) = \sum\limits_{i=1}^{n}(\alpha_i) \cdot \xi = n \bar{\alpha} \cdot \xi = n \| \bar{\alpha}\| \| \xi \| \cos\theta \)

这里 \( n \)、\( \bar{\alpha} \)都是给定值，而 \( \| \xi \| = 1 \)，所以这里 \( \cos\theta \) 取最大值时，上述的目标函数 \( S \) 取最大值。

即：\( \theta = 0 \) 时， \( S \) 取最大值。即当 \( \xi \) 与 \( \bar{\alpha} \) 方向相同时，即 \( \xi = \frac{\bar{\alpha}}{\|\bar{\alpha}\|} \) ，所有向量的投影值的和最大。

投影计算

太久不碰线性代数了，对于基本运算都不是很熟悉了。向量 \( \alpha \) 在 \( \beta \) 方向上的投影长度，计算公式如下：

$$ proj = \frac{\alpha \cdot \beta}{\|\beta\|} $$

证明比较简单，这里不再赘述。

向量的平均方向与主成分方向

当给出一组向量，面对上述问题，比较容易联想到这组向量的“主成分分析”的第一个维度。那么，上述的平均向量和主成分分析的第一个维度有什么关系呢？回答是：没有太大的关系。

可以看下面三个图：

上述三个二维平面中的点的平均方向均为红色，即(1,1)；但是PCA的第一方向则各有不同，有时候与平均向量相同、有时候垂直，有时候相交。总之是没什么关系。

可以看到，平均向量时在当前的“基”下计算获得。而主方向分析的方向，则首先就与原点没有关系。

更深层次的理解

现在的Embedding算法，都是基于现实世界语料库训练而来，反应了人类认知中“语言”与现实世界的对应关系。而在人类的认知中，这个世界是有“维度”的，最为直白的例子就是：我们会将词语划分“褒义词”、“贬义词”。此外，可能还有：动物性、情感强烈度、词性等。那么，在人类认知中这种“认知”有多少个维度呢？这其实是未知的，而各种Embedding算法则是在尝试使用量化的方式描述这些维度。

但是，在实际训练出的各种Embedding实现，例如一个768维的Embedding，其单位向量方向，不太可能是上述的人类“认知”维度。如果把训练出来的Embedding的单位向量记为：\( \alpha_1, \dots , \alpha_n \)，而把人类认知的维度记为： \( \beta_1, \dots , \beta_n \) 。

那么，则存在一个过渡矩阵 $T$，可以实现上述向量空间基的变换。

可是，现实世界没有那么理想。Embedding空间确实给出了一组正交基，但是人类认识却很难寻找这样的正交基，例如“动物”属性的词语，可能会带有“情感”属性，例如，“虎狼之词”等，都带有某种情感属性。

虽然，认知很难找到正交的“基”，但是找到某个具体的属性方向，则可以使用本书的方法。这正是本文所描述方法的局限性和价值所在。

补充说明

• 本文中，所说的Word Embedding，通常是指Sentence Embedding中的Token Embedding。在这里，无需区分两者。
• 实际的情况更加复杂，例如本文中的“动物”属性，只是这些词所代表的“动物”属性。什么是真正的“动物”属性，并不存在这样的精确概念。人类语言中的“动物”是一个抽象的，并没有数字化、数学化的精确定义。
• 完整的实现代码，参考：embedding_research_01.py。