大语言模型/AI依旧是当下最为重要的技术，个人也认为在未来 10~20 年这依旧将是最为重要的技术。本页面记录自己关于 AI 相关技术的探索与学习。

通用技术

Embedding

机器学习基础

数学基础

其他

Attention-Please.ipynb：这个文档是个人学习 Attention 机制的测试程序。具体的，本文档程序通过 transformers 库，调用 “gpt2” 模型，并取出其中的部分参数。手动演示，模型的第一个Layer的第一个Head，如何进行Attention计算，以及如何生成最后的 Contextual Embedding。