Mini-batch Gradient Descent的主要想法

在前面的实践中，使用“Gradient Descent”时，都是一次性把所有的数据集都考虑进去，一切似乎都没有什么问题。

但是，在现实实践中，如果训练数据量非常大，这种方式就不适用了。试想，在前面的示例中，输入样本数据，即\( X \)（或者 \( A^{[0]}\)），其维度（或者说shape）则可能是\( 300 \times 10,000,000 \)。这会导致每一次的梯度计算量都非常大，一次迭代（epoch）的时间会很长。

一种非常常见的、也是非常经典的梯度下降改进，就是 mini-batch gradient descent。首先，将样本分层若干小份，并单独对每个“小份”进行“Gradient Descent”，最后逐步完成所有样本的训练。完成一次所有样本的遍历，称之为一次迭代epoch。

在神经网络的训练中，可以用下面步骤理解这个过程：

for "a-small-batch-of-samples X^{t} " in "all-samples"
    forward  propagation on X^{t}
    backward propagation on X^{t}
    update W/b
        W^{[l]} = W^{[l]} - lr * dW^{[l]}
        b^{[l]} = b^{[l]} - lr * db^{[l]}

相对于 mini-batch gradient descent ，前面介绍的一次把所有样本都用于训练的方法，也被称为“batch gradient descent”。

Stochastic Gradient Descent

在 mini-batch 中，如果每次批量的样本大小是 1 的话，那么，也称为Stochastic Gradient Descent（简称 SGD,随机梯度下降）。事实上，自开始使用 Backpropagation 算法以来，SGD就被用于提升神经网络的训练的效率。并且很快的，mini-batch gradient descent 就作为一种优化被使用。目前，mini-batch gradient descent 依旧是一种常用神经网络训练方法^[1][2]。

收敛稳定性预估

不难想象，在“batch gradient descent”中，一次性把所有数据都用于梯度下降的算法，通常都能够获得更好的收敛速度。而在使用 mini-batch 的时候，由于不同的批次的样本在计算时，“计算梯度”都与“全局梯度”有一定的偏差，并且有时候偏差较大，有时候较小，所以，相比之下，收敛速度要慢一些。而，Stochastic Gradient Descent 则可能会更慢一些。

可以这么理解， mini-batch 和 Stochastic Gradient Descent 都总是使用一个局部的梯度（部分样本的梯度）来预估整体的梯度方向，自然效果会差一些。

这里我们改进了原来的神经网络实现 ssnn_bear.py，将其更新为使用 mini-batch 的 ssnn_cat.py。详细代码可以参考GitHub仓库：super simple neural network 。

运行 ssnn_cat.py 并观察 mini-batch 的 cost 下降速度如下：

batch_size 大小的配置

一些经验数值可能是64、128、256、512等。Mini-batch 需要在大数据量和向量化计算之间取得一个平衡，所以通常需要更具训练的设备选择合适的 batch 大小，使得每次迭代都充分利用硬件的资源。

代码实现

在前述的神经网络上（参考），再做了一些修改，实现了 Mini-Batch 或者随机梯度下降。

新增 batch 大小参数

首先，新增了 batch_size 参数表示，同时增加对应参数 batch_iteration 表示，在一次样本迭代中，总计需要循环多少次。所以，这两个参数有如下关系：

batch_iteration = math.ceil(m/batch_size)

对每批次样本做迭代

batch_iteration = math.ceil(m/batch_size)
...
for i in range(iteration_count):
    for i_batch in range(batch_iteration):
        ...
        # sample from i_batch*batch_size
        batch_from  = i_batch*batch_size
        batch_to    = min((i_batch+1)*batch_size,m)
        batch_count = batch_to - batch_from
        A0  = X[:,batch_from:batch_to] # column  [batch_from,batch_to)
        Y_L = Y[:,batch_from:batch_to] # Y_label [batch_from,batch_to)
        ...

代码的其他地方，几乎不需要太大的改动。完整的代码参考：ssnn_cat.py

参考

• [1] Stochastic gradient descent
• [2] https://github.com/orczhou/ssnn/blob/main/ssnn_cat.py
• [3] https://github.com/orczhou/ssnn/blob/main/ssnn_bear.py
• [4] https://github.com/orczhou/ssnn

这是一个系列文章包含了，完整的文章还包括：

• 二元函数的偏导数、方向导数、梯度
• 99行代码构建极简的神经网络
• 从零构建图片识别的神经网络
• 浅层神经网络的超参数分析

对话式的大语言模型产品已经在改变我的很多日常习惯。鉴于 ChatGTP 国内访问非常不方便，现在也逐渐的在尝试使用通义千问、文心一言等产品。总体上感觉，通义千问和文心一言也都非常不错了，满足基本的日常使用是完全没有问题的，但相比于 ChatGPT 还是差了那么一点意思。这里记录一些日常使用的对比，看看，所谓的那么“一点意思”到底是什么。

简要的问题和简要的回答

这里的问题是：“方括号 英语”。来看看 ChatGPT、通义千问、文心一言的回答：

可以看到，三个引擎都给出准确的答案。其中，ChatGPT 给出的回答最为简洁，也是这里我最为偏好的回答。

为什么这里给出简单的回答更好呢？

这里的问题非常简单，这时候，通常也是期望更为简单的回答的。试想这样的场景，你在写一篇英语小短文，但你不确定“方括号”的英语怎么说，恰好你旁边有一个英语很好的同事，你问她：“方括号的英语是？”。如果她像上述通义千问、文心一样，说了一大堆，你可能会打断她，因为当下写材料才是重点，不是想学英语。如果，我真的想学英语的话，我的问题，则可能是这样：“方括号 英语 并给出示例”。

一般的，简单的问题简单回答就可以了。如果用户期待更多信息或者更详尽的回复，通常也会更详细的描述问题。

再比如：“Latex表示一个矩阵（方括号）： 变量用x表示，共n_x行，m列。其中行号用下标表示，列用带有括号的上标表示”

同样的，ChatGPT 更简洁，通义千问次之，文心一言则略显啰嗦。毕竟，这时候我只是想要答案，不想知道获得这个结果的完整的推理过程。

类似的，再比如：

“分总/总分总”与“递进式”的结构

我们来看看如下问题，不同的大模型的回答：使用中文介绍一下“Goldsmiths Research Online”

可以看一下这个三个回答的对比，通义千问和文心一言，都使用了“总分总”或“分总”的结构去回答问题。而，ChatGPT则使用了递进式的结构，显得更加自然。

同时，因为通义千问和文心一言总是倾向于使用“总分总”或“分总”类似的结构，所以就就会给人比较呆板一些的感受。

前端展示效果

因为最近在学习机器学习的一些原理，所以，有时候会让 ChatGPT 帮助编写一些数学公式。这里的问题是：x是一个3×4的矩阵，每个元素分别是1…12，使用latex写出这个矩阵。

可以看到，ChatGPT 在前端应该使用了类似Latex的前端组件，有更好的展示效果。而通义千问、文心一言则没有使用类似组件去展示。根据测试，通义千问、文心一言也都是支持 Latex 的前端展示，只是不会经常使用。

最后

总体感觉，在日常使用中，通义千问、文心一言和 ChatGPT 差别并不是很明显，早期通过各种方式去科学访问 ChatGPT 现在看起来必要性并没有那么高了。但，在一些细节点上，还存在一些差距，期待通义千问、文心一言都后续的版本能够变得更强。