Softmax

什么是 Softmax

Softmax 本质上是二分类逻辑函数 Sigmoid 的一个推广，它能帮助我们对多种类型中进行选择，并且最终返回一个概率，并且所有选择概率总和为 1

数学公式

Softmax 函数的数学公式如下，对于一个包含 $K$ 个元素的输入向量 $z=[z_1,z_2,\dots ,z_K]$，第 $i$ 个元素的 Softmax 输出是：

$$Softmax(z_i)=\frac{e_{z_i}}{\sum _{j=1}^K{e}^{z_j}}$$

• $e^{z_i}$：对输入值 $z_i$ 取指数
• $\sum _{j=1}^K{e}^{z_j}$：对所有值取指数后求和，用来做归一化

简单来说，Softmax 先把每个输入值变成一个正数（通过指数操作），然后再把它们按比例缩放，使得总和为 1