softmax是比较常见且非常重要的函数,其计算公式如下:

对于一个一维向量,softmax运算我们很容易理解。但是如何对矩阵进行softmax运算呢,下面介绍softmax在不同维度上对矩阵进行运算。
softmax在paddle上的代码为:

paddle.nn.functional.softmax(data,axis)

其中data表示要运算的矩阵,axis表示要作用的维度。
假设我们的data数据如下所示

那么如何计算softmax(embeddings,axis=1)呢?下面我们对于embeddings矩阵进行编码,要求第1维的矩阵softmax值,我们需要保持第0维和第2维的数字不变,改变第1维的数字。例如a000、a010、a020、a030应该为一组进行求解,最终得到的是一个4×5×3的矩阵。

更多推荐

paddle中softmax如何对矩阵进行运算