分类目录：《机器学习中的数学》总目录 相关文章： · 激活函数：基础知识 · 激活函数（一）：Sigmoid函数 · 激活函数（二）：双曲正切函数（Tanh函数） · 激活函数（三）： 线性整流函数（ReLU函数） · 激活函数（四）：Leaky ReLU函数 · 激活函数（五）：ELU函数 · 激活函数（六）：Parametric ReLU（PReLU）函数 · 激活函数（七）：Softmax函数 · 激活函数（八）：Swish函数 · 激活函数（九）：Maxout函数 · 激活函数（十）：Softplus函数 · 激活函数（十一）：Softsign函数 · 激活函数（十二）：高斯误差线性单元(GELUs)

Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在深度学习中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到

[

0

,

1

]

[0, 1]

[0,1]之间。

S

(

x

)

=

1

1

+

e

−

x

S(x)=\frac{1}{1+e^{-x}}

S(x)=1+e−x1​

Sigmoid函数的导数可以用其自身表示：

S

′

(

x

)

=

e

−

x

(

1

+

e

−

x

)

2

=

S

(

x

)

(

1

−

S

(

x

)

)

S'(x)=\frac{e^{-x}}{(1+e^{-x})^2}=S(x)(1-S(x))

S′(x)=(1+e−x)2e−x​=S(x)(1−S(x))

Sigmoid函数的特性与优缺点：

Sigmoid函数的输出范围是0到1。由于输出值限定在0到1，因此它对每个神经元的输出进行了归一化。用于将预测概率作为输出的模型。由于概率的取值范围是0到1，因此Sigmoid函数非常合适梯度平滑，避免跳跃的输出值函数是可微的。这意味着可以找到任意两个点的Sigmoid曲线的斜率明确的预测，即非常接近1或0。函数输出不是以0为中心的，这会降低权重更新的效率Sigmoid函数执行指数运算，计算机运行得较慢。

Sigmoid函数及其导数的图像：