シグモイド関数の微分

シグモイド関数(sigmoid function)


{ \displaystyle
\sigma(x) = \frac{1}{1+e^{-x}}
}


微分すると、


{ \displaystyle
\sigma'(x) = (1 - \sigma(x))\sigma(x)
}


として表現できるのがこの関数の特徴だそうです。以下ではこのような式になるのか確認してみます。



\begin{eqnarray}
\sigma(x) & = & \frac{1}{1+e^{-x}}\\
& = & (1+e^{-x})^{-1}
\end{eqnarray}


ここで、u = 1+e^{-x},  y = \sigma(u) = u^{-1}とすると、


{ \displaystyle
\frac{dy}{du} = -u^{-2}
}

{ \displaystyle
\frac{du}{dx} = -e^{-x}
}


となる。以上より、シグモイド関数\sigma(x)の1階の微分は、


\begin{eqnarray}
\sigma'(x) & = & \frac{dy}{dx}\\
& = & \frac{dy}{du}\centerdot\frac{du}{dx}\\
& = & (-u^{-2})(-e^{-x})\\
& = & u^{-2}e^{-x}\\
& = & (1+e^{-x})^{-2}e^{-x}\\
& = & \frac{1}{1+e^{-x}}\frac{e^{-x}}{1+e^{-x}}\\
& = & \frac{1}{1+e^{-x}}\biggl\{
\frac{1+e^{-x}}{1+e^{-x}}-\frac{1}{1+e^{-x}}
\biggl\}\\
& = & \frac{1}{1+e^{-x}}\biggl(
1-\frac{1}{1+e^{-x}}
\biggl)\\
& = & \sigma(x)(1-\sigma(x))
\end{eqnarray}


となり、シグモイド関数自身でその微分を表せることが分かりました。