【式展開】シグモイド関数自身でその1階の微分を表現できることについて

シグモイド関数（sigmoid function）

${ \displaystyle \sigma(x) = \frac{1}{1+e^{-x}} }$

を微分すると、

${ \displaystyle \sigma'(x) = (1 - \sigma(x))\sigma(x) }$

として表現できるのがこの関数の特徴だそうです。以下ではこのような式になるのか確認してみます。

$\begin{eqnarray} \sigma(x) & = & \frac{1}{1+e^{-x}}\\ & = & (1+e^{-x})^{-1} \end{eqnarray}$

ここで、 $u = 1+e^{-x}$ ,　 $y = \sigma(u) = u^{-1}$ とすると、

${ \displaystyle \frac{dy}{du} = -u^{-2} }$

${ \displaystyle \frac{du}{dx} = -e^{-x} }$

となる。以上より、シグモイド関数 $\sigma(x)$ の1階の微分は、

$\begin{eqnarray} \sigma'(x) & = & \frac{dy}{dx}\\ & = & \frac{dy}{du}\centerdot\frac{du}{dx}\\ & = & (-u^{-2})(-e^{-x})\\ & = & u^{-2}e^{-x}\\ & = & (1+e^{-x})^{-2}e^{-x}\\ & = & \frac{1}{1+e^{-x}}\frac{e^{-x}}{1+e^{-x}}\\ & = & \frac{1}{1+e^{-x}}\biggl\{ \frac{1+e^{-x}}{1+e^{-x}}-\frac{1}{1+e^{-x}} \biggl\}\\ & = & \frac{1}{1+e^{-x}}\biggl( 1-\frac{1}{1+e^{-x}} \biggl)\\ & = & \sigma(x)(1-\sigma(x)) \end{eqnarray}$

となり、シグモイド関数自身でその微分を表せることが分かりました。