시그모이드 함수의 미분 역전파알고리즘으로 풀어보기

시그모이드 함수는 아래와 같습니다. 

 

$f(x)=\frac{1}{1+e^{-x}}$

 

이 함수를 미분해볼 건데요. 딥러닝에 사용되는 역전파 알고리즘을 이용해서 미분해보려고 합니다. 역전파 알고리즘이 무엇인지 감을 잡아 볼 수 있는 좋은 예제입니다. 

 

시그모이드 함수를 아래와 같이 치환해주겠습니다. 

 

$f(x)=\frac{1}{1+b}$

$b=e^{-x}$

 

아래와 같이 한번 더 치환해줍시다. 

 

$f(x)=\frac{1}{a}$

$a=1+b$

$b=e^{-x}$

 

$f(x)$ 를 x로 미분할건데요. 아래와 같이 체인룰을 이용해서 미분할 수 있습니다. 

 

$\frac{df}{dx}=\frac{df}{da} \frac{da}{db} \frac{db}{dx}$

 

각각을 미분하면 아래와 같이 계산됩니다. 

 

$\frac{df}{dx}=-\frac{1}{a^2} \times 1 \times e^{-x}(-1)$

 

a를 대입해주면 아래와 같습니다. 

 

$\frac{df}{dx}=\frac{e^{-x}}{(1+e^{-x})^2}$

 

위와 같이 구하면 다 구한건데요. 변형을 살짝 해봅시다. 아래와 같이 1을 더하고 빼줍니다. 

 

$\frac{df}{dx}=\frac{1+e^{-x}-1}{(1+e^{-x})^2}$

 

아래와 같이 우변을 둘로 나눠줍니다. 

 

$\frac{df}{dx}=\frac{1+e^{-x}}{(1+e^{-x})^2}-\frac{1}{(1+e^{-x})^2}$

 

아래와 같이 약분합니다. 

 

$\frac{df}{dx}=\frac{1}{1+e^{-x}}-\frac{1}{(1+e^{-x})^2}$

 

아래와 같이 묶어줍니다. 

 

$\frac{df}{dx}=\frac{1}{1+e^{-x}}\left ( 1- \frac{1}{1+e^{-x}}\right )$

 

우변을 보면 시그모이드 함수가 보입니다. 시그모이드 함수는 아래와 같은 재밌는 성질을 갖습니다. 

 

$\frac{df}{dx}=f(x)\left ( 1- f(x)\right )$