딥러닝 2 - 활성화 함수(Activation function)

---

1. 퍼셉트론 구현

 

이전 게시물에서 퍼셉트론에 사용된 식은

$$ w_{1}x_{1}+w_{2}x_{2} \leq  \theta  \ 일 \ 때 , \ y=0 $$

$$ w_{1}x_{1}+w_{2}x_{2} >  \theta  \ 일 \ 때 , \ y=1 $$

으로 표현했었습니다.

---

여기서 조금더 쉽게 구현하기 위해

$$ b =- \theta \ 로 \ 정의하고 $$

 

단위 계단 함수인

$$ u(t) =\begin{cases}0 & x  \leq  0\\1 & x > 0\end{cases}  $$

를 사용하여

 

$$ y=u(w_{1}x_{1}+w_{2}x_{2} +  b) $$

로 표현 할 수 있습니다.

 

단위 계단 함수 u(t)

---

하지만 머신러닝은 미분을 통해 학습하게 되는데,

위에서 사용한 단위 계단 함수는 x=0지점에서 미분이 불가능하기 때문에

단위 계단 함수가 아닌 Sigmoid 함수를 사용하게 됩니다.

 

$$ f(x)= \frac{1}{1+e^{-x}}  $$

 

 

Sigmoid 함수 sig(t)

 

결론적으로 퍼셉트론을

$$ y=sig(w_{1}x_{1}+w_{2}x_{2} +  b) $$

로 구현 할 수 있습니다.