(ML) 활성화 함수(Activation Function) _ 개념편

활성화 함수에 대해 알아보기 이전에 활성화 함수를 왜 만들게 되었는지를 먼저 알아보아야 한다.

 

이는 활성화 함수의 이름을 보면 알 수 있다.

 

무언가를 활성화 시킨다는 함수이다.

 

인공신경망은 사람의 신경 구조를 모방해서 만들었다.

 

생명시간에 배웠던 뉴런에 대한 정보를 떠올려보자면, 특정 임계값 이상의 값이 들어왔을 떄 반응한다는 것을 이해 할 수 있을 것이다.

이런 뉴런을 노드로 만든 것이 ANN이다.

 

이 상황에서 특정 임계값이상의 값을 결정해주는 함수가 Activation Function(활성화 함수)이다.

 

단순히 구현하자면... Step function정도가 있을 것 같다.

 

GPU가 나오기 전까지, GPU와 Memory부족 이슈로 1.node의 수가 줄어들고, 2. 연산량은 높았으며, 3. data의 수는 적을 수 밨에 없었다.

하지만 GPU와 memory문제가 해결되면서 노드의 수가 증가하게 되었다.

 

Deep Neural Network => ANN 단 Node의 갯수가 多

 

다음 신호로 전달 되는 z는 w(weight)와 b(bias) 로 정해지게 된다.

 

간단히 ANN으로 AND GATE와 OR GATE를 만들어볼 생각이다.

라고 가정했을 떄, And Gate와 Or Gate는 다음과 같다.

이상으로 Activation _ Function 개념편 마치도록 하겠습니다.

 

어떤 Activation Function이 쓰이고 있는지는 밑의 링크로 들어가주세요~

 

https://whatis-coding.tistory.com/19

(ML) 활성화 함수(Activation Function) _ 실전편

 

감사합니다.!!