왜 은닉층에 비선형 활성화 함수를 사용해야할까? ( + 기울기 소실 문제)

1. 선형함수가 무엇인가? y=x , y=ax , y=ax+b 와 같은 함수 출력이 입력의 상수배만큼 변하는 함수 2. 신경망의 구조 가장 기본적인 신경망인 (다층) 퍼셉트론은 입력층, 은닉층, 출력층으로 구성되어 있다. 여기서 딥러닝의 성능을 더 향상시키기 위해서는 은닉층을 계속 추가해야한다. 은닉층과 출력층은 현재 노드에서 다음 노드로 가중치를 곱한 합인 출력값을 넘기는데, 이 때 사용되는 것이 활성화 함수이다 . 활성화 함수에 따라 현재 노드에서 출력된 값이 다음 층의 노드로 넘어가느냐 마냐를 결정한다. 3. 여러 은닉층을 가진 신경망 딥러닝 모델의 성능 향상을 위해 여러 은닉층을 쌓는데, 이 때 이 은닉층이 선형 활성화 함수를 가질 경우 선형 함수는 아무리 많은 은닉층을 쌓아도, 그 결과가 하나의..