- 다음의 블로그를 레퍼런스로 정리하였습니다.
https://towardsdatascience.com/derivative-of-sigmoid-and-cross-entropy-functions-5169525e6705
- Sigmoid 활성화 함수와 Cross-Entropy 손실 함수의 단계별 미분
- ML 영역에서 모델 훈련 중 역전파(back-propagation)을 수행할 때
- 이 두 함수의 도함수를 이해하는 것은 필수적!
[1] Sigmoid 함수의 미분
- Sigmoid / Logistic Function
- e : Euler’s number
- 대략 2.71828182859와 동일한 초월 상수인 오일러의 수
- 임의의 x 값에 대하여 Sigmoid 함수 g(x) 는 (0,1) 범위 속한다.
- x 값이 감소함에 따라 g(x) 는 0에 가까워지는 반면 x 값이 커짐에 따라 g(x)는 1이 되는 경향이 있다.
- ex)
- Quotient and Chain Rules of Differentiation
- 몫과 연쇄 법칙의 미분
- 2가지 방법을 사용하여 Sigmoid 함수 미분
Sigmoid 함수의 미분: Quotient Rule (Step 1)
- STEP 1: Stating the Quotient Rule
- 몫 법칙 명시
- 몫 법칙 => 몫미분 => 몫의 미분법
- “분모의 도함수는 분자의 도함수에 분자의 도함수를 곱한 것이며 모든 것을 분모의 제곱으로 나눈 것을 뺀 것이다.”
- STEP 2: Apply the Quotient Rule
- 몫 법칙 적용:
- Sigmoid 함수 g(x)와 몫 법칙으로부터, 우리는
- 주의해야 할 2가지:
- 상수의 도함수는 0과 같음. (u^′=0인 이유)
- v 에서 지수 함수(e^∗)의 미분은 지수 미분 법칙(Exponential rule of differentiation)으로 다룸.
..정리 진행중..