기계학습 : Sigmoid와 Cross-Entropy 함수의 미분

• 다음의 블로그를 레퍼런스로 정리하였습니다.
  https://towardsdatascience.com/derivative-of-sigmoid-and-cross-entropy-functions-5169525e6705

Derivative of Sigmoid and Cross-Entropy Functions

• Sigmoid 활성화 함수와 Cross-Entropy 손실 함수의 단계별 미분
  • ML 영역에서 모델 훈련 중 역전파(back-propagation)을 수행할 때
  • 이 두 함수의 도함수를 이해하는 것은 필수적!

레퍼런스 블로그 자료

---

[1] Sigmoid 함수의 미분

• Sigmoid / Logistic Function

 

• e : Euler’s number
  • 대략 2.71828182859와 동일한 초월 상수인 오일러의 수
  • 임의의 x 값에 대하여 Sigmoid 함수 g(x) 는 (0,1) 범위 속한다.
  • x 값이 감소함에 따라 g(x) 는 0에 가까워지는 반면 x 값이 커짐에 따라 g(x)는 1이 되는 경향이 있다.
  • ex)

 

 

• Quotient and Chain Rules of Differentiation
  • 몫과 연쇄 법칙의 미분
  • 2가지 방법을 사용하여 Sigmoid 함수 미분

Sigmoid 함수의 미분: Quotient Rule (Step 1)

• STEP 1: Stating the Quotient Rule
  • 몫 법칙 명시

 

• 몫 법칙 => 몫미분 => 몫의 미분법
• “분모의 도함수는 분자의 도함수에 분자의 도함수를 곱한 것이며 모든 것을 분모의 제곱으로 나눈 것을 뺀 것이다.”

 

• STEP 2: Apply the Quotient Rule
  • 몫 법칙 적용:
  • Sigmoid 함수 g(x)와 몫 법칙으로부터, 우리는

 

시그모이드 함수

 

 

 

• 주의해야 할 2가지:
  • 상수의 도함수는 0과 같음. (u^′=0인 이유)
  • v 에서 지수 함수(e^∗)의 미분은 지수 미분 법칙(Exponential rule of differentiation)으로 다룸.

 

 

..정리 진행중..