Linear Regression - Gradient Descent

 

1. Gradient Descent

• "깊은 골짜기를 찾고 싶을 때에는 가장 가파른 내리막 방향으로 산을 내려가라"
• 이러한 그레디언트의 특성을 이용하여 어떤 비용함수의 값을 최소화시키기 위한 파라미터 값을 구함.
• 미분 계수 = 0 이되는 구간이 올 때까지 연산 진행.

 

---

2. Learning Rate

• 학습률이 너무 작을 경우
  — 알고리즘이 수렴하기 위해 반복을 많이 진행해야 하므로 학습 시간이 오래걸림
  — 지역 최솟값(local minimum)에 수렴할 수 있음

• 학습률이 너무 클 경우
  — 학습 시간이 적게 걸리나
  — 스텝이 너무 커 전역 최솟값(global minimum)을 가로질러 반대편으로 건너뛰어 최솟값에서 멀어질 수 있음

---

 

3. Gradient Descent 과정

• Step 1. 특정 파라미터 값으로 시작.
• Step 2. Cost Function
• Step 3. 반복 학습