Linear Regression (선형회귀)

1. 선형회귀란?

• D차원 벡터 독립 변수 x와 이에 대응하는 스칼라 종속 변수 y간의 관계를 정량적으로 찾아내는 작업.

출처 https://wikidocs.net/21670

• w0, ⋯, wD를 함수 f(x)의 계수(coefficient)이자 이 선형 회귀모형의 모수(parameter)라고 한다.

---

 

2. Hypothesis (가설)

• h(x) 또는 H(x)로 표현.
• H(x) = Wx + b
• W = weight(가중치)
• b = bias
• 주어진 데이터로부터 y와 x의 관계를 가장 잘 나타내는 직선을 그리는 일.
• 어떤 직선인지 결정하는 것은 W와 b의 값이므로
  선형 회귀에서 해야할 일은 결국 적절한 W와 b를 찾아내는 일.

---

 

3. Cost Function (비용함수)

• W와 b를 찾는 과정에서 발생하는 실제값과 예측값의 오차를 계산하고 그 오차를 최소화하기 위함.
• MSE ( Mean Squared Error)

출처 https://wikidocs.net/21670

• MSE가 작을 수록 정확성이 높아짐
• y^(i) = 실제값
• H(x^(i)) = 예측값

---

4. Optimizer (Gradient Descent)

• 매개 변수인 W와 b을 찾기 위한 작업을 수행할 때 사용되는 알고리즘
• 비용(cost)를 최소화하는 W를 구하기 위해
  W를 업데이트하는 방법은 접선의 기울기가 0이 될 때까지 반복하는 것.

 

 

 

출처 https://wikidocs.net/21670

 

• α는 학습률(learning rate)
•  학습률 α은 W의 값을 변경할 때, 얼마나 크게 변경할지를 결정
   기울기가 0일 때까지 경사를 따라 내려간다는 관점에서는 얼마나 큰 폭으로 이동할지를 결정
  

---

 

5. 머신러닝에 사용되는 미분 Formula