선형 회귀(Linear Regression)

머신러닝의 가장 큰 목적은 실제 데이터를 바탕으로 모델을 생성해서 새로운 데이터를 넣었을 때 결과값을 예측하는 것이다. 이때 우리가 사용할 수 있는 가장 직관적이고 간단한 모델은 선(Line)입니다. 실제 데이터를 가장 잘 설명할 수 있는 선을 찾기 위해 분석하는 방법을 선형 회귀(Linear Regression) 분석이라 부릅니다.

 

공부하는 시간을 늘리면 늘릴 수록 성적이 잘나오거나, 하루에 걷는 횟수를 늘릴 수록 몸무게는 줄어듭니다. 이렇듯 어떤 변수의 값에 따라서 특정 변수의 값이 영향을 받고 있습니다. 다른 변수의 값을 변하게 하는 변수를 x, 변수 x에 의해 값이 종속적으로 변하는 변수 y라고 한다면 변수 x의 값은 독립적으로 변할 수 있지만 y값은 x의 값에 의해 종속적으로 결정되므로 x를 독립 변수, y를 종속 변수라고 합니다. 선형 회귀는 한 개 이상의 독립 변수 x와 y의 선형 관계를 모델링합니다. 만약 독립 변수 x가 1개라면 단순 선형 회귀라고 하며, 2개 이상일 경우 다중 선형 회귀라고 합니다.

1) 단순 선형 회귀(Simple Linear Regression)

단순 선형 회귀의 수식은 y = wx+b이며, 독립 변수 x와 곱해지는 값 w를 머신러닝에서는 가중치(Weigth), 별도로 더해지는 값 b를 편향(Bias)이라고 합니다. 

y = x, y = 2x, y = 1/2x 그래프

직선의 방정식에서 w값을 이용하여 직선의 기울기를 조절할 수 있으며 위의 그래프와 같이 값이 커질수록 가파르게 오르며 값이 작아질수록 완만해지는 것을 확인할 수 있습니다.

y = x, y = x + 2, y = x- 2 그래프

직선의 방정식에서 b값을 이용하여 직선의 절편을 조절할 수 있으며 위의 그래프와 같이 값이 커질수록 직선이 위로 이동하며 값이 작아질수록 아래로 이동하는 것을 확인할 수 있습니다.

직선의 방정식에서 w와 b는 각각 직선의 기울기와 절편을 의미하며 이를 이용하여 x와 y로 모든 직선들을 표현할 수 있게 됩니다.

2) 다항 회귀(Polynomial Regression)

독립 변수와 종속 변수가 선형 관계가 아니라 곡선 형태로 되어있는 경우, 단순 선형 회귀의 직선 모델로 예측하면 오차가 크게 나타나게 되며 이를 해결하기 위해 독립 변수의 차수를 높이는 다항 회귀(Polynomial Regression)를 사용하기도 합니다. 다차원의 회귀식인 다항 회귀로 단순 선형 모델의 한계를 어느정도 극복할 수 있습니다.

다항 회귀 수식의 예

3) 다중 선형 회귀(Multiple Linear Regression)

집의 매매 가격은 단순히 집의 평수가 크다고 결정되는 게 아니라 집의 층 수, 방의 개수, 지하철 역과의 거리 등 여러 요소의 영향이 있습니다. 이렇듯 서로 다른 독립 변수 x가 여러 개인 경우 다중 선형 회귀(Multiple Linear Regression)라고 합니다. 여러 독립 변수를 통해 y를 예측하기 때문에 많은 요소를 고려하므로 예측률이 올라갈 수도 있지만 상관관계가 없는 독립 변수 등으로 인해 예측률에 부정적인 영향을 끼칠 수 있습니다. 따라서 다중공선성, 상관관계 등을 고려하고 적절한 변수 선택법(Feature Selection)으로 독립 변수를 선택해야합니다.

다중 선형 회귀 수식

참고사이트

https://wikidocs.net/21670

06-03 선형 회귀(Linear Regression)

https://hleecaster.com/ml-linear-regression-concept/

선형회귀(Linear Regression) 쉽게 이해하기 - 아무튼 워라밸