선형회귀

선형회귀(Linear Regression)란?

선형회귀는 입력 변수(X)와 출력 변수(Y) 사이의 선형 관계를 찾는 지도학습 알고리즘입니다. 가장 기본적이고 중요한 머신러닝/통계 기법 중 하나예요.

핵심 아이디어는 간단합니다. 데이터에 가장 잘 맞는 직선(또는 평면)을 찾는 것입니다.

기본 수식: y = β₀ + β₁x + ε

• β₀ : 절편(intercept) — 직선이 y축과 만나는 점
• β₁ : 기울기(slope) — x가 1 증가할 때 y의 변화량
• ε : 오차항(error) — 실제값과 예측값의 차이

 

핵심 개념 정리

최소제곱법(OLS, Ordinary Least Squares)

선형회귀는 잔차(residual)의 제곱합을 최소화하는 방식으로 β₀, β₁을 구합니다. 잔차는 실제값 y와 예측값 ŷ의 차이입니다.

SSE = Σ(yᵢ - ŷᵢ)² → 최소화

모델 평가 지표

결정계수 R²는 모델이 데이터의 분산을 얼마나 설명하는지 나타냅니다 (0~1, 1에 가까울수록 좋음). MSE(평균제곱오차)는 예측 오차의 평균 크기를 나타냅니다.

가정(Assumptions)

선형회귀가 잘 작동하려면 네 가지 조건이 필요합니다. 선형성(X와 Y가 선형 관계), 독립성(관측값들이 서로 독립), 등분산성(오차의 분산이 일정), 정규성(오차가 정규분포를 따름)입니다.

 

 

활용 분야

선형회귀는 가격 예측(부동산, 주식), 수요 예측(판매량), 의료(용량-반응 분석), 경제학(소득-소비 관계) 등 인과관계나 추세를 수치로 예측해야 하는 거의 모든 분야에 사용됩니다.