[머신러닝] 릿지 회귀모델이란?

릿지(ridge)회귀모델은 L2 규제가 적용된 선형회귀모델입니다. 규제는 모델의 과적합을 방지하기 위해 사용합니다. 

단순 선형 모델에 비해 과적합이 개선되기는 했지만 자주 사용되는 모델은 아니라고 합니다. 성능이 별로 좋지 않습니다. 

규제에 대해 조금 더 설명하겠습니다. 보통 머신러닝 모델을 만들 때 손실함수 값이 최소가 되도록 파라미터를 최적화합니다. 하지만 손실함수 값이 너무 작다는 것은 '과적합'을 의미할 수도 있습니다. 과적합을 방지하려면 손실함수 값이 너무 작아지지 않도록 해야합니다. 손실함수 값을 너무 작아지지 않도록 조건을 추가하는 것을 규제라고 부릅니다. 조건은 어떤 값일 수도 있고 함수일 수도 있습니다. 

선형회귀모델에서 규제는 가중치를 규제하는 방향으로 이루어집니다. 특정 파라미터의 가중치가 너무 커질 경우 모델이 데이터의 일반적 특징을 반영할 수 없기 때문입니다. 

L1 규제나 L2 규제에서 L1이나 L2는 규제함수 이름입니다. L2 규제는 'L2 규제함수'를 적용한 규제를 말합니다. 기존 손실함수에 규제함수를 더한 것을 손실함수로 사용합니다. 

L2규제의 손실함수는 아래와 같습니다. 

$J(\theta)=\frac{1}{n}\sum_{i=1}^{n}(y_{i}-\hat{y}_{i})^2+\alpha \sum_{i=1}^{n}\theta_{i}^2$

$\alpha$가 커질 수록 규제가 강해집니다.