AI & Data Science/LG Aimers
2023. 1. 14.
3. 지도학습(회귀,분류) - 4. Least-Squares, Normal Equation
최소제곱해(Least-Squares)와 정규방정식(Normal Equation)을 정리한다. 선형대수 수업에서 공부했던 내용이지만 많이 까먹어서 다시 공부해서 정리해 본다. 우선 The Best Approximation Theorem 이란 것이 있다. 우리는 어떠한 벡터를 찾고자 할 때, 낮은 차원에서 찾고자 하는 벡터와 가장 가까운 벡터를 찾는 것에 관심이 있다. 위와 같은 정리를 통해서 실수 공간에서 벡터와 해당 차원보다 낮은 차원에서 가장 가까운 벡터를 찾기 위해서는 Orthogonal Projection(정사영)을 이용하면 된다는 것이다. 위는 주어진 식을 행렬로 표현한 것이다. Ax는 A의 Column Space에 속하는 것이 확실하다. 그러나 b가 그렇다는 보장은 없다. 만약에 b가 A의 열공..
