선형대수 개념 정리 (3)

Orthogonal Matrices의 특징

• Orthogonal Matrices는 Transpose한 것과 역행렬이 같다.
• 
• 어느 벡터를 Orthogonal Matrices로 선형변환을 해주었을 때, 결과 벡터와 각도와 길이가 같다

 

Projection(투영)

Projection Matrix P는 제곱해도(선형변환해도) 자기 자신이 나오는 행렬을 의미

이런 mapping을 projection이라고 한다. 아래는 Projection Matrix 예시.

 

1차원(직선) 공간에 Projection

x: 측정값 벡터

b: 프로젝티드 벡터 (또는 basis vector)

P: 투영 행렬

Px-x : 오차 벡터

 

직선은 b의 선형결합으로 이루어진 공간(span)

최적 예측값은 x벡터를 b벡터에 수직으로 투영시킨 값이다.

오차벡터와 b벡터가 직교(orthogonal)한 성질을 이용하여,

두 벡터를 내적한 값을 0으로 둔 뒤 전개하여 P행렬을 구한다.

 

 

Projection onto General Subspaces

1차식에 투영하는 것과 마찬가지로 에러벡터와 직교하는 성질을 이용하여

P(Projection)행렬을 구한 뒤 투영시킨다.

 

투영은 머신러닝에서 최적값을 구할 때 매우 자주 사용되기 때문에 정확하게 이해해야한다.

 

 

일반적으로 어떤 해를 찾을 때 Ax=b 선형식을 통해 계산되고,

b가 A의 span에 존재하지 않을 때, 정확한 해를 찾을 수 없기 때문에 orthogonal projection을 통해 최적값을 찾는다.

이는 에러의 최소제곱을 구하여 최적해를 찾는 것과 같다.

식을 일반화하여 전개하면 아래와 같고 이를 Normal Equation이라고 한다.