선형대수 개념 정리 (4)

Determinant (행렬식)

선형변환 전후로 증가/감소한 면적의 비율을 의미

<- 행렬식을 의미하는 표현

 

주어진 행렬의 행벡터를 기저벡터로 하는 공간 S의 부피(혹은 면적)를 Determinant라고 한다.

 

행렬식 계산 공식. 3차 정방행렬까진 단순해서 일반화하여 공식으로 표현하지만,

일반적으로 행렬식 계산은 계산량이 많고 무거운 작업이다.

 

Determinant의 주요 특징

 

singular하면(역행렬 없으면) detA가 0인 특징 기억하기

 

Eigenvector (고유벡터) & Eigenvalue (고유값)

행렬 A에 대하여

어떤 벡터 x를 A로 선형변환하였을 때(곱하였을 때), x 벡터의 방향이 바뀌지 않고 스칼라배가 된다면,

벡터 x를 행렬 A의 고유벡터라 하고, 스칼라값을 고유값이라고 한다.

행렬 A가 n x n행렬이라면, 고유값은 n개를 가진다.

 

고유벡터 관계식을 x에 대해 정리하면 위와 같이 되고,

x는 0이 아니기 때문에, 계수행렬은 nullspace를 가진다.

따라서 계수행렬은 singular(역행렬 X)하다.

singular한 행렬은 determinant가 0인 성질을 활용하여 아래와 같은 식으로 고유값을 구할 수 있다.

 

오른쪽 식을 charicteristic polynomial이라고 한다.

예제) 고유값에 따른 고유벡터는 다양하고, 적절하게 대입하여 서로 독립인 고유벡터를 찾으면 된다.

 

Eigendecomposition

어떤 (n x n)행렬 A가 n개의 고유값과 n개의 서로 독립인 고유벡터를 가진다면,

그 고유벡터와 고유값으로 이루어진 벡터로 인수분해 하듯이 분해할 수 있다.

행렬A와 그 고유벡터의 관계를 이용한 eigendecomposition

 

고유값의 특성

Eigendecomposition으로 행렬 A의 특성에 대한 연산이 간단해질 수 있다.

• trace A는 모든 고유값들의 합과 같다.
• det A는 모든 고유값들의 곱과 같다.
• rank(A)는 0이 아닌 고유값 개수와 같다. <-> 어떤 고유값이 0이라면, 그 행렬은 singular = full rank 아니라는 의미.
• A의 역행렬의 고유값은, A의 고유값의 역수와 같다. 고유벡터는 변하지 않는다.

 

대칭행렬에서의 Eigendecomposition

 

Quadratic forms (2차 형식)

 

Positive Definite -> Definiteness

대칭행렬 A에 대하여, 2차 형식의 부호에 따라 Positive Definite를 구분짓는다.

- Positive Definite와 Negative Definite는 Full Rank이다.

- 행렬 A에 대한 Gram Matrix는 언제나 Positive Semldefinite이고, A가 Full Rank라면 Positive Definite이다.

 

Single Value Decomposition (SVD)

Eigendecomposition보다 일반적이고 자주 쓰임 -> Eigendecomposition과 달리 SVD는 직각행렬도 분해 가능하기 때문.

역행렬 구함(Moore-Penrose inverse) / 추천 시스템(Collaborative filtering) 등 머신러닝에서 쓰임새가 많음.

 

• U와 V는 orthogonal matrix
• D는 A의 singular value로 이루어진 대각행렬. 꼭 정사각행렬인 것은 아니다.
• U의 열은 left singular vectors.
• V의 열은 right singular vectors.
• singular value는 A의 그램행렬(A와 A의 전치의 곱)의 고유값에 루트를 씌운 값이다.

우선 용어와 대략적인 개념만 이해하는 정도