선형대수 개념 정리 (2)

선형변환(Linear Transform) v = Ax

x -> Ax -> v

(m x n)행렬 A는 (m x 1)벡터 x와 (n x 1)벡터 v를 mapping해준다. 

아래 두 성질을 만족하면 선형:

A(x1 + x2) = A(x1) + A(x2) 

A(px1) = pA(x1)  

 

Range(image) & Null Space(kernel)

R(A) -> 모든 x를 A 선형변환에 대입했을 때 나올 수 있는 공간. 치역이라고 생각하면 이해 쉬움.

ㄴA의 컬램 벡터들의 span과 같다.

N(A) -> x중에서 A로 선형변환 했을 때 0으로 만드는 집합.

 

Rank

한 행렬 안에서 서로 독립인 컬럼 벡터의 수는 column rank.

한 행렬 안에서 서로 독립인 열 벡터의 수는 row rank.

행렬A가 (m x n)차원일 때, rank(A) <= min(m,n)이고, rank(A) = min(m,n)이면 full rank라고 한다.

주요 성질:

rank(A) = rank(A(T))

rank(AB) <= min(rank(A), rank(AB))

rank(A+B) <= rank(A) + rank(B)

 

역행렬(Inverse)

• 역행렬이 존재하면 invertible 혹은 non-singular
• 역행렬이 존재하지 않으면 singular
• 역행렬이 존재하려면 null space가 0이다. -> 0벡터가 아닌 이상 0이 되지 않는다는 의미.
• 정사각행렬 A가 역행렬이 존재한다면 A는 무조건 full rank
• (A(-1))(T) = (A(T))(-1)

 

Norm (벡터의 길이)

p-norms

위 형태를 띠는 것이 p-norm인데, p값에 따라 l2 norm, l1 norm, l∞ norm이 있다.

l2 norm (Euclidean norm) -> 일반적인 거리 공식

l1 norm (Manhattan norm) -> 수직 거리의 합

 

l∞ norm (Max norm) -> 최대값

 

Frobenius Norm (행렬의 norm)

모든 원소들의 제곱의 합 = 그램행렬의 trace와 같다. 기억해두면 좋은 성질.

Frobenius Norm은 정규화 하는데 쓰인다.

 

 

Angle(벡터 사이의 각) 

l2 norm을 기준이다. 

내적 = norm x cosine 형태를 띠고 이를 기반으로 각도를 찾는다.

-> cosine은 방향의 유사도 척도, θ는 각도의 차이를 나타내는 척도

 

Orthogonal Vectors

-> 두 벡터의 내적이 0하면(직교한다는 의미) Orthogonal 하다고 표현한다.

 

Orthonomal vectors

-> 두 벡터가 Orthogonal하고 각각의 길이도 1이면 Orthonomal 하다고 표현한다.

 

Orthogonal Matrices

-> 행렬의 모든 컬럼 벡터가 서로 Orthonomal 하면 Orthogonal Matrices라고 표현한다.