[Kreyszig 공업수학][선형대수] 8장 (1) 고유치문제란?

Kreyszig 공업수학(상) | Erwin Kreyszig - 교보문고

위의 공업수학 교재에 나오는 내용을 혼자 공부하기 위해 정리한 요약노트입니다. 그리고 영어교과서를 기준으로 보고 있기도 하고, 많은 전공서적들에서 영어표현을 많이 사용하기 때문에, 한글용어를 일부러 찾아서 소개는 해볼 생각이지만 용어소개가 끝나면 주요 용어들은 영어로 나오게 될 예정인 점 양해 부탁드립니다.

 

오늘부터는 대부분의 선형대수학을 순식간에 잊게 만들고 다시 생각하고 싶지 않게 만들어주는 고유치문제와 대각화에 대해 요약, 정리해 볼 예정입니다. 이번에는 기필코 파악하기 위해! 열심히 공부해보았답니다.

목차

고유치 문제란 대체 뭘까요?

By Lyudmil Antonov Lantonov 16:35, 13 March 2008 (UTC) - This W3C-unspecified vector image was created with Inkscape ., CC BY-SA 4.0, https://commons.wikimedia.org/w/index.php?curid=3698599

양자역학 글에서도 설명드린 적 있는 고유치문제, 조금 더 자세히 들여다보려고 합니다. 무슨 얘기인지 궁금하시면 이전 글을 참조해보셔도 괜찮아요.

[양자역학 공부] (4) 고유치 문제와 힐베르트 공간의 구성

여러 분야에 나오기 때문에 그때마다 고유치 문제의 형태는 조금씩 다를 수 있지만, 선형대수학에서 정의되는 모양은 다음과 같습니다.

$$A\vec{x} = \lambda \vec{x}$$

어떤 행렬이 곱해진 벡터, 조금 더 개념적으로는 선형변환(linear transformation)이 취해진 벡터가 기존의 벡터와 평행한, 즉 상수배인 경우를 탐구하는 문제입니다. 특정 선형변환, 혹은 특정 행렬에 대해 이러한 벡터와 곱해지는 상수 \(\lambda\)가 정해져 있는데요. 우리가 다루는 체는 이제 복소수라고 하고, 벡터는 \(n\)차원 벡터, 즉 성분의 개수가 \(n\)인 벡터라고 합시다. 그리고 \(\vec{x} = \vec{0}\)이면 항상 성립하는 식이므로, 이러한 trivial solution이 아닌 벡터만을 고려하기로 합니다. 

 

위의 식을 만족하는 벡터를 고유벡터(eigenvector), \(\lambda\)값은 고유치(eigenvalue)라고 합니다.

 

앞선 글에서 벡터 공간을 자세히 다루지 않았기 때문에 이런 개념은 무시하고 진행할 거에요.

 

후우, 이제 행렬 성분표시 많이 안 쳐도 돼서 상쾌하네요

이러한 고유치문제는 다양한 분야에서 나타납니다. 대표적으로는,

• 대수학: 선형대수학 등
• 수치해석(numerical analysis): 조금 더 효율적인 고유치 문제의 해결 관련
• 미분방정식(differential equation; DE):
  • 상미분방정식(Ordinary DEs), 연립상미분방정식(Systems of ODEs), 편미분방정식(Partial DEs)
  • 양자역학(Quantum mechanics)

이외에도 수도 없는 분야에서 나타나요. 그 이유와 배경은 경우에 따라 다르지만요. 책을 보고 공부하는 만큼 선형대수학에 국한된 내용을 정리해볼 수밖에 없겠지만, 행렬의 분해(decomposition), 대각화(diagnolization) 등과 밀접한 관련이 있는 정도로 이해하면 되겠더라구요.

어떻게 eigenvalue와 eigenvector를 구할까요?

문제를 있는 그대로 접근해봅시다. 위의 정의 식을 조금 변형하면,

$$(A-\lambda I_{n})\vec{x} = \vec{0}$$

그런데 trivial solution은 싫다고 했으니 역행렬이 존재하면 안 되어 $$\det(A-\lambda I_{n}) = D(\lambda) = 0$$이어야 합니다. 이런 \(D(\lambda)\)를 특성행렬식(characteristic determinant) 혹은 \(D(\lambda) = 0\)까지 봐서 방정식(polynomial)라고 합니다. 저는 characteristic polynomial이라는 표현을 더 많이 쓸게요!

 

왜 갑자기 방정식이라는 표현을 쓰는지는, \(n=2\)일 때를 예를 들어보면,

$$\begin{gather}A = \pmatrix{a & b \\ c & d} \\ \Rightarrow \det(A-\lambda I_{2}) = (a-\lambda)(d-\lambda)-bc \end{gather}$$

이렇게 \(\lambda\)에 대한 방정식 형태로 나타나기 때문이에요.

 

이렇게 구해지는 모든 고유치의 모임을 \(A\)의 spectrum, 이 모임의 원소 중 크기가 가장 큰 원소의 크기를 spectral radius라고 한다고 하네요... 당장은 그냥 이름에 불과해보입니다. (공업수학엔 잘 안 나오지만 선형대수학을 제대로 보면 나오는 spectral theorem이 여기서 나오는 개념을 다루는 정리일 건데 당장은 무시!)

어디 한 번 구해볼까요?

Eigenvalue와 eigenvector가 있다면, 어떤 방식으로 구해질 지 조금 더 고민을 해봅시다.

 

일단 특성방정식을 풀어서 eigenvalue를 구하는 것이 먼저겠죠. 그렇게 구해진 eigenvalue를 원래 행렬에 대입합니다. 그렇게 되면 그 \(A-\lambda I_{n}\) 행렬의 행렬식이 0이니, \(\text{rank} \ (A-\lambda I_{n}) = r \lt n\)이고 이렇게 되면 선형방정식의 기본정리에 의해 무한한 해를 얻을 수 있어요. 하지만 이건 \(n-r\)개의 변수를 임의로 지정해주어야 함도 동일한 정리에 의해서 알 수 있습니다. 

[Kreyszig 공업수학][선형대수] 7장 (4) 선형연립방정식의 해

(여기서 조금 더 머리를 쓴다면, 이러한 관계에서 얻을 수 있는 선형독립인 고유벡터의 수가 \(n-r\)개임을 알 수 있긴 하죠.. \(n-r\)개의 변수에 \(t_{1},\; t_{2},\; \cdots ,\;t_{(n-r)}\)으로 배정하여서... 뒤에 나오는 기하적 중복도(geometric multiplicity)와 관련이 있을 것 같은데...)

 

예를 들어야 가장 확실합니다. 

$$\begin{gather} A = \pmatrix{1 & 2 \\ 5 & 4} \\ \det(A-\lambda I_{2}) = (1-\lambda)(4-\lambda) - 10 = 0 \\ \lambda^{2} - 5\lambda - 6 = 0 \\ \lambda = 6\; \text{or} \; -1 \end{gather} $$

 

이렇게 구하는 것은 아주 쉽고, \(\lambda = 6\)인 경우를 먼저 살피면,

$$\begin{gather} (A - 6I_{2})\vec{x} = \pmatrix{-5 & 2 \\ 5 & -2 } \pmatrix{x_{1}\\ x_{2}} = \vec{0} \\ 5x_{1} = 2x_{2} \\ \therefore \vec{x} = t_{1} \pmatrix{2.5 \\ 1},\; t_{1} \in \mathbb{C},\; t_{1} \ne 0 \end{gather} $$

즉, \(\lambda = 6\)에 대응하는 eigenvector는 \(\pmatrix{2.5 & 1} ^{t} \)의 상수배에 해당해요. 그런데 위에 지워버린 부분을 다시 생각해본다면, 위의 \(A-6I_{2}\)의 rank는 1이고, 그러니 \(2-1\)개의 변수로 해를 표현할 수 있는 것이 선형방정식의 기본정리로 나오는데, 이 의미가 저 eigenvalue에 해당하는 선형독립인 eigenvector의 개수가 1개라는 이야기가 되고... 뒤에 나오는 기하적 중복도는 1이 되네요...!

아, 여기서 \(\mathbb{C}\)는 복소수의 집합이에요. 실수로 두어도 여기서는 무방하겠어요.

 

한 번 더 해볼까요? 이번엔 \(\lambda = -1\)인 경우

$$\begin{gather} (A +I_{2})\vec{x} = \pmatrix{2 & 2 \\ 5 & 5 } \pmatrix{x_{1}\\ x_{2}} = \vec{0} \\ x_{1} = -x_{2} \\ \therefore \vec{x} = t_{2} \pmatrix{1 \\ -1},\; t_{2} \in \mathbb{C},\; t_{2} \ne 0 \end{gather} $$

즉, \(\lambda = -1\)에 대응하는 eigenvector는 \(\pmatrix{1 & -1} ^{t} \)의 상수배에 해당해요. 그런데 위에 지워버린 부분을 다시 생각해본다면, 위의 \(A+I_{2}\)의 rank는 1이고, 그러니 \(2-1\)개의 변수로 해를 표현할 수 있는 것이 선형방정식의 기본정리로 나오는데, 이 의미가 저 eigenvalue에 해당하는 선형독립인 eigenvector의 개수가 1개라는 이야기가 되고... 뒤에 나오는 기하적 중복도는 1이 되네요...!

몇 가지 추가 언급

이외의 내용은 책에 정리(theorem)라고 나와 있긴 한데, 증명이랄 것도 딱히 없었고 추론해나가서 사실 이래요 하는 말투 때문에, 아니면 정말 사소한 내용이어서, 단순히 성질?이라고 이해하고 정리만 하고 넘어가기로 했어요.

• \(n\times n\) 행렬에 대한 characteristic polynomial은 \(n\)차 방정식이 되므로 대수학의 기본정리(Fundamental theorem of algebra)에 의해 최대 \(n\)개의 복소수 해, 최소 1개의 복소수 해를 가진다.
• 동일한 eigenvalue에 대응하는 eigenvector들은 선형결합 형태로 만들어도 eigenvector 역할을 한다. 즉, $$\begin{gather} A\vec{x} = \lambda\vec{x},\; A\vec{y} = \lambda\vec{y} \\ A(c\vec{x} + \vec{y}) = \lambda(c\vec{x} + \vec{y}) \end{gather}$$
• transpose의 경우에도 동일한 eigenvalue를 가진다. 왜냐하면 $$\eqalign{\det(A^{t} - \lambda I_{n}) &= \det(A-\lambda I_{n})^{t} \\ &= \det(A-\lambda I_{n})}$$ 그 이유는 원래 행렬의 행렬식과 transpose의 행렬식의 값이 동일하기 때문입니다!

두 번째 이야기는 사실 eigenspace(고유공간) 이야기로 이어져야 하는데 이 책에서는 벡터 공간(vector space) 이야기를 그다지 많이 다루지 않으니 아예 이번 공부에서는 생략해버리기로 했어요. 어차피 복습 목적으로 하는 이 공부, 너무 엄밀하다가 지쳐버리기보다는 나중으로 미뤄두는 것도 방법이니까요.

 

하지만 첫 번째 이야기는 뭔가 엉성하고 께름칙하게 증명된 곳이 많았어요. Friedberg의 선형대수학 책에는 예제로 나와 있는데, 인터넷에 나도는 증명을 보니 뭔가 맞기는 한 거 같은데 시원한 맛이 없고 수학적 귀납법(mathematical induction)을 다루는 데에 두 개의 매개변수(\(k,\; n\))를 들여와서 집중하기 어려웠고, Strang의 선형대수학 책에는 역시 예제에서 다루는데 \(n-1\)차 항의 계수가 \(\operatorname{tr} A\)인 것에만 집중을 했어서 왜 도대체 저게 깔끔하게 \(n\)차 방정식이 되는 지에 대해서는 포커스가 아니었어요.

 

여기까지는 좋은데 어떤 곳에서는 그냥 '\(n\)차 방정식으로 주어져 있으므로' 하는 식으로 얼렁뚱땅 넘어가길래(!!!), 조사를 멈추지 않았어요! 그러다가 UCLA의 유명한 수학교수 테렌스 타오(Terence Tao)의 수업자료를 읽어볼 수 있었고 가장 깔끔하다는 것을 느꼈죠. 증명이 생각외로 길기 때문에, 다음 글에서 따로 다루겠습니다. 그리고 대수학의 기본정리의 증명은 이 공부의 범위에서 너무 벗어나므로... (현대대수학(Abstract algebra)까지 해야 하거든요) 넘어가겠습니다.

Multiplicity에 대해

여기서는 사실 별로 중요하게 다루지도 않는 내용이지만, 이후에 eigenspace를 배우고 decomposition을 생각하게 되면 매우 중요한 내용이 중복도(multiplicity) 였던 것으로 기억해요. 책에 나오기는 하니까 용어 정리 한다고 생각하고 보면,

• 대수적 중복도(algebraic multiplicity): characteristic polynomial이 인수분해가 되어 다음과 같이 된다면, $$D(\lambda) = (\lambda - \lambda_{1})^{k_{1}}(\cdots$$ \(\lambda_{1}\)의 algebraic multiplicity는 \(k_{1}\). 즉, 한 eigenvalue가 얼마나 방정식에서 중복되어 있는지, 괄호로 묶인 것의 '승수'가 무엇인지에 대한(?) 내용이라고 보시면 되어요.
• 기하적 중복도(geometric multiplicity): 한 eigenvalue에 상응하는(corresponding) 선형독립인 벡터들의 개수를 말합니다. 즉, $$\{ \vec{x}: (A-\lambda_{1} I_{n})\vec{x} = \vec{0} \}$$인 집합을 생각했을 때에, 이 집합을 구성하는 선형독립인 벡터들의 개수입니다. 정확한 표현으로는 $$\dim \ker L_{A-\lambda_{1} I_{n}}$$가 되겠지만, 다루지 않았기도 하고 공간 얘기 안 하니까 위의 설명으로 충분해요!

정의 상 대수적 중복도를 다 합치면 \(n\)이 됩니다. 전부 풀어헤쳐놓으면 \(n\)차 식이 되어야 하니까요. 그런데 선형독립인 벡터들의 개수는 eigenvector의 개수와 관련 있으니 딱히 관련이 없어요. 어떤 eigenvalue \(\lambda\)가 있다고 했을 때 대수적 중복도를 \(M_{\lambda}\), 기하적 중복도를 \(m_{\lambda}\)라고 두면 그 결함(defect)을 $$ \Delta_{\lambda} = M_{\lambda} - m_{\lambda}$$로 정의합니다. 

---

어쩌다 보니 이번 글에서는 용어 정리만 하다가 끝난 느낌이네요. 여기서는 eigenvalue problem의 정의와 함께 

\(n\times n\) 행렬에 대한 characteristic polynomial은 \(n\)차 방정식이 되므로 대수학의 기본정리(Fundamental theorem of algebra)에 의해 최대 \(n\)개의 복소수 해, 최소 1개의 복소수 해를 가진다.

가 그나마 제일 중요한 내용이라고 생각해요. 다음 글에서 이걸 좀 더 다뤄보도록 하겠습니다.