통계학에서 데이터의 분포와 변수 간의 관계를 분석하는 데 있어 행렬(Matrix)은 매우 중요한 도구로 사용됩니다. 특히 다변량 통계 분석에서는 각 변수 간의 상호 관계를 한눈에 파악하기 위해 공분산행렬(Covariance Matrix)이 널리 사용됩니다. 이 글에서는 공분산행렬의 개념, 구성 방법, 수학적 의미, 그리고 활용 사례를 통해 통계학에서의 행렬의 역할을 살펴보겠습니다.
1. 공분산이란?
공분산은 두 변수 간의 선형 관계의 방향성과 강도를 측정하는 지표입니다. 두 변수가 함께 증가하거나 감소하면 양의 공분산, 반대로 움직이면 음의 공분산입니다.
\[ \operatorname{Cov}(X, Y) = \frac{1}{n-1} \sum_{i=1}^n (X_i – \bar{X})(Y_i – \bar{Y}) \]
공분산 해석
- \( \operatorname{Cov}(X, Y) > 0 \): X와 Y가 함께 증가
- \( \operatorname{Cov}(X, Y) < 0 \): X는 증가하고 Y는 감소 (또는 반대)
- \( \operatorname{Cov}(X, Y) = 0 \): 선형 관계 없음
2. 공분산행렬의 정의
공분산행렬은 다변량 데이터에서 각 변수 간의 공분산을 정리한 대칭 행렬입니다.
p개의 변수 \( X_1, X_2, \ldots, X_p \)가 있을 때 공분산행렬 \( \Sigma \)는 다음과 같습니다:
\[ \Sigma = \begin{bmatrix} \operatorname{Var}(X_1) & \operatorname{Cov}(X_1, X_2) & \cdots & \operatorname{Cov}(X_1, X_p) \\ \operatorname{Cov}(X_2, X_1) & \operatorname{Var}(X_2) & \cdots & \operatorname{Cov}(X_2, X_p) \\ \vdots & \vdots & \ddots & \vdots \\ \operatorname{Cov}(X_p, X_1) & \operatorname{Cov}(X_p, X_2) & \cdots & \operatorname{Var}(X_p) \end{bmatrix} \]
즉, 대각선은 각 변수의 분산, 비대각선은 두 변수 간 공분산으로 구성됩니다.
3. 공분산행렬의 계산
3-1. 데이터 행렬
n개의 관측치, p개의 변수로 구성된 데이터 행렬 \( X \in \mathbb{R}^{n \times p} \)를 가정합니다.
3-2. 평균 중심화(Centering)
각 변수의 평균을 0으로 만들기 위해:
\[ X_c = X – \mu \]
3-3. 공분산행렬 계산
\[ \Sigma = \frac{1}{n – 1} X_c^T X_c \]
4. 공분산행렬의 성질
- 대칭행렬: \( \Sigma^T = \Sigma \)
- 양의 준정부호: 모든 고유값은 0 이상
- 고유값 분해 가능: \( \Sigma = PDP^{-1} \)
- 정방행렬: 변수 수 p와 동일한 크기
5. 공분산행렬의 활용
5-1. 주성분 분석(PCA)
공분산행렬의 고유값과 고유벡터를 이용해 데이터의 분산 방향을 찾고, 차원을 축소합니다.
5-2. 데이터 분포 시각화
공분산행렬을 통해 변수 간의 상관 구조를 이해하고, 다변량 정규분포의 등고선을 그릴 수 있습니다.
5-3. 통계 모델링
선형 회귀, 판별 분석, 베이지안 추론 등 다양한 통계 모델에서 변수 간 상호 관계를 반영하기 위해 사용됩니다.
5-4. 이상치 탐지
마할라노비스 거리(Mahalanobis Distance)는 공분산행렬을 이용한 거리 측정 방법입니다.
6. 예시
2개의 변수 X, Y를 가지는 데이터 샘플:
\[ X = \begin{bmatrix} 2 & 4 \\ 3 & 6 \\ 4 & 8 \\ 5 & 10 \end{bmatrix} \]
X의 평균 중심화 후, 공분산행렬은 다음과 같이 계산됩니다:
\[ \Sigma = \frac{1}{3} X_c^T X_c = \begin{bmatrix} 1.67 & 3.33 \\ 3.33 & 6.67 \end{bmatrix} \]
결론
공분산행렬은 여러 변수 간의 분산과 공분산을 체계적으로 나타내는 행렬로, 통계학의 다변량 분석에서 중심적 역할을 합니다.
데이터의 구조를 파악하고, 차원을 축소하며, 변수 간 관계를 정량화하는 데 사용됩니다.
행렬 연산을 기반으로 하기 때문에 선형대수학의 이해가 병행되면 통계 분석의 해석력과 활용력이 크게 향상됩니다.