확률과 통계에서 자주 나오는 개념 중 하나가 바로 기대값(Expected Value)이다. 교과서에서는 “기대값은 평균과 같은 의미”라고 설명하지만, 왜 그런지 헷갈릴 수 있다. 이 글에서는 기대값이 왜 평균과 같은 의미를 가지는지, 수학적 정의와 직관적 해석, 그리고 실제 예시를 통해 풀어본다.
기대값의 정의
확률 변수 \(X\)의 기대값은 다음과 같이 정의된다.
- 이산 확률 변수: \[ E[X] = \sum_{i} x_i \, P(X = x_i) \]
- 연속 확률 변수: \[ E[X] = \int_{-\infty}^{\infty} x \, f(x) \, dx \]
즉, 가능한 모든 값 \(x\)에 대해 “값 × 그 값이 나올 확률”을 모두 더한 것이 기대값이다.
평균의 정의
반면 표본 평균(sample mean)은 다음과 같이 정의된다.
\[ \bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i \]
즉, 실제로 관측된 데이터들의 합을 표본의 개수 \(n\)으로 나눈 값이다. 우리가 일상적으로 “평균”이라고 부르는 것이 바로 이 표본 평균이다.
기대값과 평균이 같은 이유
1. 기대값은 ‘확률적 평균’이다
기대값은 어떤 확률 변수의 값들을 그 확률로 가중평균(weighted average)한 것이다. 평균이 모든 데이터를 동일한 가중치(1/n)로 계산하는 것이라면, 기대값은 사건이 발생할 확률을 가중치로 사용한다.
2. 큰 수의 법칙 (Law of Large Numbers)
확률론의 핵심 정리 중 하나인 큰 수의 법칙은 다음을 말한다:
\[ \bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i \;\;\; \xrightarrow{n \to \infty}\;\; E[X] \]
즉, 동일한 확률 변수를 무수히 많이 반복 관찰하면, 그 평균은 확률 변수의 기대값에 수렴한다. 따라서 기대값은 “무한히 많은 관측치의 평균”과 같은 의미를 가진다.
3. 확률 분포의 중심
평균은 데이터의 중심을 나타내듯, 기대값은 확률 분포의 중심 역할을 한다. 예를 들어, 정규분포 \(N(\mu, \sigma^2)\)에서 기대값은 \(\mu\), 즉 분포의 평균값이다. 이는 기대값이 확률 분포의 중심적인 ‘평균값’임을 보여준다.
예시로 이해하기
동전 던지기
동전을 던져 앞면이 나오면 1, 뒷면이 나오면 0이라고 하자. 앞면의 확률은 0.5, 뒷면의 확률도 0.5다. 기대값은:
\[ E[X] = 1 \cdot 0.5 + 0 \cdot 0.5 = 0.5 \]
즉, 동전을 무수히 많이 던져서 평균을 내면 앞면의 비율은 약 0.5가 된다. 기대값과 평균이 같은 의미라는 것을 확인할 수 있다.
주사위 던지기
주사위를 던졌을 때 확률 변수 \(X\)는 1~6의 값을 가질 수 있고, 각각의 확률은 \(1/6\)이다. 따라서:
\[ E[X] = \frac{1}{6}(1 + 2 + 3 + 4 + 5 + 6) = 3.5 \]
주사위를 수천 번 던져 평균을 내면 그 값은 3.5에 가까워진다. 실제 관측값의 평균과 이론적 기대값이 일치하는 셈이다.
결론
기대값이 평균과 같은 의미를 가지는 이유는 다음과 같다:
- 기대값은 확률적 가중평균으로, 평균 개념을 확률 분포로 확장한 것이다.
- 큰 수의 법칙에 의해, 무수히 많은 표본 평균은 기대값에 수렴한다.
- 확률 분포의 중심(예: 정규분포의 \(\mu\))이 기대값이므로, 기대값은 곧 분포의 평균을 의미한다.
따라서 기대값은 “이론적 평균”, 표본 평균은 “실제 데이터의 평균”이라고 정리할 수 있다. 결국 두 개념은 본질적으로 같은 의미를 공유한다.