“귀류법(歸謬法, proof by contradiction)”은 수학 논증의 중요한 기법 중 하나야. 간단히 말하면 “어떤 명제가 거짓이라고 가정하면 모순이 생긴다”는 사실을 밝혀 그 명제가 참임을 증명하는 방식이지. 이 글에서 귀류법이 왜 성립하는지, 즉 이 방법이 논리적으로 왜 올바른지, 역사적 배경, 수학적 근거, 그리고 실제 적용 예시들을 통해 깊이 이해해보자.
귀류법의 개념
귀류법은 보통 다음과 같은 형태로 전개돼:
- 증명하고자 하는 명제 \(P\)가 있다.
- \(P\)가 거짓, 즉 \(\lnot P\)라고 가정한다.
- 그 가정하에 논리적 추론을 통해 모순(예: \(\bot\), 모순되는 명제들 혹은 자명히 거짓인 명제)이 도출된다.
- 따라서 가정이 잘못되었고, 원래 명제 \(P\)가 참이어야 한다.
이 과정이 잘 작동하려면 논리 체계가 엄밀해야 하고, “모순”이 무엇인지, “거짓”과 “참”의 정의가 명확해야 해.
논리적 기반: 이중 부정 법칙과 배중률
귀류법이 성립하는 이유는 논리학의 기본 원리들 덕분이야. 여기서 중요한 두 가지가 있어:
이중 부정 법칙 (Double negation)
이중 부정 법칙은 다음과 같은 식으로 표현돼:
\[ \lnot(\lnot P) \iff P \]
즉, 어떤 명제의 부정의 부정은 원래 명제와 동일하다는 뜻이지. 귀류법에서 “\(\lnot P\)가 거짓임이 증명됨 → \(\lnot(\lnot P)\)이 참임 → \(P\)가 참임”이라는 흐름이 여기서 나오는 거야.
배중률 (Law of excluded middle)
배중률은 수학적 고전 논리(classical logic)에서 전제되는 원칙으로, 어떤 명제 \(P\)에 대해 “\(P\)이거나 \(\lnot P\)”가 항상 참이라는 뜻이지. 즉:
\[ P \lor \lnot P \]
이는 귀류법에서 “\(\lnot P\)라고 가정했지만 그로 인해 거짓(모순)이 생겼다 → 그래서 \(\lnot P\)는 거짓이다 → 따라서 \(P\)가 참이다”라는 논리를 가능하게 만들어줘.
수학적/논리적 정당성
귀류법이 단순히 직관에만 의존하는 게 아니라, 엄밀한 논리 체계 안에서 정당화된다는 점을 보자.
공리적 논리 체계
우리가 수학을 전개할 때 사용하는 논리 체계(예: 일阶 논리, 명제 논리, 술어 논리 등)는 공리(axiom)와 규칙(rule)으로 이루어져 있어. 이런 체계에서는 다음이 보장돼:
- 명제의 거짓과 참이 엄격히 구분됨
- 논리적 추론 규칙들이 모순 없는 방식으로 작동함
- 이중 부정 법칙과 배중률이 공리로 혹은 증명 가능한 성질로 포함됨 (고전 논리에서는)
따라서 “\(\lnot P\) 가정 → 모순 발생 → \(\lnot P\) 거짓 → \(P\) 참”이라는 귀류의 흐름은 논리 규칙에 위배되는 것이 없어.
모순과 거짓의 정의
논리 체계 안에서 모순(contradiction)은 명백하게 어느 한쪽이나 양쪽이 동시에 참일 수 없는 명제들의 공존을 의미해. 예를 들어:
- “\(Q\)이고 동시에 \(\lnot Q\)”
- 공리나 정의에 어긋나는 명제들
모순이 도출됐다는 것은 그 가정이 논리적으로 지속될 수 없다는 뜻이지. 그래서 귀류법은 모순을 통해 가정의 잘못됨을 밝히고 원래 명제가 참임을 확정할 수 있어.
역사적 배경 및 철학적 관점
귀류법은 고대 그리스 수학자들, 특히 유클리드나 아리스토텔레스에게서 이미 사용되었어. 유클리드는 원론 《Elements》에서 많은 정리를 간접 증명(indirect proof) 방식으로 증명했지.
플라톤 학원과 고대 그리스
고대 그리스에서는 직관적이고 기하학적인 논증이 주류였지만, 귀류법도 이미 중요한 위치를 차지했어. 예를 들어, √2의 무리성 증명에서 “유리수이다”라는 가정을 하면 분수 표현에서 공약수를 없앨 수 없는 모순이 생긴다는 식으로 사용되지.
근대 논리학에서의 정교화
근대에 와서 프레게, 러셀, 힐베르트 등의 수리논리학자들이 공리적 체계, 형식 논리(formal logic)를 발전시키면서 귀류법의 논리적 기반—특히 배중률과 이중 부정 법칙—이 엄밀하게 정의됨. 이들은 “논리적 타당성(logical validity)”과 “증명가능성(provability)” 개념을 정립했고, 귀류법도 이 틀 속에서 정당화됨.
귀류법 적용의 예시
이제 실제 예를 통해 귀류법이 어떻게 사용되는지 보자.
√2가 무리수임을 증명
우리가 증명하고자 하는 명제: “√2는 유리수가 아니다.”
- 가정: √2가 유리수이다. 즉, 정수 \(a, b\) (공약수 없음)로 \(\sqrt{2} = \frac{a}{b}\) 라 하자.
- 양변 제곱: \(2 = \frac{a^2}{b^2}\) → \(a^2 = 2 b^2\).
- 그러면 \(a^2\)가 2의 배수이므로 \(a\)도 2의 배수이다. 즉 \(a = 2k\) for some 정수 \(k\).
- 그럼 \(a^2 = 4k^2\)이고, 대입하면 \(4k^2 = 2b^2\) → \(b^2 = 2k^2\) → \(b\)도 2의 배수이다.
- 그런데 \(a\)와 \(b\)이 모두 2의 배수이면, 이들의 공약수가 1이 아니라 최소 2가 되어서, “공약수가 없음”이라는 가정에 모순이 생긴다.
- 따라서 처음의 가정(√2가 유리수라는 것)이 잘못되었고, √2는 유리수가 아니다.
무한히 많은 소수가 존재함을 증명
명제: “소수(prime number)는 무한히 많다.”
- 가정: 소수가 유한히 많다고 하자. 그들을 \(p_1, p_2, \dots, p_n\)이라 하자.
- 새로운 수 \(N = p_1 p_2 \cdots p_n + 1\)을 고려한다.
- 이 \(N\)은 어떤 \(p_i\)로 나눠지면 나머지가 1이 된다. 즉, 기존 모든 소수로 나눠지지 않는다.
- 따라서 \(N\)은 소수이거나 새로운 소수의 곱으로 이루어졌어야 하는데, 기존의 목록에 포함되지 않은 소수가 발견된다.
- 이건 “소수가 유한하다”는 가정에 모순이다.
- 따라서 소수는 무한히 많다.
귀류법의 한계와 주의점
귀류법이 매우 유용하지만, 사용할 때 주의해야 할 점들도 있어.
- 고전 논리(classical logic)가 아닌 직관주의 논리(intuitionistic logic)에서는 배중률(Law of excluded middle)을 무조건 받아들이지 않아. 따라서 귀류법이 직관주의 체계에서는 제한적으로만 허용됨.
- 가정이 명확해야 함. \(\lnot P\)의 정의, 모순의 조건 등이曖昧하면 잘못된 결론이 나올 수 있어.
- 증명 과정에서 논리적 추론이 엄밀해야 함. 숨은 가정(hidden assumption)이나 정의상의 문제 등이 없는지 검토해야 함.
귀류법이 성립하는 이유 요약
이제 지금까지 본 내용을 바탕으로, 귀류법이 왜 논리적으로 타당한지를 정리해보자:
- 이중 부정 법칙: \(\lnot(\lnot P) \iff P\) 덕분에, “\(\lnot P\)”가 거짓이면 “\(P\)”가 참임이 바로 도출됨.
- 배중률: 어떤 명제 \(P\)에 대해 “\(P\) 혹은 \(\lnot P\)”가 항상 참이므로, “\(\lnot P\)”가 거짓이라면 남는 선택지는 “\(P\)” 뿐임.
- 논리 체계의 일관성(consistency): 모순이 발생하면 그 가정이 일관성과 상충됨을 의미하므로, 가정의 거짓을 받아들일 근거가 됨.
- 귀류법은 직접 증명(direct proof)이 어려운 경우에도 유효한 증명 방법을 제공함. 즉, 간접적으로 “불가능한 상황”(모순)을 통해 가능함을 밝히는 전략이야.
결론
귀류법은 “가정 → 모순 → 가정이 거짓 → 원래 명제가 참”이라는 논리적 흐름을 바탕으로 하는 증명 방법이야. 이 방법이 유효한 이유는 고전 논리 체계 속에서 이중 부정 법칙과 배중률이라는 기본 원칙들이 성립하기 때문이지. 역사적으로도 고대에서부터 쓰여 왔고, √2 무리성 증명, 소수의 무한성 증명 같은 대표적인 예들이 이를 잘 보여줘. 물론 직관주의 논리 같은 다른 체계에서는 배중률을 전제로 삼지 않기 때문에 귀류법의 적용이 조심스러워야 하지만, 고전 수학에서는 매우 강력하고 필수적인 도구야.
결론 정리
1. 이중 부정 법칙과 배중률이 논리적으로 보장됨 → “\(\lnot P\)”의 거짓이 바로 “\(P\)”의 참을 의미함.
2. 모순(consistency)의 개념이 명확함으로써, 가정이 참일 경우 모순이 생기는 것은 그 가정이 잘못되었음을 뜻함.
3. 역사적으로 고전 논리 체계에서 귀류법은 이미 증명 가능성과 논리적 타당성의 기준을 충족시켜 왔음.
4. 비록 직관주의 논리체계 등에서는 일부 제한이 있을 수 있으나, 일반적인 수학에서는 매우 안정적이고 널리 쓰이는 증명 방식임.